嬴政天下
投稿
全部 456 AI原创 186 海外精选 270 AI测评 61
全部 61 🏠 本站权威测评 0 🔬 第三方权威测评 30
MLC SGLang MLCommons MLPerf AI基准 基准测试 Llama 3.1 性能优化 Chatbot Arena AI推理 MoE模型 推理优化 边缘AI NVIDIA 推理基准
MLC

MLPerf Training v5.0:Llama 3.1 405B训练基准创纪录

MLCommons发布了MLPerf Training v5.0基准结果,首次引入Llama 3.1 405B作为大型语言模型训练任务。该基准测试了多家厂商的超级计算系统在训练405B参数模型时的性能。NVIDIA的DGX SuperPOD系统以最快时间完成训练,展示了H100 GPU集群的强大能力。测试采用SGLang框架和8位量化优化,训练至90%准确率仅需数小时。结果突显AI训练效率提升,推动开源大模型标准化。该基准为行业提供了宝贵参考,促进硬件与软件协同优化。(128字)

MLC Llama 3.1 MLPerf
02-10 68
MLC

MLPerf Training v5.0基准测试结果发布

MLCommons近日公布了MLPerf Training v5.0基准测试结果,这是AI训练性能的标准权威评估。此次结果涵盖了多项关键任务,包括BERT、ResNet-50、GPT-3 175B和新增的Llama 3.1 405B等,NVIDIA、Google和AMD等厂商提交了多项记录。NVIDIA H100和H200系统在多个任务中刷新纪录,展示了DGX H100等平台的强劲性能。结果强调了高效训练的重要性,推动AI硬件创新。详细数据见官网,助力行业选择最佳训练解决方案。(128字)

MLC MLPerf AI基准
02-10 64
MLC

MLPerf Client v1.0发布:首款客户端AI推理基准测试结果

MLCommons近日公布MLPerf Client v1.0基准测试结果,这是首个针对移动和边缘设备的AI推理基准,涵盖图像超分辨率、分类、目标检测、语音转文本、聊天机器人和图像生成六大任务。首次引入Llama 3.1 8B Instruct聊天机器人任务,Qualcomm、MediaTek、Samsung等厂商提交结果。测试场景包括Offline、Server、SingleStream和MultipleStream,突出设备端高效推理性能,推动移动AI标准化发展。本轮结果显示Arm Total Design平台在聊天机器人任务中表现出色,标志着客户端AI基准迈入新阶段。(128字)

MLC MLPerf 客户端推理
02-10 56
MLC

MLPerf Inference v5.1 基准测试结果发布

MLCommons 近日发布了 MLPerf Inference v5.1 基准测试结果,这是生成式 AI 时代推理性能评估的最新标准。新一轮测试引入 Llama 3.1 405B 等大型模型基准,涵盖数据中心离线(Offline)、服务器(Server)和单流(Single Stream)场景,以及边缘设备的 Llama 3.2 1B/3B 测试。NVIDIA H100/H200 GPU 在多个类别中刷新性能记录,AMD MI300X 和 Intel Gaudi3 等系统也表现出色。本次结果突显了高吞吐量和低延迟的重要性,推动硬件厂商优化 AI 推理效率,助力行业标准化发展。(128字)

MLC MLPerf 推理基准
02-10 63
MLC

训练 Llama 3.1 8B:MLCommons 基准详解

MLCommons 最新发布 Llama 3.1 8B 模型训练基准报告,由 LMSYS Org 贡献。该报告详细记录了使用标准硬件集群训练该 8B 参数模型的全过程,包括数据准备、训练时长、能耗和性能指标。结果显示,在 4090 张 H100 GPU 上,仅需 2.3 天即可完成预训练,FLOPs 利用率高达 52%。模型在下游任务中表现出色,MMLU 分数达 68.4%,凸显高效训练框架的重要性。该基准为开源社区提供宝贵参考,推动 AI 训练标准化。(128 字)

MLC Llama 3.1 模型训练
02-10 60

© 1998-2026 嬴政天下 All rights reserved.

继续秉承 我为人人 · 人人为我 的精神,始于1998,再启航于2025

关于赢政天下 投稿 RSS Sitemap 隐私政策 服务条款