最新MLCommons AI推论结果 凸显英特尔产品在AI领域的强大竞争力
MLCommons上个月针对60亿个参数的大型语言GPT-J,以及电脑视觉和自然语言处理模型发表MLPerf Inference v3.1效能基准测试结果。英特尔提交Habana Gaudi2加速器、第4代Intel Xeon可扩充处理器和Intel Xeon CPU Max系列的测试结果。这些结果不仅显示英特尔在AI推论方面可提供具竞争力的效能表现,更强化英特尔的承诺,在客户端、边缘、网络、云端等一连串AI工作负载中,让AI更容易大规模地落实应用。
英特尔执行副总裁暨数据中心和AI事业群总经理Sandra Rivera表示:「正如同近期MLCommons的结果,展示出英特尔拥有强劲、极具竞争力的AI产品组合,能够满足客户对于高效能、高效率深度学习模型推论和训练的需求,适合用在最小到最大的各种AI模型,并提供领先的性价比。」
在2023年6月更新的MLCommons AI训练和Hugging Face效能基准测试,验证了Gaudi2在最先进视觉语言模型方面的效能优势;每位客户均有独特的考量,而英特尔提供可解决一连串AI工作负载推论与训练难题的产品,将AI落实到每个角落。英特尔的AI产品让客户能够根据各自的效能、效率和成本目标,在选择最佳AI解决方案时拥有灵活性和选项,同时协助客户打破封闭的生态系。
Habana Gaudi2结果:Habana Gaudi2的GPT-J推论效能结果,为其极具竞争力的效能提供有力的验证。
.Gaudi2在GPT-J-99和GPT-J-99.9的服务器查询(query)和离线样本推论效能,分别为每秒78.58个查询和每秒84.08个样本。
.Gaudi2的效能是NVIDIA A100的2.4倍(服务器)和2倍(离线)。
.Gaudi2的提交结果使用FP8,在此新数据类型的准确度高达99.9%。
Gaudi2大约每6周至8周释出一次软件更新,英特尔预期在MLPerf基准测试中继续提升效能并扩大模型覆盖范围。
英特尔提交第4代Intel Xeon可扩充处理器的结果,其中包含GPT-J在内的所有7项推论基准测试。这些结果展现出通用AI工作负载的优异效能,包含视觉、语言处理、语音和音讯翻译模型,以及规模更大的DLRM v2推荐和ChatGPT-J模型。此外,英特尔仍是唯一一家使用业界标准深度学习生态系软件来提交公开CPU结果的供应商。
使用最流行的AI框架与函式库建立并部署通用AI工作负载,第4代Intel Xeon可扩充处理器为其理想之选。1篇新闻文章约1,000字至1,500字的GPT-J 100字摘要工作,第4代Intel Xeon处理器在离线模式下每秒可总结2个段落,实时服务器模式下每秒总结1个段落。
英特尔首次提交Intel Xeon CPU Max系列的MLPerf结果,该系列可提供高达64GB的高带宽存储器。在GPT-J方面,它是唯一能够达成99.9%准确度的CPU,这对于需要最高精准度的应用而言十分重要。
英特尔和原始设备制造商(OEM)客户合作,提交他们自己的结果,进一步展现搭载Intel Xeon处理器通用服务器的AI效能可扩展性和广泛可用性,这些服务器能够满足客户的服务等级协议(SLA)。
MLPerf被普遍认为是AI效能方面最具声誉的基准测试,能够进行公平、可重现的效能比较。英特尔预计将为下次的MLPerf基准测试提交新的AI训练结果。效能持续不断的更新,代表英特尔致力于支持客户,并针对每个AI节点提出解决方案-从低成本的AI处理器,再到网络、云端和企业用户所需的最高效能AI硬件加速器和GPU。
- 小螺丝到大数据:Bossard紧固件在AI服务器的应用
- AMAX引领生成式 AI 与实时运动数据革命
- 思想科技助企业加速落实 AI 应用,完整顾问服务突破创新挑战
- 首款AI心肺筛检在国际亮相!展现台湾医学影像创新实力
- 迎接后双轴转型时代 Google AI助攻台湾制造业迈向绿色企业
- 慧荣科技突破数据与功耗瓶颈 全新存储技术加速AI应用发展
- 台师大与丽台携手成立深度学习共同实验室 推动AI技术在教育与产业的应用
- 精诚软件获国科会GenAI Stars生成式AI企业应用竞赛「优质创新奖」
- 运用科技力守护民众生命财产安全 精诚集团协力宜兰县政府部署AIoT智能防灾
- 晶睿通讯AI安防解决方案 导入全新AI功能RealSight Engine
- 西门子推出下一代AI加强型电子系统设计软件
- F5与NetApp加速并简化大型语言模型AI部署
- 新思科技与台积电携手 为AI与多晶粒设计加速创新
- 友讯代理A10 Networks人工智能新蓝图 驱动可靠安全环境
- 边缘 AI:实时数据处理与自动化的革命
- 迎接AI时代:数产署与资策会运用AWS技术
携手伊云谷为企业打造黄金级竞争力 - 技嘉发表开创性的Z890主机板 展现真AI 制霸效能无极限
- 昕力信息与iKala携手拓展东南亚市场 首站支持越南制造业和金融业上云
- AI视觉释放LLM完整潜力,重塑智造管理
- Hitachi Vantara推出Virtual Storage Platform One为混合云存储提供基础