创鑫智能云端用人工智能推论芯片在AI世界评测赢得最佳能效比 智能应用 影音
Vicor
Event

创鑫智能云端用人工智能推论芯片在AI世界评测赢得最佳能效比

  • 陈其璐台北

AI加速器RecAccel N3000。创鑫智能
AI加速器RecAccel N3000。创鑫智能

由众多人工智能业界一流厂商参与的MLPerf v3.0 AI推论(Inference)效能基准测试中,AI ASIC平台领导厂商创鑫智能 (NEUCHIPS)公布其世界第一个专为数据中心推荐模型(Recommendation Model)设计的AI加速器 RecAccel N3000的测试数据,在服务器领域的能源效率(Energy efficiency)上领先AI大厂辉达 (NVIDIA),成为世界第一能效的AI加速平台,让需要高运算力的数据中心(Data Center) 与云端服务供应商(CSP)以最低的总拥有成本(TCO)实现企业永续(ESG)发展目标。

MLPerf v3.0 AI推论测试是由致力提升机器学习技术和应用的开放工程联盟MLCommons所进行。创鑫智能此次采用技钢G482-Z54服务器搭载AMD EPYC 7452 32核CPU及8张RecAccel N3000 32G PCIe加速卡执行 DLRM测试。

根据MLCommons公布的测试数据,在数据中心推荐系统领域,RecAccel N3000 系统除了展现其100%的效能扩充性(Performance Scalability)之外,在每瓦可处理1,060次查询(Queries)的评策上,能效为对手NVIDIA H100的1.7倍,高居榜首。未来计划推出的RecAccel Quad N3000 PCIe卡更能提供高达 2.2倍的卓越效能。RecAccel N3000优异的效能和TCO特性,满足了数据中心与云端服务业者对于AI应用的需求并符合ESG发展趋势。

近年来,COVID-19疫情的影响大幅改变了多数人的生活习惯和消费模式,进而引爆行销科技(MarTech)的兴起。如何提升行销效率及藉由AI模型运算提供实时、个人化的精准数据,设计更佳的消费者使用体验,已成为各大在线、线下业者所面临的最大挑战。此外,电商平台、社群媒体、影音传媒、交友软件和查找引擎的蓬勃发展,也加速了全球对推荐系统的需求,其市场每年以大约 30% 左右的复合年成长率(CAGR)快速成长,吸引全球各大厂商与新创公司参与竞逐。

「为实现量大、精准、实时且节能的人工智能运算,我们必须找到更可持续和环境友善的解决方案,这不仅仅是一个商业挑战,更是对社会责任和绿色发展的追求,」创鑫智能创始人暨董事长林永隆博士表示。「我们以具体移动证明我们对永续发展的承诺,除了在 MLPerf测试中取得最佳表现,我们还将推出专为开放运算计划(OCP)设计的DM.2模块,继续引领产业发展,提供更多协助云端服务供应商与数据中心节省成本的平台方案,并助力AI技术的繁荣与成长。」

AMD策略业务发展全球副总裁Kumaran Siva则表示:「AMD提供高效能运算产品,帮助智能系统有效管理复杂的数据集。我们非常高兴能与创鑫智能合作,藉由AMD EPYC处理器为MLPerf v3.0中的DLRM推理实现领先的效能及能耗。我们期待持续与创鑫智能协同发展与创新,为市场提供不断引领先进技术的人工智能解决方案。」


关键字
议题精选-AI专栏