AI芯片两大新战场浮上台面 存储器、网通巨头齐聚SEMICON 智能应用 影音
贸泽电子
DForum0115

AI芯片两大新战场浮上台面 存储器、网通巨头齐聚SEMICON

  • 刘宪杰台北

SEMICON主轴默默转变,2024年存储器、高速传输芯片站稳C位。李建梁摄(数据照)
SEMICON主轴默默转变,2024年存储器、高速传输芯片站稳C位。李建梁摄(数据照)

AI芯片历经了一年多的热潮,现在市场对于AI模型和芯片算力之间的关联有更多的理解,在此之中,有两个新战场被视为是云端生成式AI的关键瓶颈,近期正吸引更多厂商加速开发新产品并推进到市场,其一是高带宽存储器(HBM),其二则是高速传输技术。

这两项技术被视为是让AI芯片及云端运算系统达到更高运作效率的关键,值得注意的是即将开展的2024年国际半导体展(SEMICON 2024)各类论坛的讲者当中,不像往年都是NVIDIA、超微(AMD)等运算芯片大厂挂帅,2024年探讨的话题更多围绕在存储器和高速传输技术上,可以看出业界关注的焦点愈来愈多元化。

HBM的重要性对于云端AI的议题来说不算陌生,多数人都知道大型语言模型的AI运算,最缺的其实不是算力,而是存储器的容量。存储器不足,GPU或AI加速芯片的算力再强,也没办法在模型训练的过程中发挥出最强战力。

对此,三星电子(Samsung Electronics)、SK海力士(SK Hynix)和美光(Micron)都急忙调配产能,加速量产HBM来满足市场需求,然存储器并不是唯一提升算力效率的关键技术,各种高速传输界面的升级,最近也掀起讨论与重视。

云端AI的高速传输技术有非常多不同层次,小芯片(chiplet)之间的连接、GPU之间的连接甚或是机柜之间的连接,如果传输速度不够快,就无法让众多算力单位有效地集结在一起,达到规模效应和更高的运算效率。

许多IC设计厂商都已经看到这块市场的巨大潜力,运算芯片大厂已陆续投入通讯与传输技术的开发,比方说NVIDIA的NVLink、及英特尔(Intel)主导的UALink,投入网通芯片大厂博通(Broadcom)及Marvell都全力投入各层次高速传输技术的开发,联发科及神盾集团也各凭SerDes和UCIE相关IP技术切入市场。

不少投入AI应用的半导体业者及软件业者都指出,算力早就不是整个AI向前发展的最大瓶颈,如何在先进封装内部容纳更大容量的存储器,以及更密集更快速的高速传输界面,才是真正的关键因素。

以各种聊天机器人的生成式AI为例,有时回覆内容不顺畅也不连续,很大的问题就是出在存储器容量或数据传输速度不足,芯片算力再高也解决不了。这些新的技术机会,势必会让一些已经来不及赶上运算芯片开发的业者,找到新的发展契机。

在SEMICON 2024可以明显看到,稍早在COMPUTEX 2024登台的运算芯片大厂戏份都不重,在各类论坛的参与程度相比于往年的SEMICON更低上许多。反而是上述的存储器大厂和网通芯片业者,有更多在论坛上发表各种技术与趋势的机会。

甚至原本被视为技术普及化还有一段距离的矽光子(Silicon Photonics)技术,也已经有论坛开启讨论,上述投入高速传输市场的相关业者,几乎每一家都强调,矽光子技术将是推动高速传输最重要的发展策略。

责任编辑:朱原弘