一年一度的OCP Summit(Open Compute Project)开放运算计划高峰会,在10月14日起于美国加州圣荷西市举行。OCP于2011年,在Meta的主导下成立,目的是藉由开放的平台,使得在数据中心的硬件建置,能有统一的规格,有助于供应链的建立。讲白话一点就是藉由标准化及多家供应商,好降低成本。
拜这两年AI服务器及云端运算的蓬勃发展,今年(2024年)会场吸引超过7,000人参与,以及100个展示摊位,再加上200场以上的专题演讲,可谓盛况空前。去年的OCP的展示现场,除了美国云端业者、供应商外,几乎都是台湾厂商的天下,显示出台湾在AI运算硬件供应链上强大的实力。今年展示摊位出现几家日韩存储器,以及中国大陆服务器的制造商。
延伸报导OCP扩展AI开放系统战力 NVIDIA助阵献宝GB200
大会一开始的主题演讲,照例是由几家云端服务业者及主要芯片供应商(GPU/CPU)所担任。轮到英特尔(Intel)数据中心业务的执行副总演讲时,还在谈老掉牙的x86平台,听众都觉得乏味之际。台下突然间有一个人跳了上去,原来是下一场要演讲的超微(AMD),也是数据中心业务的执行副总。
原来两家公司在x86平台上彼此征战这麽久,现在要开始结盟共组x86生态圈,以对抗来势汹汹的ARM CPU。接着两个人就开始介绍x86的优点,包括了可信赖的架构、指令的一致性、界面的共容性等优点。两个人还时不时的调侃对方的CPU,暗示自己的还是比对方的好。所以商场上没有永远的敌人,但因此会成为朋友吗?这个安排好的桥段,成为了当天会场上的亮点。同一个时段两家业者的CEO,也在西雅图宣布这项结盟。
延伸报导ARM、高通AI PC网内互打 英特尔、超微捡到枪 x86不战而胜
AI for AI 是在会议中另一个响亮的口号,但是第一个AI的意思是accelerate infrastructure,也就是要加速AI运算硬件的升级(scale up)以及平行增(scale out)。算力的需求是持续地在增加,会场上的研讨会不断地在呼吁,诸如存储器的储存空间不足,由目前的HBM3要增到HBM4。数据的传输速度需要再增快,由400 Gb要到800 Gb,甚至1.6 Tb。AI交换机处理信号的能力,也需要到 51.2 TB以上。
每一机柜的电力需求,目前的NV72已经到了120 KW,会场中已在讨论250 KW的方案,甚至未来直接来到400 V或800 V直流高压系统。随着电力的增加,伴之而来的就是热的解决方案。气冷的极限在于每平方厘米可散掉100 W的热,未来的高速运算芯片,所产生的热会达到每平方厘米500 W,因此用液体来冷却是必要的途径。
会场中的诸多讨论都在敦促供应商们,要将硬件升级并横向扩充,唯一没有被抱怨的是芯片的先进制程,可见我们护国神山的杰出贡献,深获各界的肯定。顺带一提的是去年整个AI数据中心的市场规模是2,600亿美元,扣掉建筑、机房地硬件设施,以及半导体中的存储器,其核心的半导体如CPU、GPU、switch ICs等就达到820亿美元的市场规模,这其中有相当的一部分是进了护国神山的口袋。
会场上也观察到几件耐人寻味的事,众所周知云端服务的系统业者都希望能有定制化自研的xPU,导致几家SoC的大型公司如博通(Broadcom)、迈威尔(Marvell)、以及联发科,都开始客户端ASIC的设计服务。基于小芯片(chiplet)未来会扮演愈来愈重要的角色,SoC公司因为熟捻于供应链中的晶圆代工、EDA设计软件、封装测试等环节,未来也有可能增加提供小芯片的设计服务的事业。而ARM正挺身而出,想要建构此一生态系。
目前的AI数据中心几乎是NVIDIA一个人的武林,NVIDIA有GPU、CPU、ASIC,负责scale up传输的NV link,以及 scale out传输的Infiniband,更可怕的还有CUDA的软件作业平台,以及能作为超级电脑的系统架构。NVIDIA做了上下游缜密的整合。其他公司所组成的复仇者联盟,对应的有不同品牌的xPU,负责传输的PCIe、UA link、Ultra Ethernet等。这就如同苹果(Apple)手机与Android系统的差别,再怎麽样苹果自成一格的手机,总是比其他各家使用上来的流畅,且不容易当机。
延伸报导ARM来势汹汹 英特尔与超微携手x86化敌为友
天下武功,唯快不破。NVIDIA对应着铺天盖地天兵天将的来袭,策略就是一年一个新机种,让竞争者疲于奔命。然而800磅的大猩猩每年要脱胎换骨一次,就必须要具备强有力的指挥系统,这就难怪NVIDIACEO黄仁勳得有40多人直接跟他报告了。
曾任中央大学电机系教授及系主任,后担任工研院电子光电所副所长及所长,2013年起投身产业界,曾担任汉民科技策略长、汉磊科技总经理及汉磊投资控股公司CEO。