AI、5G催生CXL技术需求,已成产业界唯一界面标准 智能应用 影音
hotspot
Event

AI、5G催生CXL技术需求,已成产业界唯一界面标准

  • 陈其璐台北

CXL(Compute Express Link)在数据中心与服务器领域已然成为重要的标准界面,尽管该技术出现的时间不到五年,但已经获得了许多芯片、服务器乃至于云端服务供应业者的青睐,纷纷加入此一阵营。有监于此,存储器模块业者SMART Modular特别就CXL举办研讨会,邀集重要合作伙伴,一同探讨CXL的技术的特色与未来发展。

SMART Modular亚太区业务开发总监洪纲懋于开场致词时表示,此次SMART Modular针对趋势、平台、产品、软件与硬件等五个面向,各自邀请相关的讲师来分享他们的看法,借此全面性地了解CXL的未来发展。

就趋势面,SMART Modular特别邀请前DIGITIMES总监黄建智分享,现今产业趋势为何会带动CXL的发展。由于AI与EDGE的发展,加上5G的基础建设的普及,所以让整体的网络速度与带宽都有相当幅度的成长,这带动了服务器的设计在存储器容量的需求大幅增加,基于这样的背景,在既有的服务器系统架构的限制下,要扩充存储器的带宽与容量的难度其实相当高,也因此在Intel的主导下,才进一步衍生出CXL的技术。

所以此次也特别邀请到Intel来探讨,如何透过CXL来达成存储器相关的技术概念。此外,SMART Modular也不免俗地提到,自家产品在CXL领域的进展,以及MSI(微星科技)与H3 Platform 创义达科技,就各自所长来分享对CXL技术的想法。

洪纲懋也特别指出,2023年除了是SMART Modular推出CXL的产品线之外,2023年也是在台湾的第十年,希望未来十年可以跟台湾客户与伙伴有更多的配合。

SMART Modular世迈科技APAC Business Development Director 洪纲懋。DIGITIMES摄

SMART Modular世迈科技APAC Business Development Director 洪纲懋。DIGITIMES

AI与5G互相加乘,CXL将扮关键要角

前DIGITIMES Research总监黄建智则是跳脱出CXL的技术范畴,以AI与5G的发展动向,做为CXL技术后续发展的重要基础。黄建智指出,过去在云端与数据中心会被赋予机器学习与模型训练的重任,但随着5G的普及与边缘运算的布署,也可以开始具备不同效能等级的模型训练能力,借此与云端与数据中心互补,但另一方面,不论是边缘运算或是终端,仍然可以进行实时推论的工作,借此达到分散式运算的目标。

他也特别强调,5G与AI彼此之间是可以加乘发展的,5G本就可以提供更为广泛的连结性,那AI本身也扮演各类创新应用的重要角色,尤其是从5G到6G的发展,也需要AI技术的奥援,而就AI形式的发展上,已经不再是云端与数据中心特别着墨于模型训练与推论,终端仅聚焦推论的作法,而是在边缘运算与终端应用也能具备模型训练的能力。所以不论是云端、边缘运算乃至于终端,这三类运算场景所要处理的AI工作,会齐头并进发展。

黄建智认为,在AI与5G的推波助澜之下,加速了社群网络、健康照护、制造与智能城市等各类垂直应用的发展,数据量将会呈现暴炸性的成长,对于硬件系统的压力测试会愈来愈重要,数据的存取与移动会更加的频繁,对于云端服务业者来说,他们想看到的,不外乎可以立即看到分析的结果乃至于洞见等,而CXL技术可以做到传输带宽的提升、存储器池的管理、跨主机管理,虽然只是从存储器的面向切入,但CXL的采用,某程度也可以视为打通硬件系统的「任督二脉」的作法,对于AI与5G的发展将发挥相当重要的作用。

前DIGITIMES Research总监 黄建智。DIGITIMES摄

前DIGITIMES Research总监 黄建智。DIGITIMES

Intel以渐进式作法,将OPTANE转向CXL

Intel(英特尔)台湾分公司商用业务总监郑智成则是谈到,CXL是Intel在2019年,找来许多业界的合作伙伴一同倡议的技术标准。在此之前,其实已有不少联盟或是组织想做类似的工作,例如GEN Z、CCIX,这些都是想解决如何共享运算资源,例如存储器、FPGA与ASIC等,但这些联盟所推广的成果仍有不少努力的空间,但Intel在2019年推动CXL,Intel观察到有更多的合作伙伴一起加入,业界普遍认为这样的技术一定会成功,并解决运算资源共享的问题,究其原因在于,前面所提到的组织与标准,后来也都加入了CXL,那麽既然如此,CXL的成功相信只是时间早晚的问题。

郑智成进一步谈到,当业界都加入CXL阵营后,大家就会统一用相同的标准推动其发展,就好比当时的USB与PCIe等,而CXL也会依循前例,持续发展其规格,目前Intel已经以PCIe Gen5为基础,推出CXL1.1的版本. 但事实上,CXL的规格早已发展出CXL 3.0的规格,换言之,相关的模块业者已经可以开发出向前与向后兼容的产品供业者使用,以SMART Modular为例,该公司就已经推出CXL 2.0的产品并开始支持交换器(Switch),而事实上,台湾本就是OEM与ODM的重镇,产品当然是向全世界销售,而基于CXL的向前与向后兼容的特性,也不会面临没有客户销售的窘境。

而Intel过去就有类似的产品线扮演其角色,就是业界所熟知的OPTANE,不过Intel在去年便宣布要将OPTANE往CXL移转,这种作法其实就是希望能让业界享有更多CXL的好处,但郑智成也强调,现阶段OPTANE仍会持续供应给既有的客户,所以客户也无需担心供货上的问题,但CXL毕竟是业界标准,Intel也将会协助业界慢慢将OPTANE向CXL移转。

Intel美商英特尔台湾分公司商用业务总监 郑智成。DIGITIMES摄

Intel美商英特尔台湾分公司商用业务总监 郑智成。DIGITIMES

SMART Modular打造完整模块产品线,为客户提供高性价比方案

SMART Modular亚太区产品经理许哲铭则是延续前面所提,进一步就存储器扩充的概念,分享SMART Modular在CXL相关的解决方案有哪些。一般而言,就CXL所能呈现的硬件架构,大致上可以分为三种,一是以Smart NIC与加速卡的产品加以导入,第二种则是以加速卡亦是加速芯片加上存储器快取功能,第三种则是聚焦存储器扩充的模块方案。

而SMART Modular主要就是聚焦于第三种模式。许哲铭指出,由于AI快速成长带动算力提升,但过去的发展仅限于CPU与GPU等的算力,完全忽略了存储器的重要性,传统上的作法是一颗CPU只能搭配16条DIMM(Dual In-line Memory Module;双线存储器模块),在这样的限制下,即便增加存储器容量,其增加的成本很有可能达到五倍以上,但即便是存储器增加,但也可能造成存储器资源闲置的问题,基于这麽多先天所存在的问题,CXL能够一次性地有效解决。

许哲铭表示,在既有的系统架构的局限下,仅能透过CXL界面来进行存储器扩充,采取的作法不外乎是用AICs(Add-in-Cards)与XMM(CXL Memory Expansion) E3.S的作法来处理,基本上就可以做到成本效率的存储器扩充目标。他也提到,过去若是采用128GB DDR5 RDIMM的设计,成本就高达8,800美元,但改采64GB DDR5 RDIMM加上同样拥有64GB DDR5的CXL AIC,成本可大幅下降40%。

而SMART Modular的产品线除了有E3.S、NV(非挥发性存储器) E3.S与AICs外,另外,由于SMART Modular在存储器市场拥有三十多年的经验,所以也能协助客户提供定制化产品。而在产品蓝图的部份,目前SMART Modular已经推出 E3.S与AICs的产品线,AICs预计最快会在八月份提供样品供客户测试,将搭载八组DDR5规格的DIMM,透过两颗ASIC来进行控制,在2024年预计也会有新款的AICs推出。

SMART Modular世迈科技亚太区产品经理 许哲铭。DIGITIMES摄

SMART Modular世迈科技亚太区产品经理 许哲铭。DIGITIMES

因应未来需求,CXL或将带来服务器系统设计革命

MSI(微星科技)资深经理杨弘光则是以系统业者的视角,来探讨系统业者如何使用CXL这个技术,杨弘光直言,不管CXL硬件架构是属于哪种型态,终归来说,关键因素仍在存储器跟快取上,如何使用才是核心关键。

依其排列组合的不同,才会进一步衍生出三种不同的硬件架构。而依照目前业界对于CXL 3.0版本的规划,会引进Multi Switch的概念,让数据中心各个CPU与存储器节点可以彼此连结。但事实上,CXL 3.0版本早在2022上半年就已经确定,除了Multi Switch的导入,也涵盖了存储器资源分享相关的技术。

所以也可以想见,单以CXL 2.0与3.0在数据中心的设计架构上,就会有明显的不同,CXL 2.0的概念,还是强调存储器池对各个CPU进行存储器资源的撷取,但进入CXL 3.0,则是利用Multi Switch技术来连结更多的存储器池(Memory Pool),当然这也端视整体系统设计是否需要存储器的资源扩充,亦或是直接对外撷取存储器池的资源即可,宏观而言,仍端视需求而定。

不过杨弘光也表示,从数据中心的视角来看,过去服务器系统的设计概念,因应当时的需求,衍生出如PCIe与以太网络等技术来解决数据传递的概念,想当然尔,现今的技术因应未来的发展,也不见得是最适当的技术。但目前业界已经有统一的协定出现,未来有没有可能就CPU、GPU、存储器资源、储存与加速运算等,各自拆分成不同的单元,透过统一的协定来彼此沟通,让资源可以做到更好的分配。

MSI微星科技资深经理 杨弘光。DIGITIMES摄

MSI微星科技资深经理 杨弘光。DIGITIMES

H3 Platform 创义达科技CEO潘淮阳表示,过去云端服务业者发现,存储器资源的使用效率不彰,成为相当重要的课题,但他也认为重点不在存储器的购买成本,所以存储器的采购还是会增加,关键还是在使用效率上要如何能够优化。而CXL要解决的,其实是300ns(毫秒)以下的应用场景,而以太网络则是要处理5到10ms(微秒),所以两种技术各有各自的应用情境可以发挥。

另一方面,潘淮阳也谈到,传统在机柜所安装的服务器系统彼此之间可能是透过PCIe或是CXL互连,但如果将这些服务器重新调整为可重组的节点,并且让存储器模块可以在系统的运作下,仍可以完成热插拔操作,软件环境与韧体等,必须维持稳定,且不可有任何变动。

H3 Platform创义达科技CEO 潘淮阳。DIGITIMES摄

H3 Platform创义达科技CEO 潘淮阳。DIGITIMES

宏观来看,CXL在Intel与SMART Modular等业者的推动下,经过这几年的发展,已是存储器扩充与妥善分配存储器资源的重要界面标准,随着AI与5G的持续发展下,CXL在数据中心与服务器的能见度也将愈来愈高,而台湾又是全球服务器的研发与代工重镇,CXL应能在众多业者的推波助澜下,成为不可或缺的重要拼图。