智能应用 影音

Mellanox网络运算技术成为解决数据中心网络瓶颈的关键

2019/06/27 - 尤嘉禾

迈伦科技(Mellanox)一开始也和传统端到端网络产品供应商一样,透过传统网络技术从网络层面来开发产品。「经过一番转型,Mellanox特别推出『网络运算』(In-Network Computing)的新概念与新技术,」Mellanox亚太区市场开发高级总监宋庆春表示。

传统数据中心、AI中心或高效能运算中心(HPC Center)在谈到网络与CPU时,多半只会透过前者进行数据或应用的沟通,后者则进行运算,但在这种传统思维下的基础架构都遇到了瓶颈。也就是当所有数据移动到某特定CPU或特定服务器上运算时,就会导致网络及CPU效能出现瓶颈。

以往解决之道就只是透过增加CPU/核心数量与时脉,或提升网络速度等方式,但最终仍无法有效解决效能瓶颈的问题。尤其当CPU/核心数愈多时,愈会出现I/O及网络通讯上的瓶颈。这个瓶颈最常出现在以AllReduce演算法进行深度学习训练的模型上,因为当所有深度学习运算结果都需送到某颗CPU/GPU上进行结果的平均与聚合(Aggregation),然后再将参数送回到所有正在运算的GPU/CPU上去,就会形成多对一通讯,进而造成更严重的网络瓶颈。

为了解决这类问题,整个业界开始从传统的CPU-Centric思维逐渐转移到愈来愈火热的以数据为中心(Data-Centric)概念。宋庆春强调指出,该概念的主要目的就在探讨如何将原本的CPU导向主张,逐渐移转成Data/HPC/AI Center上任何节点都可以运算的新思维,亦即不论网络或储存都可变成运算的一部分。

透过Mellanox网络运算技术,便可将一些运算放到网卡、InfiniBand HCA卡或效能更佳的交换器上,如此一来,最终运算就能分散到数据中心任一地方,网络瓶颈问题便能迎刃而解。面对AllReduce演算法模型训练,若要将其放到网络交换器上进行运算,那麽就非需要一台会计算的交换器才行。

Mellanox最高等级、最高速的交换器便可支持40埠(每埠200G)一共8TB的带宽效能,其可将同时传上来的数据经运算后让整个数据量变小再往外送,进而消除了可能引起的网络瓶颈。值得一提的,Mellanox可确保上述运算不会牺牲掉网络效能,例如现在有40埠同时以200G速度传送数据,即在做数据运算时也能保证任何传输埠都不会有降速度的状况发生。「由此可见,Mellanox新推的网络运算技术,对今后DC/AI/HPC Center而言会是非常关键的技术,」宋庆春强调指出。

总之,网络运算技术是未来解决数据中心网络瓶颈的关键技术,以往交换器只会检视数据表头(Header),透过网络运算技术,除了表头外,还会对数据封包负载(Payload)与通讯埠做真正的运算。

再者,数据中心难免会有某链路故障的状况出现,以往都是透过管理软件来更正新的路由路径,但其效能很差,可能会造成延迟敏感度极高的应用程序停摆。Mellanox SHIELD技术对此改由交换器硬件自动找寻新路径来取代,其效率甚至比管理软件快上5,000倍,如此以来就不会对像是深度学习等关键应用造成影响。

最后,当数据中心规模愈来愈大时,想要快速将某问题定位出来绝对是项挑战。Mellanox透过遥测技术可在1秒内做到上百万次的取样,再搭配WJH(Work Just Happen)技术,便能协助管理人员快速找出问题所在。

宋庆春指出,台湾一直是Mellanox一块非常重要市场,尽管台湾市场规模不大,但台湾支持国际市场的重要半导体及各种硬件基地,Mellanox在台有专门支持ODM的专属工程师。举凡广达、纬颖、富士康等公司旗下许多产品线,例如IC或Mezzanine卡都将Mellanox网络技术纳入设计之中,今后使用者便可在这些产品中享受到该技术带来的好处。

如欲了解更多Mellanox网络运算技术,欢迎报名参加7/11(四)2019云端大数据论坛,宋庆春将发表「网络计算释放数据的力量」专题演说,还有机会抽中「Nintendao任天堂Switch」或「小豹AI音箱」,活动完全免费,详情请见活动网站


图说:Mellanox亚太区市场开发高级总监宋庆春。