研华携手群联电子 打造更便利的AI模型微调解决方案 智能应用 影音
Microchip
Event

研华携手群联电子 打造更便利的AI模型微调解决方案

  • 林稼弘台北

研华科技携手群联电子,打造更便利的AI模型微调解决方案。研华科技
研华科技携手群联电子,打造更便利的AI模型微调解决方案。研华科技

生成式人工智能(Generative AI;GenAI)的出现已让 AI 助手在各个领域广泛使用,包括制造业、商业环境、教育、医疗保健、法律和会计领域、银行业。许多新的 AI 应用正在逐步出现。认识到这一趋势,全球边缘运算领导厂研华科技宣布与 NAND 控制器和 NAND 存储解决方案领先供应商群联合作,共同推出专为边缘和工业应用量身定制的 GenAI 解决方案。整合现今AI应用做设计,让企业导入AI可以省下大量成本,同时有更好的效能。

现今的AI 服务器以GPU来进行AI运算,而GPU模块卡上的HBM存储器(High Bandwidth Memory)容量则是影响整体AI运算效能以及AI模型参数大小的关键。群联的aiDAPTIV+对AI模型运算进行架构的调整,通过其独家的专利SSD技术整合GPU卡上的HBM存储器,并将大型AI模型进行结构性拆分后,与SSD协同运行,使得在有限的GPU与DRAM资源下也能够训练大型的AI模型;更重要的是,群联的aiDAPTIV+方案完整兼容于现今市场上的所有主流的AI运算架构与GPU卡。

换言之,经过aiDAPTIV+架构调整后可以大幅降低AI基础建设的硬件成本,并同时提高运算效率,并且在相同的AI模型微调训练运算条件下,所需的整体电力较少,也符合当前减少能源消耗和碳足迹的环保趋势。

以拥有700亿个参数量的Llama2为例,仅需采用8颗辉达A6000的RTX显卡驱动,搭配微调运算,中文AI模型的精准率可达92%,甚至台语、客语也都超过85%的精准率。进行成本则约落在150万新台币。这与动辄就需要千万甚至上亿的费用的解决方案相比,有助于AI的普及。效能上,平均也可以提升1.13倍

硬件的部分,SKY-602E3塔型服务器,搭载AMD EPYC 8004 系列处理器,支持 4 个 PCIe 5.0 x16 双槽全高/10.5寸 卡片,并可搭载2 个M.2 2280 PCIe 5.0 SSD,可以支持四张GPU卡与两张Phison aiDAPTIV+ SSD 达成群联的aiDAPTIV+ AI运算架构的最佳化。SKY-602E3在设计s也适用于多种环境,可安装于桌面以便于存取,也可以安装在墙面上以节省空间,或者有效地利用两个单位装入4U机架空间,展示其卓越的空间效率。这种适应性使得SKY-602E3成为各种AI领域操作环境的理想选择。

HPC-7420+ASMB-807工业级服务器,搭载Intel Xeon W系列处理器,DDR5 5600 MHz RDIMM,可支持3 槽PCIe 5.0 x16、1槽 PCIe 5.0 x8、2槽PCIe 4.0 x4,处理器最高更是可支持到Intel最高规格385W。搭配HPC-7420机箱,可于最佳解热效能的环境下进行AI AOI的应用,协助工厂端产线效率提升,更精准的识别产在线的各类瑕疵。

欲了解更多研华服务器解决方案,请造访官方网站

 

关键字
商情专辑-COMPUTEX 2024