研华携手群联电子 打造更便利的AI模型微调解决方案

研华科技携手群联电子，打造更便利的AI模型微调解决方案。研华科技

生成式人工智能（Generative AI；GenAI）的出现已让 AI 助手在各个领域广泛使用，包括制造业、商业环境、教育、医疗保健、法律和会计领域、银行业。许多新的 AI 应用正在逐步出现。认识到这一趋势，全球边缘运算领导厂研华科技宣布与 NAND 控制器和 NAND 存储解决方案领先供应商群联合作，共同推出专为边缘和工业应用量身定制的 GenAI 解决方案。整合现今AI应用做设计，让企业导入AI可以省下大量成本，同时有更好的效能。

现今的AI 服务器以GPU来进行AI运算，而GPU模块卡上的HBM存储器（High Bandwidth Memory）容量则是影响整体AI运算效能以及AI模型参数大小的关键。群联的aiDAPTIV+对AI模型运算进行架构的调整，通过其独家的专利SSD技术整合GPU卡上的HBM存储器，并将大型AI模型进行结构性拆分后，与SSD协同运行，使得在有限的GPU与DRAM资源下也能够训练大型的AI模型；更重要的是，群联的aiDAPTIV+方案完整兼容于现今市场上的所有主流的AI运算架构与GPU卡。

换言之，经过aiDAPTIV+架构调整后可以大幅降低AI基础建设的硬件成本，并同时提高运算效率，并且在相同的AI模型微调训练运算条件下，所需的整体电力较少，也符合当前减少能源消耗和碳足迹的环保趋势。

以拥有700亿个参数量的Llama2为例，仅需采用8颗辉达A6000的RTX显卡驱动，搭配微调运算，中文AI模型的精准率可达92%，甚至台语、客语也都超过85%的精准率。进行成本则约落在150万新台币。这与动辄就需要千万甚至上亿的费用的解决方案相比，有助于AI的普及。效能上，平均也可以提升1.13倍

硬件的部分，SKY-602E3塔型服务器，搭载AMD EPYC 8004 系列处理器，支持 4 个 PCIe 5.0 x16 双槽全高/10.5寸 卡片，并可搭载2 个M.2 2280 PCIe 5.0 SSD，可以支持四张GPU卡与两张Phison aiDAPTIV+ SSD 达成群联的aiDAPTIV+ AI运算架构的最佳化。SKY-602E3在设计ｓ也适用于多种环境，可安装于桌面以便于存取，也可以安装在墙面上以节省空间，或者有效地利用两个单位装入4U机架空间，展示其卓越的空间效率。这种适应性使得SKY-602E3成为各种AI领域操作环境的理想选择。

HPC-7420+ASMB-807工业级服务器，搭载Intel Xeon W系列处理器，DDR5 5600 MHz RDIMM，可支持3 槽PCIe 5.0 x16、1槽 PCIe 5.0 x8、2槽PCIe 4.0 x4，处理器最高更是可支持到Intel最高规格385W。搭配HPC-7420机箱，可于最佳解热效能的环境下进行AI AOI的应用，协助工厂端产线效率提升，更精准的识别产在线的各类瑕疵。

欲了解更多研华服务器解决方案，请造访官方网站