突破运算成本高门槛 群联aiDAPTIV+加速生成式AI平民化

群联电子CEO潘健成表示「aiDAPTIV+推动生成式AI走向平民化，让AI应用就好像电脑一样普及，是群联电子的终极目标!」。群联电子

生成式AI浪潮兴起，带动新一波企业AI应用需求，然而AI服务器动辄要价新台币上千万元，却不是每一家企业都能负担得起的价格。为免昂贵的硬件成本延缓企业导入生成式AI应用的脚步，日前在台湾年度最大AI博览会「AI EXPO Taiwan 2024」上，群联电子CEO潘健成特别分享，如何应用自家最新AI解决方案aiDAPTIV+克服AI运算成本高的挑战，实现生成式AI平民化、普及化的目标。

运算成本过高，延缓生成式AI发展速度

「2023年上半ChatGPT风潮初起时，群联电子就在评估是否要导入生成式AI应用，但当时估算下来的硬件成本至少要200万美元，」潘健成表示，庞大的投资金额让群联电子暂缓GenAI投资脚步，也意识到运算成本过高将成为企业导入生成式AI应用的门槛。

于是，群联电子重新检视AI服务器架构，寻找可以降低成本的方法。在AI服务器中，图形处理器（GPU）和HBM是两个重要关键，GPU决定服务器的运算能力，HBM则决定这台伺服可以执行哪一种参数规模的AI模型，通常参数规模越大，对HBM的需求也就越大，价格也跟着越高，而这也是生成式AI运算成本居高不下的主要原因，因为大型语言模型（LLM）对GPU和HBM的需求大，成本自然相当高。

为此，群联电子尝试将SSD作为HBM使用的可能性，经过不断研发与努力下，最终成功开发出aiDAPTIV+。aiDAPTIV+是一套整合硬件与软件的AI解决方案，内含经过特殊专利设计的AI100 M.2固态硬盘（SSD）解决方案aiDAPTIVCache，具备群联独家技术以延长SSD寿命的特性，及群联电子自行开发的中介软件（MiddleWare）aiDAPTIVLink，可在AI服务器或工作站（Workstation）中扮演高带宽存储器（HBM）的角色，有效降低硬件成本。

aiDAPTIV+两大助益：降低成本、免除云端训练和微调的网安疑虑

潘健成进一步以阳明交大教授研发的台客语TAIDE大语言模型和研华AI工作站AIR-520为例，说明aiDAPTIV+对降低生成式AI运算成本的帮助。

台客语TAIDE大语言模型研究仅使用了8片辉达A6000的RTX显示卡及2片群联AI100，就能微调训练Llama 2或Llama 3 70B模型，而且整体服务器硬件成本仅约新台币150万元，但若不使用aiDAPTIV+解决方案，以传统GPU和HBM架构来估算硬件成本的话则需约5,000~6,000万台币。这也就是说，企业使用aiDAPTIV+架构AI服务器，只要传统硬件架构40分之1的成本，就能在地端微调训练（Fine-tuning）大型语言模型、省下数千万元的运算成本。

此外，研华运用aiDAPTIV+打造的AI工作站AIR-520，只要一台设备就能满足Llama 2 70B模型的微调运算算力需求，但若不使用aiDAPTIV+解决方案，每一台设备最高只能运算48亿个（4.8B）参数的AI模型，且需要30台设备才能运算Llama 2 70B模型。由此可知，研华透过aiDAPTIV+提高设备算力，相对也能协助企业客户降低导入AI应用的运算成本。

除了降低成本门槛外，群联电子aiDAPTIV+解决方案也解决了企业将数据上传至云端进行AI模型训练或微调（Fine-Tuning）的网安疑虑。

目前各大云平台或科技大厂皆有开发大型语言模型，企业在导入生成式AI应用时，多半会使用现成LLM进行训练或微调，使LLM推论出来的答案更贴近实际应用需求，但将数据上传至云端，免不了担忧数据外泄风险，而企业如果自行建构地端AI服务器进行模型训练或微调又有硬件运算成本太高的门槛，群联aiDAPTIV+解决方案恰好能同时解决这两个问题，让企业能够负担得起在地端进行训练或微调的成本，而且不必担心数据上传云端的风险。

放眼全球，以生态圈力量抢攻生成式AI商机

虽然aiDAPTIV+解决方案降低了成本、克服生成式AI应用的进入门槛，但在推动生成式AI应用上其实还有另外一个挑战，许多企业不知道如何运用AI，因此，群联电子进一步携手系统整合商、信息服务商、新创团队等不同领域的合作夥伴组成生态圈，同时还举办开发者大会、与学界合作进行生成式AI应用研究等，透过各种方式来整合各界力量，共同推动生成式AI应用的发展。

在群联电子积极推动下，于6月登场的COMPUTEX 2024，已有超过10家以上合作夥伴展示aiDAPTIV+相关解决方案。此外，群联电子亦累积超过100个以上的POC成功案例，涵盖律师、法官、会计师、工程师、建筑师、政府机关、医师、教师、分析师及科学家等不同领域，几乎各行各业都可以透过AI协助减轻工作负担。

举例来说，某专利事务所原本希望透过生成式AI来协助摘要过往的专利数据、提高同仁阅读历史数据的效率，但却面临地端AI服务器硬件设备成本过高的问题，而导入群联aiDAPTIV+方案后才突破AI模型跑不动的窘境。另外，群联电子也应用自家解决方案aiDAPTIV+，发展出文件生成机器人、智能AI助理及高效程序帮手3个生成式AI应用，供群联内部同仁使用。

「推动生成式AI走向平民化，让AI应用就好像电脑一样普及，是群联电子的终极目标!」潘健成强调，群联电子希望透过aiDAPTIV+技术方案让拥有各种敏感数据的企业、学校、公部门等，也能具备AI模型的地端微调训练能力，让企业能各自打造自己的地端生成式AI应用，而且不只聚焦台湾市场，群联已经积极走向国际，集结aiDAPTIV+生态圈夥伴的力量快速渗透到全球各个市场，创造更大商机。