建构主权AI基础设施 GMI Cloud与WEKA化解产业痛点提升运算体验

Fred表示，随着AI逐步成为企业核心生产力工具，企业导入AI已不只是模型选择问题，而是如何掌握数据、算力与模型主权。GMI Cloud

当生成式AI深入营运，企业面临的挑战已不再只是模型能力，而是后端基础建设能否承接快速成长的运算需求。

「当AI服务突然不能用的那一刻，我才真正意识到，生产力其实已经建立在算力之上。」GMI Cloud前端技术总监Fred Jhang坦言，自己曾因常用AI工具遭遇流量限制而被迫中断工作。他指出，当企业愈来愈依赖AI协助开发、客服或知识管理，基础设施的重要性也正快速提升。

根据观察，单一模型的Token需求在过去25个月内成长约330倍，随着AI从大型语言模型逐步走向推理与自主代理阶段，企业对算力、存储与数据管理的需求也同步升高。

企业AI走向关键应用  主权成为新竞争力

为协助企业因应AI落地挑战，GMI Cloud携手WEKA，透过软硬件整合打造企业级AI基础设施。「企业真正的风险已不只是模型够不够强，而是核心能力是否掌握在自己手上。」Fred表示，许多企业目前仍高度依赖外部AI服务，但实际上正面临三项风险。首先是数据与法遵问题，企业将客户数据与商业机密上传至海外服务时，可能涉及跨境传输与个资管理要求；其次是服务可用性风险，一旦模型供应商发生异常，企业应用也可能被迫停摆；最后则是供应商绑定风险，当模型价格调整、服务下架或版本变动时，既有Prompt与Agent流程往往需要重新设计。

因此，GMI Cloud主张企业应逐步掌握数据主权、算力主权与模型主权。Fred指出，主权AI谈的并不只是自建模型，而是企业是否能掌握从数据、算力到AI服务的关键控制权，避免核心营运能力完全建立在外部供应商之上。

为此，GMI Cloud正于桃园龟山建置A1 Factory数据中心，规划导入约7000颗NVIDIA GB300 GPU，提供企业在数据不离境前提下的AI运算环境。Fred指出，当AI逐渐成为企业核心营运能力，算力与数据基础设施的重要性将如同ERP与数据中心一般，成为企业长期竞争力的一部分。

AI推论时代来临  传统存储架构面临新瓶颈

然而，当越来越多企业开始建立自己的AI环境，甚至追求数据、算力与模型的自主掌控后，存储架构的重要性也被重新放大。

WEKA亚太区资深技术顾问吴岱侑观察，AI工作负载正快速从训练导向转向推论导向。「训练时代追求的是吞吐量，但推论时代追求的是反应速度。」他指出，企业今天在意的已不再只是能处理多少数据，而是能否在最短时间内取得答案。若以传统存储架构处理高度碎片化的推论需求，容易形成新的效能瓶颈。

他以物流运输为例说明，AI训练如同大型货车搬运整柜货物，追求的是吞吐量；推论则更像摩托车快递配送单件商品，讲求实时反应速度。「如果用拖运货柜的方式来送一瓶酒，效率一定不会好。」吴岱侑说，当工作负载型态改变，底层架构也必须跟着改变。

为此，WEKA推出NeuralMesh软件定义存储架构，透过弹性扩展与智能化数据调度，让数据、运算与AI服务能跨环境整合运作，并提升GPU资源利用率。吴岱侑表示，企业不应再被迫在效能、成本与弹性之间做选择，而是需要能随AI工作负载变化动态调整的基础架构。

从GPU到Agent  打造主权AI基础设施

在双方合作架构中，GMI Cloud负责GPU调度、模型服务与Agent应用平台；WEKA则提供高效能存储与数据管理机制，共同建构全栈式AI平台。「企业导入AI最大的挑战，从来不是模型，而是如何让模型稳定、安全地进入正式营运环境。」Fred指出，随着AI工作负载持续成长，未来竞争焦点也将从模型能力逐步延伸至算力、数据与存储架构的整体整合能力，而企业能否掌握自己的数据、算力与模型能力，也将成为主权AI时代的重要竞争门槛。

透过双方合作，企业不仅能降低AI基础设施建置与维运复杂度，也能兼顾效能、治理与数据安全，加速AI从实验走向营运。