AI服务器架构进化 支撑地端算力稳定落地

DIGITIMES董事长黄钦勇。DIGITIMES摄

AI Agent与地端推论加速进入企业核心流程，高科技制造对实时运算、数据安全与稳定维运的需求同步升高；千瓦级芯片与高密度机柜，也使供电、液冷、网络传输及安全验证成为AI基础设施落地必须面对的课题。为协助台湾业者掌握地端算力的建置与维运方向，DIGITIMES举办「2026 AI服务器论坛」，邀请产学研专家解析企业AI、主权AI、数据治理、机柜整合、电力散热与测试验证等议题。

推论经济驱动算力投资  企业AI加速落地

AI算力竞赛正改变科技业的资本配置与获利结构，存储器也成为投资重心。DIGITIMES董事长黄钦勇指出，全球万亿美元科技巨头总市值已达28.9万亿美元，前15大科技公司资本支出占获利比重预估将超过100%，存储器占比也由14.4%升至37%以上。

台湾凭藉台积电与完整供应链，上市电子公司2025年营收达1.18万亿美元，外资持股接近五成。黄钦勇认为，全球正进入以Token、AI Agent及自动化决策为基础的「推论经济」，企业与个人应调整企划方法与决策架构，以因应AI带来的工作模式变化。

企业AI部署已由单机服务器扩大至机柜与丛集层级，算力竞争也延伸至网络互连、软件生态与系统整合。AMD业务总监Sean Chiu表示，大模型训练算力需求过去每年约成长4倍，近两年推论需求更大增100倍，显示AI正加速进入企业应用。专用模型增加也带动FP4、FP8等低精度运算，可降低存储器占用与功耗；部分企业应用采用CPU即可兼顾效能与成本，GPU则负责高密度运算。

AMD目前以EPYC CPU、Instinct GPU、Pensando DPU及Helios机柜方案建构完整架构，并推动Ultra Ethernet与UALink，提高丛集及跨机柜的数据传输效率。透过并购ZT Systems，AMD也补足机柜设计、组装与系统整合能力，缩短客户产品上市时间。软件方面，ROCm支持PyTorch、Hugging Face等主流框架，Enterprise AI Suite则涵盖模型微调、资源管理及网安防护。Chiu指出，台湾具备完整的ICT与ODM生态系，仍是国际大厂扩建AI基础设施的重要夥伴，ODM业者也持续扩大全球制造布局，以支持AI Agent、机器人与工业自动化应用。

生成式AI进入企业流程后，算力投资的评估标准正转向Token产出效率，企业更在意每秒、每瓦与每美元能生成多少Token。华硕服务器事业群资深经理Joseph Lu指出，AI Agent可提升程序开发、专案管理与除错效率，也可能推高硬件与云端API支出，因此企业须妥善调度地端私有模型与云端大型模型。

华硕采取混合式架构，依工作负载配置云地资源，同时确保数据不离开场域、不留存在云端。其AI Factory涵盖运算、网络、存储及基础设施，整合边缘装置、推论与训练服务器、GPU互连、KV Cache、冷热数据分层、高功率配电、CDU水冷及环境监控。

华硕也以自有软件平台动态分配GPU资源、监控Token产出效率并管理网安，降低设备闲置。针对缺乏专业人力的区域型云端服务商与中小型数据中心，华硕提供建置模拟、部署扩充及维运优化服务，事前评估水力、电力、功耗与空间条件；相关方案已应用于中东智能城市监控、国防防空及无人机反制系统。

企业投入大量预算采购GPU与建置机房后，AI专案能否产生效益，往往取决于数据品质与治理能力。Everpure技术顾问刘瑞丰表示，全球数据仅约两成是数据库内的结构化数据，其余多为PDF、CAD图档、Word文件及Log档等非结构化数据，也是模型训练与微调的重要素材。

企业数据经常分散于NAS、MES及云端设备，形成数据孤岛，其中还混杂大量重复、过期及低价值的ROT数据，占用存储与运算资源。AI存储架构也须兼顾效能、扩充性与合规风险；传统架构可能使GPU数据吞吐利用率仅约4成，业者可透过GPUDirect Storage、S3物件存储与RDMA等技术提高存取效率，支持PB级部署。若未先识别个资与商业机密，数据也可能在AI互动中外泄。

Everpure于2026年2月由Pure Storage更名，并藉由1touch.io技术强化数据探索、敏感数据分类及血缘分析。刘瑞丰强调，企业须具备发现、理解、分类及追踪数据脉络的「数据就绪度」，才能将算力投资转化为可用的AI服务。

AI服务器单柜功耗突破百kW后，既有机房的配电、散热与空间都面临压力，旧厂房升级还须控制停机风险。东元电机技术长饶达仁表示，传统服务器机柜功耗约10至20kW，NVIDIA Blackwell NVL72已提高至120至180kW，新一代Vera Rubin机柜更可能超过300kW，大型AI数据中心用电也将达数十MW甚至GW级。为降低多次电力转换损耗，数据中心可采用800V直流供电架构，并透过使用碳化矽元件的固态变压器，将转换效率提高至98.5%。

东元提出模块化数据中心方案，将IT机柜、电力系统与液冷设备整合为预制模块，在工厂完成测试后运抵现场组装，可将建置期由约两年缩短至3至6个月。维运方面，DCIM系统整合能源、IT设备及环境数据，再以AI调控液冷与电力分配，可将PUE控制在1.15至1.2。饶达仁建议，通用运算可使用云端资源，敏感产线、工厂控制及专属算力则部署于地端MDC，兼顾扩充效率与数据安全。

主权AI要形成可持续运作的服务体系，除了国家级算力，还须整合本土模型、开发工具与产业服务。国研院国网中心大语言模型平台服务组技术总监林昀德指出，国网中心在主权AI架构中扮演算力与应用之间的桥梁，整合NVIDIA、AMD、Intel及台湾ASIC、FPGA等异质硬件，串接中研院与TAIDE团队开发的本土模型，再向公部门、学研机构及产业提供算力与模型API。

目前国网中心已部署H200、GB200、MI300及MI325X等运算资源，TWAREN骨干网络也升级至4条400Gbps。其建置的TAIWAN AI RAP平台涵盖RAG、Agent与Platform，提供低程序码流程设计、多模型API、模型微调评估及AI Tribe产业聚落，支持TAIDE、Llama、Phi、YOLOv9与多模态模型。

平台也导入执行追踪、动态权重调整及强化学习方法，兼顾专业任务与通用能力。国网中心将资源集中于概念验证及小规模测试，正式商用后再衔接国内云端与资服业者，协助政府、学研及企业发展专属AI服务。

AI Agent带来大量且难以预测的Token消耗，企业若长期依赖云端API，成本与数据治理压力都会增加。阳明交大人工智能系统检测中心教授陈添福建议，企业应累积自主知识资产，建立符合业务需求的领域专用小语言模型与工具，再依任务难度调度地端、国网中心及公有云算力。

评估架构时除了Token单价，还须考量模型能力、工作负载、硬件利用率及总持有成本；对需求稳定且流量高的企业而言，采购一台8卡H100服务器，约10个月可达到与租用云端服务相当的损益平衡点。

由于Llama、Qwen及DeepSeek等开放模型与闭源模型的效能差距缩小，日常与敏感数据任务可交由地端小模型处理，高难度推论再转至国网中心或公有云。阳明交大开发的MyPDA企业级多Agent平台，可管理地端运算资源并支持类比电路设计等工作，同时记录Agent的规划、执行与修正过程，让决策可追溯、稽核与除错。

AI服务器进入高密度封装与液冷时代后，微米级瑕疵可能造成设备停机与高额损失，品质检测已成为量产良率的重要环节。卡尔蔡司台湾工业量测资深应用服务经理朱绍宇指出，AI服务器采用CoWoS、2.5D/3D封装、高层数厚板PCB、冷却板及高密度连接器，传统人工与目视方式难以掌握内部缺陷。

蔡司运用光学显微与X射线电脑断层扫描进行无损检测，可识别Microbump、矽贯孔及底充胶内部的气泡，并检查冷却板流道中的颗粒、堵塞与加工残渣，以及快拆接头、金属焊道的孔隙与裂纹。针对厚板PCB与NVLink等高密度连接器，系统也能量测通孔、背钻深度、板弯、Pin针位置及共面度。蔡司进一步结合AI影像识别与3D数码双生，自动判定虚焊、连焊、孔隙与裂纹，再将量测结果回馈至SMT、焊接及组装制程，缩短新品导入期间的试错与判读时间。

高密度算力重塑基础设施  系统整合成落地主轴

AI机柜的功率密度与重量快速攀升，既有机房的供电、散热及楼板结构已难以承接新一代设备。技钢科技资深总监林鸿豪提到，单台8-GPU服务器功耗已由H100的13.2kW提高至B200、B300的22kW，GB200整柜功耗约120至140kW，后续Vera Rubin架构可能超过200kW；满载液冷机柜重量也可达1.5至2吨，进场动线与楼板补强都须纳入规划。

供电架构则朝800V高压直流发展，以降低电流、线材尺寸、发热及传输损耗。散热方面，直接液冷可将冷板配置于GPU、CPU、存储器及电压调节模块，带走九成以上热量，并采常温水回路减少冰水主机耗电。针对漏水风险，技钢以快拆接头、管线传感、机柜集水盘及微量漏水传感器建立多层监控，异常时可连动CDU切断压力。技钢的服务已涵盖单机、整机柜、水电网络基础设施及软件调度，协助客户事前完成水、电、散热与承重评估。

AI数据中心加速扩建，高功率设备带来的电击、火灾、弧闪与冷却液外泄风险，也让安全验证须提前进入系统设计。UL Solutions消费医疗暨信息科技事业部首席工程师江志翔表示，单颗GPU热设计功耗突破1,000W，单柜用电提高至100至200kW以上，供电、线缆、断路器及散热系统都须采取更严格的安全规范。高压直流架构可减少电力转换与线路热损，但开关及断路器仍须通过短路电流验证与弧闪防护测试。

液冷系统方面，直接冷板须检验管路与快拆接头的耐压、老化及泄漏风险；浸没式冷却则须评估冷却液的毒性、闪点、介电强度与材料兼容性。预制模块化数据中心出厂前也应完成电气安全、结构承重、防火及散热运转等系统级测试。江志翔强调，在设计初期导入以危害为基础的安全工程，可预先识别物理、热能、电气与化学风险，降低后续修改成本并提高长期运转稳定性。

液冷管路进入AI机柜后，IT设备与机电设施相互牵动，传统IT与厂务分工也难以处理高密度机柜的实时故障。键祥信息工程智能基础架构事业处副理黄莉雅指出，企业自建地端AI机房，除掌握敏感数据与降低延迟，也须自行承担供电、冷却及停机风险。

GB300、NVL72等机柜集中120至200kW以上的电力与热量，当AI负载短时间内由10%升至100%，CDU水泵流量、水温及压差都须实时调整；冰水系统还要同时支持CDU与采气冷的交换器、存储设备。

黄莉雅强调，试运转验证须模拟负载变化、水泵故障、通讯中断及供电异常，确认备援接管及漏液、告警、关阀、断电等跨系统连动。CDU应保留自主控制能力，BAS与DCIM则整合电力、冷却及环控信息。系统还须管控高影响操作权限，并同步各项设备的日志时间，以便事故后还原事件顺序及找出根因。

企业导入AI的重心正由个人问答与内容生成，转向串接数据、系统及标准作业流程的AI Agent。智能方案EgentHub营运长陈旻筠建议，可依TURBO法则优先选择耗时、使用人数多、执行频率高、适合人机协作且容易拆解的任务，在低风险场景累积效益。

EgentHub已将AI Agent应用于文件问答、图面识别、BOM生成、报价比对、出货挑批及销售分析；其中采购单与BOM处理原须2至3天，导入OCR与AI比对后可缩短至1小时，并将结果写入ERP。

陈旻筠表示，企业级AI Agent须结合语言模型、工作流程、知识库与既有系统。EgentHub采用不绑定单一模型的架构，提供矢量检索、Text-to-SQL及全文查找，并透过MCP串接办公软件、ERP与数据库，再以三层权限、操作稽核及加密机制管理数据。企业还须完成流程梳理、数据清洗、提示设计、验测与培训，才能将AI工具转化为可跨部门复制及持续维护的AI SOP。

AI模型规模与推论量同步增加，数据中心竞争已延伸至供电效率、液冷设计及整机柜整合。DIGITIMES分析师邱欣蕙提到，NVIDIA机柜功率预估将由2026年Vera Rubin的200kW，提高至2027年Rubin Ultra的600kW，2028年Feynman架构可能达到1MW，传统气冷与低压供电已难以负荷。

液冷供应链因此快速扩张，涵盖冷板、快接头、分歧管、CDU、RDU及背门式热交换器；NVIDIA采取多家供应、模块共规策略，同时维持核心冷板供应商相对精简。台湾业者凭藉气冷、机构件及制造能力，正扩大液冷零组件布局，竞争重点也转向测试环境、量产精度与跨模块整合。

电力方面，1MW机柜采48V供电时，电流将超过2万安培；改用800V高压直流后可降至1,250安培，减少线材、发热及传输损耗。邱欣蕙表示，美系平台与云端业者正建立液冷及电源生态系，台厂若能整合机柜、供电、散热与制造验证，有机会由零组件供应商提升为系统方案夥伴。