重塑运算核心竞争力 全面解析未来算力新格局
在各方软硬件厂商的投入下,具备高效能运算(HPC)功能的服务器,已然成为各类AI应用,建立起强大发展基础。为协助台湾业者掌握此波智能商机,DForum 2025半导体论坛以HPC为主轴,邀请多位业界专家,深入剖析HPC的最新进展与解决方案。
全球重组浪潮下的技术突围 从主体战略到AI/HPC融合生态布局
DIGITIMES暨IC之音董事长黄钦勇在开场演讲时指出,美国藉由关税政策重构全球供应链,台湾作为资通讯产品重度输美国家,已进入高风险区;同时供应链呈现明显分散化趋势,墨西哥与越南快速崛起,而台湾则保持稳定地位。
面对中美科技竞局,黄钦勇强调,台湾需建构主体意识与自主战略,并以桃园「AI之都」为例,提出「定义、定位、定价」三步骤策略,结合中央补助与地方产业优势,强化数据中心与AI服务器生态系。
展望未来,台湾须面对AI、HPC与Edge三合一的新架构需求,把握半导体市场2024~2025年预估11.2%的成长契机。最终,无论是对外投资或在地布局,都应基于核心价值与主体认知,做出战略选择,勇于承担历史性任务。
半导体产业迈向更紧密整合发展,先进封装技术已成为创新核心。Teradyne SLT Business Development Director of APAC David Wu提到,Chiplet架构普及化带动多芯片设计成为主流,同时业界积极导入散热管理、嵌入式无源元件、背面供电及光电共封等技术,使测试复杂度呈现爆发性成长。
目前测试领域面临三大挑战,包括1.确保Die-to-Die接口品质,涉及UCIe、OpenHBI等新时代传输标准;2.管控静默错误风险,即使99%扫描涵盖率仍无法完全保证系统可靠性;3.多芯片封装良率问题,尤其高端AI/GPU芯片的微小逃漏率可能导致钜额损失。
为此,Teradyne提出FlexTest架构,透过测试可携性让流程弹性移动于各测试阶段,借此早期发现问题降低成本、确保出货品质。透过模块化系统、统一开发平台及AI/ML技术提升测试效率,满足AI、自驾车等高复杂度市场需求。
AI时代带动高效能运算需求爆发性成长,高速互连技术已成为支撑数据中心效能的决定性关键。台湾是德科技资深技术专案经理林昭彦表示,AI驱动下数据中心内部机器对机器通讯流量激增,在互连技术演进方面,产业正从100G迈向200G乃至224G,关键标准如OIF-CEI-224G及IEEE 802.3dj成为技术推动主力,同时带来包括电气测试与光学测试整合等全新挑战。
针对共封光学与矽光子IC,测试重点聚焦于光光测试、电光测试及混合测试三大面向,需整合光源功率、调变效率与高频信号完整性等多维度验证。
随着功耗问题日益严峻,线性驱动光学技术崛起,预期可降低25-50%功耗。是德科技提供完整解决方案,涵盖高频示波器、波形产生器、误码测试仪等平台,助力业界从标准制定到产品落地,加速AI/HPC互连技术的创新与应用。
高效能运算需求日益攀升,云端HPC服务快速成为市场主流解决方案。AWS台湾资深解决方案架构师杨凯智指出,云端HPC已从早期的概念验证阶段迈入正式生产应用,近半数企业已据此重新调整内部策略。
在技术基础方面,AWS透过EC2结合Nitro System提供接近裸机效能的虚拟化平台,并以Elastic Fabric Adapter突破网络延迟瓶颈,支持高效能并行通讯;档案系统方面则提供Amazon FSx for Lustre支持大规模并行存取,并以Amazon File Cache整合S3与NFS功能。
资源管理上,AWS Batch提供全托管自动调度功能,AWS ParallelCluster则支持Slurm等常用排程器,实现一站式迁移本地HPC环境。AWS HPC解决方案核心优势包括无限扩展性、成本效益最佳化、技术先进性及快速上线无需改码等特点,提供企业全方位的高效能运算支持。
AI应用快速普及,企业对AI私有化部署的需求与日俱增,存储技术成为关键突破点。群联电子技术长林纬提到,群联是全球最大独立NAND控制芯片供应商,其存储技术更已应用于NASA火星任务与登月计划,展现极端环境下的高可靠度。
面对生成式AI普及后企业对数据安全与自主可控的高度需求,私有化部署地端AI成为新趋势,DeepSeek-R1、QwQ-32B等案例证明,小型模型亦可达到优异效能。
群联aiDAPTIV+核心技术结合GPU、VRAM、DRAM与NAND快闪存储器,使NAND担任延伸存储器角色,实现10倍成本效益提升,大幅扩展模型处理容量。该技术可应用于模型后训练、推理加速及垂直行业微调,支持多种AI框架与工具链,适合教育场域、制造、金融、医疗等数据敏感产业,推动全民皆可训练AI模型的愿景。
快速成长的AI,导致能源消耗问题日益严峻,CPU架构优化成为降低运算成本的关键战场。ARM Principal FAE Rickie Chang表示,生成式AI能耗惊人,年耗电量已达Google数据中心两倍。AI工作负载中训练仅占15~20%,推论占80~85%,因此低延迟、高实时性成为核心需求。
Neoverse架构从N1至V2系列,FP32效能提升2倍,INT8提升4~5倍,实测显示提示词处理速度从255提升至567 tokens/秒。与NVIDIA Grace Hopper融合后,GPT-175B微调效能达x86 Hopper平台4倍。
ARM推动晶粒化系统架构,发布CSA与CSS标准规范,并推出Kleidi开放式加速框架,整合PyTorch等工具,协助夥伴大幅降低计算成本,如OctoAI的NLP模型成本下降73%,Wallaroo相比x86架构实现7倍ML效能提升。
数据中心基础设施升级 支撑AI时代算力与能耗需求
AI技术快速演进与算力需求爆发性成长,高效能运算(HPC)已成为国家战略资源与产业创新的核心推动力。国网中心副主任姚志民指出,国网中心肩负建置AI大型算力、推动跨域HPC合作、深耕数据保护与网安、优化网络与智能治理平台等四大任务,积极打造支持在地模型训练与扞卫数码主权的基础设施。
在实际建设上,2025年南科云端数据中心即将启用,沙仑AI超级电脑计划预定2029年完成,届时将达到200 PF等级的运算能力。尤其值得关注的是TAIWAN AI RAP本土大型语言模型平台,提供可视化开发界面、多模型API服务与模型微调评估等功能,支持多样化推论硬件,并整合vLLM、DIFY等开源工具链,积极扮演台湾AI发展的「国家引擎」角色。
高效能运算与AI技术深入产业核心,网安已从企业内部议题演变为全域性挑战。国际自动化协会台湾分会行销长詹燿州在演说中,提出「Security by Demand」核心理念,此概念源自美国CISA、NSA、FBI与欧洲多国网安机构联合指南,主张业者在选购产品与供应链夥伴时应纳入12项网安考量,包括缺省无弱口令、支持TLS 1.3、韧体自动更新、多因子认证、漏洞修补时效及提供软件物料清单等要求。
国际标准方面,ISA/IEC 62443已成为工控网安的主干规范,合规范围延伸至欧盟CRA、医材、电动车及半导体等领域。产业实践上,AWS等云端巨擘已宣布支持ISA/IEC 62443并推动整合至IIoT安全架构,全球买家也越来越多以「Secure by Design」与「ISA 62443合规」为基本门槛。詹燿州建议,企业可从实务面选择可维护且能跨供应链延伸的网安解决方案,全面强网安生命周期。
AI运算需求成长,液冷技术逐渐成为高密度运算设备的散热主流,AMAX艾玛斯科技AI液冷产品专案资深经理赖克伟表示,近年数据中心用电量节节高升,预计2026年将达1,000TWh,传统气冷架构PUE值目前已触及效能瓶颈,液冷技术凭藉优异PUE值成为必然选择。
液冷技术主要分为Direct-to-Chip、单相浸没式、双相浸没式及泵浦双相冷却四种形式,但导入过程仍面临缺乏统一标准、需预防性维护、水质管理及系统整合难度高等挑战。
AMAX建议透过概念验证阶段导入Liquid-to-Air架构,采用侧挂散热器与冷板配置,可在既有气冷数据中心中实施,并提供模块化、紧凑型液冷数据中心方案,支持高达500kW运算密度。随着处理器功耗、机架密度渐高,能源利用瓶颈日益严峻,D2C液冷技术将成为未来数据中心转型的主流架构。
电源系统效率向来是数据中心运算能力的关键指标之一。Wolfspeed Staff Field Applications Engineer Ray Chang提到,Wolfspeed的SiC元件以低导通电阻、低开关损耗与高温稳定运作能力等优势,相较竞争产品可减少75%开关损耗、使传导损耗减半,并将功率密度提升3倍,系统效率更突破99%。
在服务器电源系统方面,ORV3标准要求PFC效率须超过99%,支持180-305VAC输入与3kW功率输出,功率密度也从2020年的约30W/立方英寸提升至2025年的超过100W/立方英寸。
Wolfspeed第四代SiC MOSFET技术提供15%更低开关损耗、27%更低总切换损耗及3.5倍改善的体二极管柔顺度,即使在高dV/dt条件下仍能安全切换。在制造产能布局上,该公司的JP Fab成为全球最大碳化矽晶体成长厂,产能为旧厂的10倍以上,而Mohawk Valley Fab则是全球首座也是最大的200mm SiC晶圆厂。他强调,随着矽基电源架构接近极限,SiC元件将成为下一代HPC能源效率的关键选择。
阳明交大研发与人才培育并进 打造台湾智能岛愿景
除了精彩的专家演讲,此次论坛也邀请阳明交大产学创新研究学院院长孙元成,就「AI与HPC浪潮下,台湾产学研合作的下一里路」为题,剖析当前趋势。他表示半导体产业透过创新持续演进,从平面微缩技术发展至立体3D封装结构,大幅提升运算效能并降低功耗。
对于近年生成式AI模型成为人机互动创造革命性突破,孙元成提出「人脑会用机器脑」策略,强调企业应利用自有数据训练专属模型,并结合专业知识与AI工具发挥最大效益。台湾产业切入AI浪潮的可能路径包括从应用端定制化发展、简化模型提高实用性、从软硬件基础架构着手,以及开发节能AI演算法等。
阳明交大积极投入前瞻研究,并建立「半导体与AI正向循环」生态系统。为解决人才短缺问题,该校成立半导体工程学系,并配合「晶创台湾」计划建设晶创园区,整合12寸晶圆研究中心与跨领域研究。透过运算存储器整合技术模拟人脑运作,提升能源效率,多家台湾企业已投入相关研发,展现台湾成为「智能岛」的潜力。