百工百业导入AI进入实战期 Agent与AI基建成焦点
- DIGITIMES企划
-
生成式AI已从模型竞赛进入商用实战阶段，企业关注焦点也从「能不能回答」转向「能不能执行、能不能规模化、能不能产生实质ROI」。面对PoC难以量产、推论成本上升、异质数据难以整合与Agent治理等挑战，DIGITIMES于6月4日举办「GenAI Nexus：百工百业生产力中枢」论坛，聚焦推论经济学、数据中枢重构与全域工作流自治三大主轴，邀集多位业界专家，从零售、制造、云地整合、AI基建与企业Agent实战等角度，剖析生成式AI如何跨越PoC死亡之谷，从对话工具走向可落地的企业生产力中枢。
生成式AI加速进入企业流程，如何把分散的顾客数据、商品信息与门市作业整合成可实时运用的营运能力，成为零售转型的新课题。全国电子信息长黄汉杰指出，零售业导入AI前，必须先处理网络架构老旧、系统分散、数据孤岛、总部与门市协作断链等问题，否则AI难以真正落地。
全国电子自1975年创立以来，经历连锁化、策略联盟、数码化到数码转型阶段，近年陆续导入ERP、CRM、GWS、SD-WAN、电子标签、APP、电商平台与大数据平台，补强企业数码基础。目前全国电子以「OMO × Data × AI」为主轴，将AI应用于商品推荐、智能贴标、会员分析、门市辅销与内部自助服务，让门市人员可透过AI助理快速查询商品规格、促销活动、SOP文件与推荐信息，同时支持主管进行营运决策。未来，全国电子将以数据为核心、AI为引擎、OMO为场景，持续提升顾客体验、门市效率与营运韧性。
对制造业而言，真正的挑战已不是要不要导入AI，而是能否让AI进入现场决策流程。纬谦科技智能制造处数码转型部经理吴政举表示，制造业导入生成式AI的核心，不在于工具本身是否先进，而在于企业能否把数据转化为可信任、可协同、可执行的决策能力。他表示，许多工厂并非缺乏数据，而是数据分散在CRM、ERP、MES、Excel与E-mail之中，当客户提前交货、关键零件缺料、设备异常或品质问题发生时，组织往往先花时间找数据，难以及时判断与应变。
纬谦科技认为，AI应从单纯告知问题的仪表板，走向能协助解决问题的Agent中枢，串接知识问答、HR与IT助理、任务自动化、数据分析、API整合与权限治理，避免各部门各自导入AI后形成新孤岛。吴经理建议企业先选择维修、排程或品质等单一场景，从一条产线做起，在90天内验证第一个Agent，让AI真正进入决策流程。
商业分析场景因数据来源明确、需求贴近决策流程，成为AI代理人落地的重要切入点。Going Cloud解决方案架构总监林炜恩提到，企业评估AI价值不能只看单一ROI，而需依阶段调整判断标准，前期重在数据、人员、场景与基础建设准备，后期才逐步以量化指标检视成效。
他以GenBI为例说明，生成式AI与商业智能结合后，可透过Text2SQL、Schema Metadata、数据库与Agent协作，让使用者以自然语言查询数据、产生图表与分析洞察。不过，企业若要从PoC走向规模化，必须先确认数据结构是否完备、Prompt由谁维护、权限如何控管，以及不同部门扩充后的成本与管理责任。Going Cloud建议以单一情境导入降低初期成本，再透过数据层、工具层、代理人层与业务应用层的四层架构，保留后续增弹性，让AI代理人真正接上企业决策流程。
要让Agent进入正式营运场景，企业须处理数据实时性、流程可控性、系统整合与安全治理等落地问题。IBM Taiwan Data & AI技术总监李维伦指出，许多AI专案停留在PoC阶段，主因在于数据孤岛、旧系统时延、Agent决策缺乏透明度，以及实验雏型难以接上核心系统。
IBM以watsonx Orchestrate为编排控制平面，结合Confluent实时数据流、DataStax矢量检索与IBM Bob AI开发夥伴，试图补齐企业AI从知识查询到任务执行的拼图。以AskHR情境为例，员工可用自然语言提出请假需求，系统透过意图识别、政策推理、假别查询、签核路由、通知与行事历同步等技能，自动完成跨系统流程。
李维伦也提到，IBM Bob不仅是编码助手，更可支持系统设计、程序码理解、Java升级、旧系统现代化、测试、部署与维运，并内建FedRAMP、HIPAA、PCI等合规框架与实时安全扫描能力。对大型企业而言，AI Agent能否规模化，关键在于是否具备可稽核、可治理、可整合的执行架构。
如何把算力、数据、模型与应用开发环境串起来，将影响AI能否真正进入百工百业。国网中心技术总监林昀德提到，AI技术已从感知AI、生成式AI，走向推理AI、Agentic AI与Physical AI，企业与科研单位对高效能运算、高速网络与大规模存储的需求同步升高。国网中心以HPC/GPU算力、TWAREN高速学术研究网络与PB级存储架构作为基础，支持台湾主权AI发展，并透过TAIWAN AI RAP平台，协助使用者把数据、模型与应用转化为可上线服务。
AI RAP提供低程序码流程设计、多模型API服务，以及模型微调与评估自动化功能，目前整合TAIDE与国际开源模型共87个模型，并支持TTFT、TPOT、Latency等效能监测。林昀德表示，平台试营运期间已有103个单位使用，涵盖公共服务、医疗、技术开发、教育、制造、网安等25个应用领域。未来国网中心将持续优化RAG、模型微调、自动评测、多元GPU与AI加速芯片支持，推动台湾AI从PoC走向正式部署。
主权AI与企业专业Agent成为下一阶段AI落地的重要方向，但在制造、医疗、物流等专业领域，市场仍存在大量尚未被充分开发的应用空间。阳明交大人工智能系统检测中心教授陈添福表示，台湾发展主权AI，除了需要国家关键数据、大型AI算力与自主云端服务，也要建立能贴近产业场景的专业模型与Edge AI应用能力。他以myPDA.ai与Kortex Industrial Agent为例说明，企业真正需要的不是一般聊天机器人，而是能结合专业工具、技能设定、GenUI与安全执行环境的AI员工数码分身。
Kortex作为企业Agent Runtime，强调记忆系统、安全边界与进化机制，可透过三层记忆架构、事件流回放、Token成本估算、宣告式YAML规则与自我评分机制，让Agent在企业本机环境累积知识，同时保有可稽核与可控性。实际应用上，myPDA可支持产品选型与报价、IC规格分析、产线异常分析等任务，协助企业缩短作业时间、提升判断准确度。
Agent落地营运 指令与治理成关键
企业要让Agent真正会做事，数据、业务脉络、权限与准则缺一不可。人工智能科技基金会首席数据科学家蔡源鸿指出，企业常以为数据很多就能让AI懂业务，但ERP交易纪录、CRM客户数据、SOP流程、E-mail与资深员工经验之间，往往存在语义与逻辑断层，AI因此无法正确判断如何报价、派工、警示升级或追踪商机。
他提出「智能指令集」概念，将企业零散信息转为情境、信号、判断、移动与边界等可执行结构，让Agent不只知道怎麽回答，也知道何时能做事、何时必须停下来交由人处理。蔡源鸿表示，企业可先选择高频、高痛点、高价值的工作流程，透过真实案例蒐集、老手经验访谈、判断信号萃取与情境规则建立，逐步形成可检索、可治理、可稽核的指令集。面对Agent自主性，企业应采取分级治理，从摘要、建议、低风险自动执行到高风险人工批准，并以相关性、解决率、冗余度与投报比等4R框架衡量AI真实价值。
当Agent成为人与系统互动的主要界面，一次任务可能牵动数十至数百次推理，延迟、算力成本与治理能力将直接影响AI能否规模化。Akamai资深技术顾问王明辉表示，企业打造AI生产力中枢，需同时兼顾高ROI、低延迟与可治理三大条件。在低延迟方面，集中式云端难以完全满足Agentic工作流的实时需求，推理服务必须更靠近使用者，透过边缘GPU、Serverless Functions、Managed K8s与分散式架构降低链式延迟。
在ROI方面，企业可依需求选择Open API、Managed GPU、Cluster或Serverless等不同采用路径，并依模型大小、实时性与隐私需求对应CPU、Ada或Blackwell GPU资源。王明辉也提醒，Agentic AI带来Prompt Injection、MCP Server漏洞与东西向流量横向移动等新威胁，企业需以Firewall for AI、API Security与Guardicore微分段建立多层防护。Akamai主张从单一Use Case切入，先验证ROI、延迟与治理，再逐步扩大部署。
企业AI的应用渐深，下一个挑战是能否让Agent长期稳定进入营运流程，持续产生可衡量的ROI将是下一个挑战是。数据立解决方案顾问包威棣指出，该公司以AltaBots.ai作为企业级AI Agent核心运行平台，协助企业以No Code方式快速搭建AI数码员工，并支持私有化部署、权限控管、日志纪录、成本上限、LLM弹性选择与内部系统串接。
实际应用场景涵盖门市AI知识助手、新人AI培训教练、生产技术助教、AI报价自动化、数据AI助理、美妆AI客服与竞品市场追踪等，将企业知识、流程与数据转化为可执行任务。以门市场景为例，Agent可整合商品、活动、SOP与抽成规则，让店员实时查询并取得一致答案；在报价场景中，Agent可串接E-mail、CRM与知识库，协助业务完成数据防呆、工程通知、成本单建立与版本分流。
生成式AI应用快速扩散，企业关注的不只是哪一个模型或Agent最好用，更现实的问题是底层算力能否实时取得、成本是否可控，以及数据能否留在可管理的环境中。康斯特科技业务副总经理黄彦皓提到，企业若自建GPU机房，往往会面临建置成本高、时程长、维运人才难找与GPU闲置率偏高等挑战，因此AI算力应从一次性资本支出，转向更弹性的服务化模式。
康斯特以AI基础建设服务商定位，提供AIDC交钥匙建置、GPU托管与租赁，以及Glows.ai云端GPU平台三层服务，协助企业依需求选择自有机房、托管或按分钟计费的云端算力。该公司也布局台湾、日本福岛、美国内华达与马来西亚等数据中心，其中日本福岛采货柜式液冷机房，锁定高密度GPU部署需求，强调PUE低于1.1、部署期约3个月，回应B200、GB200等下一代GPU对液冷与电力效率的要求。
Agentic AI走向数码员工 落地考验任务与治理
除了专题演讲，这次论坛也邀请中研院人工智能创新应用专题中心CEO曹昱，以「2026全域应用赛局：从Agentic AI到推论经济的商用标准化路径」为题，与主持人工研院南分院智能产业推动与应用整合组专案组长黄建智交换意见。
黄建智指出，近年企业面对AI发展速度，普遍出现「AI焦虑感」，一方面期待导入Agentic AI提升生产力，另一方面也担心算力投资、数据治理与实际效益难以平衡。对此，中研院人工智能创新应用专题中心CEO曹昱回应，AI正从人机协作走向「数码员工」阶段，企业应先学习、理解再拥抱AI，就像当年Google普及后，会使用工具的人自然具备更强的工作能力。
谈到商用落地，曹昱强调，企业导入AI前要先定义明确任务与效能指标，再依照成本、准确率与风险程度选择模型与算力配置；例如一般影像识别可采低成本模型，医疗影像则需要更高可靠度。黄建智进一步追问企业如何避免AI系统各自为政，曹昱指出，数据治理、模型版本管理与效能评估是基础，其中数据格式统一尤其重要，否则跨部门数据难以整合。面向下一阶段，他认为World Model与Edge Computing会是重要方向，前者让AI理解真实世界运作，后者则让模型能在工厂、医疗、物流等场域实时反应，形成更可商用的AI部署路径。
