生成式AI加快企业部署 商用落地考验跨层整合能力
- DIGITIMES企划
-
生成式AI进入实际部署阶段，企业面对的问题已不仅是模型能力，还包括算力成本、数据隐私、边缘端效能与软硬件整合。实体AI与具身智能加快进入智能产线、半导体供应链及终端装置，也使地端推论与算力自主成为技术布局重点。为协助业界掌握应用路径，DIGITIMES特于7月17日举办「2026 GenAI技术论坛—从模型创新迈向商用落地」，邀请产学研专家剖析芯片架构、模型优化、存储器整合、工业边缘应用与企业AI落地。
自主AI走向企业实作 平台治理与产业应用同步推进
生成式AI应用已超出内容生成与单次问答，具备长链推理、任务规划及工具调用能力的Agentic AI，正加快进入企业场域。DIGITIMES整合行销处处长陈毅斌在开场表示，AI能力可分为对话、推理、自主、创新及组织五个层次，其中对话AI与推理AI已相对成熟，自主AI则在生成式模型基础上加入规划、决策、工具使用及跨系统执行能力，让AI能主动完成多步骤任务。
2026年产业发展已进入自主AI实际导入阶段，包括Anthropic、OpenAI、Google、Microsoft及AWS等业者均投入相关布局。后续的创新AI将强调自主研发、科学发现及新知识产出，组织AI则希望透过多个AI Agent协同运作，承担组织层级的决策与执行；不过这两个阶段目前仍属产业推测，尚未有业者真正实现。
实体AI要在边缘端理解环境并采取移动，模型须同时处理物件、场景关系、行为与语意，并压低运算负担。中央研究院信息科学研究所所长廖弘源指出，中研院团队开发的YOLOv7与YOLOv9具备轻量、开源及实时识别特性，已用于智能监控、无人机及交通号志控制。
不过，传统YOLO主要负责物件侦测与影像分割，若要让使用者与影像对话，还须建立物件关系，将场景图转为语言模型可理解的Token。团队也以通用动作空间发展行为分析模型，将老鼠疼痛识别率提升至73%；用于Tau22阿兹海默症小鼠时，识别率达91.8%，可较传统行为检测提早约10周发现异常。未来将整合视觉、语音识别与语音合成，支持居家照护等边缘应用。
AI基础设施的效能瓶颈已不只在GPU，模型加载、KV Cache与长上下文造成的存储器压力，也直接影响推论速度与成本。群联电子技术长林纬提到，群联2023年推出aiDAPTIV异质存储器整合技术，让NAND Flash参与AI运算，负责大型模型加载、DRAM卸载、KV Cache存储与AI数据管理，以较低成本扩充存储器容量。
实测显示，将AI Agent的预载知识压缩后存入NAND Flash，即使使用较低算力设备，仍可缩短回应时间；在特定配置下，同一GPU服务器可支持的并行使用者最多提高5倍。面对GPU、NPU及ASIC等异质芯片并存，群联也建构AI Data Platform，整合算力、存储器、存储及资源调度，支持边缘装置、工作站、服务器与丛集部署。
AI代理已能自主拆解任务、调用工具并反覆修正，但企业真正面对的是结果一致性、权限控管与大规模维运。台达研究院研发副理陈鸿元指出，通用程序开发代理偏重动态探索，每次执行路径可能不同，也伴随较高延迟与词元成本；企业代理则须把系统能力封装为可重复使用的技能模块，并将标准作业流程（SOP）与领域知识固化为工作流程，由知识层提供事实，平台负责权限、稽核、观测与评测。台达据此开发CHEK企业知识平台，以检索增强生成（RAG）为核心，整合文件解析、光学字元识别（OCR）、混合检索、重排序模型及引用溯源，并发展为知识代理。
透过模型情境协定（MCP），CHEK可让PowerPoint、Word及其他代理调用企业知识，进行简报生成、跨知识库规格比较与商业智能（BI）查询，形成可管理、可扩充的企业代理系统。
主权AI能否落地，取决于算力、数据、模型与部署环境能否由国内掌握，并提供企业容易使用的开发工具。国研院国网中心大语言模型平台服务组技术总监林昀德表示，TAIWAN AI RAP整合国家级GPU／HPC算力、TWAREN高速网络与PB级存储，串接TAIDE及国际开源模型，让数据与模型转为可上线服务。平台提供低程序码流程设计、多模型API、RAG、SSO，以及模型微调与评估自动化，目前可调度Intel、AMD与NVIDIA共473颗GPU，供应87个模型。试营运期间已有103个单位使用，涵盖急诊交班、智能客服、会议纪录及教育等25个领域。完成PoC后，使用者可移植至自选云端、算力联盟夥伴或地端环境，协助资服业、新创及中小企业发展在地AI服务。
生成式AI部署正走向云地混合，企业须依数据敏感度、工作负载、延迟与成本，决定模型及算力的配置位置。阳明交大人工智能系统检测中心教授陈添福提到，云端具备弹性扩充优势，地端则可掌握数据与设备实时信息；系统还须透过模型路由选择合适模型，并在数据源头过滤、压缩内容，控制Agent循环及Token成本。
其团队开发myPDA Industrial Agent，采三层云地整合架构，串接混合LLM服务、部门级地端设备、企业私有云及MES／ERP，并以Kortex Runtime管理技能、工具、记忆、权限与稽核。实际案例中，产线异常分析准确率由75%提升至95%，产品选型与报价时间缩短逾10倍，使一次性PoC可沉淀为可验证、可重用的企业能力。
医疗器材取得上市许可后，监管工作仍须持续蒐集召回、不良事件与市场信号，数据分散及法规语言复杂，使风险判读高度依赖人工。格莱迪科技CEO孔政皓指出，该公司将Salesmap累积的自然语言处理、文件解析、知识管理与AI查找能力，转用于PMS Intelligence上市后监控平台，整合FDA Recall、FDA MAUDE及TFDA等数据，进行语意分析、风险关联比对与仪表板监控。
导入难点包括PDF、Excel、Word与HTML格式不一、法规术语艰涩，以及AI幻觉与使用者信任。系统因此由AI负责查找、整理及分析，法规人员审核真实性、关联性并作成决策，同时保留原始数据引用。实际导入后，文书整理时间降低80%，AI语意分析准确率达88%，MDR栏位映射准确率达95%。
AI落地进入系统工程 算力、数据与实体设备协同运作
AI算力需求约每7个月增加一倍，单一芯片受面积与功耗限制，运算架构已扩展至先进封装、高速互连及数据中心级系统工程。联发科技企业策略与前瞻技术资深处长梁伯嵩博士表示，AI可用七层架构理解：底层包括实体芯片与基础设施，中间涵盖神经网络参数及Context Memory，上层则是Agent、协作编排与应用。Transformer与Scaling Law推升训练规模后，竞争已不能只看制程或单颗GPU，还要处理存储器、Scale-up与Scale-out网络、能源及散热。
模型能力也不只来自训练，Context Engineering可整理知识，Harness Engineering透过工具与Guardrails扩充能力，Loop Engineering则让AI反覆规划、执行及检查，再以多Agent Orchestration完成复杂任务。
企业导入生成式AI，常受数据不能上云、Token成本、法规稽核与服务中断风险牵制，模型能力只是其中一环。威联通科技资深智能存储产品经理林子轩提到，QNAP将NAS扩充为全栈式Edge AI平台，整合硬件、Container／VM部署、AI Service Center与应用层，让模型、数据及Agent留在企业内部。
AI Service Center可统一管理本地与云端模型、GPU、应用路由及全链路Log，并以PII Guard遮蔽个资；本地模型涵盖1B至120B以上规模，可依GPU VRAM切换。应用端则透过Qsirch AI进行图片、影片与文件的多模态语意查找，RAG把SOP转成可追溯来源的知识库，QuAgent则可执行档案整理及NAS管理，在保留数据主权的同时，降低对单一云端模型与API的依赖。
智能工厂部署AI后，成本重心已由一次性的GPU采购转向推论吞吐量、延迟、Token单价与服务水准；预估2030年推论将占AI算力逾5成。数码无限商务长陈立昕表示，企业常面临GPU买不起、用不好及难变现三项问题，平均利用率可能仅约30%。数码无限以AI-Stack将地端、混合云与公有云的GPU、NPU等异质算力池化，支持虚拟切割、多卡聚合、跨节点运算、多租户隔离与工作负载排程，使训练、推论及研发任务可依需求调度，利用率可提升至90%以上。其ixCSP平台再将闲置算力封装为GaaS、MaaS及TaaS，透过按时、按量或Token计费对内摊销或对外营运。对智能工厂而言，敏感数据可留在地端，尖峰需求再扩至云端，兼顾实时性、成本与算力供给。
实体AI走进制造现场，首先面对设备界面封闭，以及AI开发者与机器人工程师之间的技术断层。台湾发那科工程师林冠甫指出，缺工、少量多样与快速换线需求，使工业机器人必须具备更弹性的感知与控制能力。FANUC Open Platform先将ROBOGUIDE与NVIDIA Isaac Sim整合，让开发者在具物理效果的虚拟环境中进行机器学习、强化学习及自动化设备测试，确认后再部署至实机。
控制端则提供官方ROS 2 Driver、Python执行环境与API，使外部镜头、传感器及生成式AI可直接控制机器人；展示案例已能以语音下达任务，由AI实时生成Python程序，完成掷骰、识别点数与分类。Stream Motion另以最高1毫秒通讯周期接收外部指令，配合3D视觉追踪移动工件，支持路径调整与弹性制造。
AI训练效能不只取决于GPU，数据湖若无法持续供应海量影像、文字与小档案，昂贵算力仍会因等待I/O而闲置。Apache Ozone PMC Member李仲恩、李绪成点出，AI数据约8成属非结构化内容，传统档案系统容易因中继数据过载失去扩充性；一般S3物件存储虽能水平扩充，目录重新命名实际执行Copy＋Delete，也可能拖慢Spark与Iceberg作业。
Apache Ozone同时原生支持S3 API与HDFS协定，保留目录操作能力，也能承载大规模物件数据，让Spark、Flink及PyTorch等既有工作负载免改程序迁移。其架构将Metadata分由OM与SCM管理，并以Container为单位回报，降低大丛集维运负担。滴滴已用Ozone存储百亿笔物件，虾皮与CERN也投入部署，可支持数据清洗、模型Checkpoint、模型加载及KV Cache等AI工作负载。
开源AI进入企业核心 考验治理、人才与工作流能力
除了专题演讲，此次论坛的焦点对谈，也邀请到勤业众信资深执行副总经理温绍羣、Apache Taipei发起人蔡嘉平、Apache Airflow Committer刘哲佑、李唯，以「免费工具到企业护城河：以开源思维驱动AI变现与人才布局」为题，交换意见。
主持人简永昌提到，开源模型加快技术迭代，也让企业更容易以较低成本试验AI，但能否形成竞争优势，仍取决于问题选择、治理能力与人才累积。对此，勤业众信资深执行副总经理温绍羣指出，企业无须追逐最强模型，应依业务需求选择适当工具，并以投资报酬率检验成果；导入初期可让开源与商用方案并行，再整合为AI中台，将任务拆解为技能，区分人类与虚拟员工的分工。
若开源进入核心系统，还须评估总持有成本、网安、合规、维运能力及备援机制。Apache Taipei发起人蔡嘉平则认为，开源本身没有必然的安全结论，重点在于专案是否具备成熟治理、多家企业参与及持续维护能力。台湾企业若等技术成熟后才寻找人才，成本通常更高；及早投入社群，可培养工程师、累积影响力，也能参与自身依赖技术的发展。AI生成程序码仍须经过专业审查，避免授权、品质及技术债问题。
生成式AI降低了流程自动化的开发门槛，也让工作流管理成为Agent进入企业系统的重要控制层。Apache Airflow Committer刘哲佑表示，Airflow可将模型调校、数据处理、内容生成及系统操作编排成Agentic Workflow，并透过Common AI Provider串接AI框架、Agent Skills与MCP，由控制平面负责排程执行。
企业导入时常遇到两项问题：使用者虽能以SDK组合Pipeline，却未必符合最佳实务；大量工作流同时运行后，控制平面也需要熟悉Airflow内部机制的人员调校。李唯补充，Airflow正加入AI-Native设计，在流程节点保留人工审核，并允许任务反覆调整至结果符合要求。AI虽能协助产生程序与工作流，半导体等高度重视效能与稳定度的场域，仍须资深工程师处理底层程序及系统问题。
