从云端到边缘 企业落地生成式AI的可行之路

生成式AI不再是未来愿景，透过实时语言理解、影像生成，自主决策与超个人化体验，生成式AI正在重塑产业面貌。随着这项技术日趋成熟，产业对架设成本的考量与信息安全的疑虑，让生成式AI虽备受期待，却难以真正落地。鉴于成本与网安挑战，生成式 AI正朝向云端转移到边缘运算发展。

对于医疗、制造、零售，车用及国防产业而言，这项转变不仅是技术升级，而是势在必行的策略抉择。透过边缘AI运算， 可实现实时智能决策、提升数据隐私防护、确保营运韧性，并大幅降低产业成本。

本次专家访谈邀请到凌华科技与群联电子，深入分析为何边缘运算是推动生成式AI普及的关键因素，并探讨企业该如何掌握这个关键契机。

生成式AI迁移至边缘的关键契机

实时反应：群联电子CTO林纬博士表示：「当每毫秒都攸关成败，云端的距离就太远了。」自驾车系统，工厂机器人或医疗设备，无法承受丝毫延迟。将生成式AI推论直接部署于数据生成的边缘，可实现立即可靠的决策。

从设计改善隐私及网安：凌华科技边缘运算平台事业处总经理陈少华说明：「公司数据蕴含营运机密、客户个资、或关键研发成果，必须确保其隐私性」。地端部署有助于确保机敏数据（无论是健康照护，金融或公部门相关数据）持续保留在本地装置或地端中，减少云端AI的数据外泄风险。

产业知识保存与最佳化：地端生成式AI解决方案部署可充分利用企业内部关键知识，最重要的是可与工作流程、技术文件和法规等内容整合。陈少华表示：「透过微调并充分利用既有领域信息，可弥补模型的理解落差，让生成式AI更贴近实际应用场景，也提供更精准、专业的应答」。

各种环境下的韧性：依赖云端架构会形成单点故障风险。林纬博士提到：「尤其在工厂或现场等实际应用场景，未必能维持稳定连线」。地端AI系统即使在离线时也可持续运行，在偏远，严苛或要求高度网安需求的环境中确保持续运作。

边缘处理的成本效益：在边缘处理数据可大幅减少带宽使用，降低云端存储成本。林纬博士特别提道：「但成本仍然是一大难题。如果制造一台AI机器人的成本相当于雇用一位员工20年的人力支出，这显然不可行。」硬件成本，尤其是GPU存储器，仍是关键瓶颈。

瓶颈：GPU存储器与模型规模

林纬博士说明：「AI模型可根据规模加以分类，」包含：1. 约100亿个参数：基本对话互动。2. 约1,000亿个参数：推理与推论。3. 约1万亿（10,000亿）个参数：ChatGPT及DeepSeek等先进模型。

关键困难在于：GPU存储器需求几乎呈线性成长。陈少华补充：「每10亿个模型参数需要约1GB的VRAM，」这使得大型模型在边缘装置上运行的成本居高不下。然而，凌华科技与群联电子的携手合作，突破了这项技术的瓶颈。

aiDAPTIV+突破GPU存储器限制

陈少华表示：「当我们亲眼看到群联aiDAPTIV+实际运作时，就知道这项技术会带来极大突破，」凌华科技此技术整合至最新DLAP边缘AI平台，该平台搭载NVIDIA Jetson Orin NX及Jetson Orin Nano。成果是：DLAP Supreme使原本仅支持80亿参数的硬件平台，拓展为可支持800–900亿参数的AI模型。

如何实现？林纬博士指出：「我们将SSD内的部分AI模型从GPU移至NAND快闪存储器。」这表示不需要90GB的VRAM便可运行一个900亿个参数的模型，大概只需要10–20GB，可大幅降低硬件成本。这让先进生成式AI不再遥不可及，不仅效能强大，也终于实现经济实惠的边缘运算。

可负担的边缘生成式AI = 普及化关键

当大型生成式模型部署至边缘，不仅大幅降低导入门槛，也推动中小企业突破。在医疗产业，携带式边缘装置可运行视觉及语言模型，进行诊断、分诊，甚至是心理健康监测，且无需将机敏数据上传至云端。偏乡诊所也能离线、低成本使用AI医疗工具。

在零售产业，智能镜面装置与自助服务机可实时提供个人化建议，生成动态视觉内容，或答覆客户询问，
所有数据处理皆当场完成，不上云。

在物流及制造产业，边缘AI可实时分析传感器数据与影片，侦测安全风险、优化工作流程，或预测性维护，且数据存放于地端，无需传送至云端，有效保障数据安全。

在运输及公部门产业，交通工具与无人机上的内嵌式 AI可实现实时决策，语言翻译和导航，一切都在本地处理完成，确保速度及网安。

边缘智能  随需启用

边缘生成式AI不再遥不可及——其兼具可部署与低成本等特点。透过群联电子与凌华科技的合作，将aiDAPTIV+整合至DLAP Supreme平台，打造创新解决方案，过去专属于超大规模业者的技术，现在已可嘉惠各种规模的企业。

透过将智能运算部署在数据生成源头，产业领导者可加速发展、保护隐私、降低成本、完全释放边缘AI的潜力。