翻转嵌入式架构 效能、功耗与合规压力下的系统重构关键
- 郑茨云／DIGITIMES企划
-
生成式AI加速从云端走向终端部署，嵌入式系统正由过去以低功耗控制与硬件稳定性为核心，转变为承载AI推论与实时决策的重要平台，为协助业界掌握市场先机，DIGITIMES特于3月19日举办「小装置x 大智能 嵌入式架构全面翻新论坛」邀请多位专家，深入剖析技术发展与市场趋势。
DIGITIMES整合行销处处长陈毅斌在开场指出，过去嵌入式强调「做小、低功耗、耐久」，但AI出现后，嵌入式与云端已无法分开，前者如同身体，AI则是灵魂。近期NVIDIA GTC所提出的「推论经济」也显示，产业焦点正从模型训练转向实际部署与商业化应用，未来无论在医疗、工厂或机器人领域，嵌入式平台都将成为AI落地的核心基础。
嵌入式AI从单点技术优化 走向整体系统能力重构
随着生成式AI从大模型竞赛走向实际部署，嵌入式AI的核心已由追求模型规模转向追求效能与场域适配。台大信息工程学系暨网络与多媒体研究所教授洪士灏指出，近两年大型模型持续扩张所带来的边际效益下降，训练成本与电力消耗却快速增加，反而让具备推理能力的小模型开始展现价值。
经过精选数据与专业训练的小模型，不仅能在特定任务上达到接近大模型的效果，更符合嵌入式系统对低功耗、低成本与实时反应的需求。不过推理能力提升也意味着额外算力消耗，因此在Edge端必须依据任务时限、输入输出型态与存储器条件选择合适平台，而非单看TOPS规格。
洪士灏也指出，AI正由生成内容进一步走向Agentic AI，未来代理系统必须具备规划、记忆、工具调用与多步骤执行能力，才能真正进入企业流程。这也意味企业可在既有开源模型基础上，结合自身专业数据与应用场景，训练出可在本地端执行、兼顾数据安全与效能的专家型Edge Agent，形成下一阶段嵌入式AI的重要竞争力。
当边缘AI逐步走向普及，市场焦点也开始从高算力平台延伸至超低功耗、低成本的微控制器应用。德州仪器Senior FAE刘旻利指出，嵌入式AI不一定依赖高端处理器，在毫秒甚至微秒级反应需求下，透过MCU搭配NPU即可完成实时推论，功耗可压低至微瓦等级，特别适合长时间待机的传感应用。
其核心在于先透过信号处理「画重点」，例如音讯只保留特定频段、影像只取边缘特徵，降低后续模型负担，再以硬件方式执行CNN中的卷积、池化与权重运算，避免CPU大量耗能。这类架构已可用于玻璃破裂侦测、手写识别、设备异常监控与穿戴式心电监测等场景，其中本地端实时判读也兼顾隐私与安全。
刘旻利表示，TI目前已提供从模型训练、编译到MCU部署的完整工具链，让开发者可直接将PyTorch模型转换到低功耗平台。对嵌入式产业而言，未来AI落地不只比算力，更比谁能在有限存储器、功耗与成本下完成可量产的智能功能。
随着AI从云端延伸至边缘与终端装置，存储器选型也不再只追求最高带宽，而是回到容量、功耗、封装与成本之间的平衡。华邦电子定制化存储器行销一部资深技术经理郭仲祺指出，AIoT装置从智能穿戴、AR／VR、智能家庭到工业控制，正带动低容量、低功耗存储器需求升温，也让原本被视为成熟产品的Legacy DRAM重新获得关注。
尤其在三大原厂产能转向高端DDR5与HBM后，DDR4以下的供应日益吃紧，促使业界重新评估KGD（Known Good Die）等定制化整合方案。相较传统外挂式DRAM，KGD可缩小PCB面积、降低布线复杂度，并改善功耗、信号完整性与模块尺寸，更适合AIoT与边缘装置需求。
郭仲祺也指出，像HyperRAM这类介于SRAM与传统DRAM之间的方案，正成为低脚位、低功耗AIoT应用的新选择，显示未来存储器竞争不只在规格升级，更在于能否以更弹性的方式支撑分散式智能装置落地。
AI应用持续扩展，嵌入式系统已由传统控制导向，转向高效能运算与高速数据传输并重的架构。台湾是德科技技术工程师邱柏胜指出，现今嵌入式SoC正快速朝「小型高速运算平台」演进，不仅整合CPU、GPU与AI加速器，也导入DDR、PCIe与多协定SerDes等高速界面，使数据搬运能力成为设计核心，同时也大幅拉高验证与除错复杂度。
随着传输速率提升，信号完整性与电源完整性（PI）问题不再局限于单一元件，而是涵盖封装、PCB通道与电源架构的系统级挑战，包含通道损耗、抖动、杂讯耦合与电源瞬态效应，皆可能导致眼图收敛甚至连线不稳。
在高速条件下，数据速率越高，通道损耗与符号间干扰（ISI）越明显，信号裕量快速被压缩，传统以规格推论或单点量测的验证方式已难以有效定位问题。因此，工程师需以系统观点整合分析SI与PI交互影响，并透过高带宽、高分辨率且具备真实量测能力的示波器与分析工具，从时间与频率域双向观察信号行为。
随着欧盟《Cyber Resilience Act（CRA）》上路，具备运算与联网能力的嵌入式装置，未来若销往欧盟，从设计、部署到维运的整个生命周期，都必须纳入网安管理。美商温瑞尔 Strategic Account Manager孙杨晃指出，CRA已不再是「加分项」，而是法律责任，企业不仅要建立SBOM、漏洞监测、持续更新与可追溯机制，还须证明产品具备长期维护能力，否则将面临罚款甚至禁售风险。
对多数采用开源Linux或RTOS的嵌入式设备商而言，真正挑战不在开发初期，而在产品出货后长达数年的漏洞修补、版本维护与合规管理。也因此，网安正从过去被视为IT议题，转变为设备制造商无法回避的产品竞争力。孙杨晃认为，这波全球网安新规虽提高门槛，却也为台湾嵌入式设备业者带来转型契机，谁能率先建立安全设计、长期支持与合规能力，谁就有机会在下一波国际市场竞争中取得更有利的位置。
边缘AI落地关键 机器人架构、存储设计与隐私合规的交会
除了精彩演讲，此次论坛也特地邀请3位业界专家，由工研院南分院科技产业发展组专案组长黄建智担任主持人，针对不同议题进行座谈。泰科动力CEO林传凯首先在「自主移动机器人在边缘Agentic AI时代的架构进化」议题中指出，现阶段AMR在工业与物流场域的发展，核心不在让每台机器人完全自主，而是在边缘感知与云端集中决策之间取得平衡。
林传凯表示，工业场域对稳定性与安全性的要求极高，因此目前仍以集中式控制为主，由云端平台负责调度、路径规划与任务分配，边缘端则处理实时感知与局部避障，避免分散式智能带来失控风险。在技术架构上，AMR多采分层设计，由DSP负责运动控制，CPU或GPU处理感知与运算，兼顾成本、安全与系统弹性。
展望未来，AMR结合机械手臂的协作型方案，以及医疗与工业应用，将是近期最具潜力的发展方向，而真正支撑机器人产业竞争力的关键，仍在于软硬件、生态系与场域know-how的整合能力。
华腾国际科技NAND产品事业部协理连立民接着以「边缘AI的数据基石：工业级存储架构翻新与传输实务」为题，提到随着AI从云端延伸至边缘端，工业级存储的角色已从单纯数据保存，升级为支撑实时推论、线上维运与系统可靠度的关键基础。
目前边缘AI带动存储需求出现5项明显变化，包括容量与速度同步提升、导入OCP兼容规格、强化SSD生命周期监控、支持OTA线上维护，以及满足工业宽温与严苛环境需求。面对嵌入式装置在效能、功耗与散热间的平衡挑战，存储设计不再只是比速度，而是追求足够效能与更佳能源效率，并透过先进控制器制程、热模拟、动态热调控与断电保护机制，确保数据完整性与速度稳定性。此外，随CRA等国际网安规范推进，存储元件也须纳入网安设计思维，成为边缘AI系统合规与量产的重要一环。
帝濶智能总经理邹耀东在「边缘AI的信任基石：全球隐私合规趋势与去识别化技术的产业实务」议题中表示，AI已由云端延伸至边缘并由Agent直接处理数据，隐私与网安已从附加功能转为系统设计的前提。
帝濶智能总经理邹耀东指出，GDPR与CRA等法规使隐私内建设计成为产品进入市场的基本门槛，合规不仅是法务议题，更直接影响商业可行性。在技术上，产业正从传统加密转向差分隐私、联邦学习等隐私强化技术，使AI可在不接触原始数据下运作，但也带来效能、准确性与安全性的取舍。
因此，实务上多采数据最小化与选择性保护策略，并将去识别化前移至端侧，在数据产生当下即完成转换，以降低外泄风险。随着AI进入医疗、机器人与智能场域，隐私已成导入前提，产业竞争也从性价比转向「可信任性」，系统是否安全可控，将成为关键差异。
