强化嵌入式技术能量 掌握AI应用奇点商机
- 洪千惠／DIGITIMES企划
-
2022年底ChatGPT横空出世，生成式AI浪潮一路从云端向边缘扩散，扮演智能化愿景推手的嵌入式技术也须与时俱进，方能满足市场新需求，于3月8日举办的D Forum嵌入式论坛，就以「满足AI应用奇点的嵌入式设计」为题，邀请业界专家从不同环节与视角，发表精彩演说。
嵌入式AI已为医疗保健带来革命性创新应用，广达电脑技术长暨副总经理张嘉渊在「数码实时诊疗创新 嵌入式AI的新前沿」议题中，进一步探索此技术无缝整合于医疗设备和系统中的重要性，以及为医疗保健带来的诊断准确性、实时健康监测、个人化照护计划等诸多好处。他指出，高龄化与可能随时来袭的疫情，对各国的医疗量能带来严峻考验，透过科技力量提升服务效率、缓解日益升高的成本，成为医疗产业导入AI的重要动力。
在医疗照护体系中，人体是最主要的数据数据来源，现在可透过穿戴式装置、IoT设备等科技产品从中撷取数据，并将之传送至云端进行大数据分析，每一环节都须以合适的通讯技术串联成数据循环架构，广达在医疗领域的布局，则是从数据中心角度观察其中的数据旅程，开发出相关的AI应用。广达的QOCA系统以云端运算技术为基础，将AI、物联网等技术交叉应用、整合，在数据旅程中以金融科技确保数据交易的安全性，并将之转换为有价值的信息，目前广达已借此开发出多种创新应用，包括医院的线上医疗、穿戴式医疗装置、移动医疗设备等。
在各种服务中，张嘉渊特别强调广达在线上医疗的布局，他提到COVID-19疫情让各界体认到此技术的重要性，因此广达也侧重线上医疗的开发，透过强大的效能与续航力提升医疗系统韧性。在AI技术部分，他认为生成式AI将成为各种创新应用的触媒，广达的目标是透过生成式AI和大型模型得结合，开发出可精准反映人体状况的Digital Twin系统，提供医师更精准的预测和治疗方案，落实以科技造福人类的愿景。
智能化应用遍地开花，Edge AI是此趋势中的重要角色，研华嵌入式物联网平台事业群协理陈柏州在「多元AI解决方案 引领边缘智能新时代」演讲中提到，Edge AI将是未来各类系统的核心，他认为多数嵌入式AI应用不会是全新从头开始，而是在既有应用中加入AI的运算，提升原来系统的应用效能或加入新服务。不过要让Edge AI运算普及，仍需克服系统开发与维护升级成本偏高，且有开发失败之虞。
对此研华提出以「多元化」、「标准化」、「平台化」为核心的解决方案，希望协助客户快速实现AI化。研华的Edge AI平台产品与服务多元，AI加速模块包含无风扇、高效能与紧凑型低功耗等不同规格产品。Edge AI软件解决方案部分，则有Edge AI SDK、NVAIE优化推理引擎、可与AI开发工具无缝整合的AI-Stack，协助客户加快Edge AI应用方案的开发速度。此外，研华也藉由Azure与OpenAI服务与稳定可靠且持续更新的Linux操作系统，支持该公司50种以上的设备，让软硬件之间可高度兼容。陈柏州也在现场展示研华iService Vision AI Edge解决方案，如何利用整合软硬件的边缘运算功能，统计特定场域人流、识别特徵与侦测排队状况的应用，由此展示可具体而微地看出，Edge AI已逐步落地使用中，此技术将成为引领智能新时代的重要动力。
效能与安全兼具 储存技术为边缘AI赋能
储存技术在嵌入式设备扮演关键角色，在这次论坛中，宜鼎国际、华邦、旺宏等三大储存元件厂商齐聚一堂，介绍各自在新时代储存元件的布局。宜鼎国际工控DRAM事业处课长何品萱在「专业定制与整合，迎向全球Edge AI新局」演讲中表示，该公司以工控储存元件起家，近年积极整合集团资源，打破传统产品结构，透过WiGig无线通讯、车载通讯、工业图形卡和环境传感器等创新解决方案，将产品触角从工业领域逐步扩展至监控、城市、交通、车载、医疗等各类场域。
总经理特助余柏宏紧接着介绍宜鼎国际在边缘AI的产品策略。该公司整合软硬两端的边缘AI解决方案，提供x86与ARM两种架构，包含AI加速器、嵌入式周边扩展设计与AIoT传感器，适用于游戏、网通、航太、服务器、零售、安控、运输等场域，可加快边缘AI设备的落地速度。为强化边缘AI市场布局，宜鼎国际今年推出全新品牌形象「ARCHITECH INTELLIGENCE」，将以智能建筑师的角度，善用19年的工控市场经验，协助客户利用不同功能的智能化模块打造合身架构。在整合边缘AI架构部分，宜鼎除了提供定制化设计服务，还提供线上监控管理服务、嵌入式周边扩充模块、环境传感模块与加速运算、通讯传输技术、工控储存与存储器等解决方案，客户可视自身需求选择合适的软硬件产品，提升营运效能。
华邦电子DRAM产品行销处处长赖韦仲，接着在「存储器如何为嵌入式AI应用提供优势」一题中，介绍设备业者与终端应用客户如何利用华邦电子的DRAM产品，在嵌入式AI应用中创造独特优势。他表示，随AI技术快速发展，嵌入式设备的运算需求提高，华邦电子的HYPERRAM、LPDDR4/4X、DDR3等DRAM产品具备快速读写能力、低功耗和高适应性，可为嵌入式设备带来显着优势，将应用领域扩展至智能摄影机、物联网系统和自驾车等场景，目前已有多家业者善用华邦电子的产品，打造智能化解决方案，如MCU、SoC和RTC技术领导者Ambiq，就结合华邦HyperRAM和Ambiq Apollo4的产品优势，打造适合物联网终端和可穿戴设备的超低功耗系统解决方案。
赖韦仲强调，华邦电子持续投入存储器技术研发，推出各种创新解决方案，以近期推出的CUBE为例，此技术为KGD 2.0架构，可透过2.5D和3D堆叠方式，提供更高的数据带宽、更高储存密度、更小的产品尺寸，满足边缘和云端运算平台需求，降低系统总持有成本和提高能效比，加速嵌入式AI应用的普及速度，未来华邦电子将致力于技术创新和产品多样化，协助客户打造高效能解决方案，掌握边缘AI的庞大商机。
旺宏电子产品行销处专案经理许炜承，在论坛中以「嵌入式应用存储器的节能与耐温方案」为题，介绍旺宏电子在此领域的产品布局。许炜承提到，嵌入式技术在生活、医疗、汽车等场域的应用渐深，相关设备对存储器的要求除了低功耗与高效能外，也越来越重视高储存容量、高温耐受、低系统成本与信息安全，对此旺宏电子已有完整的产品布局，可协助嵌入式设备满足市场需求。
在低功耗部分，旺宏电子推出MX25R与MX25S两大系列产品，MX25R为宽电压设计，电压范围为1.65V至3.6V，休眠电流和运作电流分别为7nA与3.5mA；MX25S采用1.2V低电压设计，运作范围为1.14V至1.6V，休眠电流和运作电流分别为25nA与0.8mA，两系列都可切换超低功耗模式和高效能模式，此设计兼容节能或高效能需求。耐高温方面，旺宏提供多种宽温设计的快闪存储器，工规最高可到-40°C至125°C，而车规更达到环境温度(Ambient Temperature) -40°C至135°C，以及145°C的超高接面温度(Junction Temperature)，确保存储器在极端环境中仍能稳定运作，提供可靠且稳定的性能。许炜承指出，MX25R与MX25S的低功耗与旺宏电子的多种宽温设计产品，可同时兼顾嵌入式设备在效能、节能与稳定性方面的考量，从而扩大应用触角，让产品更具竞争优势。
除了各类储存元件外，嵌入式设备的储存效能，除了倚赖储存元件外，存储器控制IC也是关键。慧荣科技车载与工控产品经理史继宇在「慧荣满足AI储存效能与可靠性需求」演讲中指出，AI近期呈现跳跃式演进，特别是生成式AI技术发展与应用潜力，更将改变各类产业的运作方式。不过要让此愿景成真，具备AI功能的嵌入式设备，必须强化效能与可靠性。
他表示，慧荣科技是NAND快闪存储器控制IC领导者，eMMC/UFS控制芯片累积出货量已超过37亿颗、SSD控制IC则超过7.31亿颗，是全球最大的SSD控制芯片供应商。慧荣科技推出的IntelligentSeries系列解决方案有8大类型产品，可确保关键储存的数据完整性和可靠性，包括智能线上监控日志IntelligentLog；可监测SSD温度、进行温控调频及散热保护的IntelligentThermal；可建构内容预载机制以提高加载速度的IntelligentImage；提供智能扫描以保存数据完整性的IntelligentScan；可保护数据加密不被盗取的IntelligentGuard；可透过智能监测稳定写入效能的IntelligentFlush；可藉由分区化设计提高耐用度的IntelligentZones；拥有电源断电保护功能的IntelligentShield。此外慧荣科技还可根据不同应用场景和客户需求，提供硬件和韧体的定制化解决方案，让效能和可靠性同时达到最佳化，优化产品应用价值。
解决方案百花齐放 打造高质量AI嵌入式架构
技术发展多年、已被成功应用于工业场域与生活周遭的NFC/RFID，近年积极强化安全功能，意法半导体（ST）台湾CSMM部门经理黄镫谊在「ST为嵌入式系统提供安全连结的方案」演讲中提到，AI发展和联网设备的普及，让嵌入式系统的安全连结需求浮上台面。
为因应NFC/RFID逐渐多元的应用，NFC Forum已制定出多种规范，其中NDEF为统一标准数据交换格式规范，可在无需开发上层应用软件的状态下，透过NDEF的电子标签交换数据，近期推出的无线充电标准，则是利用NFC/RFID独特的能量传输特性，为小型电子装置与穿戴式设备充电。ST深耕NFC/RFID多年，在此领域已建立完整生态系，产品涵盖各种认证标准与应用，ST的产品包括被动式电子标签产ST25TV、ST25TA，与动态标签的ST25DV-I2C、ST25DV-PWM，均符合NFC Forum规范，可应用于iOS与Android app等作业软件，读取器则为ST25R系列。
此外针对物联网网安需求，ST推出STSAFE-A解决方案，此方案可在设备中预置金钥与认证，提升联网安全性，另一款ST4SIM系列产品，则可应用于物联网、工业和汽车级的各种SIM和嵌入式SIM(eSIM)，此系列中的ST4SIM-M以工业应用M2M为主，ST4SIM-A为车载应用，最新的ST4SIM解决方案可支持5G，提供设备业者与系统厂商打造安全的物联网环境架构。
除了强化功能外，嵌入式设备与系统的开发效率也是业者抢攻市场的关键。达康科技技术经理周大𪛓在「AI驱动的3D设计与智能化制造」议题中，就展示如何利用AI技术创新3D设计和制造过程，从而推动产业转型和创新。达康科技是台湾Autodesk金牌经销夥伴与PowerMILL台湾创始代理，凭藉31年的专业CAD/CAM服务经验，成功辅导众多制造业客户升级。周大𪛓表示，即便是先进的制造产线也有进步空间，自动化技术正是提升效率、减少浪费、打造一致性和缩短交期的关键。达康科技的AI LAB透过AI技术自动生成3D模型，学习绘图及拆解识别特徵区域，进而自动识别组装的功能，不仅可提高设计速度，也能藉由效率的优化降低碳排。
达康科技藉由Autodesk AI和Fusion平台，协助客户落实从产品设计、工程设计到制程设计和生产工厂的一体化流程。Autodesk的生成式设计技术为设计和制造打造全新解决方案，让设计过程更加高效，并可确保产品满足产品实际制造时的各种条件限制和性能要求。周大𪛓最后表示，AI技术在3D设计和智能化制造中的应用，充分显示制造业者可善用先进技术，达到节能减碳、降低生产成本、缩短开发时间等目标，并且进一步推动产品创新与业绩成长，达康科技作为数码制造领域的专家，未来将持续协助客户推动数码与永续双轴转型，在AI时代创造独特优势。
精准完整的量测，是打造高品质嵌入式产品、缩短上市时程的关键，台湾是德科技资深技术专案经理林昭彦在「嵌入式设计模拟和量测挑战」演讲中表示，AI技术让嵌入式系统越来越复杂，更对电源管理与信号分析带来严峻挑战，工程师需善用先进测量技术克服相关问题。
林昭彦接着介绍嵌入式电源生态系统量测、逻辑分析和协议层测试、物理层测试，并针对示波器的选择提出建议。他表示电源生态系统量测须特别注意电源轨道/分布、电源转换、电源开关序列以及电源消耗的挑战，工程师可利用PSRR指标，衡量电源系统抑制输入电压变化对输出电压稳定性的影响，并使用波形产生器和波德图绘制功能优化电源转换。逻辑分析和协议层测试部分，他介绍了混合信号示波器(MSO)在嵌入式系统设计中的应用，此设备可测量类比信号，并同时观察、分析数码信号。物理层测试可使用示波器的波形触发、时序、垂直和相位杂讯分析功能，提升精准度与效率。
对于示波器的选择，他建议可依据频道数量、最大带宽、取样率、ADC位元分辨率等项目，选择合适的示波器，是德科技在此提供的3000G X系列与高端Infiniium系列示波器，可因应嵌入式系统的多功能性和高性能测量需求，从而缩短产品开发时程。
新能量注入市场 全面强化AI创新动能
除了各领域领导厂商强化产品布局外，新创企业与研究机构近几年也积极投入研发，抢攻边缘AI市场。此次论坛的ALIF与工研院就分别介绍最新成果。工研院电子与光电系统研究所副组长孙际恬在「带着走的AI-高速动态视觉与大语言模型」议题中，介绍工研院研发的事件视觉技术系统与大语言模型(LLM)。他表示，事件镜头是新型视觉感知工具，利用仿生技术只在图元亮度变化时产生的数据，实现高动态范围和微秒级的反应速度，更在模型与学习之动态视觉演算法下，于自动驾驶和机器人视觉等高速动态场景中有独特优势。大语言模型则创造了新知识管理模式，工研院的研究可透过软硬协同，克服大语言模型的轻量化部署挑战。
LLM部分，工研院提供了快速微调LLM的技术与服务，能在极短的时间内取得优秀的特定知识领域语言模型，提升模型在特定领域的适用性和效率。此外孙际恬也介绍Flash Attention和KV Cache技术，此技术可减少模型运算当下的暂存需求和运算资源消耗，并利用数据并行和管道并行特色，支持分散式训练与推论，提升模型运作效率，藉由新技术的创新与应用，产业可克服高速动态视觉处理和专属领域知识处理挑战，扩大智能化系统的应用范围。
ALIF则是2019年成立于美国的新创公司，主力产品为新时代MCU，ALIF亚洲区市场行销协理陈永章在「ALIF创新嵌入式设计引领Edge AI产品趋势」演讲中提到，该公司的Ensemble系列32位元MCU，拥有单一Cortex-M55核心、双Cortex-M55搭配双Cortex-A32 MPU核心的1至4核心选项，同时结合了ARM Ethos-U55微型神经网络处理单元与大容量存储器，可满足tinyML到高端应用的各种效能需求。
开发环境方面，ALIF提供的工具可完整支持整体AI开发工作流程，操作系统和中介软件包括Azure RTOS (ThreadX)、Net-X、USB-X、GUI-X、FreeRTOS、Zephyr与Linux OS，可满足不同应用场景和功能需求。语音识别则提供具备自然语言处理、关键词识别和声音识别功能的Sensory，DSP架构的Audio Weaver可用于优化IoT音讯品质，Plumerai聚焦于人脸识别和人员检测。此外ALIF也提供开发板与AI/ML应用开发套件，协助开发者评估Ensemble MCU的性能，加快部署速度。放眼未来，ALIF在持续强化产品效能的同时，也将构建完整的合作生态系统，并因应不同客户需求提供定制服务，协助客户善用AI提升产品竞争力，掌握市场利基。
研究AI边缘运算的DIGITIMES研究中心分析师陈一帆，也在这次论坛发表他近期对此领域的趋势观察结果。首先是AI/ML技术呈微型化发展，整合式开发平台、专为Edge AI/TinyML开发的演算法与工具等，加速了边缘AI/TinyML应用推进，同时AI/ML微型化亦朝向微垂直(microvertical)领域应用发展。其次是非GPU硬件趋势，包含MCU优化AI运算能力和专为特定边缘场景设计的边缘AI芯片，让非GPU AI芯片在效能与功耗上具有一定优势。第三是边缘MLOps，仅管已有不少业者聚焦MLOps各环节推出平台服务，但在边缘运算情境中，仍面临边缘环境与装置多变、边缘运算条件限制、软硬件复杂多样、AI生态仍以云端为主等挑战待克服。
对于未来，陈一帆认为AI结合边缘运算有三个可能的发展方向，第一是边缘应用呈分散且多元，预期将形成数个AI/ML软硬件合作生态圈，业者将聚焦特定领域、装置或应用深化服务。第二是AI/ML与嵌入式系统开发思维的差异，边缘MLOps仍存诸多课题待解决，个别垂直领域整合服务为可能解方。第三是AI结合边缘运算偏好「刚好够用」的效能，正如同嵌入式系统不会一味追求极致效能，边缘AI/TinyML也会重视效益与成本的平衡，仅管解决方案将呈现少量多样且定制程度高，但业者亦可形塑较高的产业进入门槛。
小标：克服技术导入创新 掌握嵌入式AI未来趋势
嵌入式论坛最后，特别邀请IC之音「姚姚Tech666」节目主持人姚嘉洋与台湾NVIDIA Startup & VC Partnerships李昇达博士，以「嵌入式AI生态系统的未来与挑战」为题进行座谈。李昇达首先剖析生成式AI对嵌入式系统发展与产业生态系带来的影响，他认为提升效率、优化使用体验无疑是导入技术的最大效益，以零售业为例，业者可先利用机器学习技术打造个性化推荐系统增加销售额，再透过生成式AI的智能客服增强客户满意度，在此过程中，嵌入式系统和边缘运算将发挥关键作用，让系统在离客户更近之处运算数据，实时提供分析和决策。
对于导入AI的挑战，他点出企业面对的环境复杂，要顺利使用此技术解决痛点、创造价值仍有高度门槛，NVIDIA正致力于设计简单有效率的开发应用和工具，让企业可轻松使用AI，目前NVIDIA针对自驾车、智能工业等多个领域开发出超过150种软件开发套件，协助企业与产品设计者快速建构系统。
谈完需求端，李昇达紧接着从供应端切入，对台湾嵌入式与边缘运算产业的转型升级提出建议。他认为业者须先整合生成式AI与云端技术，创造出可优化使用者体验的创新应用，要达此目标，须具备充足的技术专业，并深刻掌握市场需求、快速做出反应，开发出新的服务和产品，不仅满足当前的市场需求，也为未来的趋势做好准备。同时，李昇达也指出 AI于嵌入式系统的创新，很大的一个部分动能来自于新创公司，在全球，NVIDIA 新创链结计划有超过15,000多家的新创公司，目前有许多新创成员们对于开发 AI于嵌入式系统的应用于自驾车、智能机器人、零售服务、数码工厂、农业、智能城市等有相当多成功的案例， 他也鼓励更多嵌入式及边缘运算的企业加入NVIDIA的生态系一环，共创共荣AI愿景。
综观「2024 D Forum嵌入式论坛」演讲内容，可看出AI的技术与应用正处于高速发展阶段，此技术有可能成为改变世界发展的奇点，嵌入式厂商应持续深化技术、紧盯产业变化，快速回应市场需求，与生态系企业们共同合作，方能掌握这一波产业革命衍生出的庞大商机。
