Edge AI产业来了吗？

相较于目前大语言模型应用绝大部分在云端服務器上推论，Edge AI（边缘AI）强调在装置上独立执行AI模型。这种架构差异在于：可大幅降低因網絡传输造成的延迟，确保實時反应，即使在无網絡离线下也能运作；數據不上传云端，确保數據私密与安全性。Edge AI有机会满足许多新应用场域中对低延迟、高私密的关键要求。

这半年来，透过技术突破、产业需求，以及发展轨迹，我们看到Edge AI的产业轮廓，正逐渐形成。

模型演算法的高度竞争使得Edge端可用的AI模型愈来愈强大。近年来出现许多参数量在13B～70B级的精简模型，透过知识蒸馏、量化压缩、模型剪枝以及多专家混合（MoE）等技术，这些小模型在使用较少参数的同时还能大幅提升性能，缩小与大型模型的差距 。同时也配备了各种终端应用极度关键的推理（reasoning）能力，包括控制、决策、因果、规划等。

SoC与存儲器规格配置同样是促成Edge AI崛起的要素。

目前主流高端智能手機、NB的NPU（AI运算核心）已经接近100 TOPS，足够让这些终端模型每秒生成数十个token（语意单元），满足应用场域（文字、语音对话）的生成品质要求。同时，透过低位元精度（如8或4位元）来表示模型权重，有助于大幅降低总位元数，使现有存儲器配置即可支持终端AI推论，释放AI从云端走向终端的巨大潜力。

另一方面，各大厂商也在其芯片产品蓝图中，明确规划未来的算力提升，进一步强化Edge AI可行性与效能。

在初期应用情境中，智能手機成为Edge AI生态重要桥梁。手机不仅是首批受惠于AI能力提升的装置，更自然作为云端与各类在地智能装置之间的桥梁。透过手机，无线耳机、汽车、AR眼镜等装置都能与云端和手机上的AI模型连动，实现多模态的Edge AI应用。例如，耳机可使用手机（AI模型）實時翻译语音，车载系统可依靠手机辅助娱乐信息，眼镜则利用手机处理视觉、语音任务。智能手机作为随身超级终端，串联各种周边装置，

历史轨迹也告诉我们，当網絡封包（packet）的成本逐步下降，通讯功能便普及至各类终端设备。10年后（2017 年），移動产业达到高峰，无论是应用生态系或硬件供应链都蓬勃发展。同样地，随著token成本不断下降，AI 能力延伸至新型态终端设备，触发全新应用场景，也是值得期待。

延伸报导专家讲堂：鉴往知来：packet（互聯網）vs. token（大语言模型）

垂直产业中也听到应用面需求。过去手机SoC供应商的技术团队，首要工作是优化品牌手机中鏡頭应用的智能功能，但从2024年开始，优化手机中LLM执行效率，成了品牌客户的关键需求。工业场域中，也对于推理功能加速决策效益，工业机器人的执行效率多所期待。过去几年，NAS在中小企业中大量采用，年复合成长率超过 15%，显示这类用户对數據管理与在地运算的高度需求。如今，这些用户也期待能在终端设备上，享受到大型语言模型所带来的自动化与知识管理功能。

近来市场数据也显示Edge AI正逐渐萌芽。

在最新的季报中，苹果（Apple）新款M4芯片强调AI效能，推动2025年第1季Mac营收年增15.5%，更值得注意的是，新芯片也在2024下半年吸引新用户进入苹果体系。高通（Qualcomm）因手机与车用AI需求激增，手机业务创新高，汽车业务更年增55%，公司也宣称「Edge AI是未来业务成长主要推力」。NVIDIA的Orin车用AI平臺单季营收年增103%，并与联发科合作布局一系列全新终端SoC。

芯片设计商与设备供应商正从Edge AI中实际获利。也同时看到OpenAI 以约 65 亿美元的全股票交易方式收购了由前苹果首席设计长 Jony Ive 共同创立的 AI 硬件新创公司 io。这股趋势Edge AI已从概念走向实质商业成长。

尽管前景看好，Edge AI推广仍面临多重挑战。

首先是应用场域的扩展：用户需求差异极大，不同行业与装置对模型大小、功能要求各异，业者须在通用性与定制化间取得平衡，如何取得具泛化能力的精简模型，解决场域问题，至关重要。

其次是功耗与效能的权衡：终端装置受限于电池与散热条件，高复杂推理恐导致过热与续航缩短，对芯片设计与电源管理设下更高要求。

再者，生态系初期碎片化，硬件架构多、軟件缺乏统一标准，让开发者必须针对各平臺个别调适，增加成本与阻碍创新。这些挑战若未克服，恐将削弱Edge AI的经济性与可扩展性。不过，回顾移動产业的发展历程，也为今日的Edge AI前瞻团队提供宝贵借镜。