相较于目前大语言模型应用绝大部分在云端服務器上推论，Edge AI（边缘AI）强调在装置上独立执行AI模型。这种架构差异在于：可大幅降低因網絡传输造成的延迟，确保實時反应，即使在无網絡离线下也能运作；數據不上传云端，确保數據私密与安全性。Edge AI有机会满足许多新应用场域中对低延迟、高私密的关键要求。这半年来，透过技术突破、产业需求，以及发展轨迹，我们看到Edge AI的产业轮廓，正逐渐形成。模型演算法的高度竞争使得Edge端可用的AI模型愈来愈强大。近年来出现许多参数量在13B～70B级的精简模型，透过知识蒸馏、量化压缩、模型剪枝以及多专家混合（MoE）等技术，这些小模型在使用较少参数的同时还能大幅提升性能，缩小与大型模型的差距 。同时也配备了各种终端应用极度关键的推理（reasoning）能力，包括控制、决策、因果、规划等。SoC与存儲器规格配置同样是促成Edge AI崛起的要素。目前主流高端智能手機、NB的NPU（AI运算核心）已经接近100 TOPS，足够让这些终端模型每秒生成数十个token（语意单元），满足应用场域（文字、语音对话）的生成品质要求。同时，透过低位元精度（如8或4位元）来表示模型权重，有助于大幅降低总位元数，使现有存儲器配置即可支持终端AI推论，释放AI从云端走向终端的巨大潜力。另一方面，各大厂商也在其芯片产品蓝图中，明确规划未来的算力提升，进一步强化Edge AI可行性与效能。在初期应用情境中，智能手機成为Edge AI生态重要桥梁。手机不仅是首批受惠于AI能力提升的装置，更自然作为云端与各类在地智能装置之间的桥梁。透过手机，无线耳机、汽车、AR眼镜等装置都能与云端和手机上的AI模型连动，实现多模态的Edge AI应用。例如，耳机可使用手机（AI模型）實時翻译语音，车载系统可依靠手机辅助娱乐信息，眼镜则利用手机处理视觉、语音任务。智能手机作为随身超级终端，串联各种周边装置，历史轨迹也告诉我们，当網絡封包（packet）的成本逐步下降，通讯功能便普及至各类终端设备。10年后（2017 年），移動产业达到高峰，无论是应用生态系或硬件供应链都蓬勃发展。同样地，随著token成本不断下降，AI 能力延伸至新型态终端设备，触发全新应用场景，也是值得期待。延伸报导专家讲堂：鉴往知来：packet（互聯網）vs. token（大语言模型）垂直产业中也听到应用面需求。过去手机SoC供应商的技术团队，首要工作是优化品牌手机中鏡頭应用的智能功能，但从2024年开始，优化手机中LLM执行效率，成了品牌客户的关键需求。工业场域中，也对于推理功能加速决策效益，工业机器人的执行效率多所期待。过去几年，NAS在中小企业中大量采用，年复合成长率超过 15%，显示这类用户对數據管理与在地运算的高度需求。如今，这些用户也期待能在终端设备上，享受到大型语言模型所带来的自动化与知识管理功能。近来市场数据也显示Edge AI正逐渐萌芽。在最新的季报中，苹果（Apple）新款M4芯片强调AI效能，推动2025年第1季Mac营收年增15.5%，更值得注意的是，新芯片也在2024下半年吸引新用户进入苹果体系。高通（Qualcomm）因手机与车用AI需求激增，手机业务创新高，汽车业务更年增55%，公司也宣称「Edge AI是未来业务成长主要推力」。NVIDIA的Orin车用AI平臺单季营收年增103%，并与联发科合作布局一系列全新终端SoC。芯片设计商与设备供应商正从Edge AI中实际获利。也同时看到OpenAI 以约 65 亿美元的全股票交易方式收购了由前苹果首席设计长 Jony Ive 共同创立的 AI 硬件新创公司 io。这股趋势Edge AI已从概念走向实质商业成长。尽管前景看好，Edge AI推广仍面临多重挑战。首先是应用场域的扩展：用户需求差异极大，不同行业与装置对模型大小、功能要求各异，业者须在通用性与定制化间取得平衡，如何取得具泛化能力的精简模型，解决场域问题，至关重要。其次是功耗与效能的权衡：终端装置受限于电池与散热条件，高复杂推理恐导致过热与续航缩短，对芯片设计与电源管理设下更高要求。再者，生态系初期碎片化，硬件架构多、軟件缺乏统一标准，让开发者必须针对各平臺个别调适，增加成本与阻碍创新。这些挑战若未克服，恐将削弱Edge AI的经济性与可扩展性。不过，回顾移動产业的发展历程，也为今日的Edge AI前瞻团队提供宝贵借镜。

在前一文中，我们类比互聯網（Internet）以及现今大型语言模型（LLM）的发展轨迹，特别是互聯網的核心传输单位—封包（packet），LLM生成单位—语意单元（token），在基础设施、商业模式发展上呈现出明显相似性。透过回顾packet的发展路径，我们试著描绘出token驱动的AI未来发展轨迹，并预判在产品形态、服务模式与产业价值链上的可能样貌。另一可供借镜的历程，是应用程序（App）在移動網絡时代所引爆的创新与变革。如今，在LLM/LVM多模态大模型推动下，一个以「Agent」为核心的应用生态正逐步成形。延续上文，我们尝试从App的崛起历程，看见代理（Agent）以及边缘AI（Edge AI）未来的可能路径。2007年开始，移動App实现實時互动与高速數據交换，移動用户大量增加，源自于網絡封包传输成本逐步下降，智能手機的运算效能与续航力的进展。App Store的出现更将过去分散、复杂的网页互动模式，整合为图形化、易于操作的应用程序界面，大幅降低使用门槛，使數字服务真正「移動化」、「普及化」。App 不再只是单一功能工具，更透过推播、定位、社群整合等特性，深度嵌入使用者生活。这也带动「长尾效应」—不仅少数爆红应用，而是无数利基型App满足多元、个人化的需求。这场从网页到App的转变，不只是界面革新，更兴起全新App驱动的生态系，翻转整个數字服务的生产与分配模式，也同时快速推升移動設備的需求（2017年达到高峰）。App Store 建构出一套双边市场机制，一端连结开发者创新、另一端连结全球使用者，使原本无法规模化的服务得以商品化、在地化与全球化。过去崭露头角的數字服务如Uber、LINE、Instagram皆倚赖App生态兴起，而App的爆发也带动芯片、傳感器、模塊、电池、存儲器等硬件需求，重塑移動設備供应链结构，并促成新兴品牌与 ODM/OEM 的崛起。Statista统计显示，全球App下载量自2010年的60亿次，成长至2023年的1,430亿次，反映出App模式背后强大的规模经济与網絡效应。臺湾厂商在这波移動化浪潮中，从晶圆代工、封装测试到系统整合与 App 开发皆深度参与，建立完整供应链与生态網絡。这段历程不仅重塑移動产业结构，也为即将兴起的AI代理（AI Agent）模式提供宝贵借镜——当使用者界面再次从App进化为Agent，我们是否能抢先洞察使用需求、运算架构、标准制定与硬件整合的关键优势？如果App是移動網絡时代的使用界面，那么由大模型LLM/LVM驱动的Agent，可能是 AI 时代的核心入口。Agent不仅理解自然语言（及各种傳感信號），还得具备任务规划与执行能力，从单纯对话升级为數字助理。透过多模态推理与工具链结，Agent的应用场景正快速扩展至自动化工作流程、专业咨询、教育训练与知识辅助等领域。未来极可能出现类似「Agent Store」的新型生态系，就如当年App Store一样，汇集多样化、可重组的智能模塊，满足多样性需求。这将加速硬件与軟件的分工整合，促进各种垂直应用场域（如工业、医疗、中小企业、消费者市场）中智能代理的落地机会。随著近来高效率推理模型的快速演进，以及LLM开源生态的蓬勃发展，更进一步推进这样的可能性。同时，终端市场的实际需求也正在浮现，如中小企业的知识管理、自动化应用，以及工控领域中實時推理能力的渴望，也回应了市场的需要。终端装置的硬件规格，也逐渐具备支撑Agent所需的AI算力与存儲器条件。随著LLM开源社群快速演进，如13B等级模型已能在一般移動設備上顺利推理，token生成速度亦逐步接近应用需要，Edge AI的落地门槛正快速降低。根据预测，Edge AI芯片市场将自2023年的24亿美元，成长至2033年的252亿美元，年复合成长率高达26.5%。各大系统与芯片业者也已积极布局AI手机、车用SoC与AI PC平臺。未来，Agent将可自然地嵌入手机、筆記本電腦、AR眼镜、TWS耳机、机器人等多元终端装置，成为新一代语言互动与任务导向操作的使用界面。当然，Agent技术的普及仍面临诸多挑战，除了使用者數據的授权与使用，日益增强的自主性也带来安全、隐私、监管与伦理等层面的高度关注，技术本身的复杂度亦不容小觑。然而巧合的是，这些挑战与机会的交织，恰如2007年移動網絡时代初启时的情境—从应用模式、生态系到硬件需求与供应链架构，皆酝酿著重塑的可能。Agent的发展，正释出一种熟悉而微妙的信號，预告另一波产业典范转移的起点。

从信息技术演进的历程来看，过去数十年来互聯網（Internet）的核心传输单位—封包（packet），与现今AI时代的大型语言模型（LLM）生成单位—语意单元（token），在基础设施、商业模式发展上呈现出明显相似性。透过回顾packet的发展路径，我们可以摸著石头过河，描绘出token相关技术的潜在演进轨迹，并预判其在产品形态、服务模式与产业价值链上的可能样貌。何谓封包（packet）？封包是互聯網數據传输的最小「信息单位」。所有透过網絡传输的信息（不管是信件、语音、甚至影片串流）都被拆解为多个封包，每个封包内含传输信息等重要信息，确保數據在庞大复杂的互聯網中，正确无误地抵达目的地。过去数十年，網絡基础设施的投资便是围绕封包品质的确保（如错误重传机制）、提升传输效率（如帶寬升级、數據压缩），以及整体系统吞吐量（throughput）的扩展而展开。正是如此，过去三十年来，我们才有日益丰富的網絡服务，如信息沟通、电子商务、社群媒体、影音娱乐等。而在LLM中，token则成为关键「智能单位」。语言模型在处理自然语言时，将一段文字信息拆解成多个token，每个token代表不同的语意片段，经由模型运算后再组合（生成）为有意义的内容。与封包相似，token的数量和生成效率直接影响运算成本以及使用者体验。例如，过去3年AI运算基础建设投资的大幅增长，就是为了确保LLM模型的能力（token品质）以及服务品质（token生成效率），甚至近期边缘装置上token处理能力的提升，也正逐渐颠覆AI应用的场域边界，向更多元、實時且全新的场域扩张。单看过去三十几年互聯網packet的发展，我们发现token也在走类似的进程。不管是基础建设，或是3个技术优化方向，包括「品质保障」、「效率提升」，以及整体「系统吞吐量的扩展」。品质保障：網絡早期透过TCP/IP协定来确保封包传输的正确性，而LLM则透过scaling law加大模型、使用更多训练數據，甚至后来以思维链（Chain-of-Thought；CoT）为基础的推理技术，确保生成的token内容正确且提供高品质推理服务。效率提升：随著帶寬提升和數據压缩等技术的成熟，封包传输成本大幅降低；同样地，token处理成本亦透过模型蒸馏（distillation）、量化（quantization，使用较少位元表示数值）、KV Cache等张量（tensor）降维压缩，或是使用更有效率的架构（如MoE）来降低运算量，甚至有机会使大模型有效地运行于终端装置。系统吞吐量扩展：过去互聯網透过光纤技术和提升边缘设备（交换器、路由器等）大幅提升數據传输量,或是使用内容传递網絡（CDN）等技术提高封包全局效益；在LLM领域，數據中心的垂直扩充（scale-up，提高算力、存儲器等提升单一服務器效能）与水平扩充（scale-out，高速網絡连结、排程提升分散式系统效能）、或是采用云端—边缘混合架构（Cloud-Edge-Hybrid）等，实现整体系统更高的token处理吞吐量，满足未来多元且實時的应用需求。循著过去互聯網发展的主轴，我们可以预见AI技术即将引爆的下一波变革—智能「去中心化」（普及化），低成本token开始在终端设备上运行。情境将如同2007年移動網絡兴起之际，packet进入移動設備，催生智能手機，也推动Uber、LINE等全新服务的诞生，引爆长达十数年的移動生态系蓬勃发展。互聯網数十年来最佳化packet传输技术，带动網絡服务的快速普及，特别在移動網絡时代，我们见证大量新应用与商业模式的诞生。这段历程也为观察生成式AI提供重要参照—当前token的品质提升与单位成本下降，正如当年packet优化所引发的技术扩张与资本投入，预示著新一波智能设备与创新应用的兴起。随著token处理成本持续降低，AI有望成为如網絡般的关键基础设施，深刻重塑产业结构。近来多个开放LLM模型在效能与成本上的突破，更强化LLM商品化与大规模应用的趋势。未来如何因应？过去的历史已经显明，在技术变革时，应以开放的态度，极力接近实际场域，理解技术应用发展方向，甚至与合作伙伴共同设计开发，参与组建生态系。更积极的作法，是投资（国际）学研单位，甚至新创团队，理解新的场域应用，以及技术演进。鉴往知来，回顾packet的发展经验（许多企业经营层也曾亲历其境），将使我们更有效地掌握token所带来的颠覆性机遇。对信息电子产业的投资者与决策者而言，更是攸关未来竞争优势的关键课题。每一次产业典范的转移，总会带来新的硬件、服务、企业、生态系，甚至整个产业格局的兴起与殒落。当我们已清楚AI大模型即将重塑未来十年的产业样貌，或许网际（移動）網絡曾走过的历程，正可作为产业AI战略规划的重要借镜。

先进驾驶辅助系统(ADAS)或是未来大家期盼的全自驾(两者统称为「智能驾驶」)，都是接下来新兴造车产业关键性的产品，DIGITIMES的研究也显示相关产品如感应器、镜头、线材、MCU、AI芯片、軟件、服务等的营业额以及成长性都相当可观。

汽车产业进入典范转移，电动车以及自驾车商机涌现。业界预估，以每年全球汽车产量9,000万臺换算，所需的半导体与被动元件消耗量，等同于20亿支智能手機(过去几年智能手機的最高年度销售量还不到15亿支)，可以想像背后可能的庞大商机。

Tesla前些日子召开AI Day，揭露他们在自驾车未来的AI軟件以及芯片布局。目前市值最高的汽车品牌，在乎的技术是AI軟件以及运算芯片上的突破。前几年还不清楚为何Tesla抱怨车用芯片供应商提供的芯片不敷需求，要自己设计，几年之后他们推出自己的车用芯片，包含了12个CPU，一颗GPU，2颗NPU (每颗算力36.86 TOPS)。而原因日益明朗：深度软硬整合。

前面的文章提到Tesla之所以能抛弃雷达(Radar)或是激光雷達(LiDAR)而使用全视觉的技术，其中一个要素是使用大量的训练质料来提升「感知」以及「预测」能力。另一个自驾团队Lyft Level 5近期研究也发现足够的训练數據可以大大提升自驾品质：在预测的工作上如果训练數據由10小时提升为1,000小时，每1,000英里自驾出错机率会降为11分之1。训练數據在自驾上扮演了关键的角色，特别是目前的演算法都采用了以深度学习为基础的架构。

随著自驾技术的发展，许多的团队把技术的眼光专注在可扩展性(scalability)上，希望将技术转换为自驾产品时，能具有合理成本，如硬件稳定度高、价格可以被市场接受、在可见的时间内获利，以及能以低人力或时间成本，转移到不一样的场域或国家。如为无人出租車(robotaxi)开发的自驾技术可以使用在个人自驾车，或是在旧金山通行的自驾能力，也可以无痛在臺北使用。

根据WHO的研究，每年全球约有130万人死于交通事故，这样的数目高于每年因HIV/AIDS致死人数，或是等同于每30秒就有一人因车祸受难。肇事的原因可能因为机械问题，或是其他车辆的失误。常见的是行车时没有察觉路况(疲累、捡掉下的手机等)、预估失准、或是在关键时刻无法适时反应而造成意外。

疫情严峻，学生被迫在家上课，大量企业决定分流或是全数在家上班，许多人工作型态转为接连不断的在線会议，措手不及。还好疫情線上工作在欧美已经进行了一年多，有许多经验值得我们参考。例如，微软(Microsoft)的研究团队最近在人机互动顶尖会议CHI 2021发表一篇学术研究，从公司内部715人的行为，建议有效的線上工作会议应当：避免早上举行重要会议、减少不必要会议、缩短会议时间、鼓励与会者参与讨论、允许会议中多工处理其他工作等。