相較於目前大語言模型應用絕大部分在雲端伺服器上推論，Edge AI（邊緣AI）強調在裝置上獨立執行AI模型。這種架構差異在於：可大幅降低因網路傳輸造成的延遲，確保即時反應，即使在無網路離線下也能運作；資料不上傳雲端，確保資料私密與安全性。Edge AI有機會滿足許多新應用場域中對低延遲、高私密的關鍵要求。這半年來，透過技術突破、產業需求，以及發展軌跡，我們看到Edge AI的產業輪廓，正逐漸形成。模型演算法的高度競爭使得Edge端可用的AI模型愈來愈強大。近年來出現許多參數量在13B～70B級的精簡模型，透過知識蒸餾、量化壓縮、模型剪枝以及多專家混合（MoE）等技術，這些小模型在使用較少參數的同時還能大幅提升性能，縮小與大型模型的差距 。同時也配備了各種終端應用極度關鍵的推理（reasoning）能力，包括控制、決策、因果、規劃等。SoC與記憶體規格配置同樣是促成Edge AI崛起的要素。目前主流高階智慧型手機、NB的NPU（AI運算核心）已經接近100 TOPS，足夠讓這些終端模型每秒生成數十個token（語意單元），滿足應用場域（文字、語音對話）的生成品質要求。同時，透過低位元精度（如8或4位元）來表示模型權重，有助於大幅降低總位元數，使現有記憶體配置即可支援終端AI推論，釋放AI從雲端走向終端的巨大潛力。另一方面，各大廠商也在其晶片產品藍圖中，明確規劃未來的算力提升，進一步強化Edge AI可行性與效能。在初期應用情境中，智慧型手機成為Edge AI生態重要橋樑。手機不僅是首批受惠於AI能力提升的裝置，更自然作為雲端與各類在地智慧裝置之間的橋梁。透過手機，無線耳機、汽車、AR眼鏡等裝置都能與雲端和手機上的AI模型連動，實現多模態的Edge AI應用。例如，耳機可使用手機（AI模型）即時翻譯語音，車載系統可依靠手機輔助娛樂訊息，眼鏡則利用手機處理視覺、語音任務。智慧手機作為隨身超級終端，串聯各種周邊裝置，歷史軌跡也告訴我們，當網路封包（packet）的成本逐步下降，通訊功能便普及至各類終端設備。10年後（2017 年），行動產業達到高峰，無論是應用生態系或硬體供應鏈都蓬勃發展。同樣地，隨著token成本不斷下降，AI 能力延伸至新型態終端設備，觸發全新應用場景，也是值得期待。延伸報導專家講堂：鑑往知來：packet（網際網路）vs. token（大語言模型）垂直產業中也聽到應用面需求。過去手機SoC供應商的技術團隊，首要工作是優化品牌手機中相機應用的智慧功能，但從2024年開始，優化手機中LLM執行效率，成了品牌客戶的關鍵需求。工業場域中，也對於推理功能加速決策效益，工業機器人的執行效率多所期待。過去幾年，NAS在中小企業中大量採用，年複合成長率超過 15%，顯示這類用戶對資料管理與在地運算的高度需求。如今，這些用戶也期待能在終端設備上，享受到大型語言模型所帶來的自動化與知識管理功能。近來市場數據也顯示Edge AI正逐漸萌芽。在最新的季報中，蘋果（Apple）新款M4晶片強調AI效能，推動2025年第1季Mac營收年增15.5%，更值得注意的是，新晶片也在2024下半年吸引新用戶進入蘋果體系。高通（Qualcomm）因手機與車用AI需求激增，手機業務創新高，汽車業務更年增55%，公司也宣稱「Edge AI是未來業務成長主要推力」。NVIDIA的Orin車用AI平台單季營收年增103%，並與聯發科合作布局一系列全新終端SoC。晶片設計商與設備供應商正從Edge AI中實際獲利。也同時看到OpenAI 以約 65 億美元的全股票交易方式收購了由前蘋果首席設計長 Jony Ive 共同創立的 AI 硬體新創公司 io。這股趨勢Edge AI已從概念走向實質商業成長。儘管前景看好，Edge AI推廣仍面臨多重挑戰。首先是應用場域的擴展：用戶需求差異極大，不同行業與裝置對模型大小、功能要求各異，業者須在通用性與客製化間取得平衡，如何取得具泛化能力的精簡模型，解決場域問題，至關重要。其次是功耗與效能的權衡：終端裝置受限於電池與散熱條件，高複雜推理恐導致過熱與續航縮短，對晶片設計與電源管理設下更高要求。再者，生態系初期碎片化，硬體架構多、軟體缺乏統一標準，讓開發者必須針對各平台個別調適，增加成本與阻礙創新。這些挑戰若未克服，恐將削弱Edge AI的經濟性與可擴展性。不過，回顧行動產業的發展歷程，也為今日的Edge AI前瞻團隊提供寶貴借鏡。

在前一文中，我們類比網際網路（Internet）以及現今大型語言模型（LLM）的發展軌跡，特別是網際網路的核心傳輸單位—封包（packet），LLM生成單位—語意單元（token），在基礎設施、商業模式發展上呈現出明顯相似性。透過回顧packet的發展路徑，我們試著描繪出token驅動的AI未來發展軌跡，並預判在產品形態、服務模式與產業價值鏈上的可能樣貌。另一可供借鏡的歷程，是應用程式（App）在行動網路時代所引爆的創新與變革。如今，在LLM/LVM多模態大模型推動下，一個以「Agent」為核心的應用生態正逐步成形。延續上文，我們嘗試從App的崛起歷程，看見代理（Agent）以及邊緣AI（Edge AI）未來的可能路徑。2007年開始，行動App實現即時互動與高速資料交換，行動用戶大量增加，源自於網路封包傳輸成本逐步下降，智慧型手機的運算效能與續航力的進展。App Store的出現更將過去分散、複雜的網頁互動模式，整合為圖形化、易於操作的應用程式介面，大幅降低使用門檻，使數位服務真正「行動化」、「普及化」。App 不再只是單一功能工具，更透過推播、定位、社群整合等特性，深度嵌入使用者生活。這也帶動「長尾效應」—不僅少數爆紅應用，而是無數利基型App滿足多元、個人化的需求。這場從網頁到App的轉變，不只是介面革新，更興起全新App驅動的生態系，翻轉整個數位服務的生產與分配模式，也同時快速推升行動裝置的需求（2017年達到高峰）。App Store 建構出一套雙邊市場機制，一端連結開發者創新、另一端連結全球使用者，使原本無法規模化的服務得以商品化、在地化與全球化。過去嶄露頭角的數位服務如Uber、LINE、Instagram皆倚賴App生態興起，而App的爆發也帶動晶片、感測器、模組、電池、記憶體等硬體需求，重塑行動裝置供應鏈結構，並促成新興品牌與 ODM/OEM 的崛起。Statista統計顯示，全球App下載量自2010年的60億次，成長至2023年的1,430億次，反映出App模式背後強大的規模經濟與網路效應。台灣廠商在這波行動化浪潮中，從晶圓代工、封裝測試到系統整合與 App 開發皆深度參與，建立完整供應鏈與生態網路。這段歷程不僅重塑行動產業結構，也為即將興起的AI代理（AI Agent）模式提供寶貴借鏡——當使用者介面再次從App進化為Agent，我們是否能搶先洞察使用需求、運算架構、標準制定與硬體整合的關鍵優勢？如果App是行動網路時代的使用介面，那麼由大模型LLM/LVM驅動的Agent，可能是 AI 時代的核心入口。Agent不僅理解自然語言（及各種感測訊號），還得具備任務規劃與執行能力，從單純對話升級為數位助理。透過多模態推理與工具鏈結，Agent的應用場景正快速擴展至自動化工作流程、專業諮詢、教育訓練與知識輔助等領域。未來極可能出現類似「Agent Store」的新型生態系，就如當年App Store一樣，匯集多樣化、可重組的智慧模組，滿足多樣性需求。這將加速硬體與軟體的分工整合，促進各種垂直應用場域（如工業、醫療、中小企業、消費者市場）中智慧代理的落地機會。隨著近來高效率推理模型的快速演進，以及LLM開源生態的蓬勃發展，更進一步推進這樣的可能性。同時，終端市場的實際需求也正在浮現，如中小企業的知識管理、自動化應用，以及工控領域中即時推理能力的渴望，也回應了市場的需要。終端裝置的硬體規格，也逐漸具備支撐Agent所需的AI算力與記憶體條件。隨著LLM開源社群快速演進，如13B等級模型已能在一般行動裝置上順利推理，token生成速度亦逐步接近應用需要，Edge AI的落地門檻正快速降低。根據預測，Edge AI晶片市場將自2023年的24億美元，成長至2033年的252億美元，年複合成長率高達26.5%。各大系統與晶片業者也已積極布局AI手機、車用SoC與AI PC平台。未來，Agent將可自然地嵌入手機、筆電、AR眼鏡、TWS耳機、機器人等多元終端裝置，成為新一代語言互動與任務導向操作的使用介面。當然，Agent技術的普及仍面臨諸多挑戰，除了使用者資料的授權與使用，日益增強的自主性也帶來安全、隱私、監管與倫理等層面的高度關注，技術本身的複雜度亦不容小覷。然而巧合的是，這些挑戰與機會的交織，恰如2007年行動網路時代初啟時的情境—從應用模式、生態系到硬體需求與供應鏈架構，皆醞釀著重塑的可能。Agent的發展，正釋出一種熟悉而微妙的訊號，預告另一波產業典範轉移的起點。

從資訊技術演進的歷程來看，過去數十年來網際網路（Internet）的核心傳輸單位—封包（packet），與現今AI時代的大型語言模型（LLM）生成單位—語意單元（token），在基礎設施、商業模式發展上呈現出明顯相似性。透過回顧packet的發展路徑，我們可以摸著石頭過河，描繪出token相關技術的潛在演進軌跡，並預判其在產品形態、服務模式與產業價值鏈上的可能樣貌。何謂封包（packet）？封包是網際網路資料傳輸的最小「訊息單位」。所有透過網路傳輸的訊息（不管是信件、語音、甚至影片串流）都被拆解為多個封包，每個封包內含傳輸資訊等重要資訊，確保資料在龐大複雜的網際網路中，正確無誤地抵達目的地。過去數十年，網路基礎設施的投資便是圍繞封包品質的確保（如錯誤重傳機制）、提升傳輸效率（如頻寬升級、資料壓縮），以及整體系統吞吐量（throughput）的擴展而展開。正是如此，過去三十年來，我們才有日益豐富的網路服務，如訊息溝通、電子商務、社群媒體、影音娛樂等。而在LLM中，token則成為關鍵「智能單位」。語言模型在處理自然語言時，將一段文字訊息拆解成多個token，每個token代表不同的語意片段，經由模型運算後再組合（生成）為有意義的內容。與封包相似，token的數量和生成效率直接影響運算成本以及使用者體驗。例如，過去3年AI運算基礎建設投資的大幅增長，就是為了確保LLM模型的能力（token品質）以及服務品質（token生成效率），甚至近期邊緣裝置上token處理能力的提升，也正逐漸顛覆AI應用的場域邊界，向更多元、即時且全新的場域擴張。單看過去三十幾年網際網路packet的發展，我們發現token也在走類似的進程。不管是基礎建設，或是3個技術優化方向，包括「品質保障」、「效率提升」，以及整體「系統吞吐量的擴展」。品質保障：網路早期透過TCP/IP協定來確保封包傳輸的正確性，而LLM則透過scaling law加大模型、使用更多訓練資料，甚至後來以思維鏈（Chain-of-Thought；CoT）為基礎的推理技術，確保生成的token內容正確且提供高品質推理服務。效率提升：隨著頻寬提升和資料壓縮等技術的成熟，封包傳輸成本大幅降低；同樣地，token處理成本亦透過模型蒸餾（distillation）、量化（quantization，使用較少位元表示數值）、KV Cache等張量（tensor）降維壓縮，或是使用更有效率的架構（如MoE）來降低運算量，甚至有機會使大模型有效地運行於終端裝置。系統吞吐量擴展：過去網際網路透過光纖技術和提升邊緣設備（交換器、路由器等）大幅提升資料傳輸量,或是使用內容傳遞網路（CDN）等技術提高封包全局效益；在LLM領域，資料中心的垂直擴充（scale-up，提高算力、記憶體等提昇單一伺服器效能）與水平擴充（scale-out，高速網路連結、排程提升分散式系統效能）、或是採用雲端—邊緣混合架構（Cloud-Edge-Hybrid）等，實現整體系統更高的token處理吞吐量，滿足未來多元且即時的應用需求。循著過去網際網路發展的主軸，我們可以預見AI技術即將引爆的下一波變革—智能「去中心化」（普及化），低成本token開始在終端設備上運行。情境將如同2007年行動網路興起之際，packet進入行動裝置，催生智慧型手機，也推動Uber、LINE等全新服務的誕生，引爆長達十數年的行動生態系蓬勃發展。網際網路數十年來最佳化packet傳輸技術，帶動網路服務的快速普及，特別在行動網路時代，我們見證大量新應用與商業模式的誕生。這段歷程也為觀察生成式AI提供重要參照—當前token的品質提升與單位成本下降，正如當年packet優化所引發的技術擴張與資本投入，預示著新一波智能設備與創新應用的興起。隨著token處理成本持續降低，AI有望成為如網路般的關鍵基礎設施，深刻重塑產業結構。近來多個開放LLM模型在效能與成本上的突破，更強化LLM商品化與大規模應用的趨勢。未來如何因應？過去的歷史已經顯明，在技術變革時，應以開放的態度，極力接近實際場域，理解技術應用發展方向，甚至與合作夥伴共同設計開發，參與組建生態系。更積極的作法，是投資（國際）學研單位，甚至新創團隊，理解新的場域應用，以及技術演進。鑑往知來，回顧packet的發展經驗（許多企業經營層也曾親歷其境），將使我們更有效地掌握token所帶來的顛覆性機遇。對資訊電子產業的投資者與決策者而言，更是攸關未來競爭優勢的關鍵課題。每一次產業典範的轉移，總會帶來新的硬體、服務、企業、生態系，甚至整個產業格局的興起與殞落。當我們已清楚AI大模型即將重塑未來十年的產業樣貌，或許網際（行動）網路曾走過的歷程，正可作為產業AI戰略規劃的重要借鏡。

先進駕駛輔助系統(ADAS)或是未來大家期盼的全自駕(兩者統稱為「智慧駕駛」)，都是接下來新興造車產業關鍵性的產品，DIGITIMES的研究也顯示相關產品如感應器、鏡頭、線材、MCU、AI晶片、軟體、服務等的營業額以及成長性都相當可觀。

汽車產業進入典範轉移，電動車以及自駕車商機湧現。業界預估，以每年全球汽車產量9,000萬台換算，所需的半導體與被動元件消耗量，等同於20億支智慧型手機(過去幾年智慧型手機的最高年度銷售量還不到15億支)，可以想像背後可能的龐大商機。

Tesla前些日子召開AI Day，揭露他們在自駕車未來的AI軟體以及晶片布局。目前市值最高的汽車品牌，在乎的技術是AI軟體以及運算晶片上的突破。前幾年還不清楚為何Tesla抱怨車用晶片供應商提供的晶片不敷需求，要自己設計，幾年之後他們推出自己的車用晶片，包含了12個CPU，一顆GPU，2顆NPU (每顆算力36.86 TOPS)。而原因日益明朗：深度軟硬整合。

前面的文章提到Tesla之所以能拋棄雷達(Radar)或是光達(LiDAR)而使用全視覺的技術，其中一個要素是使用大量的訓練質料來提升「感知」以及「預測」能力。另一個自駕團隊Lyft Level 5近期研究也發現足夠的訓練資料可以大大提升自駕品質：在預測的工作上如果訓練資料由10小時提升為1,000小時，每1,000英里自駕出錯機率會降為11分之1。訓練資料在自駕上扮演了關鍵的角色，特別是目前的演算法都採用了以深度學習為基礎的架構。

隨著自駕技術的發展，許多的團隊把技術的眼光專注在可擴展性(scalability)上，希望將技術轉換為自駕產品時，能具有合理成本，如硬體穩定度高、價格可以被市場接受、在可見的時間內獲利，以及能以低人力或時間成本，轉移到不一樣的場域或國家。如為無人計程車(robotaxi)開發的自駕技術可以使用在個人自駕車，或是在舊金山通行的自駕能力，也可以無痛在台北使用。

根據WHO的研究，每年全球約有130萬人死於交通事故，這樣的數目高於每年因HIV/AIDS致死人數，或是等同於每30秒就有一人因車禍受難。肇事的原因可能因為機械問題，或是其他車輛的失誤。常見的是行車時沒有察覺路況(疲累、撿掉下的手機等)、預估失準、或是在關鍵時刻無法適時反應而造成意外。

疫情嚴峻，學生被迫在家上課，大量企業決定分流或是全數在家上班，許多人工作型態轉為接連不斷的線上會議，措手不及。還好疫情遠距工作在歐美已經進行了一年多，有許多經驗值得我們參考。例如，微軟(Microsoft)的研究團隊最近在人機互動頂尖會議CHI 2021發表一篇學術研究，從公司內部715人的行為，建議有效的遠距工作會議應當：避免早上舉行重要會議、減少不必要會議、縮短會議時間、鼓勵與會者參與討論、允許會議中多工處理其他工作等。