徐宏民
台灣大學信息工程学系教授
台灣大學信息工程学系教授,曾任富士康集团与Stellantis合资车用科技公司技术长暨副总经理,推动ADAS及智能座舱系统产品进入全球车用市场。纽约哥伦比亚大学电机博士,专精于机器学习、电脑视觉、自驾车、机器人等领域。为讯连科技研发团队创始成员,慧景科技(thingnario)共同創始人,NVIDIA AI Lab計劃主持人;曾任IBM华生研究中心及美国微软研究院客座研究员。担任多家科技公司AI策略顾问,习惯从学术与产业双重视角检验技术发展的机会与挑战。<br>
推论经济(Inference Economics)
Token价格跌了99%,这件事过去两年已成为AI产业大趋势。但有一个数字却大幅上升:「推论(inference)」算力需求。所谓推论,是模型训练完成后每次被呼叫服务客户产出回应的运算。超大规模云端业者与科技公司AI基础建设资本支出已达数千亿美元等级,其中推论占企业AI预算的比重已达85%,仍在攀升。Stanford AI Index 2025记录,达到GPT-3.5等级效能的成本2年内下降280倍(透过各种TCO系统优化策略),但全球GPU出货量与數據中心功率密度要求却同步上升。2022~2023年,AI基础建设的资本配置几乎全集中在训练,整个产业的讨论聚焦于训练算力的持续扩张。但2025年之后,这个比例已大幅翻转—在许多云端平臺的实际负载中,推论已超过训练;推论芯片市场的年销售额,预计未来5至8年成长4至6倍。推论算力的成长需求,由3个力量相乘决定,不是累加:(1)token能力持续提升、价格快速下降,兴起大量、多样的知识领域新颖应用情境;(2)推理(Reasoning)模型让每次查询的算力消耗乘以10至50倍;以及(3)第三个力量,也是最常被忽略的一个。第三个力量是agent的呼叫结构。关键不在agent能做什么,而在怎么做。单一agent完成一项任务(例如AI coding),背后并非一次LLM呼叫,而是一整个循环:规划、工具呼叫、观察结果、反思、修正,再执行,通常产生10至20次LLM呼叫;多agent系统并行运作,呼叫量再乘一个数量级。除了前文提过的AI coding,Salesforce Agentforce在2025年第4季的年度经常性营收已达8亿美元、年增169%;企业端agent部署不是未来式,是现在式,而且每个部署都在以乘数方式放大推论需求。3个力量合在一起,构成一个对市场规模的估算架构:情境数量×每个情境的推理深度×每个agent任务的呼叫次数。三者相乘,不是相加。需求乘数的另一面,是推论硬件本身的结构性改变。Google DeepMind研究人员Xiaoyu Ma与Turing Award得主David Patterson于2026年1月在IEEE发表论文"Challenges and Research Directions for Large Language Model Inference Hardware"指出,目前没有一款现有主流GPU架构主要为推论最佳化,业界仍在用训练架构执行推论工作。推论的Decode阶段(逐一吐出输出token的过程)是memory-bound,不是compute-bound。然而过去十年,硬件发展的重心一直放在运算,而非存儲器:GPU的FLOPS成长80倍,存儲器帶寬只成长17倍,这个落差还在扩大;HBM系统成本持续上升。论文因此提出4个研究方向——高帶寬Flash存儲器、近存儲器运算、3D存儲器逻辑堆叠、低延迟互连——尚未有厂商完整实现。推论需求的放大,加上硬件规格尚未收敛,正在重塑芯片采购的逻辑。OpenAI 2024年在37亿美元营收下亏损近50亿美元,推论成本正是这个结构性落差的主要因素之一;大型CSP业者们的实际回应不是等GPU厂商更新架构,而是自行设计推论专用ASIC(TPU或NPU);推论负载占比愈高,自建ASIC的TCO优势就愈明显。训练丛集的采购逻辑是「跟上GPU最新時代」;推论丛集的采购逻辑正在转变为「针对自己的模型特性与流量结构定制化」。这是两套不同的供应链需求,会在不同位置开启不同的机会。Patterson论文勾勒的研究方向,直接对应到推论丛集TCO优化的4个维度:运算端以推论专用ASIC取代GPU;通讯端以低延迟互连取代训练导向的高帶寬拓朴;储存端从HBM走向高帶寬Flash与DRAM的混合存儲器阶层;能源端把每个token的功耗列为系统设计的第一优先。4个维度都还在定义,意味著供应链格局尚未固化。「推论经济」的崛起,为GPU服務器供应链日益固化、毛利空间收窄的臺湾业者,开启新的机会。推论ASIC的设计与制造、先进封装、存儲器异质整合,恰好落在臺湾IC设计生态系与晶圆代工、先进封装能力的交叉点上。这四个维度的硬件规格,目前仍在被定义当中,也是探寻新机会的好时机。
2026-03-18
AI改写的不只是效率,也是毛利结构
臺湾信息电子业对毛利压力并不陌生。品牌客户每年的成本下压、产品周期缩短、规格要求提升,是这个产业几十年来的基本节奏。过去应对的方式是制程优化、规模经济、供应链整合。AI的出现不是这条路的延伸,而是改变竞争的计算方式。哈佛商学院教授Oberholzer-Gee的Value Stick框架把竞争优势拆成一个简单的公式:Value=WTP–Cost。WTP是顾客愿付的价格上限,Cost是企业的成本下限。这个差值愈大,企业可以创造与捕获的价值愈多。竞争力的本质,是持续拉大这个区间。臺湾电子业其实对这个逻辑并不陌生,只是过去很少使用这个框架思考。PC ODM时代,臺湾主要ODM业者用规模与供应链整合建立成本曲线(随产量提升而持续下降的单位成本)优势,后进者很难复制。晶圆代工龙头的逻辑更直接:良率每提升一个百分点,每颗芯片的成本就跟著下来,客户愿意支付的溢价也跟著上去,Value Stick从两端同时扩大。延伸报导专家讲堂:企业AI导入的7个层次面板业则是反面案例:规模竞争把整个产业的成本压到极限,但WTP没有跟上(市场竞争使售价持续下压,与成本同步探底),多数业者的毛利结构至今仍未完全恢复。这三个案例说明的是同一件事:成本曲线的优势一旦建立,追赶的代价是非线性的。AI带来的结构性影响,从成本与WTP两端同时展开——而成本这端,是最先被感受到的。成本这端是最直接的。IC设计业已经感受到AI工具带来的结构性变化。芯片验证是开发流程中最耗时、最昂贵的环节,过去资深工程师需要花费大量时间撰写测试程序、调整UVM test bench、反复确认覆盖率。EDA领先供应商推出的AI辅助设计优化工具,让布局最佳化与测试程序生成的部分工作可以由AI完成。根据个别设计专案的回报,PPA(功耗、效能、面积)提升达双位数百分比,设计与验证的反复修改时间显著缩短。值得注意的是,部分臺湾主要IC设计业者已不只是采用外部EDA工具,而是走向自行开发AI模型。出发点之一是设计數據的安全敏感性:核心IP不易外传至云端服务;另一方面也是对特定设计流程有更精准的优化需求。以芯片布局为例,已有业者透过强化学习(reinforcement earning)训练自有模型,在SoC布局预测上实现从数周压缩至数小时的设计周期,并公开发表于国际设计自动化顶尖会议。这个方向代表的是:AI能力的建立,开始从「购买工具」进化为「训练自有模型与内化能力」,两者的差距,未来将直接反映在研发效率与成本曲在線。EMS端同样在移动。臺湾主要EMS厂与全球GPU运算资源供应商合作建置AI工厂,已是目前最具体的公开方向:AI视觉检测取代人工目视、生产排程AI优化压缩换线时间、设备预测性维护降低非预期停机。逻辑一致:把过去依赖人力判断的环节,逐步转为AI辅助决策,让单位产出成本随规模扩张持续下降。国际管理顾问机构与商学院的研究显示,系统性导入AI工具的企业,知识工作的完成速度提升约25%、品质提升约40%,对应到制造端是良率改善、重工减少、客诉降低。WTP这端的移动比较不明显,但同样在发生。当IC设计公司能够更快完成验证、更快回应客户规格变更,品牌客户在选择设计伙伴时的考量开始改变:交期可靠性与应变速度,正在成为与价格同等重要的评估维度。对EMS厂而言,能够提供AI辅助的生产可视性与品质预测,已是部分品牌客户评估长期合作伙伴时的加分项。这不直接等于更高的售价,但等于更稳固的订单与更长的合作周期,这本身就是Value Stick上端的移动。根据国际顾问机构2024年全球调查,AI导入程度最高的4分之1企业,创造的价值是最低4分之的3至4倍。这个差距在信息电子业的具体呈现是:能够用AI压缩设计周期、提升良率、降低库存的公司,Value=WTP–Cost的数值在扩大;没有跟上的公司,面对同样的品牌客户成本下压,空间只会愈来愈窄。PC ODM时代的成本曲线建立花了10年,晶圆代工的良率优势积累更长时间。AI这条曲线的建立速度可能更快,因为工具的取得门槛低,扩散速度也快。但这反过来意味著,领先者的优势也可能更快被追上;除非持续深化、把AI能力嵌进组织的核心流程,而不只是导入工具。真正的问题不是有没有导入AI,而是AI驱动的效率累积是否已经反映在毛利结构上。至于AI带来的效率,最终能否转化为毛利结构的改变,答案会在接下来几年的财报数字里逐渐呈现。
2026-03-13
企业AI导入的7个层次
过去两年,AI科技公司市值飙升,传统本益比估值已不适用——市场溢价反映的是产业结构重组的预期,而非当期获利。对尚未投入AI的企业而言,问题不在旁观与否,而是从何切入,掌握这波AI红利。有效使用AI工具的企业,完成同样业务量所需的人力成本与工时正在缩减。这个落差当下还不明显,但历次技术变革的走向都说明同一件事:效率差距迟早会转化为成本结构的差距,而成本结构一旦落后,追赶所需的时间往往远超过补齐工具本身。企业使用AI的方式,其实有清楚的技术层次可循,从几乎零门槛的日常工具,到需要深度IT能力的定制化部署。理解这几个层次,才能找到合理的切入点。第一层:对话式AI的日常渗透。对多数企业而言,第一个接触点是ChatGPT、Claude等对话式AI,用于文件草稿、市场分析摘要、会议纪录整理、法规条文初步解读。这个入口看起来琐碎,影响却不容低估。麦肯锡(McKinsey & Company)的研究显示,使用生成式AI的知识工作者平均每天节省1.75小时;GitHub Copilot的实测数据则显示工程师完成指定任务的速度提升约55%。这一层几乎没有理由不做,唯一需要决定的是是否系统性地推动,而不是让每个员工各自摸索。第二层:嵌入工作流程的agent工具。这一层的关键不是AI「帮你建议」,而是给定目标,agent自主规划步骤、执行完成,员工负责最后审核。Cursor、Claude Code等coding agent是目前最成熟的例子,工程师描述需求,agent自己写程序、测试、除错,开发周期大幅压缩。但应用范畴已远不止于此:给定主题,agent自主产出完整投影片;描述财务逻辑,agent建公式、设架构、生成图表;会议录音进来,整理决议、分配待办、起草通知;业务开发上,agent研究目标对象、撰写个人化开发信、追踪回复进度,销售团队专注在真正需要人判断议题。当工作流程中有重复性高、步骤明确的工作,这一层值得认真评估。第三层:特定领域的第三方工具:HR的智能排班、聘雇、与绩效分析、客服的自动回复与情绪侦测、行销科技的广告投放优化,以及电商平臺如Amazon Seller Central的商品描述生成与动态定价建议。优点是导入快、ROI计算相对清晰,不需要IT深度介入;取舍是定制化空间有限,數據往往流向第三方。当特定职能有明确痛点、且不想花IT资源自建时,这是效益最快显现的选择。第四层:呼叫LLM API自建企业工具。当第三方工具无法满足需求,直接呼叫OpenAI、Anthropic、Google等的API(使用token),由内部IT开发定制化工具是下一步。例如串接内部ERP數據的智能查询界面、自动摘要供应商合约重点条款的审阅流程、根据历史订单提供采购预测的决策辅助系统。先决条件是具备一定规模的IT开发能力。數據流向云端是主要的风险考量;当这个风险可接受、且IT人力具备,这一层提供第三方工具难以达到的定制深度。第五层:自建模型环境,數據不出企业。当數據敏感度更高,或用量规模使云端API的成本不再划算,企业可以建立自己的模型环境。最常见的做法是部署开源模型,搭配RAG架构:模型的内部知识负责推理与回答,公司的文件、手册、历史纪录作为外部知识来源,在每次查询时动态检索补充,让回答有所依据。这个架构不一定需要自建实体服務器,企业可以在自己管控的云端环境中部署开源模型,运算资源租自云端、數據留在自己的空间,兼顾弹性与數據主权。对有特定领域需求的大型企业,可以进一步微调(fine-tune)开源模型,让模型精准理解内部术语与文件格式,但门槛不低,需要足够数量且标注完整的领域數據与相应的训练资源,成本可观,中小型企业直接使用RAG通常已足够。至于从头预训练(pre-training),几乎不在企业的选项之列——所需运算资源以亿美元计,是大型AI实验室才有条件投入的工作。同样在这个层次,边缘AI(Edge AI)提供另一条路线:推论直接在终端设备上执行,數據从不离开设备、延迟极低、断网也能运作。更值得关注的是企业多年累积的内部數據——制程参数、研发纪录、设备维护历史、客户交易记录——过去是沉睡的资产,现在可以透过本地部署的AI模型加以活化。不只是查询与检索,而是跨數據集推理:找出制程与良率之间人工难以发现的关联、连结多年研发纪录中被遗忘的发现、系统化留存资深员工的隐性知识。这类數據几乎不可能送上云端,本地部署的投资也因此有更明确的商业理由。第六层:整合多模型的AI决策平臺。在更高的复杂度层次,是像Palantir AIP这样的平臺:在企业既有的數據基础设施之上,同时整合多个LLM来源,让人员在不直接接触原始數據的情况下进行AI辅助决策。美国军方是其最具代表性的客户,商业端也快速拓展至制造、医疗、金融等场景。导入门槛高、周期长,但提供其他方案难以达到的整合深度与决策可稽核性。这一层适合數據环境复杂、决策责任明确、且已在第四、第五层累积相当经验的企业。成熟的企业AI策略往往是混合架构:日常文书使用云端LLM,敏感的内部知识查询走RAG加开源模型,特定职能采购第三方工具,产线實時判断、内部know-how活化走边缘AI。根据各任务的數據敏感度、使用频率与精度要求做出合理配置,不必一刀切。这7个层次表面上是技术路线的选择,背后是竞争力的重组。采用AI更彻底的企业,人均产出显著提升、决策周期缩短。对供应链而言,硬件架构的影响也同步在发生:企业端的AI推论需求快速成形,服務器、存儲器与边缘运算设备的采购逻辑正在重写。而组织层面,随著AI承接愈来愈多的文书、协调与初步判断工作,人员的职能重心从「执行」移向「决策」与「问责」——这对人才结构的重新界定,是企业领导者需要提早布局的课题。
2026-03-12
AI Token耗量持续攀升—推理模型的崛起与产业重塑
2022年下半,AI技术出现罕见的结构性转折。Frontier Model 首度同时展现出真正的泛化(Generalization)与多工能力(Multi-tasking)。泛化意味著模型学到可扩展的语义与分析能力,能在新的指令形式与问题情境下维持稳定表现;多工则意味著同一套模型可以服务翻译、摘要、图片生成、问答等截然不同的场景应用,无需为每个任务另行训练专用模型。这个突破,使AI从针对单一任务优化的垂直工具,转变为横向的通用、高成长智能服务。同时也对供应链产生實時冲击:自2022年下半起,數據中心的算力需求全面上修,GPU短缺从研究机构蔓延至企业端,并推动整条AI供应链——从芯片、服務器到应用层——重新定位。2024年的下一步:推理(Reasoning)登场。泛化与多工解决「能做什么」的问题,却没有解决「能想多深」的限制。对话式问答提供足够解方,但遇到需要多步骤逻辑推导的任务如解数学题、复杂程序除错、分析法律条文、科学探索、逻辑论证等,模型的能力局限就被暴露出来。这个落差,在2024年下半开始逐步被补上。OpenAI-o1的发布标志著推理时代的开始。推理模型呈现出更接近「System-2」的思考方式——借用心理学家康纳曼(Daniel Kahneman, 1934~2024)的框架:System-1是快速直觉式的反应,System-2是缓慢刻意的深层推理。在实际运作中,推理模型不会直接输出答案,而是先在内部展开较长的(推理)思维链(Chain-of-Thought, CoT),逐步分解问题、排查矛盾、整合逻辑,再收敛出最终回应。数学推导、程序除错、法律条文解析、医疗决策辅助——这些原本只有专业人士才能应付的复杂任务,开始出现跨越式的能力提升。推理能力的形塑,来自几个相互强化的技术突破。最基础的是思维链CoT训练。模型在训练时被要求把推理过程一并展开,而非直接给最终答案,强迫模型在解题时学会分解问题、逐步推进。这种推理的引导,显著提升复杂逻辑任务的表现。其次是强化学习(Reinforcement Learning)的深度整合。模型透过持续与真实任务互动并接收回馈,逐步找出「真正有用的答案」而非「听起来合理的答案」——这成为推理品质得以持续演进的核心机制。值得注意的是,强化学习的奖励机制,也间接强化模型「用更多token想清楚」的行为倾向——更长的思维链往往对应更好的答案,模型在训练中学会以算力(更多token)换品质。第三条路是推论时扩展(Test-Time Scaling),被视为继预训练(Pre-training)、后训练(Post-training)之后的第三条scaling law:不必重新训练模型,只需在推论(inference)阶段投入更多运算资源,让模型「想更久」,就能换取更好的答案品质。正因如此,随著用户数量增加,据报导,目前实际对用户服务时的推论运算需求,已经高于模型训练阶段的算力消耗。推理能力的代价,直接反映在token用量上。传统问答模式下,一次查询平均消耗数百个token;推理模型因为需要展开较长的内部推理步骤,每次查询的使用量往往是传统模式的10到50倍。这种倍数效应已在市场流量结构中浮现:目前推理模型的token使用量,已占整体LLM流量的6成以上,预计会持续增长。这不只是技术规格的改变,而是整个算力需求预测逻辑必须重新计算的开始。当推理能力成熟,一个更大的结构性转变随之而来:Agent 的崛起。Agent (代理人)不是升级版的聊天机器人,而是具备目标驱动、自主规划与多步骤执行能力的AI系统。没有深层推理,Agent只是预先编排好的流程;有了推理,它才能在复杂流程中深度思考,做出判断、处理例外、在不确定性中高价值任务。程序设计是第一个Agent的突破点。GitHub Copilot、Anthropic Claude与Cursor的AI coding工具,目前市占各约24%至25%,生产力提升幅度估计达1.5至3倍。从成长速度可以感受到市场反应的强度:Anthropic的年化营收(ARR)在2025年年增幅逾 800%,Cursor从1亿美元成长至10亿美元、年增达900%。法律、医疗、财务等垂直领域的跟进速度也正在加快:据报导,Harvey的法律AI ARR已达1.5亿美元。OpenEvidence在临床医疗场景的ARR同样超过 1.5 亿美元。这些垂直应用的共同特征,在于它们都依赖多步骤推理——不只是查询數據库,而是在法条、案例与临床指引之间做出复合判断,处理真实世界中的模糊与矛盾。推理的架构决定token耗量只会持续增加。每个新应用场景导入、每个Agent工作流程启动,都意味著更多的思考步骤与更高的算力消耗——这是推理模型的设计本质,不会因为效率优化而消失,只会因为应用范畴扩大而放大。对半导体、服務器、高帶寬存儲器供应链而言,这是结构性的长期需求信號。当推理能力从數字工作流程走向实体世界,影响规模可能再扩大一个量级。工厂排程、医疗诊断辅助、教育个人化、法律文件审查——这些场域一旦嵌入自主推理能力,改变的不只是工具,而是企业工作流程与人员分工的重组。这种重组很可能使对ICT基础建设的需求,从一次性的升级,转为更长期的投入。这波AI资本投入是否会在建设高峰后趋于平缓?推理模型提供一种不同的结构性逻辑。其特性在于,应用规模的扩张会直接转化为持续性的推理运算需求,而不仅是一次性的部署成本。当前推论已成为AI算力负载的主要来源,而推理型推论的运算占比不断攀升。再加上方兴未艾的Agent架构兴起,以及各种以token消耗为核心的智能服务快速普及,算力需求将不再仅仅随模型训练周期波动,而是与日常使用频率高度绑定。当使用深度与应用广度持续扩张,供应链从芯片、存儲器到电力基础设施所面对的需求动能,可能更接近结构性成长,而非单一景气循环所驱动。延伸报导专家讲堂:AI愈强,Token却愈便宜
2026-03-04
AI愈强,Token却愈便宜
2023年初,OpenAIGPT-4的API定价约为每百万token30美元;如今,主流前瞻模型已全面重订价格:GPT-4o mini降至0.15美元、Anthropic Claude 3.5 Haiku低至0.25美元、Google Gemini 2.0 Flash更压至0.10美元—降幅从90%到99%不等,而且仍在持续下修。这不是削价竞争,而是深层的技术与市场力量共同作用的结果,并正在引发整个AI生态系的结构性改变。3个相互强化的力量在同时作用,支撑token价格持续下降。首先是模型效率的快速提升。蒸馏(distillation)将大模型的能力压缩进更小的架构,量化(quantization)降低每次运算的位元需求,混合专家架构(MoE)让推论时只启动最相关的小網絡。同样的任务,所需算力持续缩减,而且这个技术优化态势,还没止息。其次,是系统层级的优化。产业界已清楚Transformer推论的运算瓶颈——矩阵乘法占了绝大多数计算量,KVCache的存儲器存取效率与帶寬配置直接影响延迟,而批次处理策略则决定整体吞吐量。从编译器最佳化、推论排程到硬件与系统层的整体优化,让同一套硬件能服务更多prompt、产出更多token。以Google为例,透过TPU与模型、系统的协同优化,在特定工作负载下推论能效出现数倍到数十倍等级的提升,显示推论成本仍有可观的下降空间。接著是竞争格局的根本改变。DeepSeek-R1、Meta LLaMA3、阿里巴巴Qwen2.5等开源模型持续追近闭源frontier模型的效能(约落后7个月),打破少数大厂的定价垄断。开源模型的全球部署量已占整体AI使用的约3成,也成了市场定价基准的压力源。Token成本的持续下降,正在同步触发3个层面的连锁反应。第一,是AI推论应用的急遽扩张。当每百万token的成本从过去的高价模型,下降到数十分美分至数美元等级,大量原本「因成本不具经济效益」的场景开始跨越可行门槛。个人化邮件撰写、實時翻译、文件摘要、程序码生成、多语客服回复、会议纪录整理、合约审阅辅助、报表初稿产生等任务,不再只是试验性功能,而逐步成为工作流程中的常态模塊。关键不在于成本归零,而在于边际成本已低到足以长时间、完整部署推论服务,让AI从「偶尔使用的工具」转变为持续运行的生产力工具。第二,是Agent对工作流程的全面渗透。低成本token是Agent得以规模化的前提。这一点已在市场成长速度上反映出来:Anthropic的营收规模近年快速进入数十亿美元级距,年增幅达数倍;Cursor等AI coding工具在短时间内从千万美元级别,跃升至上亿美元年化营收,成为成长最快的一批AI SaaS产品。这些成长快速的新创几乎无一例外地以agent或workflow automation为核心定位——无论是Anthropic、Harvey、Glean——产品路线指向的是自主代理与垂直工作流程整合,而非单纯的聊天界面。一个agent往往需要与多个工具连续互动、发出数十次甚至上百次API呼叫才能完成任务。token成本的每一次下降,都在直接扩大agent可运行的任务边界与商业规模,同时也引发更多的token用量。第三是价值的持续上移。最具体的案例是程序码生成。Cursor、ClaudeCode等AI coding agent以Claude与GPT-4o为核心引擎,正在重塑开发者的工作流程,而非只是IDE的外挂。Microsoft 365 Copilot、Anthropic Claude将AI能力直接嵌入Excel的公式建议与數據分析、PowerPoint的简报生成、Teams的實時摘要,使AI不再是独立查询工具,而成为日常工作的缺省助手。根据DIGITIMES Research的市场观察,AI产业价值占比将在2026至2028由硬件逐步转向軟件与服务,而应用层的渗透速度,将成为下一阶段竞争的真正起点。成本的持续下压,让另一端的问题更加凸显:如何继续压低生产token的成本(TCO)?显现在2个产业核心。芯片架构是第一个关键。各大CSP正加速投入自研ASIC,针对Transformer推论的计算模式深度最佳化,在特定工作负载下可实现数倍等级的能效提升,使算力成本的下降速度不再完全受制于通用GPU的产品节奏。电力则是更根本的制约因素。高密度AI數據中心的电费往往占营运成本的相当比例,当规模扩张到一定程度,电力取得能力往往比服務器采购能力更早触及上限。近年新數據中心的选址优先顺序已悄悄改变——稳定电力供给逐渐取代土地成本成为首要考量。多家能源研究机构预测,全球數據中心电力需求在未来数年将出现倍数成长,AI扩张的真正瓶颈,已从芯片转向能源。Token成本持续骤降,是AI进入第二阶段的信号。第一阶段的核心问题是「能不能做到」,竞争集中在最先进模型的能力竞赛;第二阶段的问题已经不同——谁能把TCO压得够低、把平臺做得够开放,让更多应用在上面生长,才是真正的决胜点。接下来几年,与其看各家发布什么新模型,不如看推论成本降到哪里、开发者生态有多活跃,以及有多少垂直应用选择在平臺上发展;这些變量的交会处,才是下一波市场重心真正落脚的位置。对臺湾而言,半导体与服務器供应链能否持续协助全球客户优化整体TCO,将决定我们在这一波Token通缩浪潮中的角色与分量。
2026-03-03
Energy + Intelligence:AI竞赛新指标
过去几年,全球大型语言模型(LLM)的早期竞赛几乎都围绕在「评测指标」上。硅谷公司们所引领的这场「AI军备竞赛」,倚赖公开评测基准(benchmark)来展现AI实力:从 MMLU 的跨学科知识、BBH的复杂推论、GSM8K的数学应用、HumanEval的程序设计,到HellaSwag的常识推论、以及Winogrande的语境理解,这些测试成了模型在赛场追逐的技术指标。叙事也极为直接:分数代表能力,分数就是王道。于是,技术优化的路径几乎被锁定——设计更大的模型、注入更多的數據、投入更庞大资本、集中高密度运算资源。然而,当各家模型在标准化测试中不断刷新纪录,「这些评测是否真能代表真实场域」的疑虑也随之浮现。为了凸显AI的场域能力,2024年起,Google与 OpenAI 先后尝试让模型挑战国际数学奥林匹亚(IMO)题目,被视为复杂推论的终极考验,但这些挑战,终究无法反映大众日常的使用场景。于是,美国柏克莱大学研究团队打造的Chatbot Arena,透过大规模真人盲测,让使用者的「体感」直接成为裁判,建立一个更贴近市场的「用户价值」新战场。同时,开源社群则以下载次数、社群优化程度作为佐证,强调模型在实际应用中的应用性。于是,在传统基准分数之外,用户体验与主观感受逐渐成为另一个攸关胜负的评价指标。对于后进者而言,要在AI竞赛中打破既有格局,必须找到不同的切入维度,创造出非对称的攻防空间。这在中国科技公司身上表现得尤为明显:一方面受制于地缘政治,高端芯片的取得受限;另一方面则处于内部竞争极度激烈的环境。在双重压力下,他们不仅追逐「效能极致」,更积极在「系统层」寻求突破。透过垂直整合,挑战者试图以降低训练与推论的「成本」作为切入点,将AI的价值主张,从单纯比拼模型「智能高度」,拓展到「商业效益」的务实层面。这意味著,竞争焦点从「谁更聪明」、「谁的体验更好」,进一步扩展为「谁更务实」:除了「能不能做到」、「好不好用」,还得回答「能不能普及」。 AI 竞赛中积极追赶的Google,发挥自身在數據中心的多年经验,提出另一个关键指标,永续(Sustainable)LLM。在最新发表的研究中,Google 团队揭露:当用户发送一个文字提示(prompt)给Gemini模型时,平均需要消耗 0.24 Wh能量、0.03克二氧化碳,以及0.26毫升水。换句话说,1次文字生成的能源成本,大致相当于看电视9秒钟,或饮用5滴水的等效能耗。需要注意的是,这些数据是以Gemini应用的能耗「中位数」文本提示为基准,并仅限于文字问答场景,尚未涵盖影像或影音等更复杂的生成任务。此外,研究范围也只涉及推论(inference)阶段,而不含更高能耗的训练过程。即便如此,这份报告仍让外界难得窥见营运中大型语言模型背后的「AI 能源帐单」。根据其他研究,目前 LLM 的训练与推论能耗比例约为4 : 6,显示推论已成为整体AI能源足迹中不可忽视的主角。更有意思的是,透过这个研究,我们也看到大模型推论时,各能耗的占比。结果显示,AI加速器(TPU/GPU)消耗约58%的能量,接著是主机CPU与存儲器约占24%,而數據中心的基础设施负担(包含冷却、电力转换等overhead)与备份/高可用性设备共占约18% 。这样的分布非常值得注意:超过一半的能源用在模型运算本身,然而近乎一成也不能被忽略地用于「系统维持与可靠性保障」的功用。更让人惊讶的是,Google 报告同时指出,在过去一年,透过硬件(如 TPU、通讯、储存等)与軟件堆叠的优化,AI 推论的能耗1年内降低33倍,碳排放则下降44倍。这显示能效提升的速度,远远超过我们对摩尔定律的想像。显然在系统层级「Energy + Intelligence」共同考虑下,存在非常大的发挥空间。能源不仅是珍贵资源,更界定AI智能的边界,也迫切需要永续洁净能源的支持:因为「净零碳排」(Net Zero)要求。在这方面,Google 已逐步展开布局:在碳会计的Scope 2范畴(购买电力的间接排放)中,近年持续加码全球各地的再生能源采购,包括太阳能与风能,主动透过市场签订长期的洁净能源合约,确保數據中心与业务能获得稳定的低碳电力。同时,Google也尝试将數據中心转换为绿能资产,并借由参与电网的「需量反应」(demand response)服务,于尖峰时段调整用电量,提升电网稳定。可以预见,随著大型语言模型进入「效率优化」的新阶段,系统层级的调校将比单纯模型演算法更为关键。Google 报告中已开始纳入Scope 1、Scope 2与Scope 3的碳排放计算,而Scope 3更直接牵涉到供应链:从芯片、服務器、网通零组件到各类供应商的碳排责任,最后都会加总进国际云端与AI营运商的ESG帐本。如果国际CSP大厂、前瞻AI模型公司加速要求供应链提供ESG指标,我们在地的ICT供应商,是否已经准备好?这意味著ESG不再只是合规清单,而是全球市场透明度与竞争力的核心要求。对臺湾ICT产业而言,大语言的永续指标至少带来3个启示:第一,效能不再是唯一圭臬,效益才是。芯片与服務器不只要快,更要省,否则难以在全球 AI 供应链中站稳脚步。第二,Net Zero正在成为产品竞争指标,能源效率与碳排揭露将成为跨国合作的必要条件。第三,治理力就是竞争力——能否把算力、能耗与永续整合进企业叙事,将决定企业在全球舞臺的份量。AI的新指标已经浮现:从技术到商业,再到责任与环境(能源)成本,AI竞赛的下半场将不只是「谁更聪明」,而是「谁能在智能与能源之间找到平衡」。对产业而言,同时考量「Energy + Intelligence」,是产品策略与产业定位的新常态。
2025-09-15
Energy + Intelligence:AI优化能源效率与韧性
Intelligence需要能源当作燃料供应,同样的,AI技术的发展,也正提升能源的韧性以及效率。AI与能源互相为用:AI需要更可靠、更干净的电,能源系统也需要AI提供准确预测、快速维运,以及可信赖的控制。当我们开始纳入「AI for Science」探索材料与化学新结构、能源探勘,以及地球天气的基础模型,更可以理解为何Energy+Intelligence为企业及国家贡献的关键竞争力。AI不仅是能源消费大户,也正在各个面向优化新能源应用,包括:(一)发电方式、来源的探勘、发电优化,(二)电网稳定,及(三)降低耗电及用电端优化。在发电与储能端,AI正加速能源资源的探勘与新材质研发。透过地震波与电磁感应数据分析,AI可更精准侦测地热资源;在海域与山谷,AI对潮汐与风速的长期预测,能帮助规划最佳的风机与潮汐发电位置。材料科学领域也因AI for Science而出现突破,例如AlphaFold2在蛋白质结构预测的成功,有机会用来加速电池与太阳能板材料开发。过去太阳能发电每提升1%可能需耗时数年,AI有机会将开发周期缩短30~50%,并在固态电池、氢能储能等新兴领域找到更安全、更高能量密度的材料组合。AI正在成为解决再生能源「间歇性」问题的核心工具。风电、太阳能、潮汐等发电量深受天气影响,输出曲线常常在几分钟到几小时内大幅波动,这意味著其他发电机组(如天然气、煤、水力)必须實時补上缺口,或透过储能设备平滑输出。AI的价值在于提前预测这些变化,让调度单位能在几小时甚至几天前准备好备援計劃,因为各个能源系统启动的成本以及需要的预置时间不同,从几秒到几个小时。Google DeepMind与英国国家电网的合作案例显示,透过AI预测风电输出,准确度提升直接让风能的经济价值增加20%。同样的,臺湾也正使用AI系统预测未来4到72小时太阳光电的变化,提供电力调度依据。再生能源预测与地球的天气系统变化息息相关。生成式AI的进展也推升「地球系统基础模型」的整合,例如最近《Nature》上发表的AURORA基础模型,能同时处理空气品质、海浪、台风与天气预测,比传统数值分析快上数十倍,且能在不同地区与时间条件下预测,对于掌握再生能源间歇性的太阳光辐射、风速、潮汐等有很大的助益。同时,准确的天气预测(大雨、温度)也能掌握用电端的用量趋势,协助智能电网分区负载平衡、电池充放电优化,甚至办公大楼与工厂的需量反应(减少电网用电)。当预测能力与调度能力打通,AI不只是再生能源的辅助工具,而是让再生能源成为稳定、可规划的资源。在维运端,AI的价值在于找回「可回复损失」,并缩短从侦测到修复的时间。以太阳光电为例,电站层级的停机、组串层级的污损与遮荫、电气层级的接触不良与误停,都会造成可观的损失。數據驱动的诊断可以在至小时级侦测到异常型态,配合工作单与现场流程,将修复时间压到最短;在风电、燃气与燃煤机组上,同样的技术可用于振动与温度特征的早期侦测,以延长寿命、降低突发停机。我们的经验发现,在大型太阳能案场使用AI驱动的监控服务,可以将发电损失由5.5%降至0.9%,以短期臺湾20 GW的太阳能目标(2025年时)来看,可以省下将近4个超大型太阳能案场的规模。在新一代电网中,稳定供电不再只是「发多少、用多少」的平衡,而是必须在复杂且瞬息变化的情境下,同步协调发电、充放电、价格预测与供需调度。这需要在边缘(edge)實時运算与决策的AI系统,透过傳感器与IoT架构收集數字电表、风机、变压器、输电设备等實時數據,提前预警设备异常、降低停机风险。同时协调各种发电来源、储能电池与用电端,组成虚拟电厂(VPP),在尖峰时段回馈电网。传统多依赖规则式控制,如今可结合强化学习(Reinforcement Learning),在模拟中反复优化策略,提升调度效率。由于能源已被欧盟《AI Act》列为高风险应用,这类系统必须兼顾可解释性与审查机制,确保关键决策既快速又可追溯。在此情境下,EdgeAI也会逐渐在能源扮演关键角色。能源转型不仅带来产业结构的重整,还创造智能电网与绿能服务的新机会。当AI融入能源,发电、输配、储能与用电端不再彼此独立,而是透过演算法与實時數據紧密整合,形成具备韧性、可优化且能交易的动态網絡,让能源成为可被弹性调度的资产。数据呈现这一趋势背后的产业规模:AI在再生能源市场的规模,从2022年约6亿美元,预计将跃升至2032年的46亿美元,年复合成长率达23.2%。同时,智能能源市场(smart energy)在2022年约为153.8亿美元,预测将成长至2030年约316.4亿美元,年复合成长率约9.6%。显而易见,Intelligence与Energy的结合已成为全球基础建设的双引擎,在AI主权、能源安全、与气候议题三重压力下,更是国家与企业竞争优势发展关键。
2025-08-20
Energy + Intelligence:AI时代的能源挑战与产业契机
历史的轨迹显示,过去生产力的提升总伴随高密度的能源转换与工业效率提升:从水力、蒸汽、电气化、汽车与石油,到IT与互聯網,如今轮到AI。LinkedIn創始人Reid Hoffman新书提到的「Energy + Intelligence」之所以关键(之于国家或是企业),点出可负担的算力决定智能边界,而算力终究受限于可取得、可扩充的电力与基础设施。当全球掀起「主权 AI」竞赛(涵盖经济、国防、研发、教育与价值体系),大型语言模型一次训练动辄上亿美元,带动半导体与服務器的巨额投资;更关键的是,推理(Inference,指模型训练完成并部署后的实际运作)已取代训练成为主要负载(约增至百倍等级),持续放大对能源与电网的需求。Intelligence需要Energy驱动。关键在 token 经济学(参考前文);虽然 2021到2024 技术进展,让每token成本大约下降3个数量级,但总token需求持续成长(例如近来财报揭露微软(Microsoft)的用量1年约放大 5 倍、Google的月用量年增达数10倍)。能耗端的成长也很直观:一次生成式查询约耗电2.9 Wh,约为传统查找0.3 Wh的近十倍。再加上Edge AI的普及,自驾车、工业电脑(IPC)、机器人、个人装置与穿戴都开始具备推理能力。当产品体验走向「more tokens, more capable」,AI數據中心成为企业、国家竞相投资标的。AI數據中心(AIDC)急遽推升电力需求。AIDC在满载运转时,其耗电量可达10万户家庭的等级,超大型设施甚至放大20倍,相当于200万户。以美国为例,全国已有数千个數據中心,加拿大也接近500个,且新建规模持续增加。这些场站不仅需要更高电压与直流(DC)供电,还必须采用芯片直冷(DtC)等先进散热技术才能支撑高密度运算。根据多方预测,全球數據中心年耗电量在2030年前可能较2024年成长超过1倍,其中AI应用将是主要驱动力;IEA估计,在2030年, AI与加密货币合计将贡献全球电力需求成长的4%。在能源结构转型与碳排的限制下,这股快速窜升的用电压力,正同时考验电网扩充、再生能源布建,以及供应链的应变速度。不只需要电,AIDC甚至AI供应链也需要来自再生能源的「绿电」,以满足碳盘查与国际采购规范。绿电采购与碳管理从形象工程变成出货门槛,买了绿电并不代表风险消失,案场差异、契约条件与实际发电偏差都需要数据与流程来支撑。企业应把绿电、用电与生产节奏同时考量,用可稽核的工具模拟与结算,让采购组合真正对冲价格与排碳风险,同时提升营运韧性。不只AIDC,AI驱动进展的无人出租車同样可能加重都会电力需求。比如某个都会区(如臺北)每日用电约20 GWh,若一半出租車(约 1.25 万辆)改为自驾电动车,每日额外耗电约0.8 GWh,占全市日用电的4%。若充电集中在夜间6小时完成,瞬时功率需求可达140 MW,相当于多一座中型电厂的负载。这种转型虽能减碳并提升运输效率,但也对电网容量、调度与充电设施提出挑战,必须透过排程、储能与實時价格匹配,避免交通电动化成为新的负载风险。因此,新一轮的电网升级以「去碳化」、「分散化」与「數字化」为核心方向。随著再生能源(太阳能、风力等)渗透率持续攀升,电网面临低惯量与高波动的挑战。天气变化,可能在分钟内改变发电输出,冲击电网稳定与调度反应。同时,分散式发电资源(屋顶光电、储能、可移时用电)大量出现在电网末端,传统以集中式大型机组为核心的调度模式已无法应付这种「多点、小规模、高波动」的新样貌。这种结构变化不仅迫使电网架构升级,也催生新的营运模式与市场服务,例如實時需量反应(demand response)、虚拟电厂VPP、微电网(microgrid)等。要支撑这样的系统,企业与电力公司必须将平臺从单纯监测升级为可跨厂牌、跨协定、跨场域的「监测+控制+數據交换」EMS(Energy Management System),并将预测直接纳入控制逻辑,同时在设计阶段预留关键机电、储能与部分制程为可调度资产,让用电从成本转化为可创造价值的资源。近来有案例显示,大型數據中心可在电力需求高峰时暂时降低 IT 负载或启用备援电源,参与需量反应市场,这不仅有助电网稳定,对营运方也是额外收益来源(例如美国部分云端业者与 ISO/RTO 合作,在夏季尖峰时段提供数十至上百MW的可释放容量)。能源已不再只是营运成本,而是产品交付与市场竞争的先决条件。对制造业与云端服务供应商而言,在电价波动与供应紧绷下维持稳定供电,直接影响合约履行与客户信任。若能将场域设计为可调度资产,不仅可透过需量反应与虚拟电厂降低成本,亦能在电网紧急时反向供电创造收益。这波Energy + Intelligence的趋势正推动电网更新,涵盖高压变电、储能、智能傳感与监控、跨场域控制与预测平臺等,并带动相关供应链在臺湾的成长动能。这既是支撑本地AI生态的必要条件,也是切入国际能源解决方案市场的契机。
2025-08-19
Edge AI产业来了吗?
相较于目前大语言模型应用绝大部分在云端服務器上推论,Edge AI(边缘AI)强调在装置上独立执行AI模型。这种架构差异在于:可大幅降低因網絡传输造成的延迟,确保實時反应,即使在无網絡离线下也能运作;數據不上传云端,确保數據私密与安全性。Edge AI有机会满足许多新应用场域中对低延迟、高私密的关键要求。这半年来,透过技术突破、产业需求,以及发展轨迹,我们看到Edge AI的产业轮廓,正逐渐形成。模型演算法的高度竞争使得Edge端可用的AI模型愈来愈强大。近年来出现许多参数量在13B~70B级的精简模型,透过知识蒸馏、量化压缩、模型剪枝以及多专家混合(MoE)等技术,这些小模型在使用较少参数的同时还能大幅提升性能,缩小与大型模型的差距 。同时也配备了各种终端应用极度关键的推理(reasoning)能力,包括控制、决策、因果、规划等。SoC与存儲器规格配置同样是促成Edge AI崛起的要素。目前主流高端智能手機、NB的NPU(AI运算核心)已经接近100 TOPS,足够让这些终端模型每秒生成数十个token(语意单元),满足应用场域(文字、语音对话)的生成品质要求。同时,透过低位元精度(如8或4位元)来表示模型权重,有助于大幅降低总位元数,使现有存儲器配置即可支持终端AI推论,释放AI从云端走向终端的巨大潜力。另一方面,各大厂商也在其芯片产品蓝图中,明确规划未来的算力提升,进一步强化Edge AI可行性与效能。在初期应用情境中,智能手機成为Edge AI生态重要桥梁。手机不仅是首批受惠于AI能力提升的装置,更自然作为云端与各类在地智能装置之间的桥梁。透过手机,无线耳机、汽车、AR眼镜等装置都能与云端和手机上的AI模型连动,实现多模态的Edge AI应用。例如,耳机可使用手机(AI模型)實時翻译语音,车载系统可依靠手机辅助娱乐信息,眼镜则利用手机处理视觉、语音任务。智能手机作为随身超级终端,串联各种周边装置,历史轨迹也告诉我们,当網絡封包(packet)的成本逐步下降,通讯功能便普及至各类终端设备。10年后(2017 年),移動产业达到高峰,无论是应用生态系或硬件供应链都蓬勃发展。同样地,随著token成本不断下降,AI 能力延伸至新型态终端设备,触发全新应用场景,也是值得期待。延伸报导专家讲堂:鉴往知来:packet(互聯網)vs. token(大语言模型)垂直产业中也听到应用面需求。过去手机SoC供应商的技术团队,首要工作是优化品牌手机中鏡頭应用的智能功能,但从2024年开始,优化手机中LLM执行效率,成了品牌客户的关键需求。工业场域中,也对于推理功能加速决策效益,工业机器人的执行效率多所期待。过去几年,NAS在中小企业中大量采用,年复合成长率超过 15%,显示这类用户对數據管理与在地运算的高度需求。如今,这些用户也期待能在终端设备上,享受到大型语言模型所带来的自动化与知识管理功能。近来市场数据也显示Edge AI正逐渐萌芽。在最新的季报中,苹果(Apple)新款M4芯片强调AI效能,推动2025年第1季Mac营收年增15.5%,更值得注意的是,新芯片也在2024下半年吸引新用户进入苹果体系。高通(Qualcomm)因手机与车用AI需求激增,手机业务创新高,汽车业务更年增55%,公司也宣称「Edge AI是未来业务成长主要推力」。NVIDIA的Orin车用AI平臺单季营收年增103%,并与联发科合作布局一系列全新终端SoC。芯片设计商与设备供应商正从Edge AI中实际获利。也同时看到OpenAI 以约 65 亿美元的全股票交易方式收购了由前苹果首席设计长 Jony Ive 共同创立的 AI 硬件新创公司 io。这股趋势Edge AI已从概念走向实质商业成长。尽管前景看好,Edge AI推广仍面临多重挑战。首先是应用场域的扩展:用户需求差异极大,不同行业与装置对模型大小、功能要求各异,业者须在通用性与定制化间取得平衡,如何取得具泛化能力的精简模型,解决场域问题,至关重要。其次是功耗与效能的权衡:终端装置受限于电池与散热条件,高复杂推理恐导致过热与续航缩短,对芯片设计与电源管理设下更高要求。再者,生态系初期碎片化,硬件架构多、軟件缺乏统一标准,让开发者必须针对各平臺个别调适,增加成本与阻碍创新。这些挑战若未克服,恐将削弱Edge AI的经济性与可扩展性。不过,回顾移動产业的发展历程,也为今日的Edge AI前瞻团队提供宝贵借镜。
2025-05-26
鉴往知来:Apps(移動網絡)vs. Agents(大语言模型)
在前一文中,我们类比互聯網(Internet)以及现今大型语言模型(LLM)的发展轨迹,特别是互聯網的核心传输单位—封包(packet),LLM生成单位—语意单元(token),在基础设施、商业模式发展上呈现出明显相似性。透过回顾packet的发展路径,我们试著描绘出token驱动的AI未来发展轨迹,并预判在产品形态、服务模式与产业价值链上的可能样貌。另一可供借镜的历程,是应用程序(App)在移動網絡时代所引爆的创新与变革。如今,在LLM/LVM多模态大模型推动下,一个以「Agent」为核心的应用生态正逐步成形。延续上文,我们尝试从App的崛起历程,看见代理(Agent)以及边缘AI(Edge AI)未来的可能路径。2007年开始,移動App实现實時互动与高速數據交换,移動用户大量增加,源自于網絡封包传输成本逐步下降,智能手機的运算效能与续航力的进展。App Store的出现更将过去分散、复杂的网页互动模式,整合为图形化、易于操作的应用程序界面,大幅降低使用门槛,使數字服务真正「移動化」、「普及化」。App 不再只是单一功能工具,更透过推播、定位、社群整合等特性,深度嵌入使用者生活。这也带动「长尾效应」—不仅少数爆红应用,而是无数利基型App满足多元、个人化的需求。这场从网页到App的转变,不只是界面革新,更兴起全新App驱动的生态系,翻转整个數字服务的生产与分配模式,也同时快速推升移動設備的需求(2017年达到高峰)。App Store 建构出一套双边市场机制,一端连结开发者创新、另一端连结全球使用者,使原本无法规模化的服务得以商品化、在地化与全球化。过去崭露头角的數字服务如Uber、LINE、Instagram皆倚赖App生态兴起,而App的爆发也带动芯片、傳感器、模塊、电池、存儲器等硬件需求,重塑移動設備供应链结构,并促成新兴品牌与 ODM/OEM 的崛起。Statista统计显示,全球App下载量自2010年的60亿次,成长至2023年的1,430亿次,反映出App模式背后强大的规模经济与網絡效应。臺湾厂商在这波移動化浪潮中,从晶圆代工、封装测试到系统整合与 App 开发皆深度参与,建立完整供应链与生态網絡。这段历程不仅重塑移動产业结构,也为即将兴起的AI代理(AI Agent)模式提供宝贵借镜——当使用者界面再次从App进化为Agent,我们是否能抢先洞察使用需求、运算架构、标准制定与硬件整合的关键优势?如果App是移動網絡时代的使用界面,那么由大模型LLM/LVM驱动的Agent,可能是 AI 时代的核心入口。Agent不仅理解自然语言(及各种傳感信號),还得具备任务规划与执行能力,从单纯对话升级为數字助理。透过多模态推理与工具链结,Agent的应用场景正快速扩展至自动化工作流程、专业咨询、教育训练与知识辅助等领域。未来极可能出现类似「Agent Store」的新型生态系,就如当年App Store一样,汇集多样化、可重组的智能模塊,满足多样性需求。这将加速硬件与軟件的分工整合,促进各种垂直应用场域(如工业、医疗、中小企业、消费者市场)中智能代理的落地机会。随著近来高效率推理模型的快速演进,以及LLM开源生态的蓬勃发展,更进一步推进这样的可能性。同时,终端市场的实际需求也正在浮现,如中小企业的知识管理、自动化应用,以及工控领域中實時推理能力的渴望,也回应了市场的需要。终端装置的硬件规格,也逐渐具备支撑Agent所需的AI算力与存儲器条件。随著LLM开源社群快速演进,如13B等级模型已能在一般移動設備上顺利推理,token生成速度亦逐步接近应用需要,Edge AI的落地门槛正快速降低。根据预测,Edge AI芯片市场将自2023年的24亿美元,成长至2033年的252亿美元,年复合成长率高达26.5%。各大系统与芯片业者也已积极布局AI手机、车用SoC与AI PC平臺。未来,Agent将可自然地嵌入手机、筆記本電腦、AR眼镜、TWS耳机、机器人等多元终端装置,成为新一代语言互动与任务导向操作的使用界面。当然,Agent技术的普及仍面临诸多挑战,除了使用者數據的授权与使用,日益增强的自主性也带来安全、隐私、监管与伦理等层面的高度关注,技术本身的复杂度亦不容小觑。然而巧合的是,这些挑战与机会的交织,恰如2007年移動網絡时代初启时的情境—从应用模式、生态系到硬件需求与供应链架构,皆酝酿著重塑的可能。Agent的发展,正释出一种熟悉而微妙的信號,预告另一波产业典范转移的起点。
2025-05-16
智能应用 影音