从「云」到「端」，混合式AI正在形成

生成式AI必然会从以往高度仰赖数据中心的云服务，将部分具有隐私性、实时性的信息留在「端」的设备上处理。因此，搭载CPU+NPU的AI PC与AI手机，被塑造成可执行机敏运算，进行有效推论的终端设备，这也是现阶段我们看到终端设备的新商机。

生成式语言模型　走向更快、更小、更准的新时代

一开始生成式语言走的是大语言模型（LLM），2018年启用的GPT 1创造了风潮之后，整个大语言模型的世界风起云涌。

之后的BERT、GPT 2、T5、Meena与Megatron、GPT 3等不同时代的更迭，激增的运算参数总量，背后是Open AI与微软（Microsoft）、Google之间的角力，而这是属于「云」层次的大语言模型之争。

2021年之后，为了解决使用者的疑虑，更多公司推出针对专属应用的语言模型，诱使更多用户在分众领域与终端设备中启用人工智能的应用，这是边缘AI的源头，未来也还可能往电动车、工控应用推进。正在扩张中的人工智能大商机，也从最上游的晶圆制造厂，涌进最下游的终端设备、工控业。

从短期商机来看，为解决GPU建构成本与耗能过高的问题，AI PC业者推出内建NPU的CPU平台，这种适合离线运算的大语言模型，总运算参数多数在100亿~300亿之间，这样的解决方案目前主要是由微软的Copolite主导，硬件制造厂、供应商扮演助攻的角色。

在AI手机方面，已经有不少手机内建NPU，LLM的语言模型，参数量在10亿~100亿之间，目前手机应用处理器（AP）的供应商积极提高运算效能，但也必须克服存储器带宽的问题。

面对这个快速成长的商机，微软Azure平台在2022年的11月推出免费版，让ChatGPT在两个月内累积了超过1亿的用户。之后在2023年的2月推出GPT-4 Plus，并以ChatGPT技术导入New Bing、Edge的应用，2023年9月推出M 365 Copolite，也预期新版的Windows会内建Copolite的功能。

至于以AI PC为目标的两大CPU阵营，以英特尔、AMD主导的X86阵营，以及ARM阵营的高通（Qualcomm）、苹果（Apple）都在抢先布局，而用户端的则是惠普（HP）、戴尔（Dell）、宏碁、华硕等各种品牌业者。

x86阵营的英特尔（Intel）使用自家Intel 4制程的Core Ultra处理器，而超微（AMD）则是倚赖台积电4纳米技术的Ryzen 8040，操作系统都是Windows OS。

在ARM阵营方面，高通Snapdragon X Elite平台使用台积电4纳米制程，预计2024年下半推出。而苹果的M4则使用台积电第二代3纳米制程（N3E），这是苹果生态圈的专用处理器。

据DIGITIMES估计，全球NB市场规模将从2023年的1.66亿台，增加到2024年的1.73亿台，其中AI NB的比重将达26%，也就是有4,500万台的NB装载新的处理器，并拥有推论的能力。

在手机方面，预期2024年11.66亿支的手机市场中，有1.47亿支是具有推论功能的AI手机，比重是12.6%。

短短一、两年之内，具AI功能的终端设备异军突起，上下游业者都希望分一杯羹，甚至往更远的电动车、工业应用发展，将成为下一波人工智能与云端服务的关键进展，而混合型的人工智能服务也将带来更多元的面向与商机。