Android结合Gemini是Google发展生成式AI的一张好牌

在ChatGPT走红所带起的大型语言模型(Large Language Model；LLM)与生成式AI相关应用投资及开发的竞争狂潮中，Google打出Android平臺结合装置端Gemini Nano及云端Gemini Pro这张好牌，DIGITMES Research分析，此举将提供Android硬件业者及第三方应用开发者在LLM与生成式AI方面更完整的支持，而Google可望借此布局于LLM及生成式AI战场上抢下一片江山。

ChatGPT展现出来的能耐及快速吸引大量用户使用的盛况，在2023年掀起一股各方业者投入大量资源于LLM及相关生成式AI应用发展的热潮，而且这股风潮从云端吹向装置端。

DIGITIMES Research观察，智能产业在装置端(on-device) LLM及相关生成式AI发展方面，步伐明显快于PC产业。随著智能手機业者于2023年下半积极在Android手机上导入装置端生成式AI，Google跟上脚步，于12月宣布推出名为Gemini的LLM，计划将其逐步导入各类Google产品及服务，其中包含于Android操作系統平臺引入参数精简版本Gemini Nano。

DIGITIMES Research认为，以Google在Android生态系(ecosystem)的主导地位，Gemini Nano整合进Android系统后，将使装置端LLM及生成式AI移動設備于2~3年内，从局限于旗舰机种扩及高端与中端机款。

ChatGPT掀起云端及装置端LLM与生成式AI热潮

OpenAI在2022年11月30日推出ChatGPT后，历经短短两个月，依瑞银的报告估计，ChatGPT在2023年1月每月活跃用户数已达1亿，成为史上累积用户数最快的应用之一。OpenAI营收也跟著急速增长，根据金融时报于2024年2月的报导，依其2023年12月营收换算的年化营收已达20亿美元，亦即OpenAI成立不及10年，年营收便将突破10亿美元里程碑，有此成就的公司屈指可数。

随著ChatGPT的走红及OpenAI公司价值的水涨船高，带动其核心技术LLM及相关生成式AI应用的蓬勃发展，包含Google、微软(Microsoft)、亚马逊(Amazon)、Meta、阿里巴巴、百度、腾讯等大型互聯網及云端服务业者，以及众多新创AI公司，在2023年争相投入大量资源，训练模型及开发应用。

除前述透过云端算力推论提供LLM及生成式AI服务的Cloud AI模式，PC及手机产业也掀起一波开发由装置端提供LLM及生成式AI应用及服务的风潮。

智能手機端LLM及生成式AI发展快于PC端

DIGITIMES Research观察与分析，在智能手機及平板这类型移動設備领域，支持装置端LLM及生成式AI的装置及应用发展步伐快过个人电脑(PC)领域，主要是因为智能手機产业相较于PC产业拥有更大的灵活性。

PC产业在引入新技术与应用时，很大程度只能依循操作系統平臺掌控者微软脚步与规范，亦即PC硬件业者往往囿限于Windows操作系統限制框架内。

相对来看，Android装置生态系及操作系統演进虽由Google掌控，然硬件业者对于Android装置上的使用界面及预载应用还是拥有不小的定制调整空间，因此使用Android平臺的各大智能手機业者已各显神通，与手机主处理器业者合作开发，于2023年第4季起开始在旗舰机款，搭载装置端 LLM与生成式AI应用，争相引领市场。

智能手機品牌业者中，最早推出装置端生成式AI手机是小米，于2023年10月下旬发表搭载高通(Qualcomm)骁龙(Snapdragon) 8 Gen 3处理器的旗舰机款小米14系列；紧接著，vivo于11月推出旗舰机种X100系列，处理器则选用联发科天玑9300。

一进入2024年，另两家中系业者OPPO及荣耀相继于1月推出具装置端生成式AI应用及功能的旗舰新机Find X7系列及荣耀Magic 6系列。Find X7分为搭载天玑9300的一般版及搭载Snapdragon 8 Gen 3的Ultra版；Magic 6系列则是皆采用Snapdragon 8 Gen 3。

韩系手机大厂三星(Samsung)不落于人后，亦于同月稍晚推出以生成式AI功能为主打卖点的年度旗舰产品Galaxy S24系列，依不同销售地区及机型区分，处理器采用Snapdragon 8 Gen 3或三星自家Exynos 2400。

大力投注资源于云端发展LLM及生成式AI应用、又身为Android生态系主要掌控者的Google，则是于2023年12月宣布为已于10月上市的Pixel 8 Pro增加生成式AI功能。

装置端LLM及生成式AI主打數據机敏及用户隐私

整理比较小米、vivo、OPPO、荣耀及三星近期上市的装置端生成式AI手机，相关功能共同诉求点不外乎类似ChatGPT的问答AI助手及以图片为主的AI生成或修饰内容。另外，大多数业者也都推出考量用户隐私及數據机敏性，特别适合由装置端生成式AI处理的应用，如把会议录音生成文稿与摘要的整理功能。

小米、vivo及荣耀还整合了部分AI功能至手机操作界面，例如用自然语言描述来找出存于手机内的照片、操作部分手机功能或开启特定应用程序；又如从屏幕上显示的信息或文件内容自动識別出会议时间、约会地址、网页连结等关键信息，用户长压后拖曳该信息或文件，手机系统会列出数个对应到关键信息的应用程序开启选择，如有约会地点的信息可选择开启叫车、地图或餐厅预约程序。

利用LLM进行通话實時双向翻译功能，则是三星推出的生成式AI主打功能；荣耀及三星手机上的生成式AI功能除能借由自家内建应用程序提供，部分功能也已开放支持第三方应用程序。

Google首波为其Pixel 8 Pro添增的装置端生成式AI功能并不多，仅有录音转文字及摘要(Summarize in Recorder)，及可于WhatsApp与Line等通讯軟件中使用的Google键盘智能回复(Smart Reply in Gboard)，此功能可根据文字对话上下文，生成回复建议，节省用户打字时间。

Google藉Gemini Nano主导Android装置端生成式AI发展

Android生态系的主要掌控者Google，在已上市的Pixel 8 Pro加入生成式AI功能，其目的并非为了增加Pixel品牌手机的销量。前述提过的两项装置端生成式AI应用主要是用以展示参数精简版LLM Gemini Nano的能耐，而Google是借由于Android操作系統中导入Gemini Nano，来主导Android装置上的生成式AI发展，此又为Google在LLM及生成式AI领域发展战略的一环。

Google在2023年12月发布大型语言模型 Gemini 1.0，依据参数规模大小，分为三种类型－Gemini Ultra、Gemini Pro与Gemini Nano，其中Gemini Nano是设计专为在装置上执行LLM及生成式AI应用而参数规模大幅缩减的精炼(distilling)模型，分别是只有18亿个参数的Nano-1及32.5亿个参数的Nano-2。

从发布时序上来看，Google在Android平臺导入Gemini Nano，算是跟上中系智能手機业者积极在Android手机导入装置端生成式AI的步伐；从生态系发展的角度观之，Google此举是以Android平臺层级来支持装置端LLM及生成式AI应用，透过SDK开发工具及API支持，第三方应用开发者将有机会创新和开发更多样化的相关应用。

依Google規劃，从Android 14起，Gemini Nano将成为操作系統的一部分，Pixel Pro 8为首款导入Gemini Nano的手机，紧接著是由三星、高通与Google合作在Galaxy S24系列内导入Gemini Nano，提供装置端LLM及生成式AI应用。

DIGITIMES Research访谈手机与处理器相关业者得知，中系智能手機品牌业者各自所开发的装置端生成式AI应用及LLM，基本上只限搭载于中国市场销售的手机；各家中系智能手機品牌业者皆将与处理器业者及Google合作，把Gemini Nano导入于海外市场销售的机款。

由于手机这类移動設備上的运算低功耗要求较严格，提供装置端的LLM及生成式AI应用运算力的AI加速器(TPU/NPU Accelerator)若与模型演算法软硬整合最佳化，或将部分軟件运算转为AI加速器硬件电路，便能提高运算效率及降低功耗。换句话说，LLM与AI加速器同由Google内部团队开发，在更新迭代研发时，易于通盘规划软硬整合最佳化或軟件演算法硬件化。

基于上述考量，Google未来是否会考虑将其Tensor处理器中的edge TPU单元，以IP形式授权给处理器业者，来提升Android硬件上的装置端LLM及生成式AI的运算效率及效能表现，并更可牢牢主导Android生态系装置端LLM及生成式AI相关软硬进程发展，DIGITIMES Research认为是未来几年装置端LLM及生成式AI发展演化的观察重点之一。

■ LoRA技术弥补LLM精炼模型的缺点

受限于装置上的运算力、DRAM容量及功耗考量，手机上的LLM采用参数量规模远小于云端LLM千亿以上等级的精炼模型。近期手机上LLM的参数量在100亿以下，常见的为10~20亿、30亿、50~70亿等。

大幅减少参数量换来的是模型回答准确性下滑，及泛化性表现差(无法以单一模型胜任多样化的应用)。

以Google所公布的数据来看，与Gemini Pro相较，在不同领域测验的答题正确率，18亿个参数的Gemini Nano-1最差只剩Gemini Pro的约3成能力；参数量32.5亿个的Gemini Nano-2最差则尚有Gemini Pro的约4成5能力。

Google透过Gemini Nano支持LoRA (Low-Rank Adaptation)大型语言模型微调(fine tuning)技术，来改善回答准确性下滑及泛化性表现差的问题，亦即开发人员可根据应用的特性及自有的训练數據，为不同应用程序，各自建立合适的LoRA适配器(adapter)来搭配Gemini Nano模型。

装置端LLM及生成式AI掀热潮　晶圆代工业者及存儲器IDM为主要受惠者

手机这类移動設備要实现装置端LLM及生成式AI，硬件上需要增加AI运算力，因此主处理器NPU区块晶體管数量及所占晶圆(wafer)面积的增加程度会因需求而提升，亦即将带动整颗处理器晶粒尺吋(die size)增大程度，耗用更多晶圆，主要受惠就是以臺积电为首的先进制程晶圆代工业者。

再者，装置端LLM及生成式AI运算执行时，需要大量DRAM，依据业界估计，手机一般使用状况再加上执行70亿个参数等级的LLM，DRAM容量配置达24GB以上，方能有较顺畅的效能表现。

又LoRA大型语言模型微调技术搭配参数量小的精炼模型，会造成不同应用都需要建构LoRA适配器档案，依业界专家估计，每个LoRA适配器档案可能占用数百MB至数GB的储存空间。

综合来说，装置端LLM及生成式AI会使手机耗用更多DRAM及NAND Flash，亦即装置上需配置更高容量的DRAM及NAND Flash，而主要受惠对象便是三星电子(Samsung Electronics)、SK海力士(SK Hynix)、美光(Micron)这几家存儲器IDM。

此外，装置端 LLM及生成式AI应用会让手机增加耗用运算力的时间，也会因而增加装置散热及电池容量需求。

Cloud AI与on-device AI互补性高过取代性

未来几年随著较能确保用户數據机敏及隐私的装置端LLM及生成式AI蓬勃发展，有一问题便浮现：云端LLM及AI的重要性及需求是否会因此减弱？DIGITIMES Research认为答案是否定的，云端LLM及AI反而会随著装置端LLM及生成式AI的兴起而需求增速，原因可分为技术及商业模式两方面来探讨。

首先，在技术可行性方面，手机及PC这类装置本身再如何增加运算力及存儲器配置，也无法将網絡上的庞大巨量數據储存于装置端，亦难以由装置端连上云端去有效率地直接爬梳、处理及消化網絡上的數據。换句话说，只要用户的需求或应用必须爬梳、消化、处理網絡上的數據，由云端AI来协助才具效率极高可行性。

再者，从商业模式来看，纯装置端LLM及生成式AI应用较不易向使用者收费，而且LLM及生成式AI应用展现的品质及准确性，时常与其后端连接的专业性數據库息息相关，对于专业數據库提供者来说，偏好透过云端AI提供用户服务，而非把數據库卖断给客户安装在用户装置上。

对于Google及微软这类同时掌握装置操作系統及云端庞大资源与用户的产业巨擘来说，发展装置端LLM及生成式AI的重要目标之一，是将硬件业者、第三方应用开发者及用户引导至易于根据服务或运算力用量计价的云端AI，这样一来巨额的云端AI基础建设投资才得以回收。

三星在Galaxy S24系列推出各式LLM及生成式AI应用，便是与Google在云端Gemini Pro及装置端导入Gemini Nano两方面都进行合作。DIGITIMES Research认为，其他智能手機业者未来将比照此模式，在手机及平板等Android移動設備上，与Google进行LLM及生成式AI相关应用的合作开发。

结语

Google于Android操作系統导入Gemini Nano，可望大幅加速Android硬件的装置端LLM及生成式AI相关发展。放眼未来数年，随著相关应用百花齐放，加上Android装置业者及处理器业者在协同开发硬件也有所依循，DIGITIMES Research预估，整个装置端 LLM及生成式AI移動設備涵盖的产品会从目前只局限于旗舰机种，在2024~2026年便扩及至高端与中端机款，能支持相关应用的装置出货量将大幅增加。

总归来说，Google推出Gemini Nano，把其纳入Android平臺，可望在Android生态系发挥一锤定音的效果，有效解决智能手機业者各自为政的纷乱－在LLM及生成式AI热潮下急忙选定少数自家产品放上几个相关应用，导致难以发挥与运用整体生态系力量。

DIGITIMES Research并预期，同时掌握Android生态系、庞大云端资源与众端用户的Google，将透过整合云端Gemini Pro及装置端Gemini Nano，在LLM与生成式AI方面，提供硬件业者及第三方应用开发者更完整的支持，让用户能获得无缝体验的LLM与生成式AI应用及服务。

Google借由Android结合Gemini，在LLM与生成式AI领域打出一张好牌！接下来便是观察iOS生态系主导者苹果(Apple)，在2024年在这方面有哪些布局来竞逐市场。