生成式AI应用场景多元化 台智云携手夥伴打造Hybrid GenAI生态圈

台智云举办可信赖AI技术论坛系列二部曲，以「Hybrid GenAI多样态终端与应用」为主轴，透过整合华硕集团、Intel等技术能量，打造独步市场的Hybrid GenAI生态圈，并邀请资策会、创鑫智能等夥伴参与分享最新趋势与技术。此外，台智云也在现场摊位中展出多种软硬件整合，以及各种合作夥伴的生成式AI应用情境。

华硕电脑营运长暨台智云董事长谢明杰指出，2022年底生成式AI席卷全球，企业对推动AI 2.0专案有强烈兴趣，但自行推动生成式AI的难度相当高，势必需要夥伴的协助。台智云在提供可信赖、可负担的大语言模型方案外，也积极透过与Intel、华硕云端、创鑫智能等夥伴合作，加速企业落地生成式AI，进而抢攻全球商机。

Intel副总裁暨客户平台解决方案事业群总经理高嵩说，在市场关注AI背后的安全议题时，台智云推出的可信赖AI平台弥足珍贵，特别是以开放式架构让企业使用，更是降低跨入AI 2.0门槛的重要策略。Intel与华硕合作多时，在AI领域也有紧密的夥伴关系，透过Intel最新发表的新架构，让更多用户享受到混合生成AI架构带来的优点。

TAIDE（可信任人工智能对话引擎）计划负责人李育杰指出，考量到市面上大语言模型都是以英文为核心，国科会在2023年初即投入以繁体中文为核心的TAIDE开发，是必要且重要的国家投入。然乐见台智云在年中即推出全台第一个完成繁体中文优化的福尔摩沙大模型（FFM），也为产业带来新应用商机，未来期望双边有更多合作机会。

在现场众多摊位中，展示多种开源FFM大语言模型选择，以及「Hybrid GenAl 多样态终端应用」主题区，台智云以AFS（Al Foundry Service）服务可在云端、地端及终端设备运行的特色，为GenAl应用带来更广泛的可能性，且兼顾模型性能和隐私需求。

而「大型语言模型AI工作站部署解决方案」，则是以华硕电脑的地端产品搭配台智云FFM，提供软硬整合的私有云部署方案。此外，机器人Zenbo Junior可搭配大语言模型，发挥各种创新应用，让机器人拥有更丰富自然的对话且更贴近人心。

AI PC浪潮崛起 扩大生成式AI应用范畴

生成式AI技术浪潮延烧近一年，企业对AI模型部署模式从大主机平台，逐步朝向边缘装置发展，创造出更多元化的应用。

台智云技术长陈忠诚指出，生成式AI应该要能云、地、端（AI PC）等环境运行，才能创造更多元应用情境，让更多人享受AI技术优势的同时兼顾隐私安全。但若要在AI PC上运行，考量到设备算力有限，我们将FFM-Llama 2 7B模型，运用GPTQ高性能压缩技术有效将16bit模型缩减至4bit，已可在一般AI PC上运作，如运用生成式Al的CCS建立Stable Diffusion XL模型，不只可产出文字，更可透过生成式Al快速产生图像，加速用户自行创作的高品质图片。

以智能制造为例，藉由AFS中模型微调功能，数十万笔的退料审查RMA数据无须进行繁琐的数据前处理作业，在 3 小时内即可微调出具备分析时序性数据进行洞察与预测能力的大语言模型，检视其在相关系数（0.907）、p value（0.001）统计指标有着相当优秀的表现和可解释性，可以预测产品的使用期限与维修成本，也可将此流程开拓出商业智能BI应用新领域，可应用在电商零售、精准行销等。

Intel商用业务总监郑智成亦提到，「我们全新推出的Intel Core Ultra移动PC处理器，特别整合可提供AI加速功能的NPU，有助于强化个人电脑执行生成式AI的能力，同时拥有低功耗的表现，如图像生成、文字及程序生成等，成为提升工作效率的数码助理。」现场展出采用Intel Core Ultra移动PC处理器的华硕笔记本电脑，实现在边缘运算环境创造低延迟和更高效能的效益。

华硕云端商务企划部经理高妮玮表示，为协助企业打造可信赖AI云端第二大脑，我们整合云端空间及LLM大语言模型方案，企业可藉由RAG检索增强生成应用，提升知识探索精准性及灵活度，轻松管理、撷取、整理及寻找相关数据，协助员工做好繁琐文件管理任务。

华硕电脑经理李宗杰指出，生成式AI应用在程序码撰写辅助上带来极大效益，不仅提升工作生产力，也可透过程序建议、自动化程序生成等辅助机制，提高软件专案开发的速度和品质，并减少安全性问题，让开发人员更专注在工作执行上。台智云也将code Llama开源模型整合至AFS，提供程序开发者更好的开发环境，让软件专案开发过程更加高效、准确。

创鑫智能营运长陈建良补充，在推动生成式AI专案过程中，由于需要高性能的GPU芯片协助，其整体成本昂贵，对于电量需求也高，对企业带来极大挑战。为此，一套专为生成式AI设计的AI加速器解决方案，可提升运算速度、能源等使用率，具备精准、省电、可扩充等特性，让大语言模型推论变得更简单、更亲民，降低推动AI专案的门槛。

在专家对谈中，DIGITIMES副总经理黄逸平指出，台智云领航推出FFM和生成式AI的完整解决方案，未来超过一半的应用都会在边缘AI中发生，台湾的数码服务将呈现百花齐放，AI Foundry则成为支撑整体经济成长的重要动能。

资策会软件院总监何文桢认为，随着全球对大语言模型日益熟悉，为拓展生成式AI应用范畴，愈来愈多人开始将大语言模型缩小，以便能在个人电脑上进行推论。台湾在硬件领域非常强，可望在AI PC时代来临之际，取得市场领先优势。

伴随生成式AI浪潮，若要推动普惠AI，让更多人享受到AI技术带来的优点，势必要朝向混合云AI架构发展。而台智云携手夥伴打造的Hybrid GenAI生态圈，将是带动台湾产业发展的最大助力。更多有关「可信赖AI技术论坛系列」完整内容请见活动官网。