「AI前瞻论坛：GenAI时代的应用与落地策略」 产学合作探索GenAI 9大应用

GenAI浪潮方兴未艾，各行各业都在探索生成式AI可能的应用模式，为协助台湾产业加速GenAI发展脚步，群联电子 (Phison; 8299TT) 与满拓科技进行策略合作，在满拓科技GenAI工作站及服务器产品中导入群联独家专利的『aiDAPTIV+技术方案』，透过软硬整合的一站式解决方案降低GenAI模型落地训练及推论门槛，同时更携手国立阳明交通大学（以下简称阳明交大）进行产学合作，邀请教授与学生运用此一站式解决方案研发GenAI应用，并于日前举办「AI前瞻论坛：GenAI时代的应用与落地策略」展示产学合作成果及探讨未来发展趋势，借此为人才培育贡献心力，从而激发更多应用创意，助更多企业运用GenAI提高营运效率与降低成本。

趋势面：各界携手合作，为台湾再造新的创业波段

论坛一开始，阳明交大校长林奇宏与副校长陈永富、阳明交大电机学院院长王莅君、联发科技协理叶家顺、技嘉科技总经理林英宇、群联电子CEO潘健成及DIGITIMES副总经理黄逸平等诸位学界与业界专家轮番分享，GenAI发展趋势及台湾产业该如何把握商机。

林奇宏预估，AI将在未来3年内成为所有学生都要学习的必修课，学校必须迎合此发展趋势及早做好准备，因此阳明交大近年来积极推动产学合作，与产业携手共同为台湾培育兼具理论与实作技能的AI人才。

潘健成则观察到企业目前在导入GenAI时可能会面临的诸多难题，因此与满拓科技合作降低硬件入门的资金门槛，未来希望与更多业者合作，一起克服企业在平台、软件等面向的导入挑战，进而打造出整体解决方案，向国际输出台湾经验，也为台湾迎来再一次的创业波段。

DIGITIMES副总经理黄逸平则分享ChatGPT后的科技产业新局。ChatGPT兴起后，带动资本投资往生成式AI领域移动，形成一个新兴生态系，但因为此领域还在高速发展中且变动快速，所以目前还看不出来谁将会是产业主导者，未来，台湾一定要仔细观察市场变化，紧紧跟随主导者的脚步，透过内需市场串起软件、应用与硬件供应链，打造一个正向循环并向海外输出解决方案，让台湾不只赚到硬件财，还能赚到更大的附加价值。

研究面：9大研究成果，探索GenAI落地可能性

在产学专家分享趋势观察后，来自阳明交大、成大与技嘉科技的9组团队则上台分享GenAI应用在通讯、警政、医疗、制造、教育及客服等不同领域的研究成果。

GenAI应用研究1》语言生成模型的溯因推论能力

阳明交大智能计算与科技研究所副教授马清文聚焦于探究语言生成模型的溯因推论能力。马清文认为，AI分成符号型与链结型两种，符号型AI是基于已知规则进行推论，例如：由地面潮湿与否来推论有没有下过雨，链结型AI则像人的大脑一样，具有模拟溯因推论的能力，可以创造合理的新内容或新影像。

而语言生成模型便属于链结型AI，所以才能与人正常对话。只可惜过往碍于运算资源有限，马清文一直无法针对此观点进行实证研究，如今藉由群联电子与满拓科技的解决方案，可以将AI模型缩小并进行验证，运用瑕疵影像去训练生成模型，并要求模型生成一些过去不存在的瑕疵影像，成功验证语言生成模型具溯因推论能力。

GenAI应用研究2》以LLM预测3D空对地的通讯品质

由阳明交大ICCLab 4位研究生组成的团队，指导教授为电机学院院长王莅君，运用大型语言模型建立信号品质预估架构，并以阳明交大光复校区作为应用场景，验证此架构可行性。

团队成员之一的邱佳诠指出，传统的通讯品质预估模型主要是针对简单环境进行设计，但在以无人机作为空中基站、进行3D立体空间的空对地通讯模式中，受到无人机具移动性、容易遇到障碍物等因素影响，导致信号品质的预估变得更复杂且充满挑战。

为理解空对地通讯系统中，用户在不同区域的信号品质，团队以大型语言模型为基础，建立信号品质预估架构，并在阳明交大进行实际验证，结果发现，此架构在信号品质预估上可以达到80%准确度，而且使用者可以透过人性化的问答方式获取各基站信息，进而评估特定地点3D空对地通讯中的信号品质。

GenAI应用研究3》警局笔录生成系统

来自阳明交大电子研究所的专题生李思澔团队，在指导教授方伟骐指导下，则研究出基于LLaMa语言模型的警局笔录生成系统。现今警局制作笔录的流程其实存在许多痛点，除了过程冗长耗时，若负责警员经验不足、遗漏重要笔录信息，还得召回案件相关人再进行一次笔录，倘若案件相关人为外国人，则需安排通译人员将笔录转成中文，再由三方一起签证文件。

为提高笔录制作效率，该团队希望发展出可以自动生成笔录的AI模型。首先与台湾警察专科学校合作，根据不同案件类型制作出模拟笔录，经过文本清理及去识别化处理后，这些模拟笔录便可成为训练数据，再透过满拓科技M200服务器进行模型训练，从而搭建出可以自动制作笔录的AI模型，实现警员与AI人机协作的目标。

GenAI应用研究4》影像与LLM的结合测试

国立阳明交通大学智能科学暨绿能学院教授谢君伟主要测试视觉影像与大型语言模型结合应用的可能性。当语言与影像结合在一起后，AI可以自动撷取影像中的属性并用文字描述出来，而这经常遇到两大挑战，首先，语言与影像的结合让AI模型变得更大，在训练与微调时，需要更多的硬件资源，其次，语言模型可能会有答非所问的情况，生成不正确的描述文字，例如：将一张有手机的图片描述成是一则信息。

为了克服挑战、提升模型的准确度与训练速度，调高批次大小（Batch size），让AI模型在每个训练步骤中可以同时处理更多数据，是必然的过程。然而，谢君伟过往在训练AI模型时，因为经费与硬件资源有限，无法使用过大的Batch size，但在使用群联电子解决方案后，可以根据SSD用量去提高批次大小（Batch size），同时降低GPU Memory使用量、提升CPU Memory使用量和SSD吞吐量，不只提高训练效率和模型性能，也大幅减少系统卡当的机会。

GenAI应用研究5》语音控制巡房机器人

阳明交大AI学院人工智能普适研究实验室代表成果发表人陈冠霖，表示他们观察到医护或长照机构中的巡房作业，需要耗费大量护理人力和时间，因此整合大型语言模型与机器人操作系统ROS，开发出一个可以用语音控制的自主巡房机器人，不仅节省了人力资源，同时也提高巡房的准确性和效率。

目前，自主巡房机器人已完成初步开发，藉由满拓科技与群联电子合作的解决方案，大幅降低模型训练成本，之后计划与新竹荣民之家合作进行实际场域验证，同时也会开发更多功能，包括智能医疗顾问、财务分析助理、结合传感器以量测更多生理数据等，希望让巡房机器人可以执行更全面的任务，真正做到有效减轻医护人员的负担，成为医护人员最优质、有效率且准确的得力助手。

GenAI应用研究6》自动光学暇疵检测设备

由成大与联合大学组成的跨校团队运用大型语言模型来增强自动光学瑕疵检测的能力。代表团队分享成果的成大数据科学研究所副教授许志仲表示，现行AI AOI在实际应用上，仍面临数据蒐集困难、通用性不佳、数据标注品质不一致、需要大量调校参数等问题，因此希望运用大型语言模型来解决这些问题。

许志仲团队应用视觉语言模型可以自动生成与相关图片描述文字的特性，缩减AI AOI瑕疵检测模型所需要的训练数据量，让企业只要喂入少少数据就能训练出AI模型。经过POC概念验证，结合大型语言模型的AOI（LA AOI）只需要10%的样本数据就可以进行训练，且在准确率、召回率及F1分数都优于传统AI AOI的表现。

GenAI应用研究7》虚拟助教系统

来自阳明交大的OASIS Lab，运用LLaMa2模型打造ICLAB虚拟助教系统。ICLAB是该校电子所系统组一门很重要的芯片实验课，该堂课的助教工作量很大，包含备课、上课、出题、学生作业Demo和回答问题等，因此希望透过大型语言模型打造一位ICLAB课程的虚拟助教，以减轻助教工作负担。

团队代表李家毓指出，之前便有训练虚拟助教的规划，但碍于运算资源及经费有效，只能做到模型微调（Fine-tune），无法进行全参数训练。但此次藉由满拓科技与群联电子合作的Mentor-100，不只运算效能可以满足模型全参数训练的需求，对比过往只能采购更高算力的NVIDIA平台，价格更实惠，而且Mentor-100功耗只有600W，不需要担心散热或噪音等问题。

未来，团队将持续提升大型语言模型性能，打造更全面更完整的虚拟助教系统，并拓展至不同领域如新进同仁程序语言的修改等，提升教学品质与学习效率。

GenAI应用研究8》FAE与智能客服问答系统

技嘉科技副理詹国廷以技嘉科技过去30年蒐集的问答数据为基础，采取微调大型语言模型的方式打造智能客服问答系统，希望提升客服回答效率及使用者满意度。

在打造智能客服问答机器人的过程中，考量到历史数据量太过庞大，所以技嘉只选用近2个月共约十万笔的数据，透过ChatGPT 4.0将寒暄与结尾去除、矫正文法与空格缩排错误及转换格式后，再使用满拓科技软件进行微调。

日后，当使用者在网页上提问时，机器人可以快速回覆，而这些问答内容都会被蒐集起来，交由技嘉科技专业FAE团队来判断好坏并做标注，待数据量累积到一定程度后，便可以丢回AI服务器重新微调，持续提升机器人回覆品质。

GenAI应用研究9》台客语GenAI大语言模型

阳明交大智能系统研究所教授暨所长廖元甫分享台客语大语言模型的发展历程及未来展望。在学校与公部门经费支持下，廖元甫从2023年就开始投入蒐集华台客语的语音语料，目前已建置全台最大华台客语音语料库，并公开释出供外界授权使用，同时也以这些语料为基础发展大语言模型。

但在发展可达人类能力的台客语大型语言模型过程中，却遇到资源不足的限制。阳明交大智能系统研究所目前有2台最高端GPU服务器NVIDIA H100可用于AI研究，但现今主流接近人类能力AI模型的参数量都很高，例如：LLaMa-2-70B的参数量便达到700亿，通常需要更多台高价的工业级NVIDIA H100服务器才能进行训练。

所幸群联电子aiDAPTIV+方案解决了资源挑战，让阳明交大智能系统研究所使用低价的消费级GPU+SSD，例如NVIDIA RTX 4090，就可以微调大型LLaMA-2-70B模型的所有参数，还可以改成多节点训练（Multi-Node），以加快训练速度并提升效能。目前已顺利完成70B模型微调，并在国科会举办的『科技大擂台、与AI对话』决赛的阅读测验选择题任务上，达到92.0%的正确率，已正式超越人类能力（89.6%）。现在并正准备进行180B模型微调的测试，期望未来有机会落地、进行商业部署，并延伸到原住民语大语言模型。

在9组团队精采分享后，群联电子与满拓科技亦从本次发表团队中遴选出3组优选团队，分别是第一名台客语GenAI训练与展望，第二名3D Channel GPT：大型语言型于无线通道预测之应用，第三名LLaMa2实践ICLAB虚拟助教系统，致赠新台币万元不等的设备抵用金，希望鼓励学界持续投入AI研究，让本次研究成果有机会落地到产业端，进而加速推动台湾GenAI发展。