研扬与达运精密、乔泰科技合作完成生成式AI识别智能客服系统

研扬与达运精密、乔泰科技合作完成生成式AI识别智能客服系统。研扬科技

专业物联网及人工智能边缘运算平台研发制造大厂—研扬科技，近日和达运精密工业、乔泰科技合作完成研发制造生成式AI识别系统。目前已经安装在捷运、火车站、机场等多个公共场所。这是研扬产品首发应用在生成式AI的解决方案，是研扬AI解决方案的一个重要里程碑。

目前市面上并没有很多落地生成式AI的产品，尤其是包含语音及影像识别的生成式AI系统。同时，市面上现有的智能客服系统，大部分语言的选择都是手动设定，而后端只是使用呼叫云端API（例如OpenAI），因此反应时间通常会因网络而延滞为（3秒为业界常态），使用者可以明显感受到回答的延迟。此外，由于大语言模型生成内容无限制，回覆时间会更长。再者，一般智能客服系统必须依赖网络的特性也意味网络安全威胁无可避免。对于使用这些系统的企业而言，不仅存在隐私暴露的风险，若网络断线，系统也会停止运作。

然而，研扬与达运精密工业及乔泰科技合作开发的这款生成式AI识别系统，改善了上述缺点。不仅能由AI自动识别语言（包括手语），回覆反应时间也在1秒内，让使用者可以实时获得回应，充分展现生成式AI的优势。同时，这款系统连接的是企业私有云，数据安全得到了充分保障。再加上「检索增强生成（Retrieval-Augmented Generation；RAG）」的大语言模型，让系统反应更快速。此外，全面VPN可以保护隐私，系统也可以离线工作，不需依赖网络。

这次开发所使用的产品是由研扬为达运精密工业完全定制化设计的。这款产品搭载第13代英特尔Core i9处理器，并配备水冷式显卡和空冷式CPU散热方案，以确保高效运算处理器的散热效果。此外，它可配置四个2.5寸HDD槽和两个超高速以太网络连接埠，一个USB Type-C和两个USB 2.0连接埠，更提供七个扩充槽，供未来更多功能的扩充使用。

「市面上一般的智能客服，扩充性较差，达运智能客服可以定制化IP角色，在公共场所摆放也会自动打招呼来吸引民众使用。还可以串联社群媒体，不仅进行广告投放，也可以将商家的服务带走。除此之外，还有趣味画框，可自拍后下载QR code来储存档案。」达运精密工业的资深处长邹新一表示。「这次的技术采用LLM大型语言模型修正，可依照用户需求来微调模型；同时，混合使用OpenAI和Seamless M4T等两种多模态翻译AI系统，可以实时取得最佳翻译；除此之外，利用ASR／TTS文字语音转换系统来编码及解码模型。每个模型都是最佳组合!」邹处长补充说道。

「达运精密之所以会选择与研扬合作，除了研扬产品稳定可靠外，同时与原先合作的乔泰科技合作密切，可很快满足客户需求。此外，产品开发中交期最长的显卡，研扬准确洞悉市场需求，优先布局，所以才可以让这款完全定制化产品在4周内开发完成，交付样品给达运。这比标准需时8周的产品定制化时程，足足快了一倍，也让这款产品快速上市。」研扬科技业务经理孙月惠说道。