NVIDIA 全新NIM 微服务 协助台湾多家产业组织提升效率和安全性
- 赖品如／台北
-
世界各地都在追求发展主权AI，利用自己的运算基础设施、数据、劳动力及商业网络等资源来发展人工智能（AI），打造出符合当地的价值观、法律与利益的AI系统，保护和推动文化、语言多元性与知识。
为支持全球各地AI的发展和进步，NVIDIA推出全新的NVIDIA NIM微服务，支持各种常用的社群模型，也包括主权基础模型，可按照当地语言和文化传统，透过准确理解和改善回应，强化与使用者的互动，使开发人员在轻松地建置与部署高效能的生成式AI应用的同时，有效控制生成式AI对社会、经济、安全可能带来的负面影响，对每个区域、国家的永续发展至为关键。
全新NVIDIA NIM微服务，更快让生成式AI产生出更精准的结果
全新NVIDIA NIM 微服务包含支持最新发展出的、基于Llama-3架构在大型繁体中文和英文数据语料库上进行微调的大型语言模型（LLM）Llama-3-Taiwan-70B。主要特点包括强大的语言理解、生成、推理、多轮对话能力。Llama 3 70B 的 NIM 微服务可提供高达 5 倍的输出量，而Llama 3 70B正是全新Llama-3-Taiwan-70B NIM微服务的基础模型，可以降低在生产环境中运行模型的总成本，又能减少延迟，让使用者享受更好的操作体验。
该模型能更好地理解和反映台湾文化与语言上的微妙之处，有助于确保进行更加精准细致的沟通，创造出更有效果的输出内容。与 Llama 3 等基础 LLM 相比，Llama-3-Taiwan-70B在理解国语、处理本地法律任务、回答问题，以及语言翻译和总结方面的表现相当优异。
台湾多家产业组织率先采用全新NVIDIA NIM微服务
NVIDIA NIM微服务能够加速部署、提升整体效能，且为全球医疗保健、金融、制造业、教育与法律等各产业的组织提供必要的安全性。NVIDIA已与台湾多家产业组织合作，导入全新NVIDIA NIM微服务。
台湾领先医疗体系之一的长庚纪念医院目前正在建置该院专属的AI推论服务（AIIS），以集中管理医院体系内的所有LLM应用。长庚医院使用Llama 3-Taiwan 70B，提供患者能够理解更细腻的医疗语言，提高第一线医护人员的工作效率。
长庚纪念医院医疗人工智能核心实验室主任郭昶甫医师表示：「实时提供适合情境的指导，以当地语言 LLM建立的AI应用能够简化工作流程，并且当成持续学习的工具，作为支持员工发展与提昇病患照护品质。而NVIDIA NIM的工具简化了这些应用程序的开发，用最少的工程专业知识，轻松存取与部署以当地语言训练的模型。」
台湾的电子设备制造商和硕联合科技将采用Llama 3-Taiwan 70B NIM微服务来开发供内部及外部使用的应用。该公司已将这款微服务与旗下的PEGAAi Agentic AI系统进行整合，以达到流程自动化，提升制造与营运效率。
全球石化产品制造商长春集团使用Llama 3-Taiwan 70B NIM 微服务开发用于知识管理、销售分析和预测、翻译和品质保证的内部AI平台，提升决策精准度和营运效率。
全球领先的印刷电路板公司欣兴电子、科技媒体公司科技报橘、在线合约服务公司律果科技，以及生成式 AI 新创APMIC 同样正在使用Llama-3-Taiwan 70B NIM。这些公司也在开放模型上进行合作。
利用 NVIDIA AI Foundry 为企业量身打造模型
虽然区域性 AI 模型可以提供文化上的细微差异与在地化的回应内容，企业还是要针对其业务流程与领域专业知识进行微调。
NVIDIA AI Foundry是一个平台与服务，其中包括各式常用的基础模型、用于微调的NVIDIA NeMo，以及NVIDIA DGX Cloud上的专用容量，为开发人员提供完整堆叠解决方案，以建立包装为NIM微服务的定制化基础模型。
除此之外，使用NVIDIA AI Foundry的开发人员同样可以使用NVIDIA AI Enterprise软件平台，为生产环境部署作业提供安全性、稳定性与支持。
NVIDIA AI Foundry为开发人员提供必要工具，帮助他们更便捷地建置与部署自身的定制化区域语言NIM 微服务，以支持各种AI应用，确保为使用者提供符合各地文化与语言使用习惯的结果。
