企业利用NVIDIA NeMo工具加速AI团队成员上线 扩大员工生产力

现已全面开放使用的NeMo微服务可整合合作夥伴的平台，作为建立AI代理的建构模块，帮助企业利用商业智能与包括NVIDIA Llama Nemotron在内的世界级推理模型完成更多工作。NVIDIA

人工智能（AI）代理的准确性、相关性与及时性，皆取决于其背后所依赖的数据。现已全面开放使用的NVIDIA NeMo微服务可协助企业IT部门快速建立AI团队成员，利用数据飞轮提升员工的生产力。

这些微服务为开发人员提供一个端对端平台，用以建立最先进的代理型AI系统，并且透过推论和商业数据驱动的数据飞轮，再辅以使用者喜好持续最佳化。

企业IT部门利用数据飞轮，能让AI代理成为数码团队成员。这些代理能利用使用者互动和AI推论过程中产生的数据、持续改善模型效能。这能将使用情况变成宝贵见解，并且将这些见解化为移动。

为代理型AI建立强大的数据飞轮

若没有数据库、使用者互动或现实世界信号等一直源源不绝输入的高品质内容，代理的理解能力就会变差，造成回应内容不够可靠，进而降低代理的生产力。

维护和改善生产环境里支持AI代理的模型需要三种数据类型：用于收集见解与适应数据模式不断发展的推论数据、用于提供智能的最新业务数据，还有用于告知模型和应用是否如预期运行的使用者回馈数据。NeMo微服务可以帮助开发人员利用这三种数据。

NeMo微服务利用端对端工具来庋用、自订、评估驱动代理的模型，并且保护模型的安全，以加快开发AI代理。

包括NeMo Customizer、NeMo Evaluator及NeMo Guardrails在内的NVIDIA NeMo微服务，可以搭配NeMo Retriever和NeMo Curator使用，透过自订企业数据飞轮，让企业更轻松建立、改善与扩充AI代理。使用范例包括：NeMo Customizer可以加速微调大型语言模型，将训练输送量加大1.8倍。这个高效能又具扩充性的微服务使用热门的后训练技术，包括监督微调和低秩适应（LoRA）。

NeMo Evaluator将以自订与业界基准评估AI模型与工作流程的过程，简化至5次应用程序界面（API）请求。NeMo Guardrails在只有额外延迟半秒钟的情况下，可将保障遵守规定的程度提高1.4倍，协助组织实施符合组织政策与指导方针的强大安全和保护措施。

开发人员使用NeMo微服务可以建立数据飞轮，提高AI代理的精确度与效率。NeMo微服务透过NVIDIA AI Enterprise软件平台进行部署，操作简便，可以在本地部署或云端上执行的任何加速运算基础架构上，并具备企业等级的安全性、稳定性与技术支持。

这些微服务正式开放使用之际，正迎合企业建置大规模多代理系统的浪潮。数百个各有不同目标与工作流程的专门代理，将以数码团队成员之姿与员工并肩作业，协助、强化及加快处理跨职能的工作，协同处理各种复杂任务。

这种对于整个企业的影响，使得AI代理成为市值上万亿美元的商机。其应用范围涵盖自动侦测诈欺活动、购物助理、预测性机器维护、文件审查等，潜力无可限量，且凸显出数据飞轮在将商业数据转换为可行见解方面所扮演的重要角色。

产业先驱利用NeMo微服务提高AI代理的准确性

NVIDIA的合作夥伴与产业先驱利用NeMo微服务建立反应迅速的AI代理平台，让数码团队成员能够协助完成更多工作。

AT&T携手Arize及Quantiphi，利用NVIDIA NeMo打造一个先进的AI代理，专门用来处理内有近一万份每周更新的知识库文件。这款具可扩充的高效能AI代理针对三大重点业务项目进行微调：速度、成本效益与准确性。而随着采用的规模日渐增大，这三者的重要性日渐显着。

AT&T透过微调Mistral 7B模型，使用NeMo Customizer和Evaluator将AI代理的准确性提高40%，以协助提供个人化服务、防止诈欺及提高网络效能。

贝莱德使用NeMo微服务，在该公司的Aladdin技术平台上提供代理型AI，透过通用数据语言整合投资管理流程。

思科的Outshift团队与Galileo合作，使用NVIDIA NeMo微服务来支持程序码编写助理，可以将工具选择错误率降低40%，回应速度加快10倍。

纳斯达克使用NeMo Retriever微服务与NVIDIA NIM微服务，以加速该公司Nasdaq Gen AI平台。NeMo Retriever增强这个平台的查找功能，除了达到节省成本的目的，还将准确性和回应速度提高30%。

NeMo微服务广泛支持主流模型与合作夥伴生态系

NeMo微服务支持各种热门的开源模型，包括Llama、微软的Phi系列小型语言模型、Google Gemma、Mistral ，以及Llama Nemotron Ultra这个目前在科学推理、程序码编写与复杂数学基准测试方面有着顶尖表现的开源模型。

Meta透过Meta Llamastack的全新连接器来利用NVIDIA NeMo微服务。使用者可以透过API使用Customizer、Evaluator和Guardrails的完整功能，让他们能够在自己的开发环境中执行整套的代理建置工作流程。

Meta GenAI部门的软件工程师Raghotham Murthy表示：「透过整合Llamastack，开发代理的工程师们便能使用有着NeMo微服务支持的数据飞轮。这样他们便能一直改善模型，提高准确性和效率，并且降低总持有成本。」

Cloudera、Datadog、Dataiku、DataRobot、DataStax、SuperAnnotate、Weights&Biases等多家领先的AI软件供应商，皆将各自的平台与NeMo微服务整合。开发人员同样可以在热门的AI框架中使用NeMo微服务，包括CrewAI、Haystack by deepset、LangChain、LlamaIndex和Llamastack。

企业可以使用NVIDIA认证存储装置合作夥伴提供的NVIDIA AI Data Platform产品，透过NeMo Retriever 微服务建置数据飞轮。NVIDIA认证存储装置合作夥伴提包括DDN、戴尔科技、慧与科技、Hitachi Vantara、IBM、NetApp、Nutanix、Pure Storage、VAST Data及WEKA。

包括Amdocs、Cadence、Cohesity、SAP、ServiceNow和Synopsys在内的各大企业平台也已经在各自的AI代理解决方案中使用NeMo Retriever微服务。

企业可以在戴尔、思科、慧与科技and联想等领先系统供应商所提供的NVIDIA加速基础架构、网络和软件上运行AI代理。

包括埃森哲、德勤及 安永在内的顾问业龙头都在使用NeMo微服务为企业建置AI代理平台。
 
开发人员可以从NVIDIA NGC目录下载NeMo微服务。这些微服务可作为NVIDIA AI Enterprise的一部分进行部署，并且提供有着更长生命周期的软件分支，以确保API的稳定性、主动安全修复与企业等级的支持服务。