AWS上的NVIDIA NIM微服务大幅增强AI推论能力

生成式人工智能正在快速改变各产业的发展样貌，带动对安全且高效能推论解决方案的需求，以有效率又具备成本效益的方式扩充日益复杂的模型。扩大与NVIDIA的合作范围，Amazon Web Services（AWS）在AWS re:Invent年度大会上宣布已经将NVIDIA NIM微服务扩展至主要的AWS AI服务，以支持更快速的AI推论，以及减少生成式AI应用的延迟时间。

NVIDIA NIM微服务现在可以直接在AWS Marketplace、Amazon Bedrock Marketplace和Amazon SageMaker JumpStart取得，让开发人员可以更轻松为常用模型大规模部署经过NVIDIA最佳化的推论功能。NVIDIA NIM是AWS Marketplace提供的NVIDIA AI Enterprise软件平台一部分，为开发人员提供一套简单易用的微服务，专为在跨云端、数据中心和工作站安全可靠地部署高效能、企业级AI模型推论而设计。

这些预先建置的容器建置在强大的推论引擎上，例如NVIDIA Triton推论服务器、NVIDIA TensorRT、NVIDIA TensorRT-LLM与PyTorch，并支持广泛的AI模型，从开源社群模型到NVIDIA AI Foundation模型与定制化模型。NIM微服务可以部署于各种AWS服务，包括Amazon Elastic Compute Cloud（EC2）、Amazon Elastic Kubernetes Service（EKS）、Amazon Machine Image（AMI）及Amazon SageMaker。

开发人员可以在NVIDIA API目录上预览超过100个由常用模型与模型系列所建立起的NIM微服务，包括Meta的Llama 3、Mistral AI的Mistral与Mixtral、NVIDIA Nemotron、Stability AI的SDXL等。最常用的模型都可自行托管部署在AWS服务上，并且经过最佳化，能够在AWS上的NVIDIA加速运算执行个体上运行。

各产业的客户及合作夥伴都在利用AWS上的NIM来加快上市速度、维持生成式AI应用与数据的安全性及控制力，并降低成本。

IT谘询与数码服务供应商SoftServe已开发出六个完全部署在AWS上，且由NVIDIA NIM与AWS服务加速的生成式 AI 解决方案。这些解决方案在AWS Marketplace上提供，包括SoftServe Gen AI Drug Discovery、SoftServe Gen AI Industrial Assistant、Digital Concierge、Multimodal RAG System、Content Creator和Speech Recognition Platform。

这些解决方案均以NVIDIA AI Blueprints为基础，这套全面性的参考工作流程能够加快开发和部署AI应用，并且具备NVIDIA加速函式库、软件开发套件及NIM微服务，适用于AI代理、数码孪生等方面。开发人员可以按照自己的独特需求与要求，在AWS上部署NVIDIA NIM微服务。如此一来，开发人员和企业就能藉由各种AWS服务，利用经过NVIDIA最佳化的推论容器发展出高效能AI。