NVIDIA与VMware为企业开启生成式AI时代
- 范菩盈／台北
-
VMware Inc.和NVIDIA于2023年8月23日宣布扩大策略合作夥伴关系，让在VMware云端基础设施上运行的数十万家企业为生成式AI时代做好准备。
VMware Private AI Foundation with NVIDIA将使企业能够自定义模型并运行生成式人工智能应用程序，包括智能聊天机器人、助理、查找和摘要生成等。该平台将是一个全面整合的解决方案，具备来自NVIDIA的生成式人工智能软件和加速运算，建立在VMware Cloud Foundation上，并针对人工智能进行了最佳化。
VMwareCEORaghu Raghuram表示：「生成式人工智能和多云环境是完美的结合。客户数据无处不在，存在于他们的数据中心、边缘设备和云端中。与NVIDIA合作，我们将使企业能够放心地在其数据附近运行生成式人工智能工作负载，同时解决企业对数据隐私、安全和可控性的担忧。」
NVIDIA创始人暨CEO黄仁勳表示：「世界各地的企业都在竞相将生成式人工智能与其业务整合。我们与VMware的扩大合作将为金融服务、医疗保健、制造等领域数十万客户，提供他们所需的全端软件和运算，以使用透过自有数据构建的自定义应用程序来释放生成式人工智能的潜力。」
全端运算增强生成式人工智能效能
为了更快地获得业务效益，企业正在寻求简化生成式人工智能应用的开发、测试和部署流程。麦肯锡估计，生成式人工智能每年可能为全球经济增加多达4.4万亿美元的价值。
VMware Private AI Foundation with NVIDIA将使企业能够利用这种能力，定制大型语言模型，为其内部使用生成更安全和私有的模型，向其使用者提供生成式人工智能服务，并且更安全地大规模运行推论工作负载。该平台预计将包括整合的人工智能工具，使企业能够以具成本效益的方式运行在其私有数据上训练的经过验证的模型。该平台将建立在VMware Cloud Foundation和NVIDIA AI Enterprise软件之上，预期效益包括：
隐私 — 使客户能够在拥有数据的任何地方轻松运行人工智能服务，并采用保护数据隐私和安全浏览的架构。
选择 — 企业将在建立和运行其模型的地点上有广泛的选择 — 从 NVIDIA NeMo到 Llama 2及更高版本 — 包括领先的 OEM 硬件配置，并在未来还可能涵盖公有云和服务供应商的方案。
效能 — 正如最近产业基准测试所证明的，在某些使用案例中，在NVIDIA加速基础设施上运行将提供等于甚至超过裸机的效能。
数据中心规模 — 虚拟化环境中的GPU 扩展优化，可让人工智能工作负载在单一虚拟机器中扩充至16个vGPU／GPU，并跨越多个节点以加速生成式AI模型的微调与部署。
降低成本 — 将最大程度地利用跨GPU、DPU和CPU的所有运算资源，降低整体成本，并建立一个可在团队之间有效共享的资源池环境。
加速储存 — VMware vSAN Express储存架构（Express Storage Architecture；ESA）将提供效能优化的NVMe储存，并支持基于RDMA的GPUDirect储存，允许从储存直接I／O传输到GPU，无需CPU参与。
加速网络 — vSphere与NVIDIA NVSwitch技术之间的深度整合将进一步实现多GPU模型的执行，而不会有GPU之间的瓶颈问题。
快速部署和价值实现 — vSphere深度学习VM映像档和映像库透过提供稳定的一站式解决方案（包括预安装的架构和效能最佳化库），支持快速原型制作功能。
该平台将提供NVIDIA AI Enterprise中包含的端到端云原生架构NVIDIA NeMo，而NVIDIA AI Enterprise是NVIDIA 人工智能平台的操作系统，它使企业能够在几乎任何地方构建、定制和部署生成式人工智能模型。NeMo结合了定制架构、护栏工具包、数据内容筛选工具和预训练模型，为企业提供了一种简单、具成本效益且快速的方式来采用生成式人工智能。
为了在生产中部署生成式人工智能，NeMo使用TensorRT for Large Language Models（TRT-LLM），它可以加速和优化 NVIDIA GPU 上最新大型语言模型的推论效能。借助NeMo，VMware Private AI Foundation with NVIDIA将使企业能够将自己的数据导入其中，在VMware的混合云基础设施上构建和运行自定义生成式人工智能模型。
在VMware Explore 2023大会上，NVIDIA和VMware 将重点介绍企业内的开发人员如何使用新的NVIDIA AI Workbench 来提取社群模型（例如Hugging Face 上提供的Llama 2）、线上自订它们以及在VMware 环境中部署生产级生成式人工智能。
VMware Private AI Foundation with NVIDIA的广大生态系统支持
技术将得到戴尔科技集团、慧与科技公司和Lenovo将支持VMware Private AI Foundation with NVIDIA，它们将成为率先采用NVIDIA L40S GPU、NVIDIA BlueField-3 DPU和NVIDIA ConnectX-7 SmartNICs提供增强企业大型语言模型定制和推论工作负载的系统。
与 NVIDIA A100 Tensor Core GPU相比，NVIDIA L40S GPU的生成式人工智能推论效能提高了1.2倍，训练效能提高了1.7倍。
NVIDIA BlueField-3 DPU能够加速、卸载和区隔虚拟化、网络、储存、安全以及其他云原生AI服务所带来的大量运算负载，从而减轻GPU或CPU的负担。
NVIDIA ConnectX-7 SmartNIC则为数据中心基础设施提供智能加速的网络功能，以提升世界上一些要求最严苛的 AI 工作负载。
VMware Private AI Foundation with NVIDIA是建立在双方长达十年的合作夥伴关系之上。 他们的共同工程工作优化了VMware的云端基础设施，以运行NVIDIA AI Enterprise，其效能可与裸机相媲美。共同客户进一步受益于VMware Cloud Foundation提供的资源和基础架构管理以及灵活性。
VMware 计划于2024年初与NVIDIA 一同发布VMware Private AI Foundation with NVIDIA。欲了解更多信息，请浏览官网。
