HPE推出专为生成式AI设计的端对端AI原生产品组合
- 周建勳／台北
-
Hewlett Packard Enterprise（NYSE: HPE）于2024 NVIDIA GTC大会上宣布更新其在业界最完整的AI原生产品组合之一，以加速生成式人工智能（GenAI）、深度学习和机器学习（ML）应用的运作。更新内容包括：
HPE机器学习推论软件（Machine Learning Inference Software）的预览版本企业级检索增强生成（RAG, Retrieval-Augmented Generation）参考架构支持未来采用新NVIDIA Blackwell平台的产品开发「为实现GenAI的承诺，并有效涵盖完整的AI生命周期，解决方案必须采用混合设计，」HPE总裁暨CEOAntonio Neri表示。「无论是内部部署、主机代管中心或公有云上训练与调校模型，到边缘端的推论运算，AI都是一种混合云工作负载。NVIDIA是HPE的长期创新合作夥伴，未来我们将持续共同开发AI软硬件解决方案，协助客户加速GenAI从概念验证阶段进入到生产阶段的开发与部署。」
「生成式AI能够将来自联网装置、数据中心和云端的数据转化为洞察，进而在各产业实现突破性创新，」NVIDIA创始人暨CEO黄仁勳（Jensen Huang）表示。「透过与HPE更紧密合作，我们将能协助企业利用数据开发与部署新的AI应用，以实现业务转型，获得前所未有的生产力。」
以超级运算能力为基础的GenAI训练与调校
HPE在SC23大会上宣布其生成式AI超级运算解决方案已开放订购，企业组织能透过预先配置并经过测试的全端解决方案开发与训练大型AI模型。该解决方案专为加速执行GenAI及深度学习专案所设计，采用NVIDIA技术，最多可支持168个NVIDIA GH200 Grace Hopper超级芯片。
其可协助大型企业、研究机构及政府单位简化模型开发流程。透过AI/ML软件堆叠，客户可以加速执行GenAI及深度学习专案，包括大型语言模型（LLM）、推荐系统及矢量数据库。该解决方案亦提供安装与设定服务，协助AI研究中心及大型企业加速价值创造时间，并将训练速度提升2~3倍。如需了解更多信息或订购，请至HPE生成式AI超级运算解决方案。
企业级GenAI调校与推论
HPE生成式AI企业运算解决方案在2023 Discover Baecelona大会已抢先曝光。客户现在可以直接购买或透过HPE GreenLake，以灵活、可扩充且按使用量付费的方式购买。此由HPE与NVIDIA共同开发并预先配置的调校和推论解决方案可为企业组织提供生产GenAI应用所需的运算、储存、软件、网络和谘询服务，并减少准备时间和成本。透过这套AI原生的全端解决方案，企业可获得所需的速度、规模和控制力，以使用私有数据调校基础模型并在混合云环境中部署GenAI应用程序。
该解决方案采用HPE和NVIDIA的高效能AI运算丛集和软件，适合对模型进行轻量级微调、RAG及横向扩展推论。执行该解决方案时，调整一个拥有700亿参数的Llama 2模型所需时间会随节点数量增加而线性下降，在一个拥有16个节点的系统上，这个过程只需6分钟即可完成1。其速度和效能有助于客户使用虚拟助理、智能聊天机器人及企业查找等AI应用程序提升企业生产力，进而加速价值创造时间。
其采用HPE ProLiant DL380a Gen11服务器，并预先配置了NVIDIA GPU、NVIDIA Spectrum-X以太网络平台和NVIDIA BlueField-3数据处理单元（DPU），同时搭载HPE的机器学习平台和分析软件、NVIDIA AI Enterprise 5.0软件（包含用以最佳化GenAI模型推论的新NVIDIA NIM微服务）、NVIDIA NeMo Retriever以及其他数据科学和AI程序库。
为解决AI技能短缺的问题，HPE Services专家将协助企业设计、部署和管理此解决方案，包括应用适当的模型调校技巧。如需了解更多信息或订购，请至HPE生成式AI企业级运算解决方案。
从原型到生产力
HPE与NVIDIA正合作开发软件解决方案，协助企业将AI和ML从概念验证推进至实际生产应用。HPE客户可以透过技术预览版使用HPE机器学习推论软件，迅速且安全地大规模部署ML模型。新的解决方案将与NVIDIA NIM整合，利用预先建置的容器提供NVIDIA最佳化的基础模型。
为协助企业快速建置和部署具备私有数据的GenAI应用程序，HPE开发了采用NVIDIA NeMo Retriever微服务架构的企业级RAG参考架构，由HPE Ezmeral Data Fabric软件和HPE GreenLake for File Storage提供完整的数据基础架构，为企业提供用以打造定制化聊天机器人、生成器或智能助理的蓝图。
为协助数据准备、AI训练和推论运算，该解决方案整合了HPE Ezmeral Unified Analytics软件和HPE AI软件的开源工具和解决方案，其中包括HPE机器学习数据管理软件（HPE Machine Learning Data Management Software）、HPE机器学习开发环境软件（HPE Machine Learning Development Environment Software）和新的HPE机器学习推论软件（HPE Machine Learning Inference Software）。HPE的AI软件可应用于HPE生成式AI超级运算和企业级运算解决方案，让客户在一致的环境中管理GenAI工作负载。
采用NVIDIA Blackwell架构的次时代解决方案
未来HPE将在新推出的NVIDIA Blackwell平台上开发产品。该平台整合了第二代Transformer引擎，可加速GenAI工作负载。关于NVIDIA GB200 Grace Blackwell超级芯片、HGX B200和HGXB100的新HPE产品，其详细信息和上市时间将于日后另行公布。
数据来源
根据llama-recipes finetuning.py的初始内部基准测试，使用闪光注意力参数高效微调（parameter efficient fine-tuning；PEFT），在8个节点上微调平均耗时594秒，而在16个节点上微调平均耗时369秒。
