启动引擎:NVIDIA和Google Cloud合作加速AI开发 智能应用 影音
Microchip
IC975

启动引擎:NVIDIA和Google Cloud合作加速AI开发

  • 范菩盈台北

启动引擎:NVIDIA和Google Cloud合作加速 AI 开发。NVIDIA
启动引擎:NVIDIA和Google Cloud合作加速 AI 开发。NVIDIA

NVIDIA和Google Cloud宣布开展新合作,帮助世界各地的新创公司加速建立生成式人工智能(AI)应用程序和服务。

此合作于今天在美国拉斯维加斯举行的Google Cloud Next '24大会上宣布,将结合针对新创公司的NVIDIA Inception计划和Google for Startups Cloud计划,以扩大获得云端积分(cloud credit)、市场推广支持和技术专业知识,协助新创公司更快地为客户提供价值。

NVIDIA Inception是一项支持超过18,000家新创公司的全球计划,其合格会员将能够加速使用Google Cloud基础设施,并获得Google Cloud积分(credit),专注于AI的企业最高可获得350,000美元的积分,并可用于NVIDIA DGX Cloud

Google for Startups Cloud计划成员可以加入NVIDIA Inception计划,并获得技术专业知识、NVIDIA深度学习机构课程学分、NVIDIA硬件和软件等。Google for Startups Cloud计划的合格成员还可以参与NVIDIA Inception Capital Connect,让新创公司能够接触到对该领域感兴趣的创投公司。

参与这两个计划的高成长新兴软件制造商也可以获得加快入驻Google Cloud Marketplace、共同行销和产品加速支持。此次合作是两家公司为帮助降低各种规模企业开发生成式AI应用相关成本和障碍而发布的一系列公告中的最新一项。新创公司尤其受到AI投资相关高成本的限制。

需要全端人工智能平台

2024年2月,Google DeepMind推出Gemma,这是一系列最先进的开放式模型。 NVIDIA与Google合作,近期为Gemma在所有NVIDIA AI平台上进行了最佳化,有助于降低客户成本,并加快针对特定领域用例的创新工作。

两家公司的团队紧密合作,利用NVIDIA TensorRT-LLM这个用于最佳化大型语言模型推论的开源库来加速 Gemma在NVIDIA GPU上运行时的效能,Gemma采用与建立Google DeepMind迄今为止功能最强大的模型Gemini相同的研究和技术。

NVIDIA NIM微服务是NVIDIA AI Enterprise软件平台的一部分,它与Google Kubernetes Engine(GKE)一起为开发AI驱动应用程序以及将最佳化的AI模型部署到生产环境提供了简化路径。NIM基于 NVIDIA Triton推论服务器和TensorRT-LLM等推论引擎构建,支持各种领先的AI模型,并提供无缝、可扩展的AI推论,以加速企业中的生成式AI部署。

包括Gemma 7B、RecurrentGemma和CodeGemma在内的Gemma系列模型可从NVIDIA API目录中获得,使用者可以透过浏览器进行试用,使用API端点进行原型开发,并使用NIM进行自主托管。

透过GKE和Google Cloud HPC工具套件,Google Cloud让使用者可以更轻松地在其平台上部署NVIDIA NeMo架构。这使得开发人员能够自动化和扩展生成式AI模型的训练和服务,使他们能够透过可定制化的蓝图快速部署完整的环境,加速开发流程。

作为NVIDIA AI Enterprise的一部分,NVIDIA NeMo也可在Google Cloud Marketplace中取得,为客户提供了另一种轻松存取NeMo和其他架构以加速AI开发的方式。

为了进一步扩大NVIDIA加速的生成式AI运算的可用性,Google Cloud也宣布A3 Mega将于下个月全面上市。这些执行个体是其A3虚拟机器系列的扩展,由NVIDIA H100 Tensor核心GPU驱动。新执行个体将使A3虚拟机器的GPU到GPU之间网络带宽增加一倍。

Google Cloud A3上的新机密运算虚拟机器还将包括对机密运算的支持,以帮助客户保护敏感数据的机密性和完整性,并在训练和推论过程中保护应用程序和AI 工作负载,且使用H100 GPU加速时无需更改程序码。这些由GPU驱动的机密运算虚拟机器将于2024年以预览版的形式提供。

下一步:基于NVIDIA Blackwell平台的GPU

NVIDIA Blackwell平台为基础的NVIDIA最新GPU将于2025年初导入Google Cloud,共有两种版本:NVIDIA HGX B200NVIDIA GB200 NVL72

HGX B200专为最严苛的AI、数据分析和高效能运算工作负载而设计,而GB200 NVL72专为下一前瞻、大规模、万亿级参数的模型训练和实时推论而设计。

NVIDIA GB200 NVL72连接36个Grace Blackwell超级芯片,每个超级芯片配备两个NVIDIA Blackwell GPU,并透过900GB/s 芯片间互连连接一个NVIDIA Grace CPU,在一个NVIDIA NVLink域内支持多达72 个Blackwell GPU以及130TB/s 的带宽。与上一代产品相比,NVIDIA GB200 NVL72克服了通讯瓶颈,并作为单一 GPU运行,实时大型语言模型的推论速度提高了 30 倍,训练速度提高了4倍。

NVIDIA GB200 NVL72是一款多节点机架规模系统,将与Google Cloud第四代先进液冷系统结合。

NVIDIA 2024年3月宣布,提供企业开发人员使用、针对生成式AI需求进行最佳化的AI平台NVIDIA DGX Cloud目前已可在由 H100 GPU驱动的A3虚拟机器上使用。搭载GB200 NVL72的DGX Cloud也将于2025 年在Google Cloud上提供。