NVIDIA持续发表新时代GPU 满足企业用生成式AI实现创新营运

无界创新、未来企业的数码日常-零壹科技数码主题策展特别邀请NVIDIA资深协理康胜闵担任名人堂讲师，分享GPU效能对于AI模型带来的效益，以及企业如何评估合适的GPU方案，协助产业迎接全新的超高运算时代。零壹科技

致力扮演台湾数码转型最佳夥伴的零壹科技，为助企业更了解生成式AI的魅力与趋势，在2024年「无界创新、未来企业的数码日常-零壹科技数码主题策展」特别邀请 NVIDIA资深协理康胜闵担任名人堂讲师，分享GPU效能对于 AI 模型带来的效益，以及企业如何评估合适的GPU方案，协助产业迎接全新的超高运算时代。

随着生成式AI浪潮席卷全球，在甫落幕的NVIDIA年度盛会「GTC 2024」中，NVIDIA发表采用全新Blackwell架构的AI GPU芯片-GB200。此款产品采台积电定制化4纳米制程、支持FP4 AI的第二代 Transformer Engine，能与第五代 NVIDIA NVLink 结合使用，相较于现行NVIDA H100芯片，在大语言模型推论速度加快30倍、模型训练加快4倍、能源节省达25倍。

NVIDIA资深协理康胜闵指出，自从Open AI发表ChatGPT之后，于各领域之中展现应用可提升工作效率与品质的能力之后，不光带动一股生成式AI浪潮，也提升GPU运算对于产业的重要性。多年前，我们即认为单一GPU服务器势必难以满足AI应用服务的算力需求，将会需要多台GPU服务器之间协同运算创造足够算力。为此，我们推出用 NVIDIA NVLink 和 NVLink Switch，可将上百颗GPU芯片整合成专为AI设计的高效能运算平台，借此达到大幅缩短AI模型训练与推论的时间。

NVIDIA NeMo云端原生框架 加快大语言模型部署速度

监于推动大语言模型AI专案时需要极大算力，若自行打造往往需要时间建构庞大的算力，影响到专案推动的时间性，所以不少企业都会先选择使用公有云平台上的AI服务，争取时间创造专案效益。因此，NVIDIA与多家公有云业者深入合作，提供完整与一致的开发工具，面对多样化的AI专案提供完整的开发工具，满足不同产业用户的需求。而NVIDIA在持续投入高效能GPU芯片之外，也协助持续投入的公有云业者规划与建构高效能的生成式AI运算环境。

康胜闵说，我们推出的NVIDIA NeMo  Framework是帮助开发者从端到端协助生成式AI大语言模型从训练、自订到部署的框架，帮助开发者不论使用云端运算资源、数据中心和边缘等地运算资源，采用一致的工具帮助生成式AI的开发与部署。借此技术可缩短开发生成式AI过程中遇到的种种困难，并快速训练、自订与部署大型语言模型的速度，进而提高企业的投资报酬率。NVIDIA NeMo框架包含训练和推论优化与框架、防护工具组、数据清理工具和预先训练模型，企业能依照自身需求与预算，运用生成式AI于生产环境中推动各种专案。

另外，为协助更多台湾企业推动生成式AI专案，NVIDIA在GTC 2024大会上宣布，于NVIDIAAI Enterprise 5.0平台中新增数十款生成式AI推论微服务（NVIDIA Inference Microservice；NIM），这些微服务为语言、语音和药物发现等领域提供了符合产业标准的应用程序界面（API），让开发人员能够使用安全托管在自己基础设施中的专有数据快速开发人工智能应用程序。这些应用程序可以依使用需求调整规模，为在 NVIDIA 加速运算平台上运行生成式人工智能提供了绝佳的灵活性和效能。

在研发AI芯片高速网络、软件方案之外，NVIDIA也将与零壹科技等夥伴深入合作，协助台湾产业建立适合生成式AI专案的数据中心，乃至于培育更多AI人才，助产业运用AI技术维持在市场上的领导地位。
零壹科技与NVIDIA有深厚合作关系，并代理全系列NVIDIA产品线，结合完整的顾问与技术支持服务，是企业运用生成式AI提升工作效率、强化在商业环境竞争力的最佳夥伴。

更多产品信息，请洽零壹科技