是德科技推出AI推论模拟平台以验证与优化AI基础架构
- 李佳玲／台北
-
是德科技（Keysight Technologies Inc.）推出「是德科技AI推论建构器」（Keysight AI Inference Builder，简称KAI Inference Builder），这是一个专为大规模验证推论优化的AI基础架构而设计的模拟与分析平台。是德科技于NVIDIA GTC大会上展示此解决方案，并在NVIDIA DSX Air AI工厂模拟环境中展示其运作，借此对AI数据中心基础设施、系统架构与整体效能进行建模与最佳化。
随着AI产业从训练大型语言模型（LLM）转向部署应用，推论优化已成为投资报酬率（ROI）的关键因素。然而，推论行为极具动态性且难以模拟，传统测试方法如合成流量产生或GPU基准测试等，无法精确重现AI推论在运算、网络、存储器、存储及安全层面上对延迟敏感的工作负载行为。
KAI Inference Builder透过重现真实的推论工作负载模式，并建模产业特定的使用模式，来验证AI基础架构、应用程序及数据中心部署，有效弥补了这项缺口。此平台为AI云端服务供应商、硬件厂商及应用程序开发人员提供了一套可扩展的解决方案，以量测、验证及优化实际环境中的推论效能。
KAI Inference Builder的主要优势包括：
1. 专为推论时代打造：作为是德科技KAI产品组合的一部分，KAI Inference Builder能大规模模拟AI推论工作负载，并在真实环境下验证全堆叠部署，以优化效能、扩展性与安全性。
2. 针对特定产业与应用的基准测试：KAI Inference Builder舍弃通用模拟，转而模拟金融、医疗保健及其他垂直领域中常见的AI模型所采用的特定产业使用模式与LLM架构，使组织能够建模并分析不同类型AI数据中心部署中的基础架构与应用程序行为。
3. 端到端验证与优化：KAI Inference Builder会评估从使用者请求到模型回应的推论工作流程，透过在运算、网络及安全层面及早识别并解决瓶颈，协助团队降低因重工产生的高昂成本。
4. 子系统隔离与精准定位根本原因：KAI Inference Builder亦可执行纯客户端模拟，借此识别AI基础架构堆叠在负载下出现效能瓶颈的位置，从而实现针对性优化，减少过度配置、降低成本并提升整体效率。
5. NVIDIA DSX Air整合与GTC现场展示：是德科技在NVIDIA GTC大会上展示KAI Inference Builder与NVIDIA Air的即用型整合方案，透过NVIDIA的数据中心模拟环境生成实际推论工作负载，让营运人员能在部署实体设备前验证推论基础架构。
是德科技网络应用与安全事业群副总裁暨总经理Ram Periakaruppan表示，推论是释放AI投资报酬率的关键，但若系统资源未针对容量与效能进行优化，要达成此目标将面临挑战。KAI Inference Builder能提供全堆叠的实际推论效能可视性，让客户在硬件上架前即可验证并优化部署。透过在NVIDIA GTC大会上运用NVIDIA Air平台展示这项功能，展现了组织如何在降低风险与成本的同时，加速迈向生产环境。
NVIDIA网络事业部副总裁Amit Katz表示，随着AI数据中心规模扩展至前所未有的层级，部署前的验证已从最佳典范转变为关键任务需求。KAI Inference Builder与NVIDIA DSX Air的整合，提供了消除效能波动所需的关键环境，并让NVIDIA AI Factory合作夥伴与客户能够模拟真实的推论工作负载，并预先解决瓶颈，确保优化的AI服务能迅速推向市场。
