NVIDIA利用全新开放式模型与模拟函式库 加速机器人技术研发
- 陈俞萍／台北
-
NVIDIA近日宣布，开源Newton物理引擎以及应用于机器人技能与全新AI基础设施的开放式NVIDIA Isaac GR00T N1.6推理视觉语言动作模型，现已在NVIDIA Isaac Lab推出。
这些技术共同为开发者与研究人员提供开放式、加速的机器人平台，可加速迭代、测试标准化、将训练与机器人上推论统合，并协助机器人以安全可靠的方式，将技能从模拟环境转移至现实世界。
NVIDIA Omniverse与模拟技术副总裁Rev Lebaredian表示：「人形机器人是物理AI下一个前沿，必须具备在无法预测世界中推理、适应及安全移动的能力。透过这些最新更新，开发者现在有3部电脑可将研究中的机器人转化为实际应用。Isaac GR00T能做为机器人的大脑、Newton模拟机器人躯体，而NVIDIA Omniverse则为训练环境。」
Newton开创机器人技术物理模拟的全新标准
机器人在模拟环境中学习更加快速和安全，但人形机器人的关节、平衡与动作相当复杂，挑战现今物理引擎的极限。全球逾25万名机器人开发者需要准确的物理模拟能力，才能确保他们在模拟环境中指导机器人的技能，可以在现实世界中安全可靠的执行。
NVIDIA近日宣布推出Newton测试版。Newton是由Linux Foundation管理的开源GPU加速物理引擎，建置于NVIDIA Warp与OpenUSD框架上，由Google DeepMind、Disney Research与NVIDIA共同开发，现已开放使用。
Newton设计灵活并可搭配不同类型的物理求解器，协助开发者模拟极其复杂的机器人动作，例如在雪地或砾石行走及拿放杯子与水果，并成功部署于现实世界。
Newton的最新采用者包括苏黎世联邦理工学院Robotic Systems Lab、慕尼黑工业大学与北京大学等知名研究实验室与大学，以及机器人公司Lightwheel与模拟引擎公司Style3D。
Cosmos Reason为全新开放式Isaac GR00T N1.6模型改善机器人推理
人形机器人必须能理解模棱两可的指示，并且因应大量前所未有的多样化经验，才能在物理世界执行各种类人任务。
开放式Isaac GR00T N1.6机器人基础模型的最新版本即将在Hugging Face推出。此版本将整合NVIDIA Cosmos Reason这款专为物理AI打造的开放式可自订推理视觉语言模型。
Cosmos Reason做为机器人深度思考的大脑，运用既有知识、常识与物理学，将模糊的指示转化为逐步计划，可因应新情境并在执行多种任务时举一反三。
Cosmos Reason下载次数已突破100万，目前高居Hugging Face物理推理排行榜之首，也可为模型训练汇整大量真实数据与合成数据集并加以注释。Cosmos Reason 1现以简单易用的NVIDIA NIM微服务提供，可部署于AI模型。
Isaac GR00T N1.6现在可以让人形机器人同时移动及拿取物件，让躯体和手臂可更自由完成艰难的任务，例如打开沉重的门。
开发者可运用Hugging Face上的开源NVIDIA物理AI数据集，对Isaac GR00T N模型进行后训练。此数据集下载次数已突破480万次，目前包含成千上万种合成与现实世界轨迹。
AeiROBOT、Franka Robotics、LG Electronics、Lightwheel、Mentee Robotics、Neura Robotics、所罗门、达明机器人与UCR等机器人领域领导制造商，正在评估运用 Isaac GR00T N 模型打造通用型机器人。
用于物理AI开发的全新Cosmos世界基础模型
NVIDIA宣布推出开放式Cosmos WFM （世界基础模型） 的全新更新。此模型被下载超过300万次，可让开发者生成各种数据，利用文字、影像与影片提示，加速大规模训练机器人模型。
即将推出的Cosmos Predict 2.5将三种Cosmos WFM的强大功能结合至单一强大模型，降低复杂度、节省时间并大幅提高效率。它支持更长的影片生成时间，最长可制作30秒的影片，以及多重视角摄影机输出，实现更丰富的世界模拟。
即将推出的Cosmos Transfer 2.5提供比前代模型更快也更高品质的结果，而且大小减少了3.5倍。它能从具备真实标注的3D模拟场景，以及深度、影像分割、边缘信息与高分辨率地图等用于空间控制输入内容，生成逼真的合成数据。
指导机器人抓取的全新工作流程
指导机器人抓取物体是机器人技术领域数一数二的难挑战。抓取的动作不单单是移动手臂，还包括将思绪转化为精确动作 ，是一个机器人必须透过试错中习得的技能。
Isaac Lab 2.3开发者预览版中全新的灵巧抓取工作流程以NVIDIA Omniverse平台为建置基础，运用自动化课程在虚拟世界训练多指手臂机器人。它从简单的任务开始，然后逐步提高复杂度。工作流程会调整重力、摩擦力与物体重量等层面，训练机器人即使在无法预测的环境也能学习技能。
Boston Dynamics的Atlas机器人运用这项工作流程学会抓取，大幅提升操作能力。Agility Robotics、Boston Dynamics、Figure AI、Hexagon、Skild AI、所罗门与达明机器人各大机器人开发者，均采用NVIDIA Isaac与Omniverse技术。
在模拟环境中评估机器人习得的技能
帮助机器人掌握新技能，例如拿起杯子或在房间行走，是极其困难的过程，而且用物理机器人测试这些技能既缓慢又昂贵。
以模拟环境的方式进行可让机器人对照无数情境、任务与环境测试所学技能，解决这类问题。然而，即使是在模拟环境，开发者打造的测试也往往流于片段简化，无法反映现实世界。机器人若在完美简单的模拟环境学习找方向，面对现实世界的复杂度时注定失败。
NVIDIA与Lightwheel正共同开发Isaac Lab - Arena，这款可扩充实验与标准化测试用的开源政策评估框架，让开发者不必从头打造系统，就能在模拟环境执行大规模复杂的评估。这款框架近期即将推出。
全新NVIDIA AI基础设施让各种机器人工作负载能随地执行
NVIDIA发表为最高工作负载设计的AI基础设施，让开发者能充分利用这些先进的技术与软件函式库，其中包括：NVIDIA GB200 NVL72：这个整合36颗NVIDIA Grace CPU与72颗NVIDIA Blackwell GPU的机架规模系统，可加速复杂的推理与物理AI任务等AI训练与推论，广受各大云端供应商采用。
NVIDIA RTX PRO服务器：提供适用于训练、合成数据生成、机器人学习与模拟领域的各项机器人开发工作负载的单一架构。RTX PRO服务器已获得RAI Institute采用。
NVIDIA Jetson Thor：由Blackwell GPU驱动，可让机器人执行多个AI工作流程，实现实时智能互动与实时机器人上推论，对于高效能物理AI工作负载与人形机器人技术应用而言是一大突破。Jetson Thor已获得Figure AI、Galbot、Google DeepMind、Mentee Robotics、Meta、Skild AI和宇树科技等合作夥伴采用。
NVIDIA推动机器人技术研究
GPU、模拟框架与CUDA加速函式库等NVIDIA技术，获得CoRL收录的近半数论文引用，并受卡内基梅隆大学、华盛顿大学、苏黎世联邦理工学院与新加坡国立大学等顶尖研究实验室与机构采用。
此外，由Stanford Vision and Learning Lab推出的机器人学习标竿专案BEHAVIOR ，和由北京大学开发用于推动视觉型触觉机器人技术的高效能模拟平台的Taccel，亦为本次CoRL亮点。欢迎在CoRL深入了解NVIDIA的机器人技术研究成果，大会将于9月27日至10月2日在首尔举行。
