NVIDIA与Hugging Face为LeRobot导入全新模型与框架 供开放机器人社群使用 智能应用 影音
DIGITIMES Logo
236
DIGITIMES Logo

NVIDIA与Hugging Face为LeRobot导入全新模型与框架 供开放机器人社群使用

  • 陈诗函台北

NVIDIA与Hugging Face为LeRobot导入全新模型与框架,供开放机器人社群使用。NVIDIA
NVIDIA与Hugging Face为LeRobot导入全新模型与框架,供开放机器人社群使用。NVIDIA

开源人工智能(AI)已体现了当模型、数据与工具能被共享时,开发者能以更快的速度推动创新。机器人领域同样具备这样的机会,但物理AI开发的进展,仍可能受到成本高昂且分散的资源所限制,这些资源涵盖大型数据集、机器人基础模型,以及模拟、运算与验证工具等。

NVIDIA与Hugging Face正共同合作,将适用于人形机器人的NVIDIA Isaac GR00T 1.7开放式推理视觉语言动作(VLA)模型,以及NVIDIA Isaac Teleop框架导入LeRobot。LeRobot是Hugging Face的开源机器人函式库,而NVIDIA Cosmos 3这款物理AI前沿模型也规划于近期导入。这些整合将为开发者提供更易取用且标准化的端到端机器人开发路径,同时推动开放机器人社群的创新与协作。

Hugging Face共同创始人暨首席科学长Thomas Wolf表示:「开源是让一个领域得以将先进研究转化为人们可以钻研、调整并进一步发展的基础。随着NVIDIA Isaac GR00T 1.7与Isaac TeleOp导入LeRobot,机器人开发者能利用共享模型、数据与工作流程,在开放环境训练与评估机器人。再随着NVIDIA Cosmos 3的计划导入,社群也将能把前沿的世界模型纳入相同的协作循环。」

为机器人基础模型打造开放路径

Hugging Face LeRobot是一个开源机器人函式库,用于训练、执行与分享机器人数据集、模型、策略和工作流程。NVIDIA与Hugging Face的持续合作,将NVIDIA的300万名机器人开发者与Hugging Face的1,600万名AI建构者连结在一起,透过开放式工作流程扩大前沿物理AI工具的可及性。

将NVIDIA的物理AI能力整合至LeRobot,为开发者提供了一套共通方式,透过开放式工作流程来收集与标准化数据、训练与微调机器人基础模型、评估效能,并部署模型。整合内容包括NVIDIA Isaac Teleop,用于机器人数据收集的开源框架,可协助开发者透过标准化且互通的格式,从外部装置撷取高品质的人类示范数据,并直接在LeRobot中扩充数据集、与社群分享数据。

NVIDIA Isaac GR00T 1.7作为首款开放且具可商业化的机器人基础模型,能透过LeRobot工作流程更轻松地进行模型后训练与部署,协助开发者将GR00T适配至新的机器人型态与任务,并具备经基准测试验证的效能;以及即将导入LeRobot的物理AI前沿级世界基础模型NVIDIA Cosmos 3,在真实世界数据有限或收整合本过高时,将协助开发者生成与增机器人数据、模拟情境,并支持策略开发。

这些整合建构在NVIDIA已与LeRobot串联的广泛资源基础之上,以支持完整的机器人开发循环,包含规模最大的开源物理AI数据集,下载次数已超过1,500万次,内含超过35万笔真实与模拟轨迹,以及5,700万次抓取动作数据,协助开发者快速启动机器人工作流程;基于NVIDIA Isaac Sim与Isaac Lab的模拟框架,协助开发者在转移至实体机器人前,先建立环境、生成机器人数据、测试策略并验证行为。

LeRobot Environment Hub中的NVIDIA Isaac Lab-Arena,让开发者能快速打造复杂模拟环境的原型,将其注册至 LeRobot EnvHub,并在LeRobot生态系中无缝使用,以训练与评估GR00T、Pi与SmolVLA等通用型机器人策略;以及NVIDIA Jetson Thor与LeRobot Reachy 2的整合,支持在开源人形机器人部署视觉语言动作模型。

关键字