DIGITIMES

通用模型会吃掉Physical AI吗?

徐宏民
2026-10-23

2026年9月初GPT-6 Astra发表后,研究社群很快就把它接上实体AI(Physical AI)机器人评测,部分成绩还超过使用大量机器人數據训练出来的专用模型。这代表什么?通用模型会吃掉Physical AI吗?

Astra只是其中一个例子。依现在的公开职缺,2家美国大模型公司都在招募机器人工程师,另一家大模型公司也公开测试通用模型控制机器人的可能方式。这些公司看来都想从數字世界走进实体世界。

Physical AI这几年的进展,本来就受惠于大型语言模型。视觉语言动作模型(VLA)里负责看懂影像与听懂指令的视觉语言模型,不少是以小型化的开源语言模型为基础发展出来的。用大型语言模型帮忙训练机器人,在研究圈已经是常态。我们这一年的两个研究也是如此:一个让大型语言模型把长时序任务拆成阶段,再由视觉语言模型判断进度,当成强化学习的奖励;另一个借用视觉语言模型的常识,判断移动机器人该停在哪里才拿得到东西。

这几个月,通用模型能接手的环节更多了,大致有3种用法:

第一类型为直接当机器人的策略,输出夹爪(末端执行器)要移动到的位置,再换算成关节角度。一份多所大学合作的评测,在数十个模拟任务上让Astra零样本上场(不给额外训练或信息),2026年9月评测时,成绩高于40个公开机器人策略。同样的接法退回前一代模型,成功率不到1%,可见差别主要来自模型本身的能力精进。

第二类型为与专用VLA协作。一家中国机器人公司在同一套模拟基准上测了一组双臂任务,Astra与专用VLA单独上场,成功率都只有1、2成。改由专用VLA执行、Astra必要时修正,成功率提高到近5成,Astra只在少数几步出手修正。两者擅长的看来刚好互补。需要语意理解、但动作本身简单的任务,Astra表现较好;需要精准协调或复杂(机械)动作的,专用VLA比较强。

第三类型为当机器人研究员,有机会在Blender或模拟器里建3D场景、写奖励函数、跑强化学习,失败了自己除错、重来。已有研究让多个通用模型担任程序代理人,在模拟器里完成组装、拆解这类长时序任务,再把解法增成大量示范去训练VLA,微调后的模型上了实体机器人也有初步成效。只是这些任务是在模拟器里离线反复除错完成的,不是實時控制。

这些通用模型的空间能力从哪里来?模型公司没有公开训练數據,只能从公开信息推测。从前一代到Astra的跃进,可能代表训练时加强3D或空间相关的數據。但3D數據本来就少,2023年公开、规模较大的3D物件數據集约有1,000万个物件,比起数十亿组的图文數據,差了好几个数量级。以Astra为例,官方发表展示的是它在Blender里建模,以及看多视角影像写出CAD程序重建物件。这类工作在3D引擎里写程序、渲染、比对结果,可以大量反复练习。

该注意的是,这些数字多半是发表后一个月内在「模拟器」里测出的成功率,也没有把模型思考的时间算进去。回到实体机器人,在一个把积木放进碗里的测试中,Astra每次要花2、3分钟,而专用模型几秒就完成。另一项研究让Astra按一个电梯按钮,包含边试边学的时间,模拟与实机都要花上数分钟到十几分钟。

另外,这些多半是抓取、放置这类刚体、位置对了就算完成的简单工作。难的部分仍是接触、物理特性、长时序与安全。插拔插头、转瓶盖、拿毛巾这类动作,成功率明显下降,常得先给示范才做得到。质量、摩擦、形变这些性质,单靠几何信息难以描述。

我的看法是,通用模型精进3D能力,这对Physical AI是好事。比起直接控制机器人,这些通用模型更可能成为训练Physical AI、加速它精进的引擎,只是加速的多半是能在數字世界完成的部分。數字AI犯了错多半可以重来,演算法在模拟里验证过,大致就能复制到各地;机器人犯错,损坏的是实体设备,也可能伤到人。Physical AI的验证最后得在实体端完成,之后还有整合、验收、认证,以及产品问责等问题。

通用模型不会吃掉Physical AI,反而加速智能发展。任务拆解、写控工藝式、建模拟环境、产生示范數據这些能在數字世界完成的环节,可能愈来愈多交给通用模型。机器人需要低延迟,离线时也得正常运作,本地端仍要有够快、能力够好的小模型,但它未必由独立的机器人模型公司提供,「有机会」由通用模型产生示范,再蒸馏而来。比较难被吸收的,是触觉等新的傳感、灵巧手这类硬件,以及整合、认证与垂直产业的制程累积。

机器人模型的竞争者,因此多了几家原本只做數字世界的公司。这些公司在數字世界迭代很快,到了实体世界,进展的速度可能要看验证与认证跟不跟得上。我们也看到數字世界的Agent能力,有机会加速发展,进入实体世界。

如果这两关也找到加速的办法,數字世界的Agent能力进入实体世界的速度,可能又会超乎我们的想像。

台灣大學信息工程学系教授,曾任富士康集团与Stellantis合资车用科技公司技术长暨副总经理,推动ADAS及智能座舱系统产品进入全球车用市场。纽约哥伦比亚大学电机博士,专精于机器学习、电脑视觉、自驾车、机器人等领域。为讯连科技研发团队创始成员,慧景科技(thingnario)共同創始人,NVIDIA AI Lab計劃主持人;曾任IBM华生研究中心及美国微软研究院客座研究员。担任多家科技公司AI策略顾问,习惯从学术与产业双重视角检验技术发展的机会与挑战。
智能应用 影音