强化空间的安全性:NVIDIA携手合作夥伴将物理AI技术引进城市与工业基础建设
NVIDIA目前正利用基于物理AI的感知与推理技术,提升全球营运效能,合作的公司包括Accenture、Avathon、Belden、DeepHow、Milestone Systems与Telit Cinterion。
透过不断循环模拟、训练与部署物理AI的过程,提供各种尖端的工业自动化功能,让城市与基础建设更安全、更智能也更高效。
举例而言,物理AI应用可自动化执行工作人员原具潜在危险性的任务,例如操作重型机械。此外,物理AI还能改善交通运输服务与公共安全,以及侦测工厂内有瑕疵的产品等。
这方面的需求比以往任何时候都更为迫切,数字正说明了这一切:
有能力感知、推理及采取移动的基础建设,仰赖影片传感器与最新的视觉AI功能。NVIDIA Metropolis平台简化了从边缘到云端影片分析AI代理与服务的开发、部署及扩充过程,有助于开发者更迅速将视觉感知技术整合至设施,提高各种环境的生产力与安全性。
以下是5家推进物理AI发展的领先公司,以及NVIDIA于今日SIGGRAPH电脑绘图大会上发表,让这类技术得以实现的五项关键NVIDIA Metropolis更新。
5家推进物理AI发展的企业
全球专业服务公司 Accenture 正与领先的完整连接解决方案供应商Belden合作,透过打造可设置在工厂内大型机器人周围的智能虚拟围栏,防止与人类操作者发生事故,提高工作人员的安全。
智能虚拟围栏是一种物理AI安全系统,采用OpenUSD技术的数码孪生和物理型模拟技术,为复杂的工业环境建模。这套系统采用电脑视觉技术的地图建构与3D空间智能,能灵活因应新式厂房环境中,人机互动的高变动性与多元情境。
Accenture运用NVIDIA Omniverse平台和Metropolis,打造及模拟这类智能围栏。Accenture利用Omniverse打造了有机械手臂和作业人员移动的数码孪生场景。该公司先利用Metropolis训练AI模型,再利用影片撷取技术与NVIDIA DeepStream软件开发套件(SDK)的实时推理功能,将模型部署于边缘。
Avathon是工业自动化平台供应商,运用NVIDIA Metropolis适用于影片查找与摘要(VSS) 的NVIDIA Blueprint,为制造和能源设施提供实时洞察,提高营运效率并加强工作人员安全。
印度燃油与交通领域的领导业者Reliance British Petroleum Mobility Limited在建设加油站期间采用了Avathon视讯智能产品,以达成更高的安全合规标准、降低安全违规事件,并透过节省数千工时来提升生产力。
DeepHow为制造业及其他产业的员工开发了「Smart Know-How Companion」。这款辅助工具采用 Metropolis VSS蓝图,将主要工作流程转换为精简的多语言影片和数码指引,使职前训练流程、安全性和厂房操作员的效率都得以改善。
饮料公司Anheuser-Busch InBev面对技能升级需求,以及资深员工纷纷退休,选择采用DeepHow平台将标准作业程序转换为简单易懂的视觉化指引。这个平台将职前训练时间缩短80%,不仅大幅提高训练的一致性,更改善了员工长期的学习成效。
Milestone Systems提供全球最大规模、专门用于管理复杂工业与城市部署中的IP影音传感器数据的平台,正透过旗下平台Project Hafnia ,打造全球最大的真实世界电脑视觉数据库。该平台功能丰富,能让物理AI开发者取用自订的视觉语言模型( VLM)。Milestone Systems运用NVIDIA NeMo Curator,打造了专为智能交通运输系统调整的视觉语言模型,可用于影片查找与摘要蓝图,协助开发能更妥善管理市区道路的AI代理。此外,Milestone Systems还打算将全新的开放式可自订NVIDIA Cosmos Reason视觉语言模型用于物理AI。
物联网公司Telit Cinterion已将NVIDIA TAO Toolkit 6整合至旗下的AI视觉检查平台。该平台使用FoundationPose这类视觉基础模型搭配NVIDIA模型,不仅支持多模态AI,更提供了高效能的推理能力。TAO将低程序码AI功能整合至Telit平台,让制造商能为侦测瑕疵和品质控制,快速开发及部署准确的自订AI模型。
NVIDIA Metropolis的5项物理AI更新:NVIDIA Metropolis的关键更新,强化了开发者更轻松快速打造物理AI应用的能力:
Cosmos Reason VLM
最新版Cosmos Reason是NVIDIA适用于物理AI的先进、开放、可自订、并拥有70亿个参数的视觉语言模型,可支持Metropolis应用案例中的情境化影片理解与时间事件推理。其精巧的大小便于从边缘到云端的部署,非常适合自动化交通监控、公共安全、视觉检测与智能决策。
VSS Blueprint 2.4
VSS 2.4可透过Cosmos Reason轻松快速扩充现有的视觉AI应用,为智能基础设施提供强大的新功能。该蓝图的应用程序界面进一步扩充,让使用者可更直接且弹性选择特定的VSS元件与功能,以生成式AI强化电脑视觉流程。
全新的视觉基础模型
NVIDIA TAO Toolkit包含一套全新的视觉基础模型,以及整合先进的微调方法、自我监督式学习与知识蒸馏功能,可最佳化在边缘与云端环境部署物理AI解决方案的作业。NVIDIA DeepStream SDK包含全新的Inference Builder,可顺畅整合TAO 6模型。
Advex AI、Instrumental AI与Spingence等世界各地的公司,正运用这些新模型和NVIDIA TAO,打造能将工业营运最佳化并提高效率的智能解决方案。
NVIDIA Isaac Sim 扩充套件
NVIDIA Isaac Sim参考应用的全新扩充套件,有助于解决视觉AI开发常见的难题,例如标签数据有限与罕见的极端案例。这些工具模拟人机互动、生成丰富的物件侦测数据集,并且为训练视觉语言模型建立以事件为基础的场景以及图像与说明文字配对,加快开发速度,并且提高AI在实际应用情境的效能。
更丰富的硬件支持
这些Metropolis元件现在可在NVIDIA RTX PRO 6000 Blackwell GPU、NVIDIA DGX Spark桌上型超级电脑,以及物理AI与人形机器人技术适用的NVIDIA Jetson Thor平台执行,让使用者能够在边缘到云端的环境开发及部署。
Cosmos Reason 1与NVIDIA TAO 6.0现已开放下载。立即注册,即可在VSS 2.4、Cosmos Reason VLM微调更新与NVIDIA DeepStream 8.0推出时收到通知。