NVIDIA Research将在SIGGRAPH展示模拟和生成式人工智能的进展
- 范菩盈／台北
-
2024年7月28日至8月1日于美国丹佛举行的顶级电脑绘图大会SIGGRAPH 2024上展示在渲染、模拟和生成式人工智能（AI）方面的一系列进展。
NVIDIA Research发表的20多篇论文介绍推动合成数据产生器和逆向渲染工具的创新，这些创新可协助训练下一代模型。NVIDIA的AI研究透过提高影像品质和解锁创建真实或想像世界3D表现的新方法来改善模拟内容。
这些论文聚焦于视觉生成式AI的扩散模型、基于物理的模拟和日益逼真的AI驱动渲染。其中包括两篇荣获技术最佳论文奖的论文，以及与美国、加拿大、国内、以色列和日本的多所大学和包括Adobe、Roblox等公司研究人员的合作。这些研究将有助于创建开发者和企业可用来生成复杂虚拟物体、角色和环境的工具。合成数据生成可以用来讲述强大的视觉故事，协助科学家理解自然现象，或辅助机器人和自动驾驶车辆进行模拟训练。
扩散模型改善纹理绘制、文字到影像的生成
扩散模型是一种将文字提示转换为图像的热门工具，可以帮助艺术家、设计师和其他创作者快速生成分镜图或制作所需的视觉效果，从而减少将想法变为现实所需的时间。NVIDIA撰写的两篇论文正在提升这些生成式AI模型的能力。
ConsiStory是 NVIDIA 和特拉维夫大学（Tel Aviv University）研究人员的合作成果，使生成具有一致主角的多张图片变得更容易，这对于漫画插图或分镜图等讲述故事的应用至关重要。研究人员的方法引入了一种名为主题驱动共享注意力（subject-driven shared attention）的技术，将生成一致图像所需要的时间从13分钟缩短到约30秒。
NVIDIA研究人员2023年在SIGGRAPH的Real-Time Live!活动中，凭藉将文字或图像提示转换为定制化纹理素材的AI模型赢得了最佳展示奖。2024年将提出一篇论文，该论文将2D生成式扩散模型应用于3D网格上的互动纹理绘制，使艺术家能够基于任何参考图像实时绘制复杂的纹理。若对于扩散纹理绘制有兴趣，可以参考影片。
推动基于物理模拟的发展
图形学研究人员正透过基于物理的模拟技术缩小实物与其虚拟形式之间的差距，这是一系列使数码物体和角色能够像在现实世界中一样移动的技术。多篇NVIDIA Research的论文都介绍了在该领域的突破，其中包括SuperPADL，该计划旨在解决基于文字提示模拟复杂人类动作的挑战。
研究人员结合强化学习和监督学习，示范如何训练 SuperPADL架构来重现5,000多种技能的动作，并且可以在消费级的NVIDIA GPU上实时运行。
另一篇 NVIDIA 论文展示了一种神经物理方法，该方法应用 AI 来学习物体在环境中移动时的行为，这包括无论是 3D 网格、NeRF 还是由文本生成的 3D 模型所表示的实体物体。与卡内基美隆大学（Carnegie Mellon University）研究人员合作撰写的一篇论文开发了一种新型渲染器，这种渲染器能进行热分析、静电学和流体力学，而不是模拟物理光。该论文被评为 SIGGRAPH的五篇最佳论文之一，易于平行化，且不需要繁琐的模型清理，为加速工程设计周期提供了新机会。
火星探测车热分析影片中，渲染器针对好奇号（Curiosity）火星探测车进行热分析，由于将温度控制在特定范围内对于任务是否成功至关重要。其他模拟论文介绍了一种更高效的发丝建模技术以及可将流体模拟速度提高10倍的管道。
提高渲染真实感、绕射模拟的标准
NVIDIA撰写的另一组论文介绍了新技术，这些技术可将可见光建模速度提高25倍，并将模拟绕射效果的速度提高 1,000倍，如用于训练自动驾驶汽车的雷达模拟中使用的绕射效果。
NVIDIA和滑铁卢大学（University of Waterloo）研究人员发表的一篇论文探讨了自由空间绕射，这是一种光在物体边缘扩散或弯曲的光学现象。该团队的方法可以与路径追踪工作流程整合，以提高复杂场景中模拟绕射的效率，最高可加速达1,000倍。除了渲染可见光之外，该模型还可用于模拟雷达、声波或无线电波的较长波长。
路径追踪（Path tracing）透过取样多条路径，也就是穿过场景的多次反射光线，以创建逼真的图片。两篇SIGGRAPH论文改善了ReSTIR 的采样品质，ReSTIR是NVIDIA和达特茅斯学院（Dartmouth College）研究人员在 SIGGRAPH 2020上首次推出的路径追踪演算法，是将路径追踪引入游戏和其他实时渲染产品的关键。
其中一篇与犹他大学（University of Utah）合作的论文分享了一种重复利用计算路径的新方法，该方法可将有效样本数量增加多达25倍，从而显着提高图像品质。另一种方法是透过随机转变光线路径的子集来提高样本品质。这有助于去噪演算法更好地执行，从而在最终渲染中产生更少的视觉假影。
教AI以3D方式思考
NVIDIA 研究人员也在SIGGRAPH上展示了用于3D表现和设计的多用途AI工具。其中一篇论文介绍了fVDB，这是一个针对3D深度学习的GPU最佳化架构，能够达到现实世界相同的规模。 fVDB架构为城市规模3D模型和NeRF的大空间规模和高分辨率，以及大规模点云的分割和重建提供了AI基础设施。
与达特茅斯学院研究人员合作撰写的最佳技术论文奖得主介绍了一种表示3D物体如何与光互动的理论。该理论将多种外观统一到一个模型中。
与东京大学（University of Tokyo）、多伦多大学（University of Toronto）和 Adobe Research 合作推出了一种演算法，可以在3D 网格上实时产生平滑的空间填充曲线。以前的方法需要几个小时，而该架构只需几秒钟即可运行，并让使用者能高度控制产出成果，以实现交互式设计。
NVIDIA在SIGGRAPH
NVIDIA创始人暨CEO黄仁勳将与 WIRED 资深主笔Lauren Goode 就机器人和AI对工业数码化的影响进行炉边对谈。了解更多有关 NVIDIA在 SIGGRAPH大会的信息，请参考活动页面。
NVIDIA 研究人员还将举办OpenUSD Day by NVIDIA，这是一个全天的活动，展示开发人员和产业领导者如何采用和发展 OpenUSD 来建立AI驱动的 3D 管道。
NVIDIA Research在全球拥有数百名科学家和工程师，团队专注于AI、电脑图形、电脑视觉、自动驾驶汽车和机器人等主题。查看更多NVIDIA Research的最新研究成果。
