智能应用 影音
德州仪器
荣耀会员

流程革新!划时代的虚拟协作平台登场 NVIDIA全球开发负责人暨Omniverse部门总经理专访

【本文由映CG授权转载】

Richard Kerris为NVIDIA全球开发负责人暨Omniverse部门总经理。负责带领团队与各开发商合作。同时也负责维护初期协助测试Omniverse的客户。此外,也负责Omniverse平台的商业发展策略,不论是NVIDIA的产品线,或是企业客户,只要使用到Omniverse,皆为Richard与团队负责的项目。映CG这次很荣幸在COMPUTEX 2021展开前夕,与Richard一同聊聊虚拟协作平台Omniverse将如何为全球各大产业的工作流程带来全新变革。

Richard Kerris曾任职于Apple、Lucasfilm以及Amazon/AWS。其丰富的技术研发经验、IT能力与熟稔市场状况,让他在产品行销与研发上无往不利,擅长将创新思维转化成实际事物。同时也是Visual Effects Society的成员之一。

Richard Kerris,NVIDIA全球开发负责人暨Omniverse部门总经理。曾任职于Apple、Lucasfilm以及Amazon/AWS。其丰富的技术研发经验、IT能力与熟稔市场状况,让他在产品行销与研发上无往不利,擅长将创新思维转化成实际事物。同时也是Visual Effects Society的成员之一。Facebook撷图

问:Omniverse早在前几年就已经有消息了,但对大多数的产业使用者来说,还是相对新颖的技术,可与我们简单解释一下什麽是Omniverse吗?

答:是的,我们在几年前就已经带出Omniverse。因为它对于目前创作者的作业方式是很重大的转变,它将解决众多使用3D的产业所面临的问题,像是如何跨越不同地点、跨软件程序开发,以及如何在实时的环境下模拟跟工作。对于建筑视觉化、产品设计、游戏开发、电影制作,或汽车制造的专家而言,总是会遇到许多不同的3D工具,你必须去了解如何在不同的工具之间做沟通,如何汇入汇出档案等等。

同样的,很多团队分散在世界各地。据我们所知,过去一年这个状况更加明显。虽然问题已经被显露多年,但它其实是建立在产业面临的挑战堆积而成的轨迹上。过程中有几个重大转折加快了Omniverse的诞生。首先是,USD(Universal scene description) 的格式的出现,它不仅仅是个档案格式,更像是包含整个3D场景的档案。USD原先是由皮克斯所开发,但现在已被许多产业所应用。我们其实是在研发一个可协同工作的环境在此之前,我们曾推出的定点式的Holodeck VR协作计划。在那时候我们决定将USD作为Omniverse的基底。这项决策的重点在于能让我们以不同的软件作业,同时以统一的方式进行沟通。另一个革命性的改变是RTX技术。RTX将实时光线追踪技术带到这个世界,一件人们预期还要很长一段时间才会实现的技术,NVIDIA花费多年的努力来达成。现在RTX突破性的发展让你能够在实时光线追踪环境下互动,不论是在你的笔记本电脑或是服务器,或是与两人以上的团队进行协作,这些都是让Omniverse 如此独特的关键因素!

对各种产业来说,运用3D进行设计、模拟已是必备的工作流程。NVIDIA

问:你所提到的USD 档案格式,它目前在使用上有着什麽样的限制吗?

答:这会依据产业端如何使用它,当初皮克斯开发USD之后,你可以想像很多娱乐内容制作产业的人们可以毫无障碍地使用,这也是为什麽USD能够融入许多软件当中的原因。例如制造业,对模型表面进行有限元素分析等等,都是工作流程中不可或缺的,虽然它仍然有些地方需要改善,但都在进行中。实际上我们正在将这个技术引导到全世界。逐渐看到所有不同要素集结在一起,因此可以将它称作3D世界的HTML语法–一个可以让大家沟通的共通语言。

USD可比拟为3D虚拟世界的“HTML”语言。NVIDIA

问:所以USD和其它常见的档案格式,例如FBX又有什麽样的差异呢?

答:FBX是一个档案格式,而USD则是所有相关元件的整合。我们可以将各种档案格式读取进Omniverse中,我们可以读入FBX档,也可以加载Alembic档案等等。但是FBX或是其他的档案格式,虽然详细描述了一项3D元素,但它们可能没有灯光、阴影及材质等等的数据。但是USD可以将3D环境中的元件打包成一个包裹。所以,FBX的本质是一个档案格式,而USD就是档案格式存在的那个世界。

问:所以USD也不太像是一个专案档的概念,对吗?

答:不只是这样。一个专案档案会以工作流程的角度呈现,但是USD给你的是整个世界。就像是先前HTML的比喻,当全球信息网络(World Wide Web)开始后,很多事情都在发生,但同时也有很多事情没有如预期发生,直到HTML的出现,大家才有一种统一的方式来做事。以Google文件为例,作为一种共同的方式来将文件处理横跨多个网站,因为所有事物都是以HTML为基底,所以我们就能一起合作处理文件。而Omniverse所呈现的也就是这样的核心概念。不止是一个可以转换档案或是数据的方式,而是一个完整的套组。

问:回到你今年COMPUTEX大会带来的主题「Metaverse 虚拟空间诞生–NVIDIA Omniverse和共享世界的未来」,你对于「Metaverse」的定义是什麽呢?

答:我们常常被问这个问题,整个产业也常被问到。什麽是 Metaverse?Metaverse一词源自于作家尼尔史蒂文森(Neal Stephenson)在着作《雪崩》( Snow Crash )的科幻小说。而其中牵涉了一个想法—有天虚拟世界将会存在,人们将能够如我们所见,在那虚拟世界里面做着各种事情,不论玩游戏、创建专案等等。但是这些世界需要有一个共同的方式,来呈现各种体验,例如地心引力、光源等等。因此Metaverse就是这些虚拟世界的集合,而Omniverse就是连接这些世界的方式。

Omniverse在虚拟世界中,将扮演实体和虚拟之间人事物的连结桥梁。NVIDIA

问:你在2008年接受过VARIETY的专访,谈到当时在娱乐产业中的下个大事件,将不是着重在产品上,而是工作流程,那Omniverse对你来说,会是近代到未来的一个终极工作流程吗?

答:没错,那时候我还是卢卡斯影业的首席技术长,当时面对的挑战,一直到现在我们依旧碰到,也并试着透过Omniverse来解决。当时的挑战是公司团队遍布世界各地,有的在新加坡,有的在加州,我们同时又和在伦敦跟布拉格的公司合作。因此,如何一起工作、一起合作就是一大挑战了,我们开始专注在如何拥有一个共同的工作流程。当时与Sony Pictures Imageworks合作一部电影,我们共同开发了出Alembic开放式的3D档案格式,回想起来这有点像是迈向Omniverse的第一步。在当时,要创造协同工作流程可说是最重要的任务。所以当我们看着现在所研发的事物时,会发现它确实是当时的延续。这其实是我们长久以来一直有的难题,而现在我们开始看到Omniverse会是这个难题的解决方案。

问:如你所说的,特效公司早在Omniverse出现前,就与全球各地的创作公司合作,那Omniverse的出现,主要会解决了哪些问题?

答:多年来我们总有横跨不同地点一起工作的方法。但最头痛的地方在于双方得将所有专案档案放在云端硬盘,让其他团队下载下来,完成工作后,再把档案重新上传上去,然后另一个团队再下载下来。这其实不是协同合作的精神,也没有实时协作的连贯性,这种作法在我们以前是称作「Sneakernet」。也就是将档案放进硬盘里面,然后把硬盘拔起来交给另外一个人的方式。现在虽然转移到云端硬盘上,但这其实不是一个合作过程,只是一个共享的工作流程或步骤,让我们可以与其他人一起工作。但Omniverse革命性的关键在于我们将一起在那个世界中,假如我们双方都在使用Omniverse,一起建构这个世界,那全部人都将能够实时看见创造的世界,也能在不需要汇入或汇出的情况下做出改变,演变成一种全新的协作方式。

Omniverse比起以往的协作方式,是一种完全实时、可互动沟通、协同创造的环境,而非过往那种非实时、仅是交换专案档案、单打独斗辛苦的创作工作流程。

问:这便带到我下一个问题,当同时二个人在Omniverse环境中对同一区域或物件做编辑时,会发生什麽事?

答:如果我们共同创造一个房间,而你正在以3D模式画墙壁的贴图,然后我开始放物件到墙壁上等等,我们将能看到彼此正在做的事。即使到一个程度,比如我想将墙壁涂成不同的颜色,你同时又想将墙壁涂成其他的颜色。其中一个人可以进到里面,并指定「我拥有墙的控制权」,那另一个人就只能看,或提出修改权利的请求。所以这种有「阶级性」的环境正是Omniverse的核心,但背后的想法是我们在同一个场景中一起工作,就有办法说:「好,你在做这个,那我去建造剩下的书柜,或是我去建造家俱等等…」团队会团结一致的合作。如下列图片中,不同的创作者可以在不同地点使用多种软件。他们实际上在改变结构、打光、阴影、材质等,这些都是实时发生的事。

Omniverse虚拟协作平台,让多位使用者可在不同地点,用不同软件在同一个专案中协同创作。NVIDIA

问:像这样协同工作的概念,在美国已经是很常见的作业方式了吗?

答:能够在实时协作的环境下工作一直是个梦想。但如先前所说,我们一直被限制在只能够来回地传送档案,或是分享硬盘等。而我们最大的期望总是:「天啊,好希望整个团队都跟我在同一个空间工作,然后我们可以一起合作。」而我们正在实现他们的愿望。现在因为已经解决了一些比较大的问题,解决了需要共同档案格式的问题,也解决了需要实时、互动性跟地点的条件,而这等待已久的梦想,同时也是我们要横跨产业界所面临的挑战。我们现在看到许多产业都顺利的适应Omniverse的理由,正是我们解决了长年来的问题。所以没错,在美国跟其他地方,协同合作一直都有,但就像先前所说,以往时常与国外公司合作,但都不是实时的,只是一种尽力满足工作流程的作法。

问:谈到与工作室的合作,NVIDIA与ILM之间在Omniverse上有什麽故事分享呢?

答:他们目前正协助我们评估Omniverse。而他们近期在虚拟制作上( Virtual Production )有了突破性的进展。他们巨大的屏幕是由36台NVIDIA高端的专业显示卡所驱动,全部是屏幕跟摄影机同步。他们正在积极地评估Omniverse,并不断地在工作流程方面提供给我们回馈。我们与ILM一直有着良好合作关系,是我们最重要的客户之一,也是夥伴。所以在将Omniverse完全准备好,放进像是《曼达洛人》这样重要专案的工作流程之前,是需要花一些时间准备的。希望我们能到达成这目标。

问:在GTC大会上,BMW展示了数码分身(Digital Twin)科技,可与我们聊聊Omniverse是如何成就这项科技呢?

答:Omniverse可以处理非常庞大的数据集。以BMW的范例展示,它是一个对于未来工厂的想像,那个工厂是藉由CAD或CAD Data、300台以上的车辆且每台车约10 GB大小,再加上环境和机器,那是非常庞大的数据。而Omniverse能为它做到仿制一间工厂的写实模拟。藉由此方式让BMW能够在现实世界中下决策前,先在人工合成的世界作决策。重点在于当你一年制造200万台汽车,如果你要将工厂改成制造新的车型,如果有一天发生错误,试想如果是一周的话,那会让公司损失惨重。现在透过Omniverse在虚拟世界中作决策,以一个真实状况的角度看是否能正常运作之后,再到真实世界中作抉择。他们也说,多亏了Omniverse,让他们省下30%的开销。这就是它的价值。

问:这次在COMPUTEX大会上发表的Omniverse个人与企业版本,之间有什麽差异呢?

答:我们从2020年开始Open Beta版本测试,截至目前为止大约有38,000人次下载,他们在社群上分享着很棒的作品。看着人们运用创意做出产物是很美好的一件事。但那是设计给个人使用的。而个人与大型工作室所面临的挑战是一样的,如何在不同软件之间实时交换使用。

那我们就可以来看看近期发布的Omniverse企业版。企业版是一个给企业客户的完整解决方案。当中包含所有构成Omniverse的元件。从技术观点来看,包含Omniverse Create程序,以及Nucleus让他们能够与多个使用者异地协同工作。同时也包含View,可以检视所有正在执行的工作,这些功能都能够使用。但最重要的是我们对企业使用者的支持,包含安装指南等是企业最需要的。因此,透过订阅制,支付一定费用可以使用一年的时间。而这笔费用会依组织的规模与需求而有所变动。我们可以从小至五人的团队开始,以他们完全可以负担的金额,也有大到5,000人的组织。我们也在跟寻求不同部署方式的公司们讨论。像BMW拥有几千人的创作者、设计师等等,而其他工作室可能是小型机动性高。他们运用Omniverse的目的就是可以跟不同规模的工作室合作。所以今年夏天将可以作抢先体验。

问:也就是说,对一个10人规模的动画工作室,什麽样的解决方案更适合他们?你会如何建议决策者做评估?

答:10人规模工作室,取决于他们想要10个人一起工作,或是只有当中几个人要协作。我们有方案可以让他们体现5人或10人的工作流程。很多时候在不同的场景中,有一组人在做造型、有一组人在做动画,还有一组人在做上色及素材,并非每个人都需要在同一时间进行互动,而Omniverse的好处在于具有弹性。根据预算及他们的工作范畴,可以提出希望10个人都是协作者,或是同时只要5个人是协作者,在我们的订阅模式都可以支持。

问:所以这种评估方法对所有产业是适合的吗?

答:当然。我们正在接受评估。也与建筑设计、产品设计、游戏开发、媒体、视觉特效、自动驾驶机器等领域的公司密切合作,正如我开头所说,在许多垂直行业里,3D已经越来越普遍,以至于我们确实需要全面地为每个人解决问题。

问:对于一家想要在短时间内能够导入Omniverse的公司,有可以遵循的标准程序吗?

答:我们有推出许多在线教学、文件和范例档案可供参考,同时也拥有非常强大的论坛和社交媒体网站,并积极地与3万个人合作,一旦我们进入这些企业环境后,相对来说可以更快速地部署运行,替企业客户提供更多培训计划。同时,我们也与OEM夥伴合作,也许你会从我们认证的硬件合作夥伴中听到Omniverse。我们会为他们进行培训,让他们能够对客户做训练,这对平台开发商的我们来说是格外重要的。产业帮助我们一起打造Omniverse,他们也从中获得益处。我们不希望打造出一种大家遵循的工作方式,而是透过大家的回馈,视他们的需求让Omniverse来解决问题。这就像是不同产业的客户共同协作的成果。

问:那他们又该如何选择硬件配置呢?

答:在我们举办的Create with Marbles: The Contest的竞赛中,有超过一半以上的人是使用GeForce与GeForce RTX显示卡来创作的。因为Omniverse是设计在 RTX显示卡上运行的。当然显示卡的存储器越大越好,不过也是得看创作者的需求是什麽,可以在笔记本电脑上运行Omniverse,也可以在服务器上运行,或是在虚拟云端上运行。

问:那麽Omniverse企业版又是如何计价呢?

我们会依使用需求以及创作者数量进行收费。当创作者使用Omniverse,包含 Create等其他工具则会有另一个收费标准;对于使用Nucleus的也会有一个收费标准。我们有各种方案可以支持所有情况。一个小公司,例如五人的团队,可能会以低于15,000美金的费用来使用Omniverse。费用会依据各种工作环境需求而有所不同。

问:在DCC工具与Omniverse的互动方式中,有一种称作「OmniDRIVE」,主要支持像Blender、ZBrush、Photoshop等软件,这些软件使用此互动方式的原因是什麽呢?

答:这个判断的依据是软件是否原生支持USD格式。如果是的话,那它就能与Omniverse进行双向互动;或如果他们是以汇出的方式支持USD格式,那我们就能够把汇出的内容放到Omniverse上,但就不是双向的互动方式。所以Blender目前正在开发可全面支持USD方向前进,就像3ds Max和Maya一样,如此一来就能够来回的更新。而我们知道其它软件开发商也正朝着相同的目标前进,但都还是以他们的时程进行。

目前主流的2、3D设计软件,皆可与Omniverse相互连动。NVIDIA

问:目前仅供Uni-directional互动方式的软件,在未来有机会发展成能够与Omniverse进行双向互动吗?

答:当然,有些软件公司已经能够支持USD格式,那他们就能够与Omniverse进行双向互动。其它的软件开发商则是计划这麽做,至目前都能够以各自的方式将场景汇出成USD格式。但如果它们并非原生性的支持USD格式,那双向互动对它们来说就会有所限制。如我所说,大部分与我们合作的软件开发商,都对于要能够支持USD,或即将进行开发支持USD格式是有共识的。

问:Omniverse目前提供几款相当棒的App程序,接下来有预计推出哪些新程序呢?它们又有什麽特点?

答:Omniverse是一个开放性的平台,使用者可以建构、扩充应用程序。我们的团队会开发应用程序,客户也是。接下来在Open Beta中,我们会释出二个程序,第一个为「Audio2Face」,它让你藉由简单的音源档案来驱动3D角色的脸部动画,无论你是透过麦克风说话,或是加载现有的声音档,在经过特徵匹配后,便会为脸部制作动画。对许多人来说节省了大量时间,也让游戏开发更容易,对于需透过声音来驱动动画的专案来说,更是非常大的技术突破。

另一个程序为「Machinima」,目前还在Open Beta的阶段。也许你很久以前就看过这个名词,它是对于一种用来为游戏内容或其它3D资产中说故事工具的定义,一种用软件制作动画的方式,像是设计来制作影片或电脑游戏。我们的团队期望透过Machinima让设计故事的人用简易的方式来说故事。基本上就是将游戏内的3D物件,透过在Omniverse上的Machinima中结合像AI PoseEstimator、Audio2Face以及拟真的渲染与特效模拟能力,快速做出游戏的叙事剧情动画。我们从许多测试使用者看到令人兴奋的成果,这是一种全新的说故事方式。

最后我想特别介绍一个来自第三方公司所开发的程序。Bentley Systems宣布他们以Omniverse平台所开发的数码分身科技「iTwin」,是他们用来建立数码分身内容的工具组,在与他们客户合作的过程中,让他们得以管理和监控设施,同时也成功为客户解决非常棘手的问题。举例来说,当客户建造了许多大型电厂、工业设施或交通转运站等,要对这些设施进行管理是非常耗时耗工的。但透过数码分身打造的 3D 模型环境,客户可以了解并开发机器人,以更有效率的方式来处理那些危险性较高的工作。

问:在Youtube上看到许多Audio2Face的精彩运用,如果能与Unreal Engine的Metahuman技术结合的话,那应该做出非常高品质的剧情动画。

答:能够集结所有最棒的技术就是我们所期待的。Epic Games的Unreal Engine 是我们最棒的合作夥伴之一,Unreal Engine大概是与Omniverse拥有最好连结性的软件。结合Metahuman和Audio2Face的技术将能够为所有人带来最好的娱乐体验。

问:最后,想和那些还没尝试过Omniverse朋友说些什麽吗?

答:首先,感谢每位下载测Omniverse的使用者们,而那些还在考虑、同时又有RTX显示卡的朋友们,我想邀请你们到NVIDIA Omniverse网站直接免费下载 Open Beta试用。我认为让更多人看到 Omniverse 的能耐是很重要的,能够体验不同产业如何运用它,并看看是否能解决自己当前遇到的问题,无论是在开发游戏、打造一栋大楼,或设计次时代的汽车,Omniverse都能在你的工作流程中占有一席之地,如此令人兴奋的机会,希望各位能够亲身体验!

(本文由映CG授权转。原文连结

  •     按赞加入DIGITIMES智能应用粉丝团
更多关键字报导: NVIDIA