智能应用 影音
KYOCERA
荣耀会员

Google重建3D地标模型 适用AR与VR

Google研究人员运用神经网络(Neural Network)与目标地点的群众外包(Crowdsource)照片,不仅可同时自动化进行3D地标模型制作程序并能改善输出结果,因此重建出的真实世界地点的3D模型,其地标与光影的呈现能如照片般栩栩如生且可信度极高。 

 点击图片放大观看

NeRF-W系统制作的法国巴黎圣心堂3D模型,可消除人物、车辆等动态物体。NeRF in the Wild网站

根据VentureBeat报导,运用3D模型精确重建真实世界地点一向极具挑战性,Google发展的变通方案NeRF-W(NeRF in the Wild)系统是基于神经发光场(NeRF)这项复杂的技术,其概念是藉由判定光线终止位置的方式,来从2D影像撷取3D深度数据,因此单靠NeRF技术就能创建出一个可信、具有纹理的3D地标模型。

NeRF-W系统制作的3D地标模型呈现效果优于2019年推出的Neural Rerendering in the Wild系统与标准NeRF系统的输出,能区分在不同照明下的3D建筑物,且从不同角度与时间观察时都能保持平滑,以前所未有的逼真程度,让增实境(AR)与虚拟实境(VR)装置的使用者沉浸式体验,复杂的建筑物地标在不同天候或一天中不同时间呈现的实际景致。

Intel也是基于照片制作3D模型以合成真实世界的地点,运用回馈式(Recurrent)编码-解码网络与多张照片,以内插法产生未拍摄到的角度,输出效果在像素层次的锐利度与空间平滑度,均优于标准NeRF等许多其他系统。不过 Intel的系统似乎并未具备如同NeRF-W的各种照明相关功能,或是对随机的群众外包照片有同样的关注。

NeRF-W系统采用群众外包照片,让电脑从各种不同角度观察地标;运用神经网络分析照片以找出结构体,区分出照片曝光、场景照明、后处理、天候等摄影与环境相关变化,以及识别照片与照片间出现的人物、车辆等动态物体的差异;整合提供容积测量发光(volumetric radiance)信息的动态元素,以及结构外型与纹理等静态元素以重建3D地标场景。

NeRF-W系统制作的3D地标模型,基于群众外包照片的光影数据提供发光指引,从各个角度都能提供平滑的视觉呈现,以及适切的场景照明与阴影,因此不会有突兀与明显的人工感。NeRF-W系统将照片中的人物、车辆等动态物体视为可被消除与无需强调的不确定区块,而标准NeRF系统则不会区分这些物体,因此会呈现出像云一样遮蔽的人造物。

  •     按赞加入DIGITIMES智能应用粉丝团
更多关键字报导: Google AR VR