智能应用 影音
订报
event

NVIDIA用GAN改善视讯 带宽少10倍

NVIDIA于日前宣布成立新平台Maxine,以人工智能(AI)强化视讯会议软件的功能。Maxine使用神经网络建立脸部压缩影像,到下个步骤再使用第二组神经网络重建原始影像。

 点击图片放大观看

Maxine以GAN提取脸部特征数据点,生成高质量影像。NVIDIA

据Ars Technica报导,Maxine应用的深度学习技术为生成对抗网络(GAN),由两组网络先后生成图象数据和监别图象真实性。

随著GAN自我训练,生成图象质量愈高,监别的复杂度也就必须提高,也因此训练的结果就是图象愈看愈逼真,甚至能做出不存在的人的照片。

报导指出,NVIDIA对该技术进行些许修改。Maxine并非撷取整个视讯,而是从影像来源提取一组对应眼眉、嘴巴、鼻子等脸部特征的数据点。

因此,相比传统影像压缩技术,Maxine可以将视讯会议软件的带宽需求减少10倍,并且校正脸部偏移的情况,让使用者在画面中看起来更端正,还能打造动画化身代替真实脸孔。

NVIDIA也曾在2019年提到,改良后的技术无需为每位用户训练新的网络,而是预先训练好适用每个人的生成网络。相比从头训练的新网络,所需运算能力会低很多。

此外,Maxine是软件开发套件,而非消费产品。NVIDIA希望第三方开发人员使用Maxine改进自家视频会议软件。

Maxine还有一项重要的限制,视讯传输设备需配备NVIDIA Tensor Core GPU。若没有适当的显卡,NVIDIA则建议在云端服务器生成视讯帧,事后将渲染完成的视讯传输到客户端,但此举无法保证理想的效果。

目前Maxine处于开发初步阶段,提供一些开发人员存取权限,帮助NVIDIA完善Maxine的应用程序接口(API)。

报导认为,NVIDIA不太可能柯断诸如此类的视讯会议技术。虽然其它主要科技业者尚未宣布使用GAN改善视讯会议的计画,但Google、苹果(Apple)和高通(Qualcomm)都致力于开发更强大的芯片来支持智能型手机上的机器学习。

无论Maxine在市场上表现如何,以神经网络达到带宽需求更低、画质更高的视讯传输,或许会成为非常重要的概念。


  •     按赞加入DIGITIMES智能应用粉丝团
更多关键字报导: NVIDIA