对外贸易发展协会
活动+
 

促进动画角色脸部辨识算法研究 爱奇艺提出无限制的大型资料集

爱奇艺研究团队提出全球首创的无限制动画角色脸部大型资料集。爱奇艺

动画角色辨识(cartoon person recognition)有广告、”just look him”、提供创意素材等丰富商业应用情境,爱奇艺的研究团队提出全球首个创新、无限制(unconstrained)的动画角色脸部大型资料集(dataset) iCartoonFace,可促进相关机器学习(machine learning)算法的发展。

根据Synced报导,对动画的喜爱是跨年龄、种族、性别的全球现象,而数码媒体指数性成长创造的庞大市场更是动画产业发展的超强动力。SimilarWeb的流量分析显示美国动画串流网站Crunchyroll每月吸引约8,000万名访客,在全球串流网站排名第十五,约是同类型领导网站YouTube流量的60%。

日本每年平均推出300多部动画制作,GlobeNewswire、Watson、日本动画协会(AJA)的调查报告显示,2018年全球动画市场规模高达2,590亿美元,到2020年更将成长至2,700亿美元,主要市场包括英国、加拿大、中国大陆、法国、德国、日本、韩国、美国,动画产业多数区块的成长年增率都达到5%。

目前人脸辨识领域有许多可公开取得的大型脸部资料集,限制情况(constrained situation)与无限制情况(unconstrained situation)的资料集都有,身分数量从数百至数十万,样本数量从数万至数百万,对人脸辨识研究、算法发展与评估极有助益,LFW与MegaFace等部分资料集还提供算法的评估协定与排名顺序。

例如ArcFace脸部辨识算法以LFW的标竿测试进行评估,准确性可达99.83%超越人类的表现,以MegaFace的标竿测试评估,表现最好的算法也可达到99.39%的准确性。动画产业亟需高度准确的动画角色辨识算法,然而高质量、实际取材自动画影片的大型资料集却非常缺乏,且没有相应的算法表现评估标准,以至于相关算法的发展极为受限。

中国大陆视讯串流(video streaming)服务巨擘爱奇艺的研究团队发表的论文”iCartoonFace: A Benchmark of Cartoon Person Recognition”,提出动画角色脸部大型资料集iCartoonFace,可应用于辨识研究、动画角色塑造、影像分类(image classification),除开放外界使用外,下一步还将探索特征融合(feature fusion)等高度有效的资料集融合方法的潜力。

iCartoonFace资料集内含2,639个动画角色的68,312张影像,这些样本都是撷取自互联网的公开影像与爱奇艺网站的在线动画串流视讯。爱奇艺的研究团队先运用算法侦测与移除重复的影像,接著进行影像丛集(image cluster)洁净(clean)作业,运用研究团队开发的影像批注(annotation)系统,以人工为每一张影像建立初始识别(initial identity)卷标。

由于iCartoonFace中的影像都有建立卷标且提供评估算法的标准,因此很适合做为动画角色脸部辨识算法的标竿测试资料集。深度学习(deep learning)算法应用在影像分类与脸部辨识可达到近乎完美的结果,爱奇艺研究团队便以iCartoonFace资料集评估SOTA(state of the art)影像分类与脸部辨识算法的结果,作为衡量动画角色脸部辨识算法的基线。

此外爱奇艺研究团队提出1个运用脸部特征、融合人脸资料集与动画角色资料集来改善动画角色脸部辨识表现的方法,实测结果显示人类的表现远优于基线模型,但研究团队提出的资料集融合方法,则可有效提升基线模型的表现达2%,由此可见以SOTA影像分类与脸部辨识算法在处理无限制的动画角色辨识上,还有很大的进步空间。

百度旗下的爱奇艺2018年在美国公开上市,为满足中国大陆民众对动画文化的风靡,爱奇艺巨额投资取得外国动画电视节目的播映权,并发展本国的动画制作,目前已是中国大陆最大的动画收看平台之一。爱奇艺自我定位为技术驱动平台,人工智能(AI)的建置贯穿其内容创建、制作、流通、客户体验等商业流程。


  •     按赞加入DIGITIMES智能应用粉丝团
更多关键字报导: 爱奇艺 计算机动画 动画