台北市政府产业发展局
活动+

autoML自动化深度学习网络设计可行吗?

  • 徐宏民

NAS主要的结构包括3部分——可能网络构成空间、候选网络生成(查找)策略、网络效能评估策略等。

机器学习(深度学习为其中一分支)技术成为各产业智能化的核心能力,但是算法的设计复杂,需要专业知识与经验,对于好的人才,需求远大于供给。为了弥补这个空缺,这几年自动化机器学习工具(autoML)新研究兴起,希望有自动化的系统,在给定问题(通常是标记的资料)之后可以自动生成机器(深度)学习算法。在信息理论上,这是非常复杂的问题,需要大量运算资源,所以极具挑战。

autoML研究已经发展一段时间。例如开源软件auto-sklearn,可以自动找出各种(传统、较简易)算法的组合,试著优化整体预测能力,但目前仅局限于参数量较少的简易模型。目前最受瞩目的应该是「神经网络结构查找」(Neural Architecture Search; NAS),希望自动设计出解决特定问题的类神经网络,原因是深度学习网络的效能优异,而且有机会在各平台实现,商业机会庞大。

NAS做为热门的研究领域,其原则是在可能的神经网络设计架构中找出最佳的组合。主要的结构(参考附图)包括3部分——可能网络构成空间、候选网络生成(查找)策略、网络效能评估策略等。

「可能的网络构成空间」是影响NAS能否收敛的关键因素。试想一下,目前常用的网络参数量都是百万、千万等级,要组合出这些可能性,不可能在有限的时间、运算资源内完成。所以目前的组合考量大多限缩在某些特定、常用的网络架构(卷积层大小、normalization方式、pooling方法等),压缩整体查找的空间。

另一个需要大量运算时间的是对每个找出的候选网络进行「效能评估」,进而修正网络生成的方向。开始时大家对这些候选网络做最完整的参数训练,可以想象需要大量的时间资源,所以较早的研究曾经使用到800个GPU、28天的时间。近来大家采用的策略都是减低训练资料、降低训练次数、共享网络参数,甚至是用推估的方式直接猜测效能,完全省略耗时的网络训练。目前已经可以大大降低所需的运算量。

「候选网络生成」是为了查找出可能具有潜力的候选网络,还必须利用之前生成过的网络效能来修正网络生成(查找)的方式。所以传统的演化式算法在这些最佳化过程又需被大量使用,不过一般认为最有效的方式是使用强化学习(reinforcement learning),按照之前生成网络的评量,修正候选网络的生成策略。 在实际的发展上,目前自动生成的网络,在某些实验资料集上已可超越资深研究人员的手工设计。但这也不令人意外,因其是利用大量运算资源来更优化设计效能。此外,NAS算法只能在研究人员认为有效以及给定的网络元件组合中查找,尚未有「创造」新元件的能力。

以企业的角度,我认为autoML该视为辅助性的工具来加速深度学习网络的设计。但是主要架构的独特性、竞争性,或是能否在垂直领域中胜出,还是需要了解该领域的资深研究人员给出适合的基本结构,让autoML算法找出最神经网络。

目前应用上,除了优化正确率之外,基于许多场域的实际考量,我们也会将速度、参数量、耗电量、平台标的(行动、工作站、嵌入系统等)、存储器大小等当作多个优化的标准。所以autoML可以加速智能技术的落地。

autoML的兴起,对产业界(或个人职涯)传递怎样的讯息呢?相关自动化技术绝对会优化、缩短智能算法研发,但是顶尖的智能研发人员依旧无法取代。他们与autoML相互搭配,会是最有效率的研发程序。但是对于补习式教育训练出的的机器学习工程师,很可能会被autoML取代。此外,这些工具也会被其它竞争公司使用,能让公司产生差异的还是对前瞻技术的提早投入,以及对于机器学习领域的通盘(或是特殊领域的深度)了解,或是将深度学习技术结合跨领域(如医学、金融、安全等)应用。浅碟型的技术投资,对公司(或职业生涯)长期的发展性都不大!

徐宏民(Winston Hsu)现任台大资工系教授及NVIDIA AI Lab计画主持人。哥伦比亚大学电机博士,专精于机器学习、大规模影像视讯查找与辨识。为讯连科技研发团队创始成员,慧景科技(工业智能新创)共同创办人;曾任IBM华生研究中心客座研究员、美国微软研究院客座研究员。习惯从学术及产业界的角度检验技术发展的机会;十余年产学合作及新创经验,近年致力将深度学习技术落实到产业,并协助成立研究开发团队。曾获2018 IBM Research Pat Goldberg Memorial Best Paper Award 、2018伪装人脸辨识冠军、杰出信息人才奖、吴大猷先生纪念奖等国内外研究奖项。