autoML自动化深度学习网络设计可行吗？

机器学习(深度学习为其中一分支)技术成为各产业智能化的核心能力，但是算法的设计复杂，需要专业知识与经验，对于好的人才，需求远大于供给。为了弥补这个空缺，这几年自动化机器学习工具(autoML)新研究兴起，希望有自动化的系统，在给定问题(通常是标记的数据)之后可以自动生成机器(深度)学习算法。在信息理论上，这是非常复杂的问题，需要大量运算资源，所以极具挑战。

autoML研究已经发展一段时间。例如开源软件auto-sklearn，可以自动找出各种(传统、较简易)算法的组合，试着优化整体预测能力，但目前仅局限于参数量较少的简易模型。目前最受瞩目的应该是「神经网络结构查找」(Neural Architecture Search； NAS)，希望自动设计出解决特定问题的类神经网络，原因是深度学习网络的效能优异，而且有机会在各平台实现，商业机会庞大。

NAS做为热门的研究领域，其原则是在可能的神经网络设计架构中找出最佳的组合。主要的结构(参考附图)包括3部分——可能网络构成空间、候选网络生成(查找)策略、网络效能评估策略等。

「可能的网络构成空间」是影响NAS能否收敛的关键因素。试想一下，目前常用的网络参数量都是百万、千万等级，要组合出这些可能性，不可能在有限的时间、运算资源内完成。所以目前的组合考量大多限缩在某些特定、常用的网络架构(卷积层大小、normalization方式、pooling方法等)，压缩整体查找的空间。

另一个需要大量运算时间的是对每个找出的候选网络进行「效能评估」，进而修正网络生成的方向。开始时大家对这些候选网络做最完整的参数训练，可以想像需要大量的时间资源，所以较早的研究曾经使用到800个GPU、28天的时间。近来大家采用的策略都是减低训练数据、降低训练次数、共享网络参数，甚至是用推估的方式直接猜测效能，完全省略耗时的网络训练。目前已经可以大大降低所需的运算量。

「候选网络生成」是为了查找出可能具有潜力的候选网络，还必须利用之前生成过的网络效能来修正网络生成(查找)的方式。所以传统的演化式演算法在这些最佳化过程又需被大量使用，不过一般认为最有效的方式是使用强化学习(reinforcement learning)，按照之前生成网络的评量，修正候选网络的生成策略。 在实际的发展上，目前自动生成的网络，在某些实验数据集上已可超越资深研究人员的手工设计。但这也不令人意外，因其是利用大量运算资源来更优化设计效能。此外，NAS算法只能在研究人员认为有效以及给定的网络元件组合中查找，尚未有「创造」新元件的能力。

以企业的角度，我认为autoML该视为辅助性的工具来加速深度学习网络的设计。但是主要架构的独特性、竞争性，或是能否在垂直领域中胜出，还是需要了解该领域的资深研究人员给出适合的基本结构，让autoML算法找出最神经网络。

目前应用上，除了优化正确率之外，基于许多场域的实际考量，我们也会将速度、参数量、耗电量、平台标的(移动、工作站、嵌入系统等)、存储器大小等当作多个优化的标准。所以autoML可以加速智能技术的落地。

autoML的兴起，对产业界(或个人职涯)传递怎样的信息呢？相关自动化技术绝对会优化、缩短智能算法研发，但是顶尖的智能研发人员依旧无法取代。他们与autoML相互搭配，会是最有效率的研发程序。但是对于补习式教育训练出的的机器学习工程师，很可能会被autoML取代。此外，这些工具也会被其他竞争公司使用，能让公司产生差异的还是对前瞻技术的提早投入，以及对于机器学习领域的通盘(或是特殊领域的深度)了解，或是将深度学习技术结合跨领域(如医学、金融、安全等)应用。浅碟型的技术投资，对公司(或职业生涯)长期的发展性都不大！