【高速运算应用-学研之星】神经网络结构查找技术助长MLaaS的高速发展

清华大学副教授暨Appier首席人工智能科学家孙民，运用国网中心的云端服务推动MLaaS技术的高速发展。

随着数据规模愈来愈大，人工智能(AI)解决问题所需采用的神经网络模型也愈来愈复杂，而模型的核心价值往往来自机器学习(ML)效益。机器学习需要透过收集相关数据并进行数据清理后，才能将其放入类神经网络模型并训练模型来做精确度的最佳化，以达到预期的目标。由于整体作业极为复杂，需要大量的人力参与，而为了让机器学习有效，需要一群训练有素的专家团队来协助创建、应用和优化模型，并且参与在整个作业流程当中。

由于数据收集与分析工具的技术不断推陈出新，在网络数据量愈来愈多的情况下，神经网络架构的持续修正，让AI模型能够再演化，就成为一个重要的研究重点。其中「神经网络结构查找(Neural Architecture Search；NAS)」的技术备受瞩目，意即藉由编写出一套人工智能程序或演算法，自动找出最能解决特定问题的神经网络结构的研究，并达到最佳识别准确性的结果，这对于AI产业中新兴的MLaaS (Machine Learning as a Service)商业模式有着重大的贡献。

清华大学电机系副教授孙民博士，同时也是沛星互动科技(Appier)首席人工智能科学家，他的研究团队向科技部申请的专案就是有关于「神经网络结构查找(NAS)」，他尝试利用一个有效的演算法来发掘AI模型如何自动修正与调校，让模型变得更适合应用、结果更加精准，因为使用自动尝试与错误(Try & Error)程序，每一次架构改动就需要再做训练模型，为了从数百次的AI训练中找到最好的一个，所以需要很多GPU平行运算的庞大能量，才能执行数以百计的规模化神经网络模型的训练。

平时只用一颗GPU训练100次，因此要找出最好的AI模型需要耗费一周的时间，但是向国网中心申请TWCC(Taiwan Computing Cloud)的云端服务后，能利用大量GPU与平行运算来同步对大量的模型做AI学习，以落实最佳化模型的验证工作。

从2019年开始，因为有了TWCC平台的支持，孙民的研究团队得以专注于研究不同层神经网络在传递过程中造成的变异损害，透过分散式运算、交叉验证，快速找到最佳模型架构。实验结果证明，这个技术可以在不影响分类准确性的情况下，尽可能减少神经网络的层级数，最终仍可维持高效准确识别物件，这个研究成果也让孙民的研究团队进入第二个延伸主题，也就是在线学习(Online Learning)。

Online Learning，当启动MLaaS服务时，每次做模型训练的时候还要再把大部分旧的数据拿来重复进行学习，这让训练变得很没有效率；所以如何做适当的取舍，避免更新模型导致灾难性遗忘(Catastrophic Forgetting)现象，就可以对新旧物件都维持高效准确识别率。

事实上，Online Learning是很久以前就开发的技术，现在之所以再次红起来，是因为神经网络的架构越变越大，使用的参数众多，传统的Online Learning技术无法避免灾难性遗忘现象。Online Learning需要快速地将不断蒐集的新数据喂进GPU做训练，所以TWCC平台服务再次扮演重要的角色，若没有国网中心对学术界的大力协助，这些计划便无法顺利完成。

目前这两个研究已经进入第三年，透过使用TWCC的高速运算服务，在提高实验速度与准确性上，节省了宝贵的时间，让MLaaS模型演化可以用自动化的技术来完成，大量省去人类专家的负担，其所发展的AI模型具备小巧但准确度高的效益，相关研究成果也将在2020年底之前正式发表论文在AI领域的顶会NeurIPS上，并且同步使用开源(Open Source)软件放在公开网站上供给其他的AI研究与技术社群来使用。