美国国防部也在用　「可解释的智能技术」是什麽？

现今诸多机器学习应用都呈现超越人类的效能，技术的突破在于我们可以训练具庞大参数的机器学习模型；从传统仅使用几十个参数的方法(如SVM)提升到包含数千万(或数十亿)参数的深度学习网络，而且正逐步渗透各领域。

深度学习技术逐渐落地为产品，但在担纲机器学习重要角色同时，也得面对质疑：这些庞大的演算法是个复杂的「黑盒子」，不晓得何时会成功、失败，为什麽做这样的决定？为什麽不是另一个？当我们逐渐仰赖智能系统时，必须有全然的信赖感。

为提高智能服务的信赖感，可解释人工智能(Explainable AI)或简称XAI，在近来成为重点研究。特别是在关键性的企业决策如金融、医学、军事、灾害预防等应用中，除了预估最终结果之外，我们更需要合适的论理来解释为什麽做出这样的决定。比如透过MRI断定具有风险，我们希望智能系统更进一步解释原因为何，并将相关影像标示图说；或是在决定买卖某些股票时，还能将影响决策的原因条列解释，如同领域专家一样解释。 

因其重要性，近来美国国防高等研究计划署(DARPA)，也将XAI列为接下来科技发展的重点。其实这是相当挑战的研究工作，因为「可解释性」与「正确率」到目前为止是互斥的。解释性高的演算法，像是传统线型模型、决策树等，由其中的参数或是决策过程，可以直接解释出判断的逻辑，但是整体的正确率却偏低；相反地，深度学习算法的效能高，解释性却低。

目前的推荐系统(如购物、电影、音乐等)，除了算法推荐的品项之外，还加上了解释；例如之前买了滑雪板，可能也会喜欢某件雪裤；或是看了电影A的朋友也看了电影B。因推荐系统大都使用品项/使用者相似度、或是共同出现的关联性，较易推导出解释性。

深度学习的XAI技术还待努力。一般有两种做法：设计较透明的演算法(Transparent Design)或是外部解释(Post-hoc Explanation)。前者是将深度学习网络搭配一些具解释性的演算法，让决策的过程中呈现不同层次的透明度。后者则是使用额外的演算法来解释黑盒子是怎麽做决策的，目前还没看到最佳的做法。

我们观察，技术关键在于需要解释的对象为何：专业经理人、使用者、还是工程师？呈现的内容深度不同。在目前深度学习技术落地还在摸索的阶段，对智能系统开发人员提供可解释性，似乎是当下最有价值的，透过XAI我们可以更了解这些含有成千上万个参数的深度模型是如何运作的。 

过去三年我们协助几家软硬件公司开发人脸识别产品。深度模型设计过程中会遇见人脸识别结果跟直觉无法吻合的案例，不晓得判断的依据为何。为解决这样的问题，我们花了一年多的时间开发了一个可以嵌合在各个人脸识别模型的模块，发现可以成功解释为何两张人脸会识别为同一人(或另一人)的原因。XAI模块可以加速人脸识别网络的开发，我们相信类似的概念可以拓展到其他深度学习应用，加速技术落地。 

深度学习技术已逐步进入各种智能应用。「黑盒子」是目前无法避免的，但绝不是拦阻智能技术落地的理由。研究人员正利用各种XAI方法逐渐打开黑盒子，接下来进阶到关键决策的可解释性，应该是可以期待的。