可解释的人工智能

从几年前人工智能热起来后，可解释(explainable)一词瞬间变成显学。机器学习在许多领域取得不错的成绩，表现要再上层楼、消除错误、避免在关键时刻下错误的指令，就要理解机器学习的学习过程、建立模型以及下指令的机制。

人工智能发展迄今，取得较大进展的有两个领域：图形识别和自然语言，而常使用的工具有卷积神经网络(Convolutional Neural Network；CNN)和递归神经网络(Recurrent Neural Network；RNN)。以CNN为例，程序精简写来不过百来行，其结构也明确，一或多个卷积层(convolution layer)、顶端的全连通层(fully connected layer)、池化层(pooling layer)等，但是究竟如何从一数据库中学习、建立模型，以及如何对真实案例给指令、下判断，目前还是黑箱。

RNN也有类似的问题，由于输入数据在内部反覆递归，参数的数目指数级爆炸，机器内部需要长短期记忆(Long Short-Term Memory；LSTM)执行对递归学习结果的记忆或遗忘。由于存储器和遗忘的涉入，学习和下指令殊不可解。

2019年3月DARPA的期中colloquium有20几个题目，其中有3个特别引我注目，一个是人工智能之于物理、化学的应用，这项目我认为是人类心智的最后防线，突破了，人类就无所用心；另一个是教人工智能常识，这是相当艰难的问题，牵涉广泛，问题要先收敛；再一个就是人工智能的可解释性了。

解释人工智能的方法正慢慢的发展出来。2018年刚发表的随机输入取样解释(Randomized Input Sampling for Explanation；RISE)的想法看来有趣，基本上RISE是把机器学习当成黑箱子，仅凭输入和输出来解释其学习、模型和指令。想法其实很简单。以图形识别为例，在原始数据中设置一个小区域罩子，可以从0到1取值，将这罩子置于一待识别图像之上，掩盖部份像素。当图像被识别机率陡降时，我们知道覆盖到识别模型的关键因子了。这是把机器学习当黑箱子的做法，像古典的心理学。

稍早还有网络解剖(network dissection)，听起来就像《太极》电影中陈长兴说屠夫贾大六干的「挑筋断骨」的事，而分析也的确实深入底层。基本上寻找的是隐藏单元(hidden unit)与一组语义(a set of semantics)中间的对齐(alignment)，讲白话就是寻找神经元(neuron)与抽象意义之间的相关连。这与现在脑神经科学用fMRI(functional MRI)来检测那些神经元与连结的突触(synapse)在那一特定概念输入时被激发的手法颇为相似，只不过人工智能的网络解剖首先要证明此一类比存在，而且对于对齐的程度可以量化，现在这个方向的研究持续开枝散叶中。

除了上述的两种方法外，当然还有其它的尝试，譬如在卷积层中插入一物理模型层，可以精确的模拟与观察相对照，并且达到高取样率。更多新的方法正在生发中。

对我来说，人工智能对于可解释性的追寻是一段意外的旅程。机器学习各式神经网络的成功原是模拟人脑的工作模式，到头来学习的结果却是不可解，又要诉诸人类对自己心智理解的诸种手段。看来人对自己心智运作的理解有多匮乏，人工智能就有多少的成长空间！