从Google查找趋势看三大AI技术浪潮

Google查找趋势（Google Trend）是个好用的工具，有时我会透过查找热度变化情况，观察某个议题的发展。

这次我键入AI技术典范转移的3个字词「Expert System」、「Deep Learning」、「Generative AI」，看看会呈现出哪些结果？

若以Google Trend最早能提供查询数据的时间2004年作为起始时间，「Expert System」的查找热度一路往下，而「Deep Learning」则从2013年起查找热度开始走扬，并于2014年与「Expert System」出现走势交叉的情况。

Expert System是早期真正商用化的AI技术，属于规则式学习（rule-based learning）。其组成包括知识库、推论引擎和用户界面等3部分，透过大量请教专家，采用if-then-else的结构将专家知识和经验建成知识库，推论引擎则根据知识库中的规则和推论机制来推论和决策，用户界面则是如同ChatGPT，可用问答方式来获取专家系统推论的答案。

Expert System热潮在80年代，因人类诸多内隐知识难以表达与形成规则，及规则式学习建立与维护数据库的复杂度随时间持续提高，专业领域专家系统（如医疗、土木等）逐渐式微，而一般企业管理用途的规则系统，逐渐被整合至如甲骨文（Oracle）与SAP等业者的企业应用软件中。

2012年多伦多大学教授Geoffrey Hinton与其2位博士班学生Alex Krizhevsky、Ilya Sutskever发表〈ImageNet Classification with Deep Convolutional Networks〉此一论文，带动Deep Learning兴起。

机器视觉领域有个2010年由李菲菲发起的奥林匹克级学术竞赛（ImageNet Large Scale Visual Recognition Challenge；ILSVRC），前2年优胜团队都是采用传统的机器视觉技术，Krizhevsky、Sutskever与Hinton的CNN神经网络模型AlexNet，在2012年竞赛「top 5 test error rate」指标中，创下竞赛以来的最佳成绩15.4%，领先第二名的26.2%近11个百分点，从此Deep Learning跃为机器视觉领域主流。当2015年微软（Microsoft）的ResNet以错误率3.6%胜过人类肉眼的5%错误率时，包括智能交通、人脸识别、瑕疵检测等多元市场商机随之起飞，也反应在从2013年迄今「Deep Learning」查找热度上。

相较于「Deep Learning」为既有数据进行分类与分群等分辨工作（如人脸识别），「Generative AI」则是学习输入数据的模式和结构，其后根据训练数据的分布，生成相似但全新的数据。

2014年的Ian Goodfellow提出的生成式对抗网络（Generative Adversarial Network；GAN），可说是带动生成式AI发展的里程碑。接下来这几年查找热度微幅上扬，生成式AI主要是在专业族群中愈来愈受关注，直到2022年11月ChatGPT的横空出世，引发媒体与社会大众的关注与使用，查找热度才急遽攀升。

若直接比较ChatGPT与Expert System及Deep Learning，更可看到由于ChatGPT的爆炸性查找热度，相对而言，Expert System及Deep Learning的查找热度已被摊平成贴近水平的直线。

Expert System之父Edward Feigenbaum在2007年接受美国电脑历史博物馆（The Computer History Museum）口述历史访谈，在被问及「我们如何赋予电脑知识?」时，他回答「我想唯一的方法就是依循人类文明现有的方式。我们藉由文本这个文化结晶来传递知识。过去是手稿，接着是印刷文字，现在则是电子文本……我们需要想办法让电脑读化学书来学化学，读物理书来学物理，或者是生物学等其他学科……我们的人工智能程序是手工制作并以知识建造的，除非我们有办法设计出能够阅读、理解文本并从中学习的程序，否则我们将永远无法突破。」（引用自阳明交大《数理人文》期刊第10期，〈人工智能专家系统之父—专访涂林奖得主费根堡之生涯回顾〉一文）

Feigenbaum那时并未料到，Google的BERT与Open AI的GPT等近年发展的LLM在训练文本上的惊人数量级提升。以Open AI来说，从2018年GPT-1的5GB训练数据量/1.1亿个参数，提高到2020年GPT-3的45TB训练数据量/1,750亿个参数。之后Open AI便不再公布训练数据量，但最新发布的GPT-4估计可能超过1万亿个参数。带来的突破性成果正在为全世界各个领域的人们所尝试与运用中。

Deep Learning的2位关键开创者中，Ilya Sutskever是OpenAI的联合创始人及首席科学家，持续推进最前沿AI技术的发展，但近日Geoffrey Hinton却离开Google，且呼吁人工智能给人类带来的威胁可能比气候变迁更急迫，而曾是Open AI共同创办者的Elon Musk也大声疾呼暂停开发和测试比GPT-4更强大的语言模型。

我不禁想问如今已87岁高龄的Feigenbaum，身为自然语言处理AI宗师的您，当强AI时代愈来愈近时，人类该如何踏出下一步呢？