ChatGPT带动语言模型应用热潮 通才模型与指令学习为成功关键

语言能力自古以来就被识为人类拥有智能的象徵，也是知名的图灵测试（Turing test）用来测试机器是否具有智能的主要媒介，近年来由深度学习（deep learning）所驱动的第三次AI浪潮中，自然语言处理（Natural Language Processing；NLP）一直是发展重点，而自Google Brain团队于2017年提出以自注意力（self-attention)机制为基础的Transformer模型并开源后，各家大型语言模型（Large Language Model；LLM）开始在翻译、自然对话等各种语言任务上开始有捷出表现。

然而，直到OpenAI推出ChatGPT后，LLM的威力才真正让世人眼睛为之一亮。这是因为与过去的专才专用模型不同，ChatGPT有如通才，使用者可以对ChatGPT提出任何问题，包括以自然语音描述的代数问题，甚至是程序码的检阅，ChatGPT都可迎刃而解，并给予详细说明，此打破了一般人对智能对话仍不够智能的刻板印象。

ChatGPT能成功点燃自廻归（autoregressive）LLM的应用热潮，主要可归因于三点：首先，ChatGPT的基础模型(foundation model) GPT-3非常巨大，其模型参数高达1,750亿个，并已针对巨量的网络内容爬虫（web crawling）、网络本文、书藉、Wikipedia及GitHub程序范本等数据进行无需人类干预的自监督学习（self-supervised learning）。以上的预练训（pre-trained）过程使GPT-3成为一个能根据给定文字来预测下个文字，并拥有世界知识的通用模型（world model）。

让一般用户能以直觉的自然语言提示（prompt）使用这个通用模型则是ChatGPT第二个成功关键，此部分主要透过指令学习（instruction learning）达成，其重点包括以相对少量的标注指范例进行迁移式学习（transfer learning），再透过强化学习（reinforcement learning）的训练让人类导师来微调（finetune）模型反应。

与传统模型对不同需求以不同数据训练不同模型的方式不同， OpenAI认为所有所需的知识都已包含在GPT-3这个世界模型中，指令训练仅是为让GPT-3理解人类如何问问题，并在理解问题后以通用模型来正确回答问题，因此使用者可直接用自然对话要求ChatGPT进行包括一般问答、文章摘要、文句情感分析、翻译、函数解题、程序撰写等各式各样天马行空的要求。

以上应对能力是ChatGPT与先前仅文字预测为目地的LLM模型的最大不同，也是让一般用户最惊艳的一点。OpenAI并未公开ChatGPT进行指令学习的细节，可知此以人为数据为主的训练内容将是此类对话式模型的重要资产，而ChatGPT对公众开放后，可以更快速度取得更多人类问题范例，这些范例未来也将用来对下一代GPT模型进行指令学习，成为一个良好正向循环。

第三点则是ChatGPT具备了百亿级以上参数模型才具备的上下文学习（in-context learning）能力，只要在输入提示中给予问题的同时，提供与问题相关的解题范例或演译过程，即能让LLM理解并给出答案。必须强调的是，上下文学习虽被称为学习，却是一种不需经过训练流程（training process），即让模型有解题能力的方法。

巨大模型能不经训练即回答从未听闻的问题，亦归功于其在自监督学习阶段已学得的预测能力，也就是模型学得的世界知识已足够解决这些「未知」问题，而上下文学习的提示仅是唤起模型对问题的认知。

上下文学习虽有不需训练即能解题的魔力，但不适当的prompt仍有让模型误解而答错的可能。目前，如何提供正确的解题提示已成为生成式AI中的一门显学。

ChatGPT的上下文学习能力使其不需额外花费硬件训练资源与时间，即能处理许多未知问题，此应用模式中长期也将改变AI服务器对硬件资源的需求，预期对推论相关硬件的需求将大幅提高。

而ChatGPT到目前为止仍为人诟病的幻想（hallucination）问题，即对部分问题未能有效认知而给予错误回答的状况，目前并非没有解决方式，其关键为找出LLM推论过程中是否信心程度不足，适时的停止推论，并给出用户此问题无法处理的信息，此将是未来AI学术与产业界的研究重点。

「AI EXPO Taiwan 2023」将于2023年4月19~21日在台北华山文创园区举行，透过未来展场、不知讲堂、超级舞台 、AI创新奖、在线影城之五大活动贯穿展会，为期三天的实体活动深入探讨AI产业链前瞻动向，为台湾最具指标规模的AI专业展会。

欲了解更多活动详情，请上活动官网免费报名。