从AI到LLM：建置有序的人工智能模型作业流程

由 DIGITIMES所主办的AI Expo展览，InfuseAI于未来舞台分享如何导⼊MLOps技术于各⼤企业中。InfuseAI

在⼈⼯智能持续蓬勃发展的时代，模型的开发与部署仍有许多挑战需要克服。为了满⾜客户对于专案快速开发上的需求，InfuseAI过去协助许多企业打造MLOps平台开发环境，并透过团队谘询与规划，帮助企业在打造⼈⼯智能⼯作流程能够更加顺畅， 并且加速专案制作过程。

数据科学家和机器学习⼯程师在制作⼈⼯智能模型的过程中，必须经历数据收集与整理、模型训练、模型评估到模型部署等作业，⽽MLOps技术能够将机器学习与DevOps的技术结合起来，以建⽴⼀个完整的机器学习⼯作流程，并且能够涵盖从AI 模型的训练到上线的整个过程。⽽MLOps强调这些作业的标准化、流程化和⾃动化，让整个作业过程可以更加⾼效且可靠，也能够加速专案服务的落地速度。

近年来，随着ChatGPT⾵靡全球，愈来愈多⼈询问是否有类似⼤型语⾔模型的MLOps作业模式。⽬前，国外专家们也陆续关注有关LLMOps（MLOps for Large Language Models）的可能性，来因应⽬前技术发展的趋势。

LLMOps与MLOps最主要差异在于，MLOps强调模型训练与建置训练流程，⽽LLMOps更注重⼤型语⾔学习模型的管理和维护。由于⼤型语⾔模型需要耗费⾮常⼤量的运算资源，各⼤企业基本上是不会直接重新训练此模型，只需要更新和优化⼤型语⾔模型来保证其性能 和效果，并随着数据增加不断进⾏各项维护与更新作业。

过去与客户访谈需求的过程中，我们可以归纳客户在开发机器学习模型的问题主要分成三⼤⽅向。⾸先，客户想要了解如何将AI技术应⽤到实际场景中，让AI服务能够在安全可靠环境中上线；其次，客户希望在上线之后，能够有⾃动化的机制来维护和重新训练模型等⼯作，让模型能够⻑时间被使⽤；最后，客户希望透过⼀套机制或平台，打造定制化的LLM模型，以便根据企业的需求，快速开发出适合企业内部的⼤型语⾔模型，相信透过MLOps的技术持续发展下，可以协助企业客户获得相对应的解答。

企业在数据科学与机器学习相关团队中，需持续且加速打造有序的⼈⼯智能模型作业 流程，来帮助专案团队在商业需求的快速作业，才不会因为后续模型的⼤量维运需求⽽影响到开发的速度。如果在导⼊MLOps过程中缺少⽅法来提升作业效率时，可以 评估导⼊相对成熟第三⽅相关⼯具，来帮助⼯程师开发⼈⼯智能模型能够更加稳定和快速输出，相信在LLM时代的来临下，可以帮助每位⼯程师在⼈⼯智能开发模型上更 加顺畅。