生成式AI浪潮席卷全球 满拓科技DeepExpert 平台降低企业GAI落地应用门槛
- 林佩莹／台北
-
2022年底问世的ChatGPT，让全球见识到生成式AI无所不能的强大威力，也催生一波AI 2.0革命。生成式AI是以大语言模型为核心，针对AI模型进行大量数据训练，如ChatGPT采用的GPT 3模型参数量为1,750亿、GPT 3.5模型参数量为2,000亿。目前市面上除了Open AI及台智云的FFM等海内外业者推出的付费的商用模型外，也有不少开源大语言模型，如Hugging Face的BLOOM模型、Meta的llama 2等，都是具备70~1,760亿个参数的大语言模型，且能合法运用在商业环境之中。
无论企业是使用商业授权、免费开源的大语言模型，搭配公司专属数据进行训练后，即可运用在AI智能客服、程序码撰写辅助、提升企业信息使用效益等多个面向之中，有相当大的潜力能大幅提升企业生产力及产业竞争力。所以市面上有不少号称可提供生成式AI专案导入协助的业者，不过真正已经投入相关专案的企业并不多，多数仍处于观望态度。
满拓科技行销长杨育明指出，尽管企业对生成式AI需求殷切、急需及早布局提升产业竞争力，但仍然犹豫不决的三大原因，分别是机密网安考量、导入成本高昂、AI技术人才不足。在全球疯抢AI人才的状况下，即便企业有意推动生成式AI专案，泰半都处于不知道从何着手的状态。
其次，多数业者都是在云端平台提供生成式AI服务，企业担心数据上传后，可能发生机密数据外泄的状况。最后，在云端平台进行AI模型训练的每次费用动辄数十甚至百万以上，且多数模型训练得进行3~5次才能获得符合企业需求的专属模型，价格不斐的AI专案费用也令企业却步。
专为生成式AI量身设计 云端版或落地于企业内部使用，大幅缩短专案成本与时间
综合前述三大因素，目前仅有少数大型企业有足够人才、资金，可一次投资千万费用购买AI服务器，在公司内部执行满足AI模型训练、推论等专案。多数中型企业往往只能望而兴叹，更遑论预算、人力有限的中小企业。
为协助更多企业、研究中心、学校等进入生成式AI领域，满拓科技推出专为生成式AI专案设计的软硬件整合方案-Mentor series（入门款到进阶款）。客户可选择在Mentor Series硬件上进行不同等级的大语言模型（请见下图）全参数训练，满拓会协助客户确认训练结果于实际应用需求。
以入门款的Mentor-100为例， Mentor-100是与工业电脑大厂艾讯科技合作，打造安静省电、办公室专用的软硬件架构最优化的小型边缘运算AI服务器，搭配预载满拓科技GAI应用套装软件DeepExpertTM中的FinetuneExpert训练软件及搭配顾问训练辅导课程，让各种不同领域的企业或各级单位容易地导入内部各种应用需求。
满拓科技CEO吴昕益认为，以7B、13B参数的大语言模型进行推论，是推动AI专案的重要步骤。首先，即便中大型企业预算充足，若没有任何数据佐证，也不容易争取到千万以上的专案预算。而Mentor-100解决方案高CP值的优惠价，非常适合企业在公司内部，执行小规模的前期概念验证。对于学校、研究单位、中小企业来说，若运用情境较为简单，又或者仅是想要进行概念验证，7B、13B、33B参数的大语言模型也足敷使用，不一定需要使用176B参数的大语言模型。
值得一提，由于满拓科技是少数专注提供生成式AI解决方案的业者，且有相当不错的成绩，所以当国科会公布以繁体中文为核心的台湾大语言模型-TAIDE计划时，满拓科技也为少数获得邀请参与测试及推广的公司之一。
6大应用情境 加速推动生成式AI
满拓科技推出的GAI应用套装软件DeepExpertTM解决方案有两大特色，首先可依照企业需求，选择搭载Meta Lama2等不同类型及参数的开源模型，或者可选择透过满拓科技，取得合作夥伴台智云授权，使用预先完成繁体中文语料训练的台智云福尔摩沙大语言模型。
其次，在硬件架构部分，独家与群联合作，使用群联专为GAI训练打造的NVME模块，可突破现行GPU卡的存储器容量限制，无需使用昂贵的NVIDIA A100/H100芯片，仅需两张NVIDIA RTX A4000-ada GPU卡，，即可进行AI模型的训练。因此，整体费用可以大幅降低，所以即便是预算有限的中小企业或学术单位，也可以加速启动生成式AI专案，大约两周以内就可看到训练成果。
杨育明指出，除提供DeepExpertTM解决方案之外，满拓科技针对六种常见应用情境，推出预先完成优化的AI应用模块，如 DocumentExpert、Code Expert、 CustomerServiceExpert 、MeetingExpert、ImageExpert、FineTuneExpert等。搭配自行研发、易于使用的No Code工具，助企业快速与自有的数据进行结合，进行专属领域的AI模型训练与推论工作。因此，截至目前为止，已有政府单位、金融、上市柜IC 设计公司、知名传统产业、零售业者等，正与我们进行POB测试，验证DeepExpertTM的一站式GAI落地解决方案的高超能力。
从2018年开始，满拓科技即开始与TTA合作，参与多项媒合会、技术发表会等，对于拓展公司知名度、争取VC投资等带来很大帮助。未来，也希望能与TTA保持近密和合作关系，为进军海外市场奠定稳健的基础。
图说2：满拓科技企业级生成式AI落地解决方案。满拓科技
