生成式AI浪潮席卷全球 满拓科技DeepExpert 平台降低企业GAI落地应用门槛 智能应用 影音
DForum1018
ADI

生成式AI浪潮席卷全球 满拓科技DeepExpert 平台降低企业GAI落地应用门槛

  • 林佩莹台北

满拓科技销总监杨育明(左)及CEO吴昕益(右)。DIGITIMES摄
满拓科技销总监杨育明(左)及CEO吴昕益(右)。DIGITIMES摄

2022年底问世的ChatGPT,让全球见识到生成式AI无所不能的强大威力,也催生一波AI 2.0革命。生成式AI是以大语言模型为核心,针对AI模型进行大量数据训练,如ChatGPT采用的GPT 3模型参数量为1,750亿、GPT 3.5模型参数量为2,000亿。目前市面上除了Open AI及台智云的FFM等海内外业者推出的付费的商用模型外,也有不少开源大语言模型,如Hugging Face的BLOOM模型、Meta的llama 2等,都是具备70~1,760亿个参数的大语言模型,且能合法运用在商业环境之中。

无论企业是使用商业授权、免费开源的大语言模型,搭配公司专属数据进行训练后,即可运用在AI智能客服、程序码撰写辅助、提升企业信息使用效益等多个面向之中,有相当大的潜力能大幅提升企业生产力及产业竞争力。所以市面上有不少号称可提供生成式AI专案导入协助的业者,不过真正已经投入相关专案的企业并不多,多数仍处于观望态度。

满拓科技行销长杨育明指出,尽管企业对生成式AI需求殷切、急需及早布局提升产业竞争力,但仍然犹豫不决的三大原因,分别是机密网安考量、导入成本高昂、AI技术人才不足。在全球疯抢AI人才的状况下,即便企业有意推动生成式AI专案,泰半都处于不知道从何着手的状态。

其次,多数业者都是在云端平台提供生成式AI服务,企业担心数据上传后,可能发生机密数据外泄的状况。最后,在云端平台进行AI模型训练的每次费用动辄数十甚至百万以上,且多数模型训练得进行3~5次才能获得符合企业需求的专属模型,价格不斐的AI专案费用也令企业却步。

专为生成式AI量身设计 云端版或落地于企业内部使用,大幅缩短专案成本与时间

综合前述三大因素,目前仅有少数大型企业有足够人才、资金,可一次投资千万费用购买AI服务器,在公司内部执行满足AI模型训练、推论等专案。多数中型企业往往只能望而兴叹,更遑论预算、人力有限的中小企业。

为协助更多企业、研究中心、学校等进入生成式AI领域,满拓科技推出专为生成式AI专案设计的软硬件整合方案-Mentor series(入门款到进阶款)。客户可选择在Mentor Series硬件上进行不同等级的大语言模型(请见下图)全参数训练,满拓会协助客户确认训练结果于实际应用需求。

以入门款的Mentor-100为例, Mentor-100是与工业电脑大厂艾讯科技合作,打造安静省电、办公室专用的软硬件架构最优化的小型边缘运算AI服务器,搭配预载满拓科技GAI应用套装软件DeepExpertTM中的FinetuneExpert训练软件及搭配顾问训练辅导课程,让各种不同领域的企业或各级单位容易地导入内部各种应用需求。

满拓科技CEO吴昕益认为,以7B、13B参数的大语言模型进行推论,是推动AI专案的重要步骤。首先,即便中大型企业预算充足,若没有任何数据佐证,也不容易争取到千万以上的专案预算。而Mentor-100解决方案高CP值的优惠价,非常适合企业在公司内部,执行小规模的前期概念验证。对于学校、研究单位、中小企业来说,若运用情境较为简单,又或者仅是想要进行概念验证,7B、13B、33B参数的大语言模型也足敷使用,不一定需要使用176B参数的大语言模型。

值得一提,由于满拓科技是少数专注提供生成式AI解决方案的业者,且有相当不错的成绩,所以当国科会公布以繁体中文为核心的台湾大语言模型-TAIDE计划时,满拓科技也为少数获得邀请参与测试及推广的公司之一。

6大应用情境 加速推动生成式AI

满拓科技推出的GAI应用套装软件DeepExpertTM解决方案有两大特色,首先可依照企业需求,选择搭载Meta Lama2等不同类型及参数的开源模型,或者可选择透过满拓科技,取得合作夥伴台智云授权,使用预先完成繁体中文语料训练的台智云福尔摩沙大语言模型。

其次,在硬件架构部分,独家与群联合作,使用群联专为GAI训练打造的NVME模块,可突破现行GPU卡的存储器容量限制,无需使用昂贵的NVIDIA A100/H100芯片,仅需两张NVIDIA RTX A4000-ada GPU卡,,即可进行AI模型的训练。因此,整体费用可以大幅降低,所以即便是预算有限的中小企业或学术单位,也可以加速启动生成式AI专案,大约两周以内就可看到训练成果。

杨育明指出,除提供DeepExpertTM解决方案之外,满拓科技针对六种常见应用情境,推出预先完成优化的AI应用模块,如 DocumentExpert、Code Expert、 CustomerServiceExpert 、MeetingExpert、ImageExpert、FineTuneExpert等。搭配自行研发、易于使用的No Code工具,助企业快速与自有的数据进行结合,进行专属领域的AI模型训练与推论工作。因此,截至目前为止,已有政府单位、金融、上市柜IC 设计公司、知名传统产业、零售业者等,正与我们进行POB测试,验证DeepExpertTM的一站式GAI落地解决方案的高超能力。

从2018年开始,满拓科技即开始与TTA合作,参与多项媒合会、技术发表会等,对于拓展公司知名度、争取VC投资等带来很大帮助。未来,也希望能与TTA保持近密和合作关系,为进军海外市场奠定稳健的基础。

图说2:满拓科技企业级生成式AI落地解决方案。满拓科技