从编译器跨足LLM矽智财 让市场商机找上Skymizer 智能应用 影音
Microchip Q1
ADI

从编译器跨足LLM矽智财 让市场商机找上Skymizer

  • 李佳玲台北

图左为:Skymizer行销长暨执行副总经理魏国章;右为Skymizer共同创始人暨研发经理郭冠宏。Skymizer
图左为:Skymizer行销长暨执行副总经理魏国章;右为Skymizer共同创始人暨研发经理郭冠宏。Skymizer

自OPEN AI与生成式AI在2023年开始暴红后,生成式AI乃至于LLM(大型语言模型)等技术俨然是新一代AI市场的重要代名词,这也同时让本就已经在LLM有所钻研的新创公司,迎来了全新的AI市场商机。Skymizer(台湾发展软件科技)是台湾唯一以编译器起家的软件业者,在2023年中,决定进军LLM市场,推出以Transformer模型为基础的矽智财(IP)方案EdgeThought(边缘思维)。

Skymizer从编译器出发 投入LLM矽智财市场

Skymizer共同创始人暨研发经理郭冠宏表示,Skymizer在早期主要是以编译器软件出发,协助处理智能手机和服务器系统优化问题,进入中期则是开始跨足CNN(卷积神经网络),而在ChatGPT2.0问世之初,Skymizer就开始投入LLM的研究,在2023年中则是进一步投入LLM的矽智财方案开发,2024年推出以LLM为基础的矽智财方案EdgeThought,所以也可说是正式进入芯片设计方案的开发。

之所以会有这样的转变,Skymizer行销长暨执行副总经理魏国章解释,过去半导体市场的发展主要是藉由摩尔定律的推动,但近年来显然是改由领域应用导向反过来推动,而Skymizer本身是从编译器起家,介于硬件与应用软件层之间,扮演了重要的桥梁角色,再加上软件层方面,也有相应的软件堆叠需要支持,所以从系统层级的角度来思考,Skymizer本身很了解系统设计与硬件的需求在哪,所以就能对症下药,由软件定义下手,设计出最佳化的LLM芯片IP,确保软件及硬件结合得以最佳化。

魏国章进一步指出,这并不表示Skymizer就是从软件往硬件方向发展,而是从系统优化的角度来看,软件定义的概念已经是全球电子产品设计的显学,从软件的角度来思考硬件的规格。在Skymizer过去的经验里,很容易遇到硬件设计的瓶颈,造成软件效能的发挥受到限制,所以Skymizer开始跨足硬件设计,也就顺势推出以LLM为基础的矽智财方案来因应生成式AI的应用市场。

矽智财聚焦终端推论应用 断网情境仍能完成工作需求

Skymizer所推出的矽智财,主要是基于LLM的Transformer模型为基础来加以优化,最主要的原因是在于Transformer模型的发展其实已经定型化,成为各个生成式AI模型的主要基础,所以才使得近期市场上不断有新的模型推陈出新,在性能或是效率上不断超越既有的模型。

魏国章谈到,以AI技术类别来区分,除了既有的模型训练(Training)与推论(Inferencing)市场外,另有一种市场是微调(Fine-Tuning),这类应用是基于已经事先训练好的模型,企业再基于自身需求,再进一步调整出所需要的AI模型,纵观这三类市场,推论(Inferencing)将会是未来成长最迅猛的市场,Skymizer现阶段将聚焦终端(Edge)以及离线的推论市场(Local or On-device LLM Inferencing),尤其是特别在意机敏信息的业者,Skymizer所提供的矽智财可以协助客户在断网情况下,依然能让系统完成所需要的推论工作,不需要接到云端LLM。而这也是Skymizer矽智财名称EdgeThought(意即边缘思维)的由来,面对不同的应用场景,以相应的系统效能来因应,无需增加多余的算力。

因应不同工作负载 提供对应运算性能

郭冠宏也以加密货币挖矿应用为例 ,过去市场会以高算力的GPU来挖矿,但现今其实已经可以看到专用的ASIC来因应,同样的道理,在边缘运算领域,Skymizer也能提供极具成本与算力效益的方案给客户,避免不必要的浪费。在过去,企业在导入AI硬件资源时,或许会优先选择GPU架构的产品,但企业一旦扩大需求的情况下,就会意识到运算资源与成本上的浪费。再者,可能也会面临GPU无法取得的风险,所以若能有更为合适的方案,客户也能有更多的选择。

而身为刚投入矽智财的Skymizer,的确也已经与主要的半导体业者如EDA(电子设计自动化)与晶圆代工业者等有相当深入的合作,呼应郭冠宏所提及的ASIC,魏国章不讳言,因应不同应用场景所需要的算力规模,打造出相应的AI ASIC,已经是庞大的市场商机,所以刚好也符合Skymizer过去所累积的市场基础与能量,Skymizer无需刻意去寻找市场,市场自然就找上了Skymizer。而呼应前面所提及,Skymizer从编译软件起家,所以在软件堆叠更也有完整的解决方案,所以能以一站式的产品策略,协助客户开发所需要的芯片。最近美国的Groq Chip就是以编译器为导向(Compiler-First)推出推论芯片(Inference Chips)的巨大独角兽。

郭冠宏也说,目前公司资源的调度上其实非常弹性,哪里有明显的市场需求,就可以快速地进行挪动。

魏国章透露,针对终端边缘装置所需要的算力需求,无需特别先进的制程奥援,EdgeThought其实能激起国内外不同规模的业者的想像空间,因应不同需求,打造出相应的芯片方案,换言之,就算是新创业者利用成熟制程,也能推出符合市场需求的产品。魏国章更提及,Skymizer预计在COMPUTEX 2024期间,进一步发布更多关于EdgeThought的信息,相信能惊艳市场的目光。