从编译器跨足LLM矽智财 让市场商机找上Skymizer
- 李佳玲／台北
-
自OPEN AI与生成式AI在2023年开始暴红后，生成式AI乃至于LLM（大型语言模型）等技术俨然是新一代AI市场的重要代名词，这也同时让本就已经在LLM有所钻研的新创公司，迎来了全新的AI市场商机。Skymizer（台湾发展软件科技）是台湾唯一以编译器起家的软件业者，在2023年中，决定进军LLM市场，推出以Transformer模型为基础的矽智财（IP）方案EdgeThought（边缘思维）。
Skymizer共同创始人暨研发经理郭冠宏表示，Skymizer在早期主要是以编译器软件出发，协助处理智能手机和服务器系统优化问题，进入中期则是开始跨足CNN（卷积神经网络），而在ChatGPT2.0问世之初，Skymizer就开始投入LLM的研究，在2023年中则是进一步投入LLM的矽智财方案开发，2024年推出以LLM为基础的矽智财方案EdgeThought，所以也可说是正式进入芯片设计方案的开发。
之所以会有这样的转变，Skymizer行销长暨执行副总经理魏国章解释，过去半导体市场的发展主要是藉由摩尔定律的推动，但近年来显然是改由领域应用导向反过来推动，而Skymizer本身是从编译器起家，介于硬件与应用软件层之间，扮演了重要的桥梁角色，再加上软件层方面，也有相应的软件堆叠需要支持，所以从系统层级的角度来思考，Skymizer本身很了解系统设计与硬件的需求在哪，所以就能对症下药，由软件定义下手，设计出最佳化的LLM芯片IP，确保软件及硬件结合得以最佳化。
魏国章进一步指出，这并不表示Skymizer就是从软件往硬件方向发展，而是从系统优化的角度来看，软件定义的概念已经是全球电子产品设计的显学，从软件的角度来思考硬件的规格。在Skymizer过去的经验里，很容易遇到硬件设计的瓶颈，造成软件效能的发挥受到限制，所以Skymizer开始跨足硬件设计，也就顺势推出以LLM为基础的矽智财方案来因应生成式AI的应用市场。
矽智财聚焦终端推论应用 断网情境仍能完成工作需求
Skymizer所推出的矽智财，主要是基于LLM的Transformer模型为基础来加以优化，最主要的原因是在于Transformer模型的发展其实已经定型化，成为各个生成式AI模型的主要基础，所以才使得近期市场上不断有新的模型推陈出新，在性能或是效率上不断超越既有的模型。
魏国章谈到，以AI技术类别来区分，除了既有的模型训练（Training）与推论（Inferencing）市场外，另有一种市场是微调（Fine-Tuning），这类应用是基于已经事先训练好的模型，企业再基于自身需求，再进一步调整出所需要的AI模型，纵观这三类市场，推论（Inferencing）将会是未来成长最迅猛的市场，Skymizer现阶段将聚焦终端（Edge）以及离线的推论市场（Local or On-device LLM Inferencing），尤其是特别在意机敏信息的业者，Skymizer所提供的矽智财可以协助客户在断网情况下，依然能让系统完成所需要的推论工作，不需要接到云端LLM。而这也是Skymizer矽智财名称EdgeThought（意即边缘思维）的由来，面对不同的应用场景，以相应的系统效能来因应，无需增加多余的算力。
因应不同工作负载 提供对应运算性能
郭冠宏也以加密货币挖矿应用为例 ，过去市场会以高算力的GPU来挖矿，但现今其实已经可以看到专用的ASIC来因应，同样的道理，在边缘运算领域，Skymizer也能提供极具成本与算力效益的方案给客户，避免不必要的浪费。在过去，企业在导入AI硬件资源时，或许会优先选择GPU架构的产品，但企业一旦扩大需求的情况下，就会意识到运算资源与成本上的浪费。再者，可能也会面临GPU无法取得的风险，所以若能有更为合适的方案，客户也能有更多的选择。
而身为刚投入矽智财的Skymizer，的确也已经与主要的半导体业者如EDA（电子设计自动化）与晶圆代工业者等有相当深入的合作，呼应郭冠宏所提及的ASIC，魏国章不讳言，因应不同应用场景所需要的算力规模，打造出相应的AI ASIC，已经是庞大的市场商机，所以刚好也符合Skymizer过去所累积的市场基础与能量，Skymizer无需刻意去寻找市场，市场自然就找上了Skymizer。而呼应前面所提及，Skymizer从编译软件起家，所以在软件堆叠更也有完整的解决方案，所以能以一站式的产品策略，协助客户开发所需要的芯片。最近美国的Groq Chip就是以编译器为导向（Compiler-First）推出推论芯片（Inference Chips）的巨大独角兽。
郭冠宏也说，目前公司资源的调度上其实非常弹性，哪里有明显的市场需求，就可以快速地进行挪动。
魏国章透露，针对终端边缘装置所需要的算力需求，无需特别先进的制程奥援，EdgeThought其实能激起国内外不同规模的业者的想像空间，因应不同需求，打造出相应的芯片方案，换言之，就算是新创业者利用成熟制程，也能推出符合市场需求的产品。魏国章更提及，Skymizer预计在COMPUTEX 2024期间，进一步发布更多关于EdgeThought的信息，相信能惊艳市场的目光。
