LLM推论边缘应用即将大爆发 Skymizer让定制化AI芯片开发更简单
就像是2023年由OpenAI创造的「ChatGPT时刻(moment)」让生成式AI旋风席卷全球,DeepSeek在2025年初点燃的低成本大型语言模型(LLM)开发热潮,预告了我们将很快看到相关应用遍地开花,而且是从云端大举转向形形色色的边缘装置。
看好「DeepSeek Moment」带来的新商机,台湾发展软件科技(Skymizer)已经准备好以专长的AI芯片加速器IP与LLM推论效能提升解决方案,协助开发者克服部署创新边缘AI应用的种种挑战。
Skymizer行销长暨执行副总经理魏国章表示,「我们看到目前边缘AI正朝向整合影像、语音、文字等不同数据的多模态(multimodality)应用,以及更具自主能力、可实时互动的AI代理(Agentic AI)功能发展,同时还得考量如何运用边缘装置有限的硬件资源,因应从工业、汽车到家庭等需求迥异的多元化智能场景,目前市场上的AI运算任务大多仰赖GPU,但在AI推论的应用上,GPU并非最佳化方案。我们的IP专为LLM推论应用打造,透过专有指令集架构,能实现大幅提升运算效率与功耗表现的ASIC,降低边缘AI应用开发任务的复杂度与成本。」
突破GPU瓶颈 以LPU加速LLM推论应用
魏国章解释,属于通用性运算解决方案的GPU虽然能在AI训练任务上发挥关键作用,但在推论应用上面临诸如高功耗、存储器带宽限制等挑战,也非最佳化的运算单元设计;Skymizer的AI芯片加速IP则是专门针对LLM推论应用最佳化的语言处理单元(Language Processing Unit;LPU),能让芯片设计者开发特定应用专属的ASIC,进一步提LLM推论应用效能,更重要的是降低硬件成本。
魏国章补充,「我们为支持边缘AI推论应用芯片开发提出的LPU加速IP,在概念上与以往的『挖矿』ASIC相似。就像市场上一度相当热门的加密货币挖矿活动,最开始也是依赖GPU,后来出现了专门应用于该任务的ASIC,无论在性能、功耗效率或成本等条件上都有显着的改善,预期AI推论市场也将朝相同方向发展;运用我们的LPU,能实现Transformer-based架构LLM模型最佳化的ASIC,再加上是采用成本较低的成熟半导体制程节点,可为AI推论应用的普及化推波助澜,为市场提供更具竞争力的GPU替代方案。」
Skymizer的LPU加速IP拥有种种优势,主要得益于该公司的独门秘技──简称LISA的语言指令集架构(Language Instruction Set Architecture)。
魏国章强调,最新的3.0版LISA提供对多模态AI与AI代理应用的原生支持,能同时加载、执行多个模型,以因应复杂工作流的实时决策、互动需求,此外该指令集架构具备高度弹性与可扩充性,能支持从云端到边缘的各种硬件平台;针对目前市场上AI硬件多样化的状况,Skymizer LPU的APIs可以兼容NVIDIA Triton、OpenAI与Hugging Face等热门API的支持,让开发者能更轻松地将现有应用移植到内含Skymizer LPU的SOC平台。
扩大生态系规模、强化与业界厂商与开发者社群合作
在即将于3月26日-28日举行的AI EXPO Taiwan 2025展会上,魏国章将更深入地和与会者共同探讨Skymizer LISA 3.0版与LPU的技术细节,也期待能与更多准备开发AI芯片与LLM应用的业界夥伴建立合作关系。
他表示,该公司的LPU IP能与芯片业者的SoC内建AI子系统紧密结合,深度整合于芯片核心架构,提供无缝的AI加速能力;或是作为AI加速器附加功能区块,与现有SoC或通用运算核心结合,在不需要重新设计整个芯片的前提下实现AI效能的提升。
除了积极拉拢IC设计业者夥伴加入生态系,Skymizer还与系统整合业者、终端服务供应商密切合作,针对特定应用场景共同开发最佳化解决方案、催生更多商业化落地案例。
以软件技术起家的Skymizer也特别重视对开发者社群的支持,考量到未来不同垂直领域的AI代理将大量崛起,魏国章表示,该公司将持续加强与全球开发者的互动,透过技术资源共享与标准化的推动,加速相关应用的普及。
其中他特别看好AI在未来汽车的发展,除了已经趋近成熟应用的自动驾驶AI功能、先进辅助驾驶系统(ADAS)等方面的应用,指出Agentic AI将开启汽车成为人类在移动和运输功能的智能帮手,就像霹雳游侠(Knight Rider)李麦克的伙计(KITT),Skymizer 的LPU能够让LLM在车上进行大量实时推论的需求,也能达到在运算性能与功耗上的最佳化权衡,会是电动车的理想选择。此外被视为未来有机会成为杀手级应用的人形机器人,预期也将是LPU能充分发挥潜力的AI代理应用。
魏国章总结,「我们将持续深化软硬件协同设计解决方案,推动生态系协作,以台湾为基地、放眼全球市场,助力本地AI产业链的价值升级;」Skymizer正在打破当前AI硬件的种种限制,开启一个AI推论技术在市场获得更大规模采用、AI芯片更普及化的新时代。他并透露,该公司在5月份举行的2025年度台北国际电脑展(COMPUTEX)还会有更多新产品发表,期望能在AI产业界创造令人耳目一新的「Skymizer Moment」!
诚挚邀请您参观莅临AI EXPO Taiwan 2025,Skymizer将于第一天下午发表「Skymizer AI加速器IP:释放无与伦比的AI效能」。Skymizer展览摊位号码:I区03,邀请您立即报名AI Expo Taipei 2025。如需更多关于Skymizer产品与合作信息,请参阅Skymizer官方网站。