Skymizer正式推出ET2矽智财方案 以软硬件平台方案为LLM打造更多想像 智能应用 影音
DForum1101
ST Microsite

Skymizer正式推出ET2矽智财方案 以软硬件平台方案为LLM打造更多想像

  • 李佳玲台北

Skymizer除了提供LLM矽智财方案外,也提供SkyGenie SDK,支持不同类别的LLM,让AI应用的开发者更容易快速开发应用,让硬件芯片合作夥伴能达到更高的整合度且更能贴近市场需求。Skymizer
Skymizer除了提供LLM矽智财方案外,也提供SkyGenie SDK,支持不同类别的LLM,让AI应用的开发者更容易快速开发应用,让硬件芯片合作夥伴能达到更高的整合度且更能贴近市场需求。Skymizer

Skymizer自向产业界宣誓进军LLM(大型语言模型)矽智财市场后,近期宣布一系列以LLM矽智财为核心的软硬件解决方案,希望能为LLM应用服务市场带来更多想像空间。Skymizer的矽智财系列方案代号为EdgeThought(边缘思维),其第一款推向市场的解决方案代号为ET2,它可以有效率地处理目前市面所有边缘装置所需要的LLM,也包括了近期所发布的Llama3,其参数规模高达80亿。

Skymizer在推出矽智财方案前,主要的解决方案为编译器业者,扮演芯片与软件之间的桥梁角色,也因此对于整体系统软硬件整合优化上拥有相当丰富的经验,而随着LLM需求水涨船高,同时也基于Skymizer拥有厚实的市场基础下,所以也进军矽智财市场,进一步来因应多元垂直应用的市场需求。

Skymizer执行副总魏国章。Skymizer

Skymizer执行副总魏国章。Skymizer

推出软硬整合平台 ET2具备边缘运算、LLM与AI推论三大元素

Skymizer执行副总魏国章表示,ET2基本上有三大基本元素:聚焦边缘运算、LLM与AI推论,除了可以因应目前市场多种的LLM外,因应客户需求,也能弹性扩充运算资源,若要处理的LLM的参数规模太大,那就藉由扩充方式来达到所需的算力等级,当然,所需要的存储器容量与电力消耗,自然也会有所提升。

除了既有的矽智财方案外,Skymizer也推出SDK(软件开发套件)SkyGenie,它能因应通用、领域与私人等不同类别的LLM,借此可以协助不同的产业应用,让软件业者能基于不同的LLM类型开发出相应的应用程序,借此让整体系统的使用情境能达到最佳化的表现。

在COMPUTEX 2024展会期间,Skymizer也会在现场摊位进一步展示运用ET2等软硬件解决方案打造出智能工厂的AMR(自主移动机器人)、饮料店推荐系统与智能汽车场景。诚挚邀请产业界先进至Skymizer Computex摊位参观,摊位号码:南港一馆 AI运算暨系统解决方案区M1433a。

魏国章强调,正因为Skymizer拥有完整的软硬件系统开发经验,所以除了矽智财方案外,透过SDK的提供,借此让广大的科技产业生态系统都能享受到Skymizer完整的软硬件平台方案所带来的益处。他也透露,目前市场所能看到的Edge AI GPU,其性能约莫在20 tokens /s左右,而Skymizer目前对于ET2的测试数据则在32 tokens /s上下,但导入成本却只有Edge AI GPU的1/00,这对于成本敏感的终端应用来说,ET2具备极高的性价比,无异是相当理想的选择。

搭载ET2方案首款芯片 将于CES 2025面市

所以现阶段在半导体领域,魏国章也不讳言,Skymizer目前是抱持开放心态与国内外的设计服务、矽智财等业者正展开积极的合作。他更透露,ET2的扩充性非常高,小从IoT MCU,大到高性能Edge Server,尤其如搭配更高带宽等级的存储器界面,可以做到多人多批次的服务器等级的推论引擎。预计第一款采用ET2的芯片,将于CES 2025面市,也因此,Skymizer将ET2形容为边缘装置LLM推论的游戏规则改变者。

结论

Skymizer正式推出第一款矽智财方案ET2,意味着该公司正式进入全新的里程碑,透过丰富的软硬件系统整合经验,Skymizer不仅提供了高效能且具成本效益的边缘运算解决方案,还透过SkyGenie SDK为开发者提供了强大的工具,以对应多样化的LLM应用需求。这些创新不仅提升了不同垂直市场的应用表现,还为智能工厂、自主移动机器人、智能汽车等领域带来了更多的可能性。Skymizer的全方位软硬件平台方案,无疑将成为未来LLM应用市场的重要推动力量。想要了解更多Skymizer提供的解决方案,请至Skymizer官网查询。


商情专辑-COMPUTEX 2024