Skymizer推出突破性的大型语言模型（LLM）加速器IP

Skymizer于2024 Computex展前宣布推出其革命性的软硬件协同设计的AI ASIC IP - EdgeThought（边缘思维），专为在设备上加速大型语言模型（LLM）而设计。图左至右为：Skymizer技术长兼创始人唐文力、SkymizerCEO赖俊豪、Skymizer的营销总监兼执行副总裁魏国章。Skymizer

Skymizer作为编译技术和优化解决方案的先驱，日前宣布推出其革命性的软硬件协同设计的AI ASIC IP - EdgeThought（边缘思维），专为在设备上加速大型语言模型（LLM）而设计。这一尖端创新利用了 Skymizer的先进编译器技术，在计算、内存利用率、功率效率和成本效益方面树立了新的产业标杆。

EdgeThought旨在提升各种边缘设备中LLM应用程序的性能，从物联网设备到汽车系统和AI个人电脑甚至是强大的Edge Server。通过编译器为中心的设计优化理念，Skymizer的解决方案确保这些设备可以运行最先进的在设备上的各种LLM模型，包括Meta最新推出的Llama3 8B。

在COMPUTEX 2024展会期间，Skymizer也会在现场摊位进一步展示运用ET2等软硬件解决方案打造出智能工厂的AMR（自主移动机器人）、饮料店推荐系统与智能汽车场景。诚挚邀请产业界先进至Skymizer Computex摊位参观，摊位号码：南港一馆AI运算暨系统解决方案区M1433a

EdgeThought的主要技术亮点如下：

• 优化的编译器技术：加速器核心是Skymizer的专有编译器技术，可最大化硬件利用率和效率，即使在资源受限的边缘设备上也能实现卓越的性能。

• 增强的计算和内存效率：协同设计方法最小化延迟并最大化吞吐量，同时减少内存占用，允许在边缘快速且可靠地进行LLM推理。

• 功率和成本效率：Skymizer的解决方案大大降低了部署高级人工智能模型的功耗和运营成本，使其成为寻求可持续扩展运营的企业理想选择。

• 可扩展性和灵活性：设计支持多种LLM应用，加速器可根据不同尺寸和性能需求进行扩展，包括多用户和多批次，以提高高效边缘服务器的吞吐量，为设备制造商和应用开发者提供前所未有的灵活性。

Skymizer的CEO Jim Lai表示，今天对于Skymizer和整个AI和边缘计算行业来说都是一个重要的里程碑，我们的创新LLM加速器重新定义了边缘AI性能的可能性，使其更加可及且具有成本效益。这次发布反映了Skymizer致力于推动技术边界，为客户赋能并丰富用户体验。”

凭藉十年的编译器和虚拟化行业经验，Skymizer专注于其擅长的领域来设计EdgeThought，使其成为专用于在设备上本地（on-device）推理任务的编译器优化LLM ASIC IP。 EdgeThought消除了所有用于训练的软硬件需求，仅专注于推理，设计出同级最佳的on-device LLM推理引擎。

Symizer的营销总监兼执行副总裁魏国章（William Wei）表示，如果Groq芯片是云端LLM 推理之王，那麽EdgeThought将成为在设备上本地LLM推理的游戏规则改变者。而且，EdgeThought 不需要最新的芯片制造工艺，它可以使用更便宜的成熟芯片类别和专用内存组件，这将在生成式人工智能时代振兴这些更便宜的内存产业。

EdgeThought IP现已开放授权，并且可以无需大规模修改即可整合到现有的硬件设置中。Skymizer已经开始与领先的半导体公司和设备制造商合作，将这一强大的技术推向市场。