突破界限:Picovoice实现语音AI和LLM与边缘计算的融合 智能应用 影音
Digikey microsite
Event

突破界限:Picovoice实现语音AI和LLM与边缘计算的融合

  • 台北讯

在云端AI主导的时代,一股向边缘计算转移的潮流正在兴起。加拿大边缘AI新创公司Picovoice提供了完整的语音AI和LLM技术组合,通过在边缘设备上直接提供云端级效能,结合高效能、隐私和低延迟,脱颖而出。

Picovoice由Alireza Kenarsari于2018年1月创立,旨在加速AI处理向数据生成地点的转移,使运算于用户的指尖完成。

Picovoice CEO暨创始人Alireza Kenarsari。Picovoice

Picovoice CEO暨创始人Alireza Kenarsari。Picovoice

Kenarsari观察到依赖云端的AI助理的固有特性,质疑将简单的语音命令发送到遥远的数据中心进行处理的必要性。「如果你要Alexa关灯,真的需要穿越半个地球,去云端数据中心再回来吗?可能不需要,」Kenarsari说。「我预见了这股趋势,因此致力于加速这一转变。」他设想了一个AI更能够在端侧运行的未来,模仿人类智能。这一愿景,加上他的创业精神,促使他创立了Picovoice。

Kenarsari的Picovoice创业之路充满了丰富的经历。他的职业生涯始于温哥华的三家新创公司,见证了从收购、IPO到完全失败的不同结局。随后,他加入亚马逊(Amazon),负责基于机器学习的金融诈欺侦测。他在亚马逊与Alexa部门的紧密合作,让他获得了关键洞见,进而形塑了他对创业愿景的想法。

端到端优化

Picovoice的核心技术以其端到端优化而着称。公司拥有自建的数据管道、训练机制和推论引擎,使其能够微调AI模型以在边缘设备上实现最佳效能。这一方法使Picovoice能够匹配云端API的准确性,同时提供对实时应用至关重要的低延迟和可靠性。

Picovoice的解决方案与其他边缘计算竞争者有何不同?「许多边缘部署解决方案使用后训练优化,即修改预训练模型(通常是开源的)使其更小、更快。这种方法有局限性:原始模型不是为边缘部署设计的,限制了潜在的优化,」Kenarsari解释道:「此外,依赖于PyTorch和TensorFlow等开源运行时限制了可用的优化技术。」这些限制使得在边缘设备上实现云端级准确性变得困难。这就是为什麽Picovoice通过创建自己的数据管道和训练机制来解决这一问题 。

为了使非开发者能够设计语音启用的产品互动流程,Picovoice开发了一个网络平台,简化了语音命令和唤醒词的创建和定制化方式。它采用以客户为中心的方法,根据每个客户的独特需求量身定制其商业模式。正如Kenarsari所说,「制造AI PC与打造500万美元手术机器人的限制截然不同」

其解决方案旨在跨平台兼容,支持从Linux、macOS、Windows、Android、iOS、Chrome、Safari、Edge和Firefox到NPU、GPU、CPU、MPU和MCU的各种操作系统和硬件配置。「这种多功能性对于拥有多样化产品组合的企业特别有价值,」Kenarsari说。这对于希望在多种设备上提供一致用户体验的大型企业尤其必要。

边缘的价值主张

Picovoice的目标客户产业包括消费电子、汽车、医疗保健、公共安全和政府科技等极度需要隐私保护、可靠性和实时处理的产业。公司的商业模式以B2B为重点,为大规模应用提供具成本效益的解决方案。其技术被用于各种创新应用,包括基于大语言模型(LLM)的语音助理、代理式AI,甚至NASA的下一代太空服。在公共安全领域,Picovoice的装置端解决方案确保敏感数据安全。

Picovoice最初透过提供技术领先的解决方案超越竞争对手,获得了技术买家的信任。随着公司发展,扩展其产品组合并完善其市场策略,其价值也逐渐受到非技术利害关系人认可。为确保透明度,Picovoice提供对其技术和资源的开放访问。其灵活的订价模式旨在适应每个客户的独特需求和规模 。

展望未来

展望未来,Picovoice的愿景是以其 AI 技术驱动 10 亿台装置。它正在积极扩展其团队并探索战略收购以进一步扩大其影响力。

公司致力于持续创新,投入大量资金进行研发,以保持在AI革命的领先地位。Picovoice已实现盈利,并与《Fortune》100大企业签订了关键多年期合约。虽然该公司目前不积极寻求融资,但它对战略收购持开放态度,以扩展其团队和能力。