以效率翻转新思维 Neuchips CEO引领前进国际之路

EE Times Taiwan

人工智能(AI)浪潮袭卷全球，特别是由ChatGPT带起的各种生成式AI机会风起云涌，不仅吸引业界大厂竞相加大对于AI的投资力度，这股热潮也烧进了新创圈，让AI新创公司得以在国际市场上崭露头角。在今年初的国际消费电子展(CES)上，台湾AI新秀——创鑫智能(Neuchips)凭藉支持其AI芯片的高能效PC应用展示备受瞩目，在新任CEO刘景慈(Ken Lau)领军下，首度参展即成为国际媒体镁光灯捕捉的焦点，同时也为其进军国际舞台铺路。

2019年成立的AI ASIC新创公司Neuchips以深度学习推荐模型(DLRM)为基础，2022年开发出专用于推论的首款RecAccel^TM N3000 PCIe加速器，并率先切入7纳米制程，可广泛应用于社群影音、在线购物的AI推荐系统。2023年4月，在MLPerf v3.0 AI推论效能基准测试中，更由于这款加速器芯片在服务器领域的能效表现超越主流竞争产品约1.7倍，让成立仅五年多的这家小型IC设计新创打响了名号。

超低功耗AI技术实力亮相国际

因应大型语言模型的崛起，为了区隔市场，Neuchips将N3000更名为Raptor，并定义为专做语言模型的推论加速芯片。据NeuchipsCEO刘景慈介绍，该公司在CES 2024即展示了一台搭配这款Raptor芯片与i5 CPU的可携式工作站，利用Whisper模型执行语音转文字(speech to text)并以Llama-2模型回应，无需联网即可打造如聊天机器人般的对话功能，可说是以地端(On-Prem)单机实现离线版ChatGPT。相较于其他竞争方案必须联网或使用几百颗芯片才能实现相同应用情境，Neuchips Raptor芯片由于从软件层写入模型，还能实现功耗约55W 的小尺寸PCIe板卡，DM.2版本功耗甚至低至30W。

着眼于此低功耗、小尺寸的特性，国际知名的工程和应用科学专业组织IEEE旗舰杂志《IEEE Spectrum》报导CES最具潜力的五家公司中，还特别介绍了Neuchips AI PC板卡所具备的超低功耗以及大幅降低存储器需求等特性优势。

事实上，在稍早之前由全球电子工程领域专业媒体《EE Times》主办的2023年亚洲金选奖(EE Awards Asia)，Neuchips获得了由亚洲工程师票选的最佳AI产品奬殊荣。NeuchipsCEO刘景慈指出，Neuchips之所以能够获得工程师的青睐，除了产品本身的能效表现，其脱颖而出的关键在于以精简的团队与资源开发出这款令人惊艳的芯片，展现了这家新创公司稳固且坚实的技术基础；而这也正是他心目中最值得投入的AI团队。

此次领军Neuchips首度参加CES即告捷的正是去年八月甫加入团队的新任CEO刘景慈。他曾经是英特尔(Intel)台湾总经理，拥有长达26年的产业经验，直到去年(2023年) 8月退休后不久即加入Neuchips，期望贡献自己多年在数据中心、PC客户端和半导体等多元领域的经验与产业人脉，将这家台湾AI新创公司带到国际舞台。

「什麽都做过了，就是没做过AI！」

刘景慈回想自己从研究所时获得英特尔等业界半导体公司的奬学金赞助、毕业后在英特尔实习并顺利成为正式员工，多年来在英尔累积了从制造、营运到供应链等不同领域的经验，带领服务器、PC客户端到手机业务等新事业投资，以及从销售、行销到升任台湾总经理等高端管理职务等完整的历练。

在英特尔任职期间，他因为具备中文能力而被外派到台湾负责服务器行销(2002年)，广泛地建立了产业人脉关系，并成功赢得许多合作案，成为英特尔在美国与亚洲发展数据中心生态系的关键人物。他还曾带领Chromebook工程产品线，与OEM和主要的云端服务供应商建立合作夥伴关系，将使用x86处理器架构的Chromebook打造成当今市场上先进的云端客户系统。

刘景慈说，英特尔给了他不同的机会以及完整的历练，「可以说我什麽都做过了，就是没做过AI！」因此，当退休后思考下一阶段的职业生涯时，他期望能从AI领域开启事业的「第二春」。

另一方面，在加入Neuchips以前，他从不曾转换过跑道，职业生涯中唯一的英特尔工作经验，多年来也已了若指掌，让他认为是时候走出舒适圈了，下一个阶段必须找到全新领域寻求自我突破。他说：「如果你在同一个地方待久了缺乏挑战，那麽就不再有学习或进步。」因此，加入Neuchips至今近5个月以来的成长与学习，刘景慈打趣地说感觉就像已经待5年之久了。

以「效率」翻转公司成长思维

从英特尔到Neuchips，两家公司的文化毕竟大不相同。相较于他所熟悉的外商公司环境和文化，Neuchips是一家台湾色彩浓厚的本地新创公司，他必须尽可能在两种文化中寻找折衷与平衡。不过，对他来说，无论是哪一种文化，「效率」才是王道。

为了提升公司的运作效率，加速实施「流程」(process)，他致力于为Neuchips建立以「人」为主的基础设施，包括加速会议时间、搬迁办公据点至交通便捷之处，以及直接与团队成员面对面的沟通加速了解等等，让大家能听到新任CEO擘划的未来愿景以及如何具体实施，让每个人的工作朝着相同的方向前进。

刘景慈说，「我认为台湾有这样一家AI公司十分难得，未来将会看到我们更多的改变，我希望将它带到一个国际化的舞台。」Neuchips的目标客户主要是海外公司，刘景慈对自己的期许正是打造Neuchips成为一家全球化的公司。因此，对外他先从改变公司的品牌与形象开始，并搭配行销策略打入国际。除了年初的CES，今年也计划参加一系列海外展会，包括第二季即将赴东京参加AI Expo以及台湾的Computex，期望透过端到云等生态系夥伴的整合，大幅加速生成式AI相关应用。

多年来在英特尔学习到从设计芯片到制造的完整流程，以及如何重新评估、管理并组织结构等都有助于在此发挥作用，而他建立了涵盖美国以及亚洲地区的丰富产业经验与人脉，更让Neuchips无论是需要芯片、板卡或是服务器，「很多时候只要打一通话就来了！」

「软硬兼施」发展AI

为了进一步突显Neuchips作为台湾第一家以推论为导向的公司，他并提出了未来的发展策略，包括开发同级产品中专用(purpose-built) AI软件，打造从硬件到软件与服务的完整解决方案、建立合作夥伴生态系与供应链，以及为客户的产品增加价值等等。

刘景慈特别强调软件的重要性，他指出，「芯片开发完成后的主要任务都在于软件，因此，Neuchips也自行开发驱动程序、编译器以及上层软件。」这为Neuchips赋予了更多的灵活度与可执行性，特别是因应2022年11月ChatGPT横空出世，Raptor芯片由于其推荐引擎所搭配的存储器架构也适用于生成式AI (Gen AI)，使其只需在相同芯片硬件上调整软件配置，即可因应不同的需求执行LLM或推荐系统。

在「软硬兼施」发展AI的道路上，刘景慈也看到了台湾面临最大的挑战在于缺乏底层软件人才。「台湾一直在积极发展半导体，但硬件芯片开发出来后的编译器、驱动器到韧体缺一不可，少了这些很难推动半导体，但目前这些底层的人才都很难找。」

他呼吁台湾政府正视并协助产业克服底层软件人才荒的问题。「编译器、驱动器和韧体人才是目前产业较大的缺口，C-code工程师也很难找，甚至学校也不教了。政府在发展半导体产业时，看重的不应只是半导体，人才的培养也很重要。」

擘划下一代产品开发蓝图

看好Gen AI市场呈指数级成长态势，刘景慈强调，「Neuchips的下一代产品开发蓝图十分明确，就是Gen AI。」因此，在Raptor之后的第二代产品部署将专注于Gen AI，并保有其低功耗的优势。

特别是针对数据中心，正因为AI快速发展，对于低功耗的需求持续增加。刘景慈加入Neuchips2 后，致力于「开发可扩展的解决方案，以满足从个人电脑、工作站到企业/数据中心的多个市场应用需求。」极致发挥芯片的灵活度，并针对不同市场扩展多元应用。

当推论应用持续扩展，新的商业模式不断增加，刘景慈认为未来将延伸发展出「text to text」、「text to image」或「text to video」等应用场景，届时AI模型将会发展得越来越大，而相关应用的准确度与效率将会变得更重要。「特别是有些大模型是用许多小模型来执行，如何能跑得更有效率才是关键。」

此外，目前存储器容量增加的脚步赶不上模型的尺寸增加，而高带宽存储器(HBM)仍无法满足AI算力要求，因此，Neuchips目前正架构以推论为基础的第二代产品，除了持续锁定低功耗，未来将透过Transformer模型进一步实现最佳化效能，并着眼于存储器子系统以及提升架构效率等特性。Neuchips预计将在2025-2026年左右推出下一代产品。