DEEPXCEOLokwon Kim:打造让每个人都能使用的AI芯片 智能应用 影音
DForum0719
ST Microsite

DEEPXCEOLokwon Kim:打造让每个人都能使用的AI芯片

  • 范菩盈台北

DEEPX赢得三项2024 CES创新奖。DEEPX
DEEPX赢得三项2024 CES创新奖。DEEPX

AI在生活中的应用愈来愈广泛,随着生成式AI大语言模型的迭代出新,各种创新应用也更加蓬勃多元地在人们生活周遭出现,从各种智能家电、无人载具、机器人到VR/AR应用等。这些搭载AI处理器的边缘装置可以直接就地运算并获得结果,更加速Edge AI创新应用的推出。然而这些装置在发展上却也面临不少挑战,包括GPU能耗过大影响续航力,且高昂的成本也使得边缘AI(Edge AI)产品的普及受到限制。

来自韩国的AI芯片新创公司DEEPX,以其独特的AI芯片超间隙源技术在2024年1月的2024 CES展拿下3项创新奬:嵌入式技术、机器人、电脑硬件与元件。他们所研发的神经网络处理器(Neural Processing Units, NPU)不仅拥有低能耗以及具备经济效益等优点,更解决市面上既有NPU精准度不足的问题。这项技术在2024 CES展期间受到许多半导体业者的认可,同时也计划在2024年底上市推出。

DEEPXCEOLokwon Kim。DEEPX。

DEEPXCEOLokwon Kim。DEEPX。

DEEPX的目标是成为世界领先的On-device AI芯片公司。DEEPX

DEEPX的目标是成为世界领先的On-device AI芯片公司。DEEPX

DEEPXCEOLokwon Kim。DEEPX

DEEPXCEOLokwon Kim。DEEPX

师法ARM 带领DEEPX成为业界领先的装置AI芯片公司

「AI时代的主要战场将转移到『边缘』,正如同ARM主导智能手机的CPU市场一样,AI市场将由称霸边缘市场的半导体公司来主导,」DEEPXCEOLokwon Kim说。

Lokwon Kim过去曾是苹果电脑应用处理器(AP)设计的资深研究员,在Broadcom、Cisco和IBM T.J Watson等知名企业累积丰富的半导体设计经验后,回到韩国创立DEEPX。他的目标是将DEEPX打造成业界领先的装置端AI(On-device AI)芯片公司,就像ARM凭藉其低功耗技术革新了CPU市场一样。

装置端AI芯片是一个新兴领域,它是在移动设备内直接处理信息而无需连接到服务器或云端。ARM以其高效、低功耗的处理器打破Intel在CPU市场的主导地位,这些处理器在智能手机中有极高的市占,并正逐渐扩展到个人电脑和服务器领域。Lokwon Kim期望DEEPX在AI半导体产业也能产生类似的影响力。

谈到韩国半导体产业,Lokwon Kim指出韩国半导体生态系中尤其在系统半导体方面略有不足之处。台积电创始人张忠谋在美国半导体大厂德州仪器学成后,回到台湾创立了业界领先的晶圆代工厂,受到张忠谋的启发,Kim也看见了能满足韩国市场所欠缺部分的商机。

张忠谋当时预测半导体市场将以需求为导向,因此创立了以晶圆代工制造为主的台积电。同样地,Kim认为AI半导体市场走向开放,将开创更多创新成长的机会。

不走专用 而是让每个人都能使用的AI芯片

Kim反对透过策略性投资垄断AI半导体技术,这些策略性投资通常会导致兼并、收购或形成联盟,最终使得技术由单一个体所控制。过去在苹果的经历促使他去倡导更民主、更可以被存取使用的AI半导体技术,Kim认为AI半导体应该是普遍可用的,而不是仅限于专有使用,他强调技术应该是每个人都能利用的。

为了实现此一愿景,Kim在韩国的IC设计公司基地——京畿道的板桥(Pangyo)成立DEEPX。他的目标是创建一家具有独特价值的AI芯片公司,希望推动创新而非排他性。

DEEPX的定位并不是与全球半导体大厂竞争,而是作为一种互补的力量,透过提供容易被存取使用的先进AI技术,来扩大全球半导体市场版图。

有别于GPU DEEPX独特的NPU处理器解决方案

之所以开发AI专用的半导体——NPU,主要是希望突破GPU的限制,过去GPU一直被用于AI运算,但GPU最初是为了处理图形数据而设计,它擅长同时处理大量数据,因此很适合用于AI学习的任务。然而高能耗和高昂的营运成本是其重大缺点,这让GPU在边缘AI的使用上不甚理想,边缘AI是指直接在控制器、机器人和自驾车等设备上执行AI应用程序。

NPU模仿人脑运作,具有低能耗和降低生产成本的优点。然而,现有的NPU却有不够准确以及无法支持最新AI演算法的问题。DEEPX在一片IC设计公司中独创一格,因为他们透过一个全方位的解决方案来克服AI半导体的核心挑战。

不同于其他NPU厂商每次仅发表单一芯片,DEEPX了解不同电子设备需要不同等级的半导体运算能力。例如,监视器的AI主要用于分析影像,而机器人的AI涉及更复杂的运算,为了满足此一需求,DEEPX同时开发了从低端到高端性能的四款芯片:一款可以连接单个电子设备进行AI运算,另一款可以连接三到四个设备进行更广泛的AI任务。能够跨设备一体通用是DEEPX在2024 CES展上获得创新奖的关键原因之一。

对高性能、低能耗和低成本的承诺也是DEEPX获得创新奖的原因。以最新的AI演算法Yolo7来说,它可执行在DEEPX的DX-V1半导体上,这款芯片是透过三星的28纳米制程所生产,然而此一演算法先前并无法兼容于其他厂商的NPU。此外,DX-M1芯片的设计面积仅为其他NPU的三分之一,其制造成本也相对降低三分之一。集结低单位成本与高性能的特色在一个低功耗NPU中,DEEPX的产品有望引领AI半导体市场。

NPU可分为用来处理大规模推论的数据中心型NPU,以及在机器人、智能镜头、智能工厂和消费性电子等设备所使用的边缘型NPU,而DEEPX同时瞄准这两种市场。DEEPX的NPU提供高准确性和效率,克服现有NPU的常见缺点。

DEEPX的创新在于创造出既小巧又具有成本效益的NPU,同时在准确性方面可媲美甚至超越GPU。这归功于DEEPX在两项核心技术上的创新:IQ8(一种INT8 模型压缩技术)和Smart Memory Access(最小化D-RAM使用)。透过在硬件和软件优化方面的独家进展,DEEPX实现世界最高的功率性能比,在低功耗AI解决方案市场中居于领先。

迈矢量产

DEEPX已经透过样品单元成功展示其原创技术,并且正处于量产芯片的最后阶段,计划于2024年底上市。到了2025年,采用DEEPX芯片的产品广泛普及,将可望使DEEPX成为装置端AI芯片市场的技术领先者。

装置端AI芯片的关键在于低功耗以及硬件与软件的无缝整合。由于AI必须在小型设备上运行,降低功耗至关重要,同时在有限的运算能力内最大化AI性能。

Kim过去在苹果电脑的经验,十分强调从一开始就同样重视硬件和软件设计。但与苹果不同的是,苹果开发自己的装置和服务,DEEPX则是在产品开发过程中访谈大约700位客户,了解他们的需求并找到最佳的开发点。这种以客户为中心的方法对于完善DEEPX的产品来说不可或缺。

目前在这个新兴的装置端AI芯片市场中,有来自以色列和美国的四家公司,包括DEEPX在内,正在争夺市场的主导地位。随着装置端市场开始超越服务器市场蓬勃发展起来,这场竞争对未来局势的确立至关重要。

Kim对DEEPX的战略充满信心。他指出,尽管一些竞争对手优先考虑快速推出产品上市,DEEPX则首先关注价格和优化。有监于AI应用服务的快速发展,Kim认为与其匆忙推出产品,不如与市场趋势保持一致,并以具有竞争力的成本提供高性能的功能更为重要。

经营理念:重视技术胜过短期结果

DEEPX并不专注为自驾车或智能手机制造AI半导体,相反地DEEPX要推动将AI整合至日常生活中。DEEPX的产品设计在将AI导入如监视器和机器人等领域,推动这些应用抛弃过时的演算法,DEEPX的使命是引领AI半导体产业前进。

在DEEPX公司的门口有一张给员工的便条,强调技术价值高于金钱收益。它引用卡尔·萨根的《预约新宇宙:为人类寻找新天地》一书,反映生命应该充满价值,而不是追逐金钱和权力。便条上的信息鼓励70名员工热爱自己的工作并找到意义,与公司创造有益于社会的技术的精神一致。

未来计划:全球扩展与创新

具远见卓识的Kim已经制定未来的战略计划:前进全球市场:从2024年下半年开始,DEEPX计划以其第一代产品(由四款AI芯片组成)积极进入全球市场,这一举措将开启「AI无处不在」的时代。

技术创新:DEEPX目标要开发能够实现功耗低于5W的超大规模AI服务的新技术。这一创新将使先进的AI技术更加普及和实用。

AI领导地位:DEEPX致力于成为全球领先的全方位AI芯片公司。透过专注于功率和成本效益,DEEPX提供核心技术将AI从科学领域转移到日常应用。

将AI融入日常生活,DEEPX以有意义的方式推进技术。透过重视创新而非利润,并追求全球领导地位,DEEPX有望在AI的未来中发挥关键作用。公司的共享技术和全球扩展的承诺凸显其致力于使AI为人类所用且造福人类的决心。

加入DEEPX的早期参与客户计划(EECP),不要错过他们设计的创新产品可用于提升您的AI能力。了解现有的100多家全球企业,包括现代起亚汽车机器人实验室、POSCO DX、Supermicro和戴尔,如何利用他们的硬件和软件来驱动其下一代AI产品。欲了解更多信息请关注DEEPX的社交媒体或他们的官方网站


商情专辑-COMPUTEX 2024