智能应用 影音
电子时报移动版服务
荣耀会员

TetraMem打破现有处理器架构 打造IMC芯片助力AI应用

TetraMem打破现有处理器架构 打造IMC芯片助力AI应用

TetraMem是位于加州的半导体新创,以创新的存储器内运算(In-Memory Computing;IMC)架构及半导体装置提出解决方案,克服冯诺伊曼(von Neumann)架构瓶颈,提升节能效率和运算速度。DIGITIMES专访TetraMem共同创始人暨CEO葛宁(Glenn Ge),畅谈技术创新突破以及对未来产业发展的看法。

 问:每家提出解决方案的都有自己的故事。为什麽4年前您会走上创业之路?是否能说明一下团队背景?

 点击图片放大观看

TetraMem公司小档案

TetraMem是在2018年成立,有4个共同创始人。我(葛宁)本身是半导体工程背景,有1个微电子博士学位及3个不同领域的硕士学位。2002年本科毕业后,在大学做了2年研究,然后在意法半导体(STM)工作2年。之后在惠普(HP)不同部门工作约12年。

葛宁的专长是科技创新和商业化,发表了一些学术论文与700多个国际专利(大约250个是美国或PCT专利)。其中有170多个已经授权了,应用在多种大规模量产的商品上。

首席科学顾问杨建华,是威斯康星州立大学麦迪逊分校的材料学博士。目前在南加大担任教授,也以在内存器件和类神经计算的贡献当选IEEE Fellow。他是器件领域的专家,在RRAM和忆组器发表过很多篇极具影响的论文。

第三位共同创始人夏强飞是首席制程顾问,美国普林斯顿大学博士,现在是麻省大学Amherst分校正教授,也有20几篇顶级论文。另一位共同创始人是胡淼,美国匹兹堡大学博士,之前曾在美国宾汉姆顿大学担任助理教授,十余年一直从事IMC和神经网络计算芯片研究,为了公司发展辞去教职,目前全职担任首席技术长。

问:各位履历中都刚好有在惠普(HP)忆组器研究项目的经历,当初都是同事吗?

我们四个创始人刚好都是惠普实验室前后期的同事,互相都认识,但在职时间不一样。之前惠普的存储器项目的理念过于超前, 器件研发以内存应用为导向, 而相关选择器(selector device)还不成熟,在商业化方面的应用还在探索中。

在这领域里,TetraMem的研发以计算加速为导向,已经累积了RRAM与忆组器应用在存储及IMC方面超过近20年的研究经验。其他成员也很资深,具备结合产学研于一体的能力。

问:TetraMem与其他对手的差别是?应用案例有哪些?是否有量化的效能改善例子可以参考? 

我们专注于IMC,可运用于云端或边缘端AI运用,利用TetraMem芯片可运算、可储存的特殊物理属性,进行矩阵乘加计算。这个方法不属于冯诺伊曼架构,是在存储器中直接运算,故不需要大量数据移动,极大化地节省能耗。现有AI芯片领域最大挑战就是冯诺伊曼架构瓶颈,即使处理器制程再先进,数据搬运仍是最大的问题,这会使计算效率大大降低。

TetraMem产品是将神经网络参数直接存在芯片里面,馈入的信号不管是声音、影像还是图片,直接在芯片中处理。此外,也节省许多中间端(intermediate)数据。因此,运算效率能有百倍甚至千倍的提高。但最核心的问题,仍在于半导体装置以及系统统筹设计。

合适的半导体装置需要花很大的力气去研发, 全世界很多公司都在研究此领域。系统中其他部分也要和相应的半导体装置一起设计和优化,达到最好的效能指标。这当中有很多技术性的瓶颈,TetraMem已经3次成功设计定案,也在努力工作争取从2023年底进行IP授权和量产。目前已经申请48项美国专利,16项已获批准。

目前这个市场规模已经非常大,我们的商业模式也比较有弹性,提供技术和芯片都是可能的。基于冯诺伊曼架构的数码处理器如CPU/GPU/ASIC都有需要克服的问题,首先是摩尔定律,其次是记忆墙瓶颈,最后是散热问题。因此IMC的计算忆阻器就有其特殊价值,但它对半导体装置的要求很高。

问:请说明in-memory computing(IMC)和near-memory computing(NMC)的差别以及最关键的挑战是什麽?

业界很多传统业者使用的仍然是数码的冯诺伊曼架构。这种解决问题还是渐进式打补钉的方式。比如,高带宽存储器CPU的做法,就像是把原来4线道马路拓宽成为100线道。

NMC如名所示, 通过架构和硬件拉进运算和储存的距离来提高数据搬运效率。举个例子来说,就像台南和台北,台南负责运算, 台北负责储存。台南和台北距离很远,高速公路上车子也很堵,数据搬运就有问题。

如果把台南拉近到台北旁边,让所有计算用的数据都在非常快速读取的区间供计算单元使用, 那就比较类似near memory的做法。IMC的做法是把台南和台北二合为一在一起,既是储存单元,也同时用同样单元从事计算工作, 这样就非常有效率了。

问:近来半导体代工厂量能满载,你们的量产计划会否遇到问题?

我们认为晶圆厂量能满只是暂时问题,很大程度上是COVID-19疫情前产业链存货不足造成的,但疫情来了使得业者恐慌,所以急着囤货。但现在疫情已经趋于常态化,而且每一家半导体公司都在扩产,预估2022年下半除了少数MCU或是模拟IC这类开发周期比较长的产品外,产能吃紧的状况都会有所改善。

TetraMem计划2023年小量量产,芯片荒的问题目前对我们没有影响。如果2023年产能松动了,对我们会是利好消息。

问:产品会应用在哪些边缘端的装置上?

视觉芯片跟TetraMem的芯片如同天作之合,因为视觉像素就是矩阵,本身就是矩阵式的类比信号,这存储器储存处理器本身也是个矩阵,处理的方法也是类比信号处理,将来可以类比信号之间对接。如果做好的话,能把能耗效率从目前的水准提高10倍、百倍,处理速度也会更快,但这对吞吐量(throughput)的要求很高。

我个人非常看好未来的汽车市场,会是人类第二个「家」。未来如果车子能自动驾驶,载着乘客到处跑,人们会愿意花更多钱和时间在车子上,因为可以在车上工作、休息、娱乐等。这和未来的6G或低轨卫星通讯技术加起来,会极大改变大众工作生活方式。虽然汽车销量未必会有大幅增加,但汽车智能和价值提升会是一种趋势。

这领域我们也分成二部分,其一是与驾驶有关,也就是所谓的ADAS系统,这要求是最严格的;另外一个是驾驶者辅助系统,比如DMS,监测驾驶是否出现疲劳状态,若有异样就会发出警示。

美国曾有立法要求在车子里装设传感系统,如果有小孩不小心被粗心健忘的家长忘记,锁在车子里,就会自动发出警报;另外有个功能,晚上时利用摄影镜头,将车子周围的环境影像投射到车子LED面板里。这二个方面有很多的市场机会。

但这对传感器、处理器要求特别高,处理器大概需要达到4,000~5,000 TOPS才做得到,我们会将优先顺序放在消费电子装置之后。自驾车是个大趋势,但还有很长的路要走,这个趋势一定会来到,也还需要软件方面的进步。

问:TetraMem和台湾半导体产业会有那些合作机会?

台湾是半导体产业重镇,晶圆制造、封装、测试,加上一些下游厂商,太多合作机会了。目前我们使用的制程是65纳米,2023年开始利用40及22纳米的制程,未来发展会至16纳米, 7纳米甚至5纳米。但先进制程还是比较昂贵,现在客户主流需求还是在65、40、22纳米制程的水准。

22~28纳米是一个分水岭,因为28纳米以下没有NOR Flash,而16纳米是另一个分水岭,以下才有FinFET制程。因为我们是把前端后端分开,是在后端进行计算,对于前端不管几纳米的制程,将来都可以支持。

问:您对AI加速器/IMC市场规模如何看?未来几年成长能有多少? 

IMC是种颠覆性的技术,对许多现有的数码处理器是非常好的互补,有助于新应用的开拓,对于市场规模来说,我们跟AI芯片能满足的市场高度重叠,因此ARK Big Idea预估,AI芯片能从2020年50亿美元的基础上,以33%的年复合平均成长率(CAGR)持续增加,到2025年达到220亿美元,这是合理的估算。

  •     按赞加入DIGITIMES智能应用粉丝团
更多关键字报导: AI 半导体产业