过去一年的AI的进展看是稍缓了下来,彷佛印证了几年前的谶言:靠计算力及能耗支撑的蛮力运算终究难以为继。
软件难行,计算之车两轮行走的另一只轮子硬件就自动补上来了。2019 IEDM中39个章节中神经形态芯片居然独占了两个章节—元件和架构。以专用芯片解决软件在通用芯片上的低效率问题、并试图向自然演化借智能,这是此阶段AI发展的另辟蹊径,但是在半导体界却已蔚为主流。
人工神经网络(ANN;Artificial Neural Network)是已发展近80年的老领域,但是随着对于脑信息编码了解的进展近年来又高潮迭起。
第一代的ANN就只包括神经元(neuron)和连结神经元的突触(synapse),而且神经元在接收的信号总和超过某一阈值之后发出数码信号「1」,只是个二进位系统,但单只是这样简单的仿生系统已可以执行一些功能。
第二代的ANN则利用连续激发函数(continuous activation function)来决定神经元对输入信号的反应,以此类函数来操作的神经元,输入、输出都是类比的。值得一提的是它的信息编码是频率编码(rate coding),它当然是第一代ANN的改良版,但是已经具有突触可塑性(synaptic plasticity),就是神经元之间突触的连结强度可以因其经历的输入、输出而改变,这就是学习。
但是脑神经传递信息的方式不只是用频率编码,另外还有时间编码(temporal coding),即信息以神经脉冲尖峰(spiking)的时空(spatial-temporal)数据来传递,这是第三代的ANN:SNN (Spiking Neural Network),而突触的学习则靠尖峰时间依赖可塑性(STDP;Spike-Time Dependent Plasticity)来达成。
脑中信息用时间编码或频率编码的问题现在在脑神经科学间尚有争议,但是半导体工程界迫不及待先用了!Intel去年在DARPA会议上发表的神经形态芯片LOIHI即是以SNN运作的神经形态芯片。IEDM的盛况只是反应更多的努力蜂涌而至,更逼真的仿生芯片这一条路大概还会再走好一阵子。
至于用来仿生的元件—主要是模仿突触行为—以新兴存储器为主,过去常用的有ReRAM和PCRAM,这次还有忆阻器(memristor),但是现在最热门的是铁电材料的元件,包括铁电穿隧结(FTJ;Ferroelectric Tunnel Junction)以及FeRAM。看来铁电材料优异的特性已经让人的注意力从存储器扇出到其他领域了。
由于人的记忆与思考都在脑细胞中发生,以新兴存储器来学习(包含记体)以及处理人工智能问题也触动了另一半导体远程目标领域—存储器中计算(CIM;Computing In Memory)。神经形态芯片的研究,与CIM现在也有合流之势。铁电材料现在之所以特别受青睐的原因是因为它的所有特性—包括写入时间、写入次数、记忆时间、密度等都符合神经形态芯片和CIM的要求。
现在对于神经元、突触、信号尖峰的仿真其实只局限在微观层面,往宏观的架构看,还有树突(dendrite)、轴突(axon)等大小尺度的结构,这些跨尺度结构也许有助于进一步提高神经形态芯片的效率。而且现在对于脑中活动监测解像率已近乎单一细胞,接下来预期有源源不绝的大脑运作知识可以被探索。如果以半导体元件仿生方向是正确的话,这条路正才刚开始!
现为DIGITIMES顾问,1988年获物理学博士学位,任教于中央大学,后转往科技产业发展。曾任茂德科技董事及副总、普天茂德科技总经理、康帝科技总经理等职位。曾于 Taiwan Semicon 任谘询委员,主持黄光论坛。2001~2002 获选为台湾半导体产业协会监事、监事长。