【高速运算应用-学研之星】TWCC助拳 创鑫智能AI加速器解决方案崭露头角

创鑫智能的事业开发经理陈品函(左)

创鑫智能(NEUCHIPS)股份有限公司是技转科技部「半导体射月计划」成果衍生成立的公司。这家新创将「超低能耗深度学习加速器」顺利转变为矽智财(SIP)产品，受到产业界关注。最近该公司好消息频传，除了获准进驻新竹科学园区设立辨公室之外，也在10月公布的MLPerf v0.7中崭露头角、更获得知名IC设计公司采用其矽智财产品，预计推出整合该矽智财的智能系统单芯片产品(AI SoC)，以满足市场需求。

创鑫智能的事业开发经理陈品函接受专访时，揭露该公司三个主力产品线，加速了AI在声音、影像、及推荐系统上的运算。第一个产品是RNNAccel，亦即前述的矽智财产品。该递回神经网络(RNN)加速器支持LSTM、GRU、FC、MLP，以及Vanilla RNN等神经网络。这类神经网络适合处理时间序列型数据，所以在主动抗噪(ANC)、心电图(ECG)分析、异常侦测、及语音控制(Voice Control)等应用成效卓着。因此整合RNNAccel矽智财的芯片可应用在手机、智能音箱，或是真无线蓝芽耳机(TWS)等装置，利用人工智能强化声音相关应用，取代传统以规则为主(Rule-base)的解决方案。

创鑫智能的RNNAccel产品内建专利压缩技术，透过其开发工具，客户能将神经网络模型进行压缩，大幅降低存储器需求，同时仍保有高准确度。除了压缩技术之外，该产品也强调超低功耗。陈品函指出RNN是很耗费计算资源的模型，对客户而言，只要使用ARM Cortex-M0等初阶MCU，搭配RNNAccel就能执行人工智能功能，让客户的芯片产品具有非常好的市场优势。

第二项产品是HarDNet神经网络架构，这是基于CNN运算特性所设计的一个更快、更省电、更准确及更安全的神经网络架构。创鑫智能与清大团队2019年于ICCV会议上提出此架构，更被Papers-with-code网站评比为世界最先进的语意分割神经网络，尤其使用在物件识别(Object Detection)、物件分类(Object Classification)、及多物件追踪(Multiple Object Tracking)等影像应用上深具竞争优势。除了将研究大方开源让各方高手切磋外，创鑫智能也提供HarDNet演算法、软件、矽智财授权及顾问等服务。

第三个产品是RecAccel推荐系统加速器。源自于Facebook提出Deep Learning Recommendation Model (DLRM)，它适用于电子商务产品推荐、网络广告、及多媒体内容推荐系统。

由于社群媒体与电商的快速发展，相关商品与用户数据量成长惊人，每天超过300万亿次推荐系统推论(inference)，而且数字仍持续成长，耗费大量的运算资源，同时电费成本水涨船高，不胜负荷，Facebook将其开源并在网络上广邀英雄帖，期望能解决对应难题与挑战。创鑫智能第一时间便提出了硬件加速产品RecAccel来解决，并搭载在Intel Stratix 10 FPGA参加了第一届的MLPerf Recommendation 项目来验证此产品。值得一提的是，这个挑战在时间严重压缩下，只有创鑫智能提出非CPU/GPU方案。

陈品函特别感谢各界夥伴的支持，尤其是国网中心TWCC高效能运算的服务，这个MLPerf的挑战前后只有约八周的时间，在时程紧迫的压力下，需要完成反覆的测试、验证与跑分实验，创鑫智能使用TWCC的高效能运算、简单易用的AI开发工具，以及多张V100 GPU运算资源，加速了实验的收敛，最终才能如期完成任务。

由于台湾的服务器供应链与生态系统在全球数据中心的市场上举足轻重，未来对于Open Compute Project (OCP)的规格与支持具有强大的磁吸效应，商机无限。RecAccel前景有长足的发展机会，创鑫智能也正积极扩充团队，敬邀更多有志之士的加入一同加速成长，期望其能加值台湾的服务器供应链，取得更好的市场地位，也同步成就创鑫智能的光明未来。