运算架构进入黄金时代 软硬整合将是系统效能关键

台大资工系教授洪士灏。

AI研发已有多年，过去的运作架构都是以大型主机进行深度学习等各种演算法运算，再将训练结果移转到各种应用场域，不过台大资工系教授洪士灏指出，云端无法满足并非所有应用，例如医院、工厂或车用系统等，这些场域系统不是注重数据隐私，就是会有快速反应、不受断线影响、节省网络成本等需求，因此要嵌入式系统具备实时的AI运算能力就成为必要，而要提升其效能，软硬整合开发将会是关键。

要提升嵌入式设备的效能，必须从运算速度、储存空间、耗电等三大面向着手，各处理器大厂已针对各种应用情境推出多款产品，满足市场需求。这些需求并不能只是智能音箱这类型入门等级的产品服务，而是本身具备某种智能，可以实时做出判断，并藉由联网功能来提升智能能力，要做出符合上述需求的产品，设计者就必须具备足够的软硬件能力，以处理复杂系统。

洪士灏指出，嵌入式系统在加入AI功能前的复杂度就相当高，加上AI后例如具备深度学习框架之后的云端系统或边缘运算能力的终端设备，其难度更直在线升，不过即便难度十足，在提升应用竞争力前题下，软硬件垂直整合优化仍然不可免。

软件方面，现在AI的演算法是由推论与训练两端所组成，训练是透过学习，加速训练有助于发展强大的人工智能，必须使用使用高效能计算、云端、工作站，推论用于生产端，加速推论有助于布署和使用AI，而在此一环节有其体积和功耗限制，必须追求成本效益。

就硬件面来看，现在各家厂商都已推出AI专属的处理器，可针对针对应用情境降低计算量与精准度，以符合终端产品对耗电量与反应速度的需求，洪士灏指出，现在不但是深度学习系统的战国时代，也是计算机架构的新黄金时代，设计者必须持续把功能加到特定领域专用系统中，搭配高度的软硬整合和效能优化，就有可能创造出颠覆市场的产品。