DIGITIMES Research观察，边缘端AI芯片市场竞争激烈，芯片特性相较于云端应用为高运算效率、低延迟、运算力小、低功耗。随著边缘运算市场需求明确，各芯片业者持续开发提升边缘运算力的技术，如指标业者NVIDIA与英特尔(Intel)利用降低数据精度运算与发展融合层数推论引擎，以满足边缘AI对快速、精准预测推论能力的需求。
人工智能芯片可依运作位置(云端或边缘)与功能(模型训练或预测推论)区分，目前发展边缘推论类别的芯片业者数量最多，竞争激烈，国外代表业者包含NVIDIA、英特尔、高通(Qualcomm)、恩智浦(NXP)，国内以联发科、凌阳科技为代表。
边缘AI预测推论模型为深度学习框架模型建构与数据训练后压缩而成，在GitHub平臺，以由Google专业团队维护支持的TensorFlow框架活跃度最高，特色为功能强、支持多数常见语言，涵盖从云端到终端所有平臺，成为许多开发者使用的框架首选，但仍存在系统设计复杂、原始码新旧版本无法通用、框架运作速度慢的缺点。
NVIDIA与英特尔为达成边缘推论引擎AI运算速度提升，发展将浮点运算精度由FP32转换为INT8的低精度数值方式运算，且不失准确度，其中，NVIDIA提出垂直与水平层间与张量融合的技术，以减少演算层数，如NVIDIA于7月中发布的TensorRT 8最佳化Transformer模型BERT-Large，部署在V100 GPU上运行，只需1.2毫秒即推论完成；英特尔也提出合并无中介码程序技术。
至于所支持的边缘端硬件部分，以英特尔推论引擎可选择的芯片类型较多样化，包含CPU、CPU内含显示芯片、VPU、FPGA，而NVIDIA现阶段仅有GPU可选择。
