文档详情

半导体行业跟踪报告之二十-边缘算力SoC:AIoT智能终端的大脑,端侧算法部署的核心.pdf

发布:2024-10-19约2.65万字共13页下载文档
文本预览下载声明

电子行业

2、边缘算力应用和端侧AI算法部署需求巨大

AI将提升社会劳动生产率,特别是在有效降低劳动成本、优化产品和服务、创

造新市场和就业等方面为人类的生产和生活会带来革命性的转变。可以认为,

AI是一个重要的生产力工具,AI通过与各行各业结合,赋能各行各业。在自动

驾驶、智能家居、安防监控、机器人、医疗设备、智慧课堂等新兴行业中,人工

智能的技术创新和应用落地是行业智能化的推手。此外,AI交互、AI创作等应

用场景发展迅速,如自然语言处理工具ChatGPT的问世,有望进一步推动行

业智能化程度不断提升。

AI技术必须具备三个要素:算法、数据、算力。

(1)数据:AI蓬勃发展主要是得益于大数据的累积以及AI专用算力的大幅增

强。

(2)算力:过去10年,AI领域主要的算力载体是以国外芯片厂商提供的GPU

设备为主,广泛应用于与AI相关的云端产品。而端侧嵌入式AI算力载体从CPU、

GPU、DSP发展到ASIC架构,推动了基于深度学习的语音识别、人脸识别、图

文识别、AIGC、目标检测、超分辨率、ADAS等技术的广泛应用。

(3)算法:模型算法架构持续迭代,Transformer神经网络结构逐渐成为自然

语言处理领域的主流,如ChatGPT是其应用之一,主要用于云端产品,各算法

厂商开始尝试应用到端侧产品,对端侧算力性能提出了更高的要求,这将推动

AI算力的发展。从AI算法模型到端侧AI部署应用的落地,需要解决很多技术问

题,如模型转换、量化、推理框架、算子融合、算子适配(自定义算子开发)等

等。这不仅需要性能优越的算法模型以及可靠的高性能低消耗(低带宽低内存低

功耗)硬件加速器,还需要通过AI编译器把算法模型转化成硬件设备能识别的

表达式进行算法部署,再应用到具体的应用场景,满足用户的体验需求。在算法

部署过程,算法开发应用算子级API和网络级API、支持量化感知训练模型导入

等加速算法开发效率和应用落地效率。

CPU是通用处理器,设计用于执行广泛的计算任务。它具有强大的灵活性和可

编程性,但可能在特定任务(如AI计算)上效率不高。GPU最初设计用于处理

图形和视频渲染,它擅长处理并行计算任务,因此在AI领域也得到了广泛应用。

然而,GPU并非专门为AI计算设计,它在处理某些类型的AI任务时可能不如

NPU高效。CPU是线性、串行任务(指令)执行,效率较低,通用性较高;GPU

是并行处理和专用图形并行处理,效率更高;而NPU则是“并行认知处理”,

在AI机器学习方面,效率更高。

敬请参阅最后一页特别声明

显示全部
相似文档