电子行业深度报告:端侧AI,模型创新快速迭代,看好苹果引领AI硬件起飞.docx
内容目录
TOC\o1-2\h\z\uAI技术在端侧逐渐深化,引领全新人机协作方式 4
AI自主化能力逐渐提高,与系统融合程度提升 4
基于用户场景的端云混合架构 4
LLM从各个层面改造终端 5
消费级终端带动端侧AI高速发展 6
端侧模型逐步迭代,巨头引领行业发展 8
基础的小模型迭代加速,技术创新大于参数量提升 8
端侧模型需要进一步提升参数量以提高性能 9
量化/剪枝/蒸馏技术压缩模型以降低硬件要求 9
Agent架构差异带来数据困境,Transformer是转折点 10
硬件升级满足高性能需求,适配核心在内存 13
内存是端侧硬件AI推理能力的短板 13
安卓和iOS内存利用效率差异大 14
苹果硬件积极应变,创新方案集中内存方向 14
多模态UI交互界面革命带来Agent的历史机遇 16
Transformer架构带来UI交互的机遇 16
苹果和谷歌均发力UI交互模型 17
风险提示 20
图表目录
图1:AI智能化分级 4
图2:AIOS架构 4
图3:终端AI能力主线增强但当前依然不足 4
图4:端侧和云端AI处理的分工示意 4
图5:苹果的AI生态架构 5
图6:增强型LLM架构 6
图7:提示链工作流 6
图8:AIAgent架构图 6
图9:存量消费终端设备结构(%,2023年) 7
图10:中国端侧AI行业市场规模,2018-2028E(亿元) 7
图11:小型模型比较 8
图12:各小型模型MMLU基准测试得分 8
图13:GeminiNano与Pro性能比较 9
图14:小型化技术-剪枝原理示意图 10
图15:小型化技术-蒸馏原理示意图 10
图16:量化与精度恢复对模型性能的影响(以未量化的模型表现为1) 10
图17:多模态大模型架构 10
图18:AgentTransformer架构 10
图19:AI终端关键技术特征 11
图20:端侧Agent的组成部分 11
图21:AIAgent底层能力和高级能力之间的映射关系 11
图22:提升Agent效率的技术及其简要说明 12
图23:常见移动设备中的内存层级结构 13
图24:计算和存储操作的能耗 13
图25:主流手机SoC对比 13
图26:安卓和iOS运行App时内存占用对比 14
图27:安卓和iOS运行游戏时内存占用对比 14
图28:PoP封装的形式 15
图29:苹果芯片封装形式改变 15
图30:Agent任务执行过程(以GUI界面为例) 16
图31:智能体和API之间的调用方式示例(Extension方式) 16
图32:UI界面复杂,元素识别困难 17
图33:Ferret-UI-Anyres架构 17
图34:Ferret-UI-anyres准确率表现优异 18
图35:谷歌ScreenAI模型架构 18
图36:ScreenAI模型的屏幕理解/问答/导航/摘要四类任务示例 19
图37:谷歌不同参数ScreenAI模型参数量及其分配细节 19
图38:不同参数的ScreenUI模型的表现 19
AI技术在端侧逐渐深化,引领全新人机协作方式
AI自主化能力逐渐提高,与系统融合程度提升
从指令到意图驱动,AI自动化能力持续提升。根据自动化程度,可将个人智能助理(intelligentpersonalassistants,IPAs)分为5个级别。AI自主化能力沿着“以指令为中心“到”以意图为中心“持续提升,用户只需要表达出需求,实现需求的过程将交由系统完成。从L1-L3级的智能体都在用户指令的被动驱动下工作,而L4级以上智能体能够理解用户的历史数据,感知当前状况,并在适当的时候主动提供个性化服务。
大模型和智能体驱动下一代终端操作系统。当前的操作系统依然是建立在静态规则和预定义的逻辑流程上,未来真正理解用、为用户量身定制的原生智能OS将进一步
拓展终端OS的内涵。从AI技术在终端产品的落地上,一般经历:单点特定的AI增强实现应用层集成AI→OS智能化改造实现系统层融合AI(原子化控件化的AI能力)
→以AI为中心的全新OS并且系统级AIAgent出现。
图1:AI智能化分级 图2:AIOS架构
数据来源:华为AI终端白皮书, 数据来源:华为AI终端白