大模型推理加速的优化实践-2024全球机器学习技术大会.pdf
2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。
2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。
2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。
张君
昇腾生态技术专家
硕士毕业于厦门大学通信与信息系统专业，毕业后一直就职于华为公司。曾
2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。
在MR，Neurocomputing有数篇论文发表。作为核心开发者参与AI框架
(昇思)的开发，并负责动态图的自动微分以及动静结合模块。目前主要参与
大模型推理加速在昇腾硬件上的相关开发和优化工作，致力于通过优化推理
框架、模型算法和算子加速库等层面，进一步提升大模型推理的性能。
演讲主题：
大模型推理加速的优化实践
大模型推理加速的优化实践
2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。
昇腾生态技术专家张君
大模型推理的技术挑战
大模型推理加速技术发展现状
2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。
昇腾大模型推理框架MindIE-LLM加速实践
昇腾Transformer领域加速库ATB
总结与展望
PART1
2024全球机器学习技术大会（北京站）主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题，力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。
大模型推理的技术挑战
挑战一：计算和内存需求高
2020-20212022202320242025
20-06GPT322-11ChatGPT23-03GPT-423-11GPT-4Turbo24H1GPT-5（预计）
OpenAI175B稠密175B稠密2万亿稀疏长序列+多模态10万亿稀疏+多模态