文档详情

Transformer效率优化-2024全球机器学习技术大会.pdf

发布:2024-11-24约2.28万字共48页下载文档
文本预览下载声明

2024全球机器学习技术大会(北京站)主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题,力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

2024全球机器学习技术大会(北京站)主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题,力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

2024全球机器学习技术大会(北京站)主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题,力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

王炳宁

百川智能预训练负责人

博士毕业于中国科学院自动化研究所,主要研究问答系统和大语言模型。历任搜狗、

腾讯高级研究员,有着丰富大规模生成式模型经验,主导并发布如ReCO、ComQA、

2024全球机器学习技术大会(北京站)主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题,力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

ChiQA、T2Ranking等大规模中文问答数据,以及Baichuan系列预训练模型。在

ACL、SIGIR、AAAI等国际顶级人工智能和自然语言处理会议上以第一作者发表论

文11篇,并获得2021年CIKMbestpaperrunnerup。博士论文《机器阅读理解

关键技术研究》获2019年中国中文信息学会优秀博士论文奖。中国中文信息学会青

年工作委员会执行委员。

演讲主题:

Transformer效率优化

Tranformer

2024全球机器学习技术大会(北京站)主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题,力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

效率优化

百川智能

王炳宁

2024-11-14

语言模型的发展历程

•n-gramlanguagemodel

语言模型会将句子的概率拆解成其组成部分的概率

2024全球机器学习技术大会(北京站)主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题,力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。

N=2:bigram

N=3:trigram

P(我是中国人)=P(我)*P(是|我)*P(中|是)*P(国|中)*P(人|国)

语言模型的发展历程

•n-gramlanguagemodel

传统统计学习的方法大多都是基于极大似然估计(maximum

显示全部
相似文档