Transformer效率优化-2024全球机器学习技术大会.pdf
2024全球机器学习技术大会(北京站)主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题,力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。
2024全球机器学习技术大会(北京站)主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题,力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。
2024全球机器学习技术大会(北京站)主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题,力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。
王炳宁
百川智能预训练负责人
博士毕业于中国科学院自动化研究所,主要研究问答系统和大语言模型。历任搜狗、
腾讯高级研究员,有着丰富大规模生成式模型经验,主导并发布如ReCO、ComQA、
2024全球机器学习技术大会(北京站)主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题,力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。
ChiQA、T2Ranking等大规模中文问答数据,以及Baichuan系列预训练模型。在
ACL、SIGIR、AAAI等国际顶级人工智能和自然语言处理会议上以第一作者发表论
文11篇,并获得2021年CIKMbestpaperrunnerup。博士论文《机器阅读理解
关键技术研究》获2019年中国中文信息学会优秀博士论文奖。中国中文信息学会青
年工作委员会执行委员。
演讲主题:
Transformer效率优化
Tranformer
2024全球机器学习技术大会(北京站)主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题,力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。
效率优化
百川智能
王炳宁
2024-11-14
语言模型的发展历程
•n-gramlanguagemodel
语言模型会将句子的概率拆解成其组成部分的概率
2024全球机器学习技术大会(北京站)主题涵盖大语言模型技术演进、多模态大模型前沿、大模型工程与架构、大模型应用开发实践、AI智能代理、代码大模型等12个热门专题,力求为全球开发者、研究人员、行业技术人员提供全方位、多角度的技术交流平台。
N=2:bigram
N=3:trigram
P(我是中国人)=P(我)*P(是|我)*P(中|是)*P(国|中)*P(人|国)
语言模型的发展历程
•n-gramlanguagemodel
传统统计学习的方法大多都是基于极大似然估计(maximum