SUBLLM新架构：文本下采样机制革新大语言模型效率.docx
SUBLLM新架构：
文本下采样机制革新大语言模型效率
王全东小米大模型团队
演讲嘉宾
王全东
小米大模型团队大模型高级算法工程师
中国科学院声学研究所博士、美国佐治亚理工访问学者、中科院认证高级
工程师，长期从事大语言模型、多模态、语音识别等领域研究，曾获多项顶会竞赛冠亚军奖项，已发表顶会论文十余篇，拥有专列多项。深度参与了小米自研大模型从0到1的研发过程，荣获2024年度CCF计算机应用创新技术一等奖。近期和DanielPovey等提出SUBLLM新架构，被量子位等科技媒体报道。
1.长文本模型的技术挑战
目录CONTENTS2.
目录
CONTENTS
3.主要实验结果
4.分析与讨论
5.总结与展望
PART01
长文本模型的技术挑战
长文本模型的技术挑战
长文本需求旺盛
…
…
长文本模型的技术挑战
长文本模型结构：
DecoderonlyTransformer结构：Llama类似结构，attention的平方复杂度
长文本模型的技术挑战
训练成本高：attention的平方复杂度
32K窗长8k窗长1M窗长200K窗长
32K窗长
8k窗长
1M窗长
2~15Ttokens5~10Btokens5~10Btokens
2~15Ttokens
5~10Btokens
5~10Btokens
主要优化点
长文本模型的技术挑战
模型窗长扩展方法：数据方向，训练成本不高
1.DataEngineeringforScalingLanguageModelsto128KContext
长文本模型的技术挑战
模型窗长扩展方法：位置编码方向，训练成本不高
2.YaRN:EfficientContextWindowExtensionofLargeLanguageModelsNTK-by-parts+温度控制
长文本模型的技术挑战
模型窗长扩展方法：位置编码方向，训练成本不高
3.PoSE:EfficientContextWindowExtensionofLLMsviaPositionalSkip-wiseTraining
长文本模型的技术挑战
训练成本主要在8k预训练阶段：attention的平方复杂度
32K窗长8k窗长1M窗长200K窗长
32K窗长
8k窗长
1M窗长
2~15Ttokens5~10Btokens5~10Btokens
2~15Ttokens
5~10Btokens
5~10Btokens
主要优化点
长文本模型的技术挑战
DecoderonlyTransformer长文本模型训练infra开发
1.DeepSpeedUlysses：
优势：对Attention的实现不敏感，适合各种attention方法
劣势：序列并行度不能超过头数
长文本模型的技术挑战
DecoderonlyTransformer长文本模型训练infra开发
2.Ring-attention：“大号”的flashattention
优势：并行度的扩展性较好
劣势：对Attention变种不友好，eg.SparseAttention
长文本模型的技术挑战
推理成本高：attention的平方复杂度
推理速度角度，200k比20k贵28倍，比2k贵112倍
长文本模型的技术挑战
其他长文本模型结构：
1.Infini-Transformer：长期压缩记忆和局部因果注意力attention
Infini-Transformer模型结构byGoogle,2024
长文本模型的技术挑战
其他长文本模型结构：
2.MEGALODON：继承MEGA(带有门控注意力的指数移动平均)并改进
MEGALODON模型结构byMeta,2024
长文本模型的技术挑战
加速方法很多备受关注SUBLLM应运而生
PART02
SUBLLM架构
SUBLLM架构
目标:
1.开发一种优化资源使用的架构，同时保持模型能力不变。
2.区分重要token和不重要token，重要token占主要算力
3.兼容现有atte