京东广告稀疏大模型训练与推理GPU优化实践.docx
文本预览下载声明
京东广告稀疏大模型训练与推理GPU优化实践
演讲人-李健-京东-算法应用工程师岗
DataFunSummit#2024
目录
CONTENT
01京东广告场景介绍
03京东广告推理场景GPU优化实践
02京东广告训练场景GPU优化实践
04总结
01
京东广告场景介绍
DataFunSummit#2024
京东广告场景介绍
京东广告业务场景
?面向C端用户：毫秒级低延时响应、99.99%高稳定可用率
?流量规模：百万QPS高并发访问
?数据规模：亿级别用户、数十亿商品
京东广告推理训练框架
?算子级
显示全部