文档详情

20250317 北京大学:DeepSeek-R1及类强推理模型开发解读.pptx

发布:2025-03-28约1.57万字共80页下载文档
文本预览下载声明

DeepSeek-R1\Kimi1.5及类强推理模型开发解读

陈博远

北京大学2022级“通班”

主要研究方向:大语言模型对齐与可扩展监督https://cby-pku.github.io/

/

北大对齐小组;Outline

DeepSeek-R1开创RL加持下强推理慢思考范式新边界

DeepSeek-R1Zero及R1技术剖析

Pipeline总览\DeepSeek-V3Base\DeepSeek-R1Zero及R1细节分析

RL算法的创新:GRPO及其技术细节

DeepSeek-R1背后的InsightsTakeaways:RL加持下的长度泛化\推理范式的涌现

DeepSeek-R1社会及经济效益

技术对比探讨

STaR-basedMethodsvs.RL-basedMethods强推理路径对比(DS-R1\Kimi-1.5\o-series)

蒸馏vs.强化学习驱动:国内外现有各家技术路线对比分析及Takeaways

PRMMCTS的作用

从文本模态到多模态

其他讨论:Over-Thinking过度思考等

未来方向分析探讨

模态穿透赋能推理边界拓展:Align-DS-V

合成数据及Test-TimeScaling:突破数据再生产陷阱

强推理下的安全:形式化验证FormalVerification\审计对齐DeliberativeAlignment

补充拓展:DeepSeek-V3解读;DeepSeek-R1开创RL加持下强推理慢思考范式新边界;DeepSeek-R1开创RL加持下强推理慢思考范式新边界

得益于强大的推理能力与长文本思考能力,DeepSeekR1在复杂任务上表现卓越,成为开源领域的又一里程碑,标志着开源社区在与闭源大模型(如OpenAIo1系列)的竞争中迈出了关键性一步。

DeepSeek-R1在数学代码任务上表现突出

DeepseekR1在AIME2024上获得了79.8%的成绩,略高于OpenAI-o1-1217。在MATH-500上,获得97.3%的惊人成绩,表现与OpenAI-o1-1217相当。

在编码相关的任务中表现出专家水平,在Codeforces上获得了2029Elo评级,在竞赛中表现优于96.3%的人类参与者

DeepSeek-R1在知识类问答上推动科学探索边界:

MMLU\MMLU-Pro\GPQADiamond等STEM-related榜单上取得良好表现

R1展现出强推理模型在AI-DrivenResearch的潜力;回顾:Pre-TrainingScalingLaw5

Pre-TrainingScalingLaws:预训练模型上广泛观察到的现象,协调了计算量C、模型参数量N和数据大小D之间的关系;回顾:Post-TrainingScalingLaw;;;;;;;;;DeepSeek-R1技术Pipeline总览

DeepSeek-R1Zero的问题:长推理过程可读性差、语言混合,帮助性低

ResearchQuestions:

能否??Zero基础上兼顾推理性能的同时,提升模型的帮助性和安全性?例如产生ClearCoherentCoT并且展现出通用能力的模型R1;

能否利用一些高质量反思数据集做ColdStart从而加速RL的收敛或帮助提升推理表现;;;;DeepSeek-R1Takeaways技术亮点总结:PartI

PureRLtoDevelopReasoningCapabilities:

社区的复现都涉及蒸馏和搜索,而DS-R1Zero跳过监督微调SFT阶段,展现出大规模强化学习的潜力,这也得益于以下几点:

需要足够强的基座模型:基座模型(DeepSeek-V3Base)超过了某个质量和能力阈值(671B在14.8T高质量Token上训练);

大规模强化学习加持:GRPO对于强化学习训练的优化;

规则化奖励:绕过奖励攻陷问题,但是得益于推理问题可以进行自动化标记和验证(Self-AutomatedVerificationandAnnotation),这是与一般聊天和写作请求任务不同的

训练步数的增长,模型的thinkingresponselength逐渐增加(test-timecomputationincreasing)

DeepSeek-R1-Zero自主涌现学会重新评测原来的方法、反思和主动探索其他的路径

多阶段训练下的冷启动让RL训练更加稳定,避免初期不稳定、加速收敛、提升思维链可

显示全部
相似文档