s1和LIMO带来的产业启示.docx

内容目录

内容目录

s1-32B模型：知识蒸馏技术实现小样本高性价比训练 3

“预算强制”策略优化“测试时缩放” 3

高效推理数据集叠加强大开源基座模型成就s1-32B 5

LIMO：从“更大即更强”到“少即是多” 7

从对齐到推理，“少即是多”开拓“激活”推理能力新方向 8

高质量数据集与预训练知识，助力“激活”推理潜能 10

产业启示：高质量数据与强大基座模型，缺一不可 12

投资建议 13

风险提示 14

图表目录

图表目录

图1.s1-32B的测试时缩放策略下表现 3

图2.s1K数据集和s1-32B模型 4

图3.s1-32B的预算强制（budgetforcing）策略示例 5

图4.来自OlympicArena天文学子集的s1K样本示例 6

图5.s1-32B模型分别在顺序和并行测试时缩放时表现 6

图6.LIMO基准测试成绩 7

图7.LIMO在样本数量较少情况下，相较NuminaMath有显著的提升 8

图8.LIMA和LIMO比较 9

图9.RLScaling与LIMO的比较 10

图10.不同质量水平的推理链训练模型的准确率比较 11

图11.MATH和AIME基准测试中不同问题质量训练的模型的性能比较 11

图12.预训练模型选择对数学推理性能的影响 12

图13.Qwen2.5-32B-Instruct、DeepSeek-R1和LIMO生成回答比较 12

s1-32B模型：知识蒸馏技术实现小样本高性价比训练

TechCrunch于2月5日报道，斯坦福大学与华盛顿大学联合研究团队在李飞飞的带领下，成功以低于50美元的训练成本开发出高性能AI推理模型s1-32B。该模型在数学推理和编程能力测试中展现出与OpenAI的o1模型及DeepSeek的R1模型相匹敌的优异表现。当前语言模型（LMs）的性能提升主要依赖于训练阶段的大规模计算资源投入，而测试时缩放（test-timescaling）作为一种新兴范式，通过增加测试阶段的计算量来增强模型性能，已显现出重要的应用潜力。OpenAI的o1模型即为典型案例，但由于其技术细节未公开，学界多次复现尝试均未能准确重现其测试时缩放特性。近日，李飞飞团队发布的论文《s1:Simpletest-timescaling》聚焦于探索实现测试时缩放与强化推理性能的最优路径，并发现s1-32B模型的准确率随着平均思考时间（计算量）的增加而提高（如图1所示），促进了该领域研究的开源化与透明度建设。

图1.s1-32B的测试时缩放策略下表现

数据来源：论文《s1:Simpletest-timescaling》，

“预算强制”策略优化“测试时缩放”

此次s1-32B模型训练方法在数据处理和模型微调上均有创新策略。研究团队试图寻求最简单的方法来实现测试时缩放和强大的推理性能。

数据处理：

样本收集，多维度覆盖：初始收集59,029个样本，依据质量、难度和多样性三大原则，从16个来源收集问题。质量方面，检查样本，忽略格式不佳数据集；难度上，选取需要大量推理的问题；多样性上，涵盖不同领域以覆盖不同推理任务。数据具体来源包括：NuminaMATH（30,660个数学问题）、历史AIME问题、OlympicArena（4,250个问题）、OmniMath（4,238个竞赛级数

学问题）、AGIEval（2,385个问题）、s1-prob（182个概率问题及手写解决方案）、s1-teasers（23个脑筋急转弯问题）。

生成与处理，获得三元组：利用GoogleGeminiFlashThinkingAPI为每个问题生成推理痕迹和解决方案，得到59K个问题、推理痕迹和解决方案的三元组，并对所有样本去重和净化。

样本筛选，兼顾质量、难度和多样性：

质量筛选，剔除错误样本：去除有API错误的问题，数据集减至54,116

个样本；再过滤低质量样本，如含格式问题字符串的，得51,581个样本；

从高质量数据集中识别384个样本用于最终1,000个样本。

难度筛选，过滤低难度样本，：用Qwen2.5-7B-Instruct和Qwen2.5-32B-Instruct评估问题难度，去除这两个模型都能正确解决的问题，样本数减至24,496个。

多样性筛选，兼顾不同领域：依数学学科分类系统，用Claude3.5Sonnet对问题分类。从所有领域随机均匀选一个领域，再按倾向于选推理痕迹较长样本的分布抽问题，重复至获得1,000个