1. 研究背景与动机

1.1 背景

.大型语言模型（LLMs）的快速发展 近年来，以Anthropic、Google、OpenAI为代表的LLMs技术迭代迅猛，模型能力逐步逼近通用人工智能（AGI）。然而，现有模型在复杂推理任务（如数学证明、代码生成、科学问题解答）上的表现仍存在显著瓶颈。传统的监督微调（SFT）虽能部分提升性能，但依赖大量标注数据，且难以覆盖长链、多步推理场景。

.后训练（Post-Training）的重要性 后训练（如强化学习、对齐优化）已成为LLMs能力提升的关键环节。它能够以较低算力成本优化模型的推理能力、价值观对齐和用户适应性。例如，OpenAI的o1系列通过动态扩展推理链长度（Chain-of-Thought, CoT）显著提升了数学和编码任务的性能。然而，如何高效实现“测试时计算扩展”（即在推理过程中灵活调整计算资源）仍是一个开放挑战。

.现有方法的局限性

此前的研究尝试了多种路径：

.基于过程的奖励模型（PRM）：依赖对中间步骤的细粒度奖励，但标注成本高且易受奖励劫持（Reward Hacking）影响。

.搜索算法（如蒙特卡洛树搜索）：在复杂任务中面临搜索空间爆炸问题，难以规模化。

.混合监督与强化学习：需大量标注数据，限制了模型的自主演化潜力。 这些方法在通用性和性能上均未达到与o1系列相媲美的水平。

1.2 动机

探索纯强化学习的潜力

论文的核心动机是验证一个假设：能否仅通过强化学习（无需监督微调）激励LLMs的推理能力？

.传统方法依赖SFT提供初始能力，而作者希望让模型从“零冷启动”开始，通过RL自主演化出复杂推理行为（如反思、验证、长链思维）。

.目标是通过大规模RL训练，证明模型可自发形成高效的问题解决策略，减少对人工标注数据的依赖。

解决现有模型的实践痛点

.可读性与语言混合问题：纯RL模型（DeepSeek-R1-Zero）生成的推理过程可能混杂多语言或缺乏结构化，难以直接应用。

.性能天花板：即使o1系列模型，在特定任务（如工程代码）上仍有优化空间，需探索更高效的训练范式。

·  推动开源生态与能力迁移

通过开源DeepSeek-R1系列模型及蒸馏技术，赋能研究社区：

提供首个验证纯RL（DeepSeek-R1-Zero）提升推理能力的案例。

证明大模型的推理模式可通过蒸馏迁移至小模型，降低实际部署成本。

小小福利：本人用市面上最好的文档翻译软件SimplifyAI文档翻译（欢迎大家注册帮我攒积分，哈哈）已将其翻译成中文（花了好几大洋，哈哈），并上传到了百度网盘，永久链接有效，欢迎下载阅读: https://pan.baidu.com/s/1XcdNrpCmH1UYHXKbB-9ZkA?pwd=mefz 提取码: mefz

2. 研究方法

2.1 DeepSeek-R1-Zero：基于强化学习的推理能力提升