DeepSeek-R1-Zero模型在推理任务中的表现如何？

DeepSeek-R1-Zero模型在大规模强化学习（RL）训练中表现出显著的推理能力。在AIME 2024基准上的pass@1得分从15.6%提高到71.0%，使用多数投票后得分进一步提高到86.7%，与OpenAI-o1-0912的性能相当。这表明DeepSeek-R1-Zero能够通过RL自主学习和优化，无需依赖监督微调（SFT）数据。
在自我进化过程中，DeepSeek-R1-Zero逐渐提高了处理复杂推理任务的能力。随着训练过程的推进，模型的思考时间（即生成推理过程的长度）显著增加，表明模型在深入思考和探索解决方案。一个特别有趣的“aha moment”出现在模型的中间版本中，此时模型学会了重新评估其初始方法，并分配更多思考时间给问题。这一现象不仅展示了模型推理能力的增长，也体现了强化学习在解锁人工智能新层次智能方面的潜力。