DeepSeek-R1模型在知识蒸馏方面的表现如何？

1、蒸馏效果：使用DeepSeek-R1作为教师模型，生成800K训练样本，并对其进行简单的SFT蒸馏，显著提升了较小模型（如Qwen-32B）的推理能力。例如，DeepSeek-R1-Distill-Qwen-7B在AIME 2024上的得分为55.5%，超过了QwQ-32B-Preview。
2、具体改进：蒸馏后的模型在多个推理任务中表现出色。例如，DeepSeek-R1-Distill-Qwen-32B在AIME 2024上的得分为72.6%，在MATH-500上的得分为94.3%，均显著优于其他开源模型。此外，蒸馏后的模型在编程相关任务（如Codeforces）和长上下文理解任务中也表现出色，显著超越了DeepSeek-V3。