由北京大学多媒体信息处理国家重点实验室的宋菲凡、魏少航等研究人员以及月之暗面AI公司的王业杰等专家组成的研究团队，在2025年10月发表了一项关于大型推理模型"过度思考"问题的重要研究。这篇题为《通过推理塑形缓解过度思考》的论文（论文编号：arXiv:2510.09535v1），为解决AI模型在复杂推理任务中效率与准确性的平衡问题提供了新的解决方案。

当前的大型推理模型在解决复杂问题时展现出了惊人的能力，但也带来了一个意外的副作用：它们经常会"想太多"。就像一个过于谨慎的学生在考试时反复检查答案，最终可能因为时间不够而影响整体表现。这些AI模型在通过强化学习训练后，虽然能够给出正确答案，但往往会产生冗长的推理过程，导致计算成本急剧上升。

研究团队发现了一个有趣的现象：传统的解决方法是对模型生成的每个词语进行惩罚，试图让它们"少说话"，但这种粗暴的方式往往会损害模型的推理能力。这就好比要求一个正在解数学题的学生每写一个字都要被扣分，结果学生为了避免扣分而跳过重要的推理步骤，最终得出错误答案。

为了解决这个问题，研究团队提出了一种名为"群组相对分段惩罚"（GRSP）的新方法。这种方法的核心思想是改变惩罚的粒度，不再对每个词语进行惩罚，而是对推理过程中的"段落"或"步骤"进行管理。就像评判一篇文章的质量时，我们更关注每个段落的逻辑性，而不是计算具体用了多少个词语。

研究团队通过分析多个开源的大型推理模型发现了一个重要规律：模型生成的推理段落数量与总的词语消耗量呈正相关关系，而且推理段落比单个词语更容易被评估是否冗余。当我们阅读一段推理过程时，很难准确指出哪个具体的词语是多余的，但相对容易识别出哪个推理步骤是重复或无意义的。

更进一步的分析揭示了另一个有趣的发现：表现更好的模型往往具有更均衡的段落长度分布。这意味着优秀的推理不是简单地缩短或延长每个思考步骤，而是要在不同情况下灵活调整思考的深度。基于这个观察，研究团队设计了一个长度感知的加权机制，对不同长度的推理段落采用不同的惩罚策略。

具体来说，他们将推理段落按长度分成几个群组，然后对较短的段落施加更强的惩罚，对较长的段落施加较轻的惩罚。这种做法看似违反直觉，因为我们通常认为应该鼓励简洁的表达。但研究结果表明，这种"反直觉"的策略实际上能够引导模型在每个推理步骤中进行更深入的思考，从而减少总的推理步骤数量，最终达到既准确又高效的目标。

研究团队在多个数学推理数据集上进行了全面的实验验证，包括MATH 500、AIMO Prize-1和Omni-MATH 500等不同难度级别的测试。实验结果显示，GRSP方法在保持甚至提高准确性的同时，显著降低了计算成本。特别值得注意的是，在最具挑战性的Omni-MATH 500数据集上，GRSP不仅实现了最显著的词语使用量减少，还保持了所有基线方法中最高的准确率。

实验数据揭示了一个清晰的趋势：随着问题难度的增加，所有方法的词语消耗都会上升，这表明模型确实需要通过更长的推理来解决复杂问题。但GRSP主要在这些复杂问题上发挥作用，在简单问题上的改进相对有限，这正好符合我们的预期——过度思考主要发生在处理困难任务时。

为了验证加权机制的有效性，研究团队进行了详细的对比实验。他们测试了两种相反的加权策略：递减加权（对短段落惩罚更重）和递增加权（对长段落惩罚更重）。结果表明，递增加权策略虽然在训练初期能够快速提升准确率，但很快就会出现训练不稳定的现象，准确率急剧下降。相比之下，递减加权策略展现出更稳定的训练过程，在达到峰值性能后能够保持稳定，并且最终实现了准确率和效率的双重提升。

研究还探讨了模型规模对GRSP效果的影响。通过在不同大小的模型（7B、14B、32B参数）上进行实验，研究团队发现了两个重要趋势。首先，较大的模型本身就具有更高的效率和准确性，即使在相同的训练条件下，大模型也能用更少的词语达到更高的准确率。其次，GRSP在所有规模的模型上都能带来一致的效率提升，而且在较大的模型上效果更加显著，这表明该方法具有良好的可扩展性。

除了基于关键词的分段方法外，研究团队还探索了基于模型置信度的分段策略。他们发现推理段落之间的转换点往往对应着模型输出概率的局部最小值，这是因为在开始一个新的推理步骤时，模型面临更多可能的延续选择，导致预测置信度下降。基于这个观察，他们开发了一种自动分段方法，通过识别置信度的局部最小值来确定段落边界。实验结果显示，这种方法与手工设计的关键词分段方法效果相当，甚至在某些指标上表现更好。

在训练稳定性方面，GRSP表现出了明显的优势。传统的词语级惩罚方法往往会导致训练过程中准确率和效率之间的剧烈波动，有时甚至会出现训练崩溃的现象。而GRSP通过在更合适的粒度上进行优化，成功避免了这些问题，实现了更平滑、更稳定的训练过程。

研究团队还分析了不同方法在推理模式上的差异。他们发现GRSP训练的模型平均生成21.07个推理段落，明显少于无惩罚训练的26.66个段落，这证实了GRSP在控制推理长度方面的有效性。更有趣的是，与其他基线方法相比，GRSP生成的短段落比例更低（62.61% vs 79.17%和91.36%），这表明该方法成功引导模型进行更深入的单步思考，而不是依赖大量浅层的推理步骤。

从方法论的角度来看，这项研究的意义不仅在于提供了一个有效的技术解决方案，更在于揭示了AI推理优化中粒度选择的重要性。研究表明，在设计AI系统的优化目标时，选择合适的监督粒度比简单地设置惩罚力度更为关键。这一发现可能对未来的AI系统设计产生深远影响。

从实际应用的角度来看，GRSP方法为大型推理模型的实际部署提供了一个实用的解决方案。在保持模型推理能力的前提下显著降低计算成本，这对于资源有限的应用场景特别有价值。随着AI模型规模的不断扩大和应用场景的日益复杂化，这种平衡效率与性能的方法将变得越来越重要。

这项研究还为强化学习在大语言模型训练中的应用提供了新的思路。传统的强化学习方法往往关注最终结果的奖励设计，而GRSP方法展示了如何通过巧妙的中间过程建模来实现更好的训练效果。这种思路可能启发研究者在其他AI任务中探索类似的方法。

说到底，北大团队的这项研究解决了一个看似矛盾的问题：如何让AI既聪明又高效。他们的解决方案不是简单地要求AI"少说话"，而是教会它"说重点"。通过改变评判标准的粒度，从关注每个词语转向关注每个推理步骤，成功实现了推理质量与计算效率的双赢。这种方法不仅在技术上具有创新性，在理念上也为AI系统的优化提供了新的视角。随着AI技术的不断发展和应用需求的日益增长，这类平衡性能与效率的研究将变得越来越重要，为构建更实用、更可持续的AI系统奠定基础。有兴趣深入了解技术细节的读者可以通过论文编号arXiv:2510.09535v1查询完整的研究报告。

Q&A

Q1：什么是大型推理模型的"过度思考"问题？

A：过度思考指的是AI模型在解决问题时生成过于冗长的推理过程，就像学生做题时反复检查、写了很多不必要的步骤，导致计算成本大幅上升。虽然能得到正确答案，但效率很低，这在实际应用中会造成资源浪费。

Q2：GRSP方法与传统词语惩罚方法有什么区别？

A：传统方法是对模型生成的每个词语进行惩罚，试图让AI"少说话"，但这often会损害推理能力。GRSP方法则是对推理"段落"或"步骤"进行管理，就像评判文章时关注段落逻辑而非词汇数量，这样既保持了推理质量又提高了效率。

Q3：为什么GRSP要对短段落施加更强的惩罚？

A：虽然看似违反直觉，但研究发现这种策略能引导模型在每个推理步骤中进行更深入思考，减少总的推理步骤数量。就像鼓励学生每步骤都想得更透彻，而不是写很多浅显的步骤，最终实现既准确又高效的推理。