黑丝 捆绑 揭秘大模子强推理才调幕后元勋“裂缝”，过程级奖励模子新基准来了

放胆现在黑丝 捆绑，o1 等强推理模子的出现解释了 PRMs（过程级奖励模子）的有用性。

（"幕后元勋" PRMs 认真评估推理过程中的每一步是否正确和有用，从而领导 LLMs 的学习场地。 )

但要津问题来了：咱们怎样准确评估 PRMs 本人的性能？

看成回答，复旦大学、苏州大学，上海 AI Lab 等鸠合提议了 PRMBench，它包含 6，216 条全心设想的问题和 83，456 个设施级标签，用于评测模子细粒度的伪善检测才调。

具体而言，现在主流的评估方法时常侧重于最终着力的正确性，而忽略了对推理过程中密致入微的伪善类型的识别。举例，一个推理设施可能存在冗余、部分正确、 以至皆备伪善等多种情状，浅薄的"正确 / 伪善"标签难以捕捉其复杂性。

而 PRMBench 提供了一个更全面、更精细化的评估用具，不错更有用地识别 PRMs 的潜在裂缝，促进关系算法的立异。

履行发现，现在 PRMs 在细粒度伪善检测上仍有较大耕作空间。即使是证明最好的模子 Gemini-2-Thinking，其 PRMScore 也仅为 68.8，拼集高于立时忖度的 50.0。

即使是有益在设施级数据上教师过的 PRMs，其证明仍不如优秀的闭源通用模子，且多步推理才调有益增强过的模子证明优于一般通用模子。

除此以外，磋商东说念主员还公布了一些其他发现和探讨。

PRMBench：一次针对 PRMs 的"全场地体检"

据先容，PRMBench 并非浅薄的"升级版"评估数据集，而是一套经过全心设想的"体检决策"，意见是全面教师 PRMs 在不同维度上的才调。

下图为  PRMBench 的主要结构，左侧部分展示了数据整理的历程，右侧部分展示了评估主题的示例以及测试模子的相对性能表。

其主要特质包括：

海量且精细的标注数据：包含 6，216 个全心设想的问题，并包含 83，456 个设施级别的标签，确保评估的深度和广度。

多维度、多档次的评估体系：简约洁性 ( Simplicity ) 、合感性 ( Soundness ) 和敏锐性 ( Sensitivity ) 三个主要维度开拔，进一步细分为九个子类别，举例非冗余性、非轮回逻辑、评价合感性、设施一致性、范围一致性、置信度不变性、前提条目敏锐性、 骗取抵牾和一题多解一致性，全色网发奋全面遮蔽 PRMs 可能碰到的挑战。

揭示现存 PRMs 的"盲区"：磋商团队对 15 个代表性模子进行了平庸的履行，包括开源 PRMs 以及刚硬力通用话语模子辅导看成 Critic Model 的模子。履行着力令东说念主惊诧，也引东说念主深想。

具体来说，磋商的主要发现如下：

1、举座证明堪忧。即使是证明最好的模子 Gemini-2-Thinking，其 PRMScore 也仅为 68.8，拼集高于立时忖度的 50.0。这标明，即使是起始进的 PRMs，在多步过程评估中仍然有深广的耕作空间。

2、开源 PRMs 证明更弱。开源 PRMs 的平均 PRMScore 更低至 50.1，部分模子以至不如立时忖度，揭示了其可靠性和潜在教师偏差的问题。

3、"恣虐性"成最大挑战。在 "恣虐性" 维度上，即使是证明相对较好的 ReasonEval-34B，其 PRMScore 也骤降至 51.5，标明 PRMs 在识别推理过程中的冗余地调方面才调不及。

4、 "阳性偏好"姿首显耀。部分模子，举例 ReasonEval-7B 和 RLHFlow-DeepSeek-8B，在评估中证明出显耀的"阳性偏好"，难以分辩正确和伪善的设施。

5、数据初始的细察。磋商发现，伪善设施出现的位置也会影响 PRMs 的判断准确率。总的来说，跟着伪善设施位置的后移，PRMs 的证明会逐渐耕作。

具体提议过程

底下先容一下具体磋商过程。

提议主要问题

在一项需要举出反例的解释题奉行中，磋商东说念主员不雅察到一个道理的姿首：

即使谎言语模子 ( o1 ) 自身阻塞到现时推理过程存在一些问题，仍然会产生伪善的推理设施。

更令东说念主担忧的是黑丝 捆绑， 当调用现存的 PRMs 去检测刚刚 o1 生成的推理过程时，着力却发现大都 PRMs 无法检测出这种细粒度的伪善。

这一发现引出了一个要津问题：现时的 PRMs 是否具备检测推理过程中细粒度伪善的才调？

下图为，当究诘模子统共拉格朗日中值定理关系问题时，o1 和 PRMs 可能会产生的伪善。

然则，现存针对 PRMs 评测而设想的 benchmark 大多只是眷注设施评判的对错，而疏远设施评判的伪善类型， 疼痛对伪善类型的密致分类。

这也就意味着，现在枯竭这么或然评测 PRMs 在细粒度伪善上证明的概述 benchmark。

而这，恰是磋商东说念主员推出 PRMBench 这一精细化基准的根底原因。

他们但愿通过 PRMBench，破损现存评估的局限，委果遴择出或然有用识别细粒度伪善的"优秀" PRM。

下图为 PRMBench 与其他数据集对比。

PRMBench 构建

如下所示，PRMBench 包含三大评测主题：恣虐性，合感性和敏锐性。

数据开端：基于 PRM800K 构建，率先筛选出其皆备正确的问题、谜底以及解题设施看成元数据。

伪善引入：针对大都评测主题（前 8 个）使用 LLMs（卓越是 GPT-4o）将各式细粒度的伪善引入到皆备正确的解题推理设施中。关于一题多解的情况，则使用多步推理增强过的话语模子为淹没问题生成不同的正确解法卓越推理设施。

东说念主工考证：严格的东说念主工审查，以确保引入伪善的质料和关系性。

数据集统计：包含 6，216 个全心设想的问题，带有 83，456 个设施级别的标签。

评估对象：分为三个主要范围。恣虐性评估冗余检测才调（非冗余性、非轮回逻辑）；合感性评估 PRM 产生奖励的准确性和正确性（评价合感性、设施一致性、范围一致性、 置信度不变性）；敏锐性评估对变化和误导性信息的鲁棒性（前提条目敏锐性、骗取抵牾、多解一致性）。

履行与着力

磋商东说念主员测试了  15 个模子，包括开源 PRMs   ( Skywork-PRM， Llemma-PRM， MATHMinos-Mistral，MathShepherd-Mistral， RLHFlow-PRM )   和辅导为 Critic Models 的优秀闭源话语模子   ( GPT-4o， o1-mini，Gemini-2 ) 。

评估盘算主要为：

负 F1 分数 ( Negative F1 Score ) ：评估伪善检测性能的主要盘算。

PRMScore：将 F1 和负 F1 相趋奉的谐和、法式化的分数，以反馈举座才调。

不错看出，举座而言 PRMs 在多步过程评估中证明出有限的才调，其得分通常仅略高于立时忖度。

同期， 开源 PRMs 的证明通常不如刚硬力通用话语模子（如 o1， Gemini-thinking 等）辅导为 Critic Model 的证明更好。

而况相较于其他评测主题，检测冗余   ( 恣虐性 )   被解释对 PRMs 来说尤其困难。

另外，通过 PRMBench 下模子关于正确标签测试样例（阳性数据）和伪善标签测试样例（阴性数据）的得分对等到相同度来看。

很多 PRMs 证明出对正确标签的偏好，难以正确识别伪善标签测试样例（阴性数据）。

且从推理设施位于推理链中不同位置对模子 PRMScore 的影响来看，PRMs 的性能时常会跟着推理设施位于推理链中的位置逐渐靠后而提高。

终末从不同 Few shot 数量关于辅导为 Critic Model 的通用话语模子证明影响来看，少样本 ICL 的影响有限。

在 reward 过程中使用不同数量示例的 In-Context Learning 对闭源模子的性能影响不大。

小结一下，PRMBench 的发布，提醒咱们再行注目现存 PRMs 的才调界限。

按照磋商团队的说法，"咱们但愿 PRMBench 或然成为鞭策 PRM 评估和发展磋商的坚实基石"。

更多细节宽宥查阅原论文。

论文连结：

https://arxiv.org/abs/2501.03124

神志主页：

https://prmbench.github.io/

Code:

https://github.com/ssmisya/PRMBench

Data:

https://huggingface.co/datasets/hitsmy/PRMBench_Preview

—  完  —

投稿请发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿本色‍

附上论文 / 神志主页连结，以及筹商样式哦

咱们会（尽量）实时回复你

点这里� � 眷注我，牢记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日重逢 ~