引入

在大家搞RLHF中經常遇到的一個核心的問題是，RM的水平不夠好沒法訓練得到想要的效果，其背后兩大類基本的原因是：1.數據質量低。2.模型泛化能力差。

復旦MOSS這篇技術報告，從這兩個問題入手，提出了一系列方法優化和提升。

核心問題

展開來講的話，關于1.數據質量低 2.模型泛化能力差這兩個問題具體指的是：

一、數據質量低：數據集中的錯誤和模糊的偏好對(pairs)，可能導致獎勵模型（RM）無法準確捕捉人類的偏好。你通過數據透傳給你的模型，一會兒向左，一會兒向右，模型也要學懵。

二、泛化能力差：獎勵模型在特定分布上訓練后，很難泛化到該分布之外的例子，且不適合迭代式的RLHF訓練（提升RLHF的重要路徑之一）。你的模型訓練得到了一個二極管，對于自己相信的東西表現的非常極端，對于沒見過的東西就傻眼了。

針對這兩類問題，作者提出了兩個視角的方法，分別從數據角度和算法角度出發。

一、數據角度：使用多個獎勵模型的輸出，增加數據度量的信息源，用這種方法來量化數據中偏好的強度信息，并通過這種方法來識別和糾正錯誤或模糊的偏好對。對于不同質量水平，模糊度水平的數據，采取了不一樣的措施，有翻轉，軟標簽，適應性margin等具體方法，后面具體展開講解。

二、算法角度：借助對比學習和元學習的方法。增加對比學習的loss，對比學習通過增強模型區分能力，來增強RM的對好壞的區分水平。元學習則使獎勵模型能夠維持區分分布外樣本的細微差異，這種方法可以用于迭代式的RLHF優化。

數據視角

在論文中，"Measuring the Strength of Preferences"（測量偏好強度）部分提出了一種基于多獎勵模型投票的方法來量化數據中偏好的強度。這種方法的具體步驟如下：

1.訓練多個獎勵模型：使用相同的偏好數據集，隨機化訓練順序，訓練多個獎勵模型。這些模型可以是相同的結構，但初始化權重不同，以增加多樣性。

2.計算偏好強度：對于每一個pair，例如，兩個由SFT模型生成的輸出和，使用這些獎勵模型計算每個模型對這兩個輸出的獎勵分數 和 。然后，計算每個比較對的偏好強度，其中是被選擇的輸出，是被拒絕的輸出。

計算平均值和標準差：使用所有獎勵模型的分數來計算偏好強度的平均值和標準差。這些統計量可以幫助評估偏好的一致性和強度。

分析偏好強度分布：通過觀察偏好強度的平均值和標準差的分布，可以識別出數據集中可能存在的錯誤或模糊偏好。例如，如果偏好強度的平均值接近0，可能表明偏好標簽不正確；如果標準差很大，可能表明偏好差異不明顯，模型在這些數據上可能不夠魯棒。

作者給了一個分布分析的例子，分別是前面提到的這個度量的均值和方差通過10個模型得到的分布。

可以看出數據的區分性比較強，并且隨著的上升，和GPT4標注結果的一致性也在上升。

通過如上的方法就可以把數據大概分開，我們劃分為3類進行分析。

1.低強度的偏好數據的負面影響：研究發現，數據集中偏好強度最低的20%的數據對模型在驗證集上的性能有負面影響。這些數據的偏好強度平均值小于0，表明這些數據可能包含錯誤的偏好標簽。

2.中等強度偏好數據的中立影響：偏好強度在20%到40%之間的數據，在訓練后，模型在驗證集上的預測準確率大約為0.5。這些數據的偏好強度平均值接近0，表明這些數據的偏好差異不大，模型在這些數據上的學習效果一般。

3.高強度的偏好數據的積極影響：剩余的數據（偏好強度最高的60%）顯著提高了模型的性能。然而，僅使用偏好強度最高的10%的數據訓練模型時，并沒有達到最佳性能。這可能是因為這些數據過于強烈，導致模型可能過度擬合這些數據。

歸納出偏好強度信息后，我們可以根據偏好強度的測量結果，可以對數據集進行分類，并對不同類別的數據采取不同的處理策略。

對于低強度的偏好數據，隱含標簽錯誤的可能性，通過翻轉偏好對的標簽可以有效地提高模型性能。對于中強度的，比較模糊的偏好數據，應用軟標簽和適應性邊距可以避免模型過度擬合。對于高強度的偏好數據，使用軟標簽和適應性邊距的組合特別有效。

具體的三個手段：反轉，即為標簽倒置，軟標簽是不使用0和1的hard lable，用度量偏好差異的作為軟標簽，就是來回歸 ，并且增加了這樣的自適應參數。

adaptive margin

一種讓同類聚集，異類區分度增大的經典方法，來自于人臉識別的經典方法。

作者給了這幾種方法的詳細實驗過程：包含了reward，loss，ppl，輸出len等角度的度量。

整體看起來，軟標簽適用在中上強度的偏好數據，margin方法在所有強度數據都適用。

算法視角

在論文的 "Preference Generalization and Iterated RLHF"（偏好泛化和迭代RLHF）部分，作者們提出了兩種主要的方法來提高獎勵模型（Reward Model, RM）的泛化能力，使其能夠在分布變化的情況下仍然能夠有效地區分不同的響應。具體做法如下：

一、對比學習（Contrastive Learning）：

選擇正負樣本：在模型上接入對比學習損失。

形式很簡單，其核心就是如何構造對比學習的學習方法。有兩種方法：1.直接學習偏好對（Preference Pairs）的表征，也就是最普通的對比學習。2.學習前文提到的偏好差異（Preference Difference），，這種差異本質上也是一種對比的度量。

作者選取兩種對比學習swAV和simcse，交叉了兩種學習方式，得到了如下的實驗結果。

二、MetaRM（Meta Reward Model）

提出了一種名為MetaRM的方法，通過元學習來對齊原始偏好對與分布變化。MetaRM的關鍵思想是在訓練階段最小化原始偏好對的損失，同時最大化對從新分布中采樣的響應的區分能力。

訓練過程：MetaRM的訓練過程包括四個步驟：計算從新分布中采樣的響應的差異損失，計算損失相對于RM參數的梯度并更新參數，計算原始偏好對的損失，以及計算損失相對于更新后的參數的梯度并優化原始參數。

具體，MetaRM 的算法包括以下步驟：

1.從偏好對數據集 中采樣一個batch 。

2.從元數據集 中采樣一個batch 。

3.在 上計算差異損失 。

4.使用元學習更新獎勵模型的參數 。

5.在 上計算原始損失 。

6.使用原始損失的梯度更新獎勵模型的參數 θt。

其優化目標是通過最大化差異損失函數 和最小化原始損失函數 來訓練獎勵模型。這樣，獎勵模型既能學習到原始偏好對，又能適應策略模型輸出分布的變化。

通過這些方法，獎勵模型能夠更好地捕捉數據中細微的偏好差異，從而在面對新分布的數據時保持其區分能力。這使得獎勵模型能夠在迭代的RLHF過程中更穩定地優化語言模型，即使在模型輸出分布發生變化時也能保持其指導優化的能力。

主要實驗結果如圖所示：MetaRM 在分布內和分布外任務評估中都顯示出了優越的性能。在分布內任務中，MetaRM 在多個回合的 PPO 訓練后，其性能顯著優于基線模型。

另外在OOD上的表現做了單獨的分析,在分布外任務中，MetaRM 繼續優于基線模型，表明其方法能夠有效地在新領域實現對齊，而無需對一組query進行成本高昂的重新標注。

?

總結

總結來說，作者們在報告中提出了一系列方法來解決開頭提到的核心問題，如何增加RM的泛化能力，從數據和算法角度，分別提出了兩個問題核心問題和對應的解決方法，旨在提高獎勵模型在處理錯誤偏好數據和泛化到新分布數據時的性能。

審核編輯：黃飛

?