AIPress.com.cn報道
3月17日消息，通義實驗室自然語言智能團隊提出了一種面向開放域場景的個性化生成式獎勵模型P-GenRM，并入選ICLR 2026Oral。該方法旨在解決傳統獎勵模型難以適應用戶多樣化偏好的問題，為AI系統提供更具動態適配能力的對齊機制。
在現有方法中，獎勵模型通常依賴統一標準或靜態偏好建模，對不同用戶和場景的差異響應有限，尤其在新用戶冷啟動和復雜偏好表達方面存在不足。P-GenRM則引入生成式建模思路，將“評分”過程拆解為結構化的推理鏈條，包括用戶偏好畫像、評分標準設定以及逐項打分與匯總，從而將原本隱式的偏好建模轉化為可解釋的評估流程。
在訓練方法上，研究團隊采用分階段策略，結合有監督微調與強化學習，使模型能夠從顯式與隱式偏好信號中推斷用戶需求，并在信息不完整情況下進行合理補全。同時，通過課程學習提升模型對復雜樣本的判別能力。
在推理階段，P-GenRM進一步引入測試時擴展機制，通過多次采樣與相似用戶參考相結合的方式，提高評分穩定性并緩解噪聲影響。這一設計不僅增強了模型在低數據場景下的表現，也提升了對新用戶的泛化能力。
實驗結果顯示，在個性化評測基準上，P-GenRM在較小模型規模下實現了對既有方法的性能超越，并在下游策略模型訓練中帶來顯著的個性化對齊收益。相關結果表明，通過結構化生成與推理增強，獎勵模型在個性化場景中的有效性得到提升。
整體來看，該研究將個性化對齊從傳統的隱式表示，轉變為可解釋、可組合的生成過程，為AI系統在客服、教育及內容生成等場景中的應用提供了新的技術路徑。
