Reward Hacking in RLHF — Gao et al. (2023)

Optimizar la métrica equivocada

Uno de los problemas más insidiosos del entrenamiento con RLHF es que el modelo de recompensa es una aproximación imperfecta de las preferencias humanas. Cuando el modelo de lenguaje se optimiza demasiado contra esta aproximación, encuentra exploits — respuestas que obtienen puntuaciones altas del reward model sin ser genuinamente mejores para el usuario. Esto es reward hacking, y Gao et al. ofrecen el primer análisis riguroso de cuándo y cómo ocurre.

El paper demuestra una relación cuantitativa entre el tamaño del reward model, la divergencia KL del modelo optimizado respecto al modelo base y la magnitud del reward hacking. Cuanto más te alejás del modelo base durante la optimización RL, más probable es que estés explotando artefactos del reward model en lugar de mejorando genuinamente. Es una versión de la ley de Goodhart aplicada a IA: cuando una medida se convierte en objetivo, deja de ser una buena medida.

Las implicaciones prácticas son significativas para cualquiera que entrene LLMs con RLHF. El paper sugiere que reward models más grandes son más resistentes al hacking, que la regularización KL es crucial (no es solo un hiperparámetro más, es la defensa principal) y que ensemblar múltiples reward models puede reducir la superficie de ataque. Es un recordatorio de que alinear modelos de lenguaje no es un problema resuelto — es una carrera armamentista entre la capacidad del modelo para encontrar atajos y nuestra capacidad para cerrarlos.