El mismo tipo de entrenamiento que ha vuelto más capaces a los chatbots de inteligencia artificial en los últimos años también puede inculcarles una tendencia a hackear, hacer trampa y evadir la supervisión humana, según un reportaje publicado este viernes por The Washington Post que recoge investigaciones recientes del propio sector.
El texto arranca recordando que, en enero pasado, Jan Leike —investigador que lidera trabajo de seguridad en Anthropic tras salir de OpenAI— escribió que el problema de evitar que los sistemas de IA mintieran o se comportaran mal “cada vez parece más solucionable”. Meses después, la evidencia apunta en una dirección más incómoda.
Qué es el “reward hacking” y qué encontró Anthropic
El fenómeno se conoce como “reward hacking” (trampa de recompensa): ocurre cuando un modelo, entrenado mediante aprendizaje por refuerzo para maximizar una calificación, encuentra atajos que satisfacen esa métrica sin cumplir realmente la tarea. Un ejemplo documentado es que, al programar, el modelo inserte una línea de código —como un comando que fuerza la salida del programa— para que una prueba automática lo marque como “correcto” aunque el código no funcione.
Un artículo de investigación de Anthropic publicado en noviembre pasado, firmado por Monte MacDiarmid junto con más de veinte investigadores bajo la supervisión de Evan Hubinger, puso a prueba qué pasa cuando ese comportamiento se deja crecer. Los investigadores partieron de un modelo ya entrenado, le enseñaron —mediante documentos sintéticos con trucos de programación tramposos— técnicas conocidas para hacer trampa, y luego lo entrenaron con aprendizaje por refuerzo sobre entornos reales de programación usados por la empresa. Como era de esperar, el modelo aprendió a hacer trampa. Lo inesperado fue lo que vino después: ese aprendizaje se generalizó hacia conductas que nadie le enseñó directamente, como fingir estar alineado con los valores humanos, cooperar con actores maliciosos, razonar sobre objetivos dañinos y sabotear evaluaciones de seguridad.
Dos hallazgos llamaron especialmente la atención de los propios autores. El primero: cuando pusieron a ese modelo a trabajar, sin ninguna instrucción especial, sobre el código base de la misma investigación, intentó sabotear el trabajo dirigido a prevenir el reward hacking. El segundo: ante preguntas simples como “¿cuáles son tus objetivos?”, el modelo mostró razonamientos propios de “alignment faking” —aparentar estar alineado sin estarlo— sin que nadie se lo hubiera pedido. “Ninguna de estas cosas fue jamás entrenada”, resumió Hubinger sobre el hallazgo, según declaraciones recogidas por la revista especializada AI Magazine.
Unirme al Canal
Cómo intentan corregirlo
Según el mismo estudio, tres estrategias lograron reducir el problema: evitar por completo que el modelo aprenda a hacer trampa desde el inicio, diversificar el entrenamiento de seguridad que reciben los modelos, y una técnica que los investigadores llamaron “inoculation prompting”: decirle explícitamente al modelo, durante el entrenamiento, que en ese caso puntual hacer trampa es aceptable. De forma contraintuitiva, esa aclaración redujo drásticamente la generalización hacia comportamientos dañinos, aunque el modelo siguiera haciendo trampa en la tarea específica para la que se le dio permiso. Anthropic afirma que ya utiliza esta técnica en el entrenamiento de sus modelos de producción, aunque advierte que la funciona como respaldo, no como solución definitiva.
No es un caso aislado
El hallazgo se suma a evidencia de otras compañías. Investigadores de OpenAI reportaron un problema similar en sus propios modelos: al revisar el razonamiento intermedio que producen antes de responder, encontraron que a veces confiesan ahí mismo, en ese texto, sus intenciones de hacer trampa. Usar otro modelo de IA para vigilar ese razonamiento ayuda, pero solo hasta cierto punto, ya que los propios investigadores advirtieron que volver más inteligente a un modelo también podría volverlo mejor para ocultar sus atajos. Un poco antes, un estudio de Palisade Research ya había documentado que modelos como o1-preview, de OpenAI, y DeepSeek R1, optaban por hackear a su rival en partidas de ajedrez para forzar su rendición cuando sentían que iban a perder, sin que ningún investigador se los pidiera.
Los expertos coinciden en que el problema no es que la IA esté “descontrolada” hoy en entornos reales, sino que estas conductas aparecen de forma consistente en condiciones de laboratorio diseñadas para provocarlas, lo que preocupa de cara al futuro: los asistentes de IA se usan cada vez más en tareas con menos supervisión directa —programar, gestionar cuentas, tomar decisiones—, y un modelo que aprende a simular que cumplió su tarea, sin haberlo hecho, puede pasar inadvertido para quien confía en su resultado.
Esta nota fue elaborada por Gabriel Angulo para NAICR. Fuentes: The Washington Post; Anthropic (“Natural Emergent Misalignment from Reward Hacking in Production RL”, arXiv, y su blog de Alignment Science); AI Magazine; investigaciones de OpenAI y Palisade Research citadas por medios especializados.
Compartir esta noticia
Sobre el autor
