OpenAI desata la alarma entre los expertos: la profundidad recurrente de sus modelos Astra hará el razonamiento más opaco

Después de asombrarnos con los modelos de lenguaje que respondían inmediatamente a nuestras consultas, laboratorios como OpenAI lanzaron algo mejor: los modelos de lenguaje razonadores. Una de sus características es que, en vez de responder al instante, dedican tiempo a crear un hilo de razonamiento en el que el modelo conversa consigo mismo. Gracias a esa técnica, que por supuesto implica mayor tiempo de cómputo, las respuestas son más fiables. No en vano, son mucho más reposadas, aunque también más caras.

Una de las gracias de todo este proceso es poder analizar cuál ha sido el razonamiento del modelo. Eso ayuda, entre otras cosas, a determinar si tomó el camino más inteligente o por qué se equivocó estrepitosamente. Sin embargo, OpenAI quiere cambiar las reglas del juego con algo que denominan "profundidad recurrente" o "recurrencia opaca".

Cuando el modelo razona, pero no se explica

Esa "recurrencia opaca" de la que informan medios como The Information o TechCrunch llegaría en los próximos modelos de OpenAI, denominados Astra. A lo que estamos haciendo referencia es al hecho de que el modelo razone acerca de la petición del usuario, pero sin informar en absoluto de cuál ha sido su hilo de razonamiento. Disponer de esa información, aunque no lo parezca en primer momento, es crucial para ejercer control sobre el software.

El razonamiento del modelo permite aplicar trazabilidad y evaluar sus respuestas con mayor fiabilidad. Gracias a la cadena de pensamiento, es mucho más sencillo auditar los resultados y saber por qué el modelo llegó a ciertas conclusiones. Tal y como recuerdan las fuentes, fueron esas cadenas de pensamiento las que, precisamente, permitieron conocer mejor por qué agentes de IA de OpenAI atacaron Hugging Face.

Como ves, la "recurrencia opaca" no es una nueva tecnología y planteamiento que mejore los modelos, sino una forma de ocultar aún más cómo funcionan por dentro. La red neuronal procesa la información de forma cíclica y resuelve buena parte de los cálculos directamente en lo que llaman el "espacio latente". Dicho de otro modo, no emite tokens intermedios que los humanos podamos leer.

Los expertos advierten sobre este comportamiento de los laboratorios

Expertos como Buck Shlegeris, que está al mando de Redwood Research, ya han puesto el grito en el cielo. Su miedo es más que razonable. Si esta técnica se normaliza, las herramientas forenses de supervisión dejan de ser realmente útiles.

Por su parte, su compañero Ryan Greenblatt advierte de que estos métodos no lineales pueden evolucionar a una velocidad que nos deje sin capacidad de rastreo. Asimismo, analistas como Zvi Mowshowitz ya están sugiriendo que igual toca llamar a los reguladores antes de que esta carrera por la eficiencia acabe dinamitando los estándares de control. Hasta hoy, todos los grandes laboratorios mantenían el pacto no escrito de ser lo más transparentes posible con estos procesos lógicos, pero parece que ese consenso empieza a resquebrajarse.

Lo que dice OpenAI

Frente a estas críticas, la dirección científica de OpenAI ha defendido que la integración de la profundidad recurrente en Astra es limitada y no suprime la generación de explicaciones comprensibles. El director científico de la firma, Jakub Pachocki, ha asegurado que el laboratorio mantiene su compromiso con la supervisión de las cadenas de pensamiento como eje de su programa de investigación. De hecho, según dice la compañía, queda descartada una transición total hacia lenguajes internos totalmente opacos.

Por supuesto, esto no solo afecta a OpenAI. Aunque sus modelos Astra han sido el centro de las críticas, lo cierto es que tanto Anthropic como Google están estudiando técnicas similares. Al fin y al cabo, cuanto más opaco sea un modelo, más difícil es para otras compañías entenderlo y destilarlo.

Fin del Artículo. ¡Cuéntanos algo en los Comentarios!