GPT-4o y Gemini fallan en la generalización de reglas de juego manipulables

Una investigación realizada durante 2024 ha evaluado la capacidad de generalización de tres de los modelos de lenguaje extensos multimodales más avanzados del mercado: GPT-4o de OpenAI, junto con las versiones Gemini 1.5 Pro y Gemini 1.5 Flash de Google. El estudio se ha centrado específicamente en cómo estos sistemas procesan y aplican reglas en entornos dinámicos, analizando si son capaces de trasladar conocimientos previos a situaciones nuevas donde las normas básicas de una tarea o juego han sido alteradas deliberadamente.

Los resultados confirman que los tres modelos fallaron drásticamente en las pruebas de generalización. En el contexto del aprendizaje automático, la generalización es la aptitud de una inteligencia artificial para aplicar lo aprendido en un conjunto de datos o escenario específico a un contexto diferente pero relacionado. En este experimento, cuando la tarea exigía que la IA no solo siguiera instrucciones textuales, sino que manipulara y adaptara las reglas del juego para resolver un problema, el rendimiento de GPT-4o y las variantes de Gemini colapsó.

Este fallo es técnicamente relevante porque ocurre en arquitecturas multimodales. Estos modelos están diseñados para procesar y razonar simultáneamente sobre diversos tipos de datos, integrando texto, imágenes y audio en un mismo espacio latente. La hipótesis técnica era que esta integración permitiría una comprensión más profunda del entorno y, por consiguiente, una mayor flexibilidad cognitiva al enfrentarse a reglas variables. Sin embargo, la evidencia demuestra que la capacidad de procesar múltiples modalidades no se traduce en una capacidad superior de razonamiento lógico-abstracto.

El núcleo del experimento residía en la gestión de reglas manipulables. Para que un modelo supere este reto, no debe limitarse a reconocer un patrón estático, sino que debe comprender la lógica subyacente para modificarla según las necesidades del escenario propuesto. La investigación ha puesto de manifiesto que GPT-4o y las versiones de Gemini operan bajo un esquema de reconocimiento de patrones rígido. Cuando los modelos se enfrentan a reglas estándar que forman parte de su entrenamiento previo, muestran un desempeño eficiente, pero pierden la coherencia del razonamiento en el momento en que se introduce una variación en la norma.

Esta incapacidad sugiere que los modelos no están razonando sobre las reglas en tiempo real, sino que están recuperando secuencias de datos asociadas a juegos similares presentes en sus conjuntos de entrenamiento. Se produce así una brecha entre la fluidez lingüística y la capacidad de razonamiento lógico. Mientras que GPT-4o y Gemini pueden generar respuestas que parecen lógicas y están bien estructuradas gramaticalmente, la ejecución de una tarea que requiere la manipulación activa de normas demuestra que el proceso interno de resolución de problemas sigue siendo dependiente de la repetición de patrones conocidos.

Al comparar los modelos evaluados, el análisis no ha encontrado diferencias significativas en cuanto al fracaso, independientemente del tamaño del modelo o su arquitectura específica. Gemini 1.5 Pro, diseñado para tareas complejas y dotado de una ventana de contexto extremadamente amplia, ha mostrado las mismas carencias que Gemini 1.5 Flash, que está optimizado para la velocidad y la eficiencia. Esto indica que ampliar la ventana de contexto o reducir la latencia no resuelve la deficiencia en la manipulación de reglas.

GPT-4o, que integra la multimodalidad de forma nativa para mejorar la comprensión del contexto visual y auditivo, tampoco ha logrado superar el reto de la generalización. La mejora en la velocidad de respuesta o la capacidad de procesar imágenes en tiempo real no se traduce en una mejora de las capacidades cognitivas superiores, como la abstracción necesaria para cambiar las reglas de un sistema en marcha. La uniformidad en los errores cometidos por los tres modelos sugiere que el problema es estructural y común a la arquitectura actual de los Large Language Models (LLM).

La dependencia del ajuste fino (fine-tuning) y la escala de los datos no parecen ser soluciones suficientes para dotar a la IA de una flexibilidad mental que le permita operar fuera de los marcos preestablecidos. Históricamente, el sector ha apostado por el escalado de parámetros y la ingesta de volúmenes masivos de datos para mejorar el rendimiento. No obstante, este estudio de 2024 demuestra que el escalado cuantitativo no resuelve la limitación cualitativa del razonamiento lógico cuando se requiere modificar reglas establecidas.

Las consecuencias para la implementación de la IA en entornos profesionales son directas. En sectores donde la normativa, los protocolos operativos o las condiciones del mercado cambian constantemente, la incapacidad de un modelo para adaptar su lógica interna puede derivar en errores críticos de ejecución. Por ejemplo, en la automatización de procesos legales o financieros, donde una regla puede cambiar según la jurisdicción o el contrato específico, confiar en la generalización de un LLM multimodal podría resultar en aplicaciones erróneas de la norma.

Para los desarrolladores, estos resultados subrayan la necesidad de investigar nuevas arquitecturas que superen la predicción del siguiente token. La generalización real requiere que el modelo construya un modelo interno del mundo y de las reglas que lo rigen, permitiéndole realizar simulaciones mentales antes de emitir una respuesta. El fallo de GPT-4o y Gemini confirma que, actualmente, la IA multimodal es una herramienta de procesamiento de información sofisticada, pero no un agente capaz de razonamiento autónomo y flexible.

La industria se enfrenta ahora al reto de diseñar evaluaciones de referencia (benchmarks) que no se basen en datos que puedan estar contaminados en el conjunto de entrenamiento. Si los modelos fallan cuando las reglas cambian, significa que el éxito en muchas pruebas actuales podría deberse a la memorización de patrones y no a la comprensión real de los conceptos. Esto obliga a replantear la forma en que se mide la inteligencia de los modelos multimodales, alejándose de las métricas de precisión textual hacia métricas de flexibilidad lógica.

Es fundamental distinguir entre los hechos confirmados por la investigación y las capacidades teóricas. Está confirmado que GPT-4o, Gemini 1.5 Pro y Gemini 1.5 Flash fallan en la manipulación de reglas para la generalización. No se ha demostrado, sin embargo, que exista un límite insuperable en la arquitectura de transformadores que impida alcanzar esta capacidad en el futuro. La incertidumbre reside en si la solución vendrá de la mano de un aumento en la cantidad de datos, de una optimización en los algoritmos de entrenamiento o de la creación de sistemas híbridos.

Una de las vías de solución planteadas es la integración de la lógica simbólica. A diferencia del aprendizaje profundo (deep learning), que es probabilístico y basado en patrones, la lógica simbólica opera con reglas explícitas y manipulables. Un sistema híbrido que combine la capacidad de procesamiento masivo de los LLM con la rigidez lógica de la IA simbólica podría complementar las deficiencias detectadas en este estudio. Esto permitiría que el modelo no solo prediga la palabra más probable, sino que verifique si esa palabra cumple con una regla lógica modificada en el prompt.

Otro punto de análisis es el impacto en la interacción usuario-IA. Actualmente, los usuarios tienden a atribuir capacidades de razonamiento humano a los modelos debido a su alta fluidez verbal. Sin embargo, el hecho de que GPT-4o y Gemini fallen en tareas sencillas de manipulación de reglas demuestra que existe una ilusión de comprensión. El riesgo para las empresas es el despliegue de agentes de IA en roles de toma de decisiones donde la capacidad de adaptar reglas sea necesaria, ya que el modelo podría generar respuestas convincentes pero lógicamente incorrectas al no poder generalizar la norma.

El estudio también pone de relieve que la multimodalidad, aunque es un avance técnico impresionante en términos de interfaz y entrada de datos, no ha alterado el núcleo del razonamiento de los transformadores. La capacidad de ver un tablero de juego a través de una cámara o escuchar las instrucciones de una regla nueva no ayuda al modelo si su mecanismo de procesamiento sigue anclado a la recuperación de patrones estadísticos. La multimodalidad mejora la percepción, pero no la cognición superior.

En conclusión, la investigación de 2024 expone que la multimodalidad no es sinónimo de inteligencia general. La capacidad de ver, oír y escribir con fluidez no implica que el modelo comprenda la estructura lógica de una tarea lo suficiente como para modificarla. Mientras los modelos sigan anclados a la reproducción de patrones, la generalización real en entornos de reglas variables seguirá siendo una asignatura pendiente para OpenAI y Google.

Para profundizar en el contexto técnico, es necesario analizar la arquitectura de transformadores sobre la que se asientan GPT-4o y Gemini. Estos modelos utilizan mecanismos de atención para ponderar la importancia de diferentes partes de la entrada de datos. No obstante, esta atención es estadística y no semántica en el sentido lógico. Cuando el experimento introduce una regla manipulable, el modelo intenta encajar esa nueva instrucción dentro de los pesos ya establecidos durante el pre-entrenamiento. Al no encontrar un patrón idéntico en sus billones de parámetros, el sistema tiende a ignorar la modificación o a aplicarla de forma inconsistente, priorizando la respuesta más probable estadísticamente sobre la respuesta lógicamente correcta según la nueva regla.

Este fenómeno pone de relieve una limitación estructural en el entrenamiento basado en la predicción del siguiente token. El modelo no está resolviendo el problema mediante un proceso de deducción, sino mediante una aproximación probabilística. En el caso de juegos con reglas fijas, esta aproximación es casi indistinguible del razonamiento humano. Pero cuando la regla cambia, el modelo no puede "desaprender" instantáneamente la norma anterior para adoptar la nueva, ya que dicha norma está embebida en la red neuronal y no almacenada como una variable editable en una base de datos.

Desde una perspectiva sectorial, este resultado choca con la narrativa de progreso lineal que han mantenido OpenAI y Google. Hasta ahora, se asumía que el incremento en la capacidad de procesamiento y la multimodalidad nativa —donde el modelo no usa traductores externos para pasar de imagen a texto, sino que procesa todo en un único flujo— resolvería las deficiencias de razonamiento. El estudio de 2024 demuestra que la multimodalidad es una capa de percepción, no una capa de razonamiento. Un modelo puede "ver" perfectamente que una pieza de juego se ha movido a una casilla prohibida, pero es incapaz de razonar que, bajo la nueva regla propuesta en el prompt, ese movimiento ahora es válido.

Para las empresas que están integrando estos modelos en sus flujos de trabajo, el riesgo es la generación de alucinaciones lógicas. A diferencia de las alucinaciones fácticas, donde el modelo inventa un dato, la alucinación lógica ocurre cuando el modelo sigue un proceso de razonamiento erróneo pero lo presenta con total seguridad y coherencia gramatical. En un entorno de soporte técnico complejo, donde el manual de instrucciones puede variar según la versión del hardware, un modelo que no puede generalizar reglas manipulables podría dar instrucciones peligrosas basándose en la versión más común del manual presente en su entrenamiento, ignorando la especificación concreta del usuario.

En el ámbito del desarrollo de software, esto implica que el uso de prompts complejos para intentar "forzar" el razonamiento lógico (como el chain-of-thought o cadena de pensamiento) tiene límites claros. Aunque estas técnicas ayudan a que el modelo desglose la tarea, no cambian la naturaleza probabilística de la arquitectura. Si el modelo no posee la capacidad de abstracción necesaria para manipular la regla, el desglose de la tarea solo servirá para que el error sea más detallado, pero seguirá siendo un error.

Comparando este estado con el de hace dos años, se observa que, aunque la fluidez y la velocidad han aumentado exponencialmente, el núcleo del razonamiento lógico permanece estancado. Los modelos anteriores, como GPT-3.5, ya mostraban dificultades similares, pero la escala de los datos y la multimodalidad de GPT-4o y Gemini 1.5 se presentaron como la solución definitiva. La investigación actual confirma que el problema no era la falta de datos o de sentidos (vista, oído), sino la naturaleza misma del procesamiento de la información en los LLM.

La distinción entre lo que se sabe y lo que permanece en la incertidumbre es crucial para no caer en el sensacionalismo. Se sabe con certeza que GPT-4o, Gemini 1.5 Pro y Gemini 1.5 Flash fallan en la generalización de reglas manipulables. Se sabe que la multimodalidad no corrige este fallo. Sin embargo, no se sabe si este límite es inherente a todos los modelos basados en transformadores o si puede superarse mediante nuevas funciones de pérdida en el entrenamiento o arquitecturas de memoria externa.

Existe una incertidumbre técnica sobre si la solución requiere un cambio total de paradigma hacia la IA neuro-simbólica. En este enfoque, la red neuronal se encargaría de la percepción y el lenguaje, mientras que un motor lógico simbólico gestionaría las reglas. Esto permitiría que, al recibir una instrucción de "cambiar la regla X por la regla Y", el sistema actualizara una tabla de verdad lógica en lugar de intentar ajustar la probabilidad de los tokens. Hasta que no se implementen este tipo de soluciones, la capacidad de generalización seguirá siendo una simulación basada en la frecuencia de los datos y no una capacidad cognitiva real.

Finalmente, el impacto en la medición del rendimiento de la IA es profundo. Los benchmarks tradicionales, que a menudo utilizan preguntas y respuestas que ya existen en la web, están sesgados hacia la memorización. El experimento de 2024 propone un cambio hacia pruebas de "estrés lógico" donde las reglas se cambian en tiempo real. Solo mediante este método se puede diferenciar entre un modelo que ha memorizado la solución de un problema y un modelo que comprende la lógica necesaria para resolver cualquier variante de ese problema.

Este escenario obliga a los usuarios profesionales a mantener una supervisión humana constante (human-in-the-loop). La confianza ciega en la capacidad de razonamiento de GPT-4o o Gemini en tareas de cumplimiento normativo o gestión de reglas dinámicas es técnicamente injustificada. La IA multimodal es, hoy por hoy, un procesador de patrones extremadamente eficiente, pero carece de la flexibilidad mental necesaria para operar en sistemas donde la norma es el elemento variable.