NoticiasDeIA
investigaciónNoticiaAlta relevancia

ForecastGym: el benchmark que mide cómo anticipa el mundo los agentes de IA

Este martes se publica ForecastGym, un benchmark que graba la evidencia de búsqueda de los agentes mientras los mercados de predicción aún estaban abiertos y mide qué tan bien los modelos de lenguaje anticipan el resultado.

Redacción de NoticiasDeIAPublicado el Hecho ocurrido el 17 de noviembre de 20265 min de lectura
Compartir
Qué se sabe y qué no. Distingue lo anunciado oficialmente de lo filtrado, especulado o todavía no confirmado. Las afirmaciones inciertas se marcan como tales en el texto.
Ver criterio de lectura

Este artículo distingue tres niveles de confirmación: primario(documento original o comunicado verificado), secundario(datos contrastados con al menos una fuente independiente) y inconcluso(afirmación pendiente de confirmación o que no ha sido replicada).

ForecastGym: el benchmark que mide cómo anticipa el mundo los agentes de IA

Un trabajo enviado al arXiv el 17 de noviembre de 2026 y firmado por Yicheng Tao (Carnegie Mellon University), Yuante Li (CMU) y Zipei Fan (Jilin University) propone un problema que los evaluadores de agentes de inteligencia artificial han estado manejando a ojo: cómo saber si un agente que usa búsqueda web para pronosticar está siendo bueno, o si solo está viendo lo que ese momento ya le dejó claro. La solución es ForecastGym, un benchmark que graba, de forma perezosa, qué devuelve cada buscador comercial mientras una pregunta de mercado de predicción aún no ha sido resuelta, y luego juega de nuevo esos registros a máquina paramétrica.

El hallazgo de partida es incómodo para quienes confían en las evaluaciones en vivo: cuando se repiten las mismas consultas después de que el resultado se conoce, los resultados de búsqueda ya casi te dicen la respuesta. En el primer lote del proyecto, ese replanteo revela el desenlace en hasta un 92% de las preguntas, incluso con los filtros de fecha activados. Y, sobre esa evidencia congelada, todos los modelos probados pierden frente al mercado mismo.

Qué se ha anunciado

ForecastGym no entrena ni libera un modelo. Es un protocolo de medición. Los autores parten de una distinción que suele perderse en la prensa especializada: entre el conocimiento que un agente recolecta y el que un modelo interpreta, la racionalidad del sistema se mide sobre la evidencia que tuvo a mano en cada instante. Los mercados de predicción (Polymarket, Kalshi y similares) suscitan contratos sobre eventos futuros cuyo precio se mueve con las noticias. Un agente hecho para esos escenarios recibe siempre una pregunta abierta, navega, y devuelve una probabilidad.

La dificultad metodológica es que, en una evaluación en vivo, el agente consultera mientras la verdad todavía no se sabe. Cualquier señal que llegue justo antes del cierre puede filtrarse del resultado. Para evitar eso, ForecastGym hace dos fases. En la primera, Live Capture, el sistema envía las mismas preguntas a cuatro proveedores de búsqueda comercial cada dos días, guarda cada resultado como un estado temporal de evidencia, y lo archiva separado por proveedor. En la segunda, Controlled Replay, los agentes leen esos estados en orden cronológico, una vez terminado el período de observación, sin acceso a lo que vino después.

Eso convierte a la comparación en cien por ciento controlada: para un mismo proveedor, cada ejecución recorre exactamente la misma trayectoria de evidencia, y solo varía el modelo, la memoria o la fuente de búsqueda. De ahí la frase del trabajo: «la evidencia que ve un pronosticador puede importar tanto como el modelo que la lee».

El primer lote cubre 150 preguntas, 614 estados de evidencia (uno por pregunta y hora de captura) y 131.000 resultados de búsqueda. El documento incluye tablas con el desempeño de los modelos en distintas configuraciones, lo que permite atribuir diferencias a un componente concreto del pipeline.

Lo que es oficial y qué no

ForecastGym es un preimpreso. No ha pasado revisión por pares, no incluye pesos nuevos ni código de producción, y sus resultados se deben a un conjunto relativamente pequeño de preguntas de mercado de predicción, todos ellos de tipo binario. La afirmación central del artículo no es que la IA esté mal pronosticando, sino que la medición en vivo confunde dos cosas que no deben confundirse: la capacidad de recuperación (qué encuentra el buscador) y la capacidad de razonar (qué hace el modelo con lo que encontró). Al congelar la evidencia, ForecastGym separa ambas fuerzas.

Los números que el trabajo cita datan del primer batch y deben leerse así: en la fase de replay sobre evidencia congelada, la media del mercado alcanza un Brier de 0.176 y una precisión del 71,9%. Entre los modelos probados, GPT-6.1 Sol obtiene el mejor Brier (0.208) y precisión (0.653), seguido de DeepSeek-V4.1-Flash y Gemini 3.8 Flash. Todos empatan o superan la puntuación de los modelos cerrados más conocidos, pero todos quedan por detrás del mercado.

Otro resultado con interés práctico: el proveedor de búsqueda pesa más que el modelo en muchos casos. Cambiar el API de búsqueda puede mover la puntuación Brier hasta 0,043, una cantidad mayor que la diferencia total entre varios modelos. Es decir, que un agente parezca mejor o peor según el buscador que use, antes que según su cerebro. La memoria también se comporta como se esperaba: las notas persistentes estabilizan las predicciones y logran una puntuación parecida a releer toda la evidencia, pero con la mitad de los tokens de entrada.

Por qué importa

Las evaluaciones de agentes de IA hoy corren sobre tareas cerradas: resolver un problema, responder una pregunta, generar código. ForecastGym abre una ventana sobre un caso donde la verdad se descubre en tiempo real y el agente debe aprender con ella. Esa distinción es la que separa a un sistema que puede prever de uno que solo rellena su historial.

El trabajo también cuestiona cómo se construyen las puntuaciones de los agentes en el mundo real. Si el proveedor de búsqueda puede explicar más variabilidad que el modelo, los rankings actuales no son neutros; dependen de opciones de infraestructura. Eso es de interés para quienes compran servicios de agentes, para los laboratorios que califican sus propios productos y para la regulación que en un futuro pueda exigir pruebas de rendición de cuentas.

Finalmente, el protocolo es reusable. El mismo esquema de captura perezosa de evidencia puede aplicarse a otros dominios donde la información llega con retraso: medicina, finanzas, clima, goes. No es una garantía de predicción, sino una tubería para comparar sistemas de predicción con la misma cámara fría.

Qué sigue sin saberse

Falta saber si el repo se amplía a más preguntas, si los autores dejan los pesos de los modelos y el código para reproducir los ranking, y si la comunidad confirma que los desfases descubiertos se mantienen en otro conjunto de mercados. También falta aclarar si los beneficios de la memoria persistente se mantienen tras sesiones largas, o si los errores se acumulan al releer la misma evidencia una y otra vez. Hasta que eso ocurra, ForecastGym es una herramienta de diagnóstico, no una garantía de que un agente sea bueno.

La comunidad también deberá decidir cómo aplicar la diferenciación de proveedores en los informes de evaluación de entornos productivos. Si el buscador pesa más que el modelo, los benchmarks cerrados corren el riesgo de medir la infraestructura como si fuera inteligencia.

En pocas palabras

ForecastGym, publicado el 17 de noviembre de 2026 en arXiv, es un benchmark que graba la evidencia de búsqueda de los agentes mientras los mercados de predicción aún estaban abiertos y luego juega esos registros a máquina paramétrica. El primer batch revela que el proveedor de búsqueda pesa más que el modelo en la precisión y que los agentes fallan en los estados de alta incertidumbre. El trabajo es un preimpreso; su aporte es un protocolo de medición controlada, no un resultado de producción.

Fuentes consultadas

Se conservan las referencias para poder reconstruir cómo se verificó esta información.

Publicación de origen: https://arxiv.org/abs/2611.23045

¿Ves un error? Escríbenos indicando el dato concreto y la fuente que lo contradice. Las correcciones se aplican en la propia página y se reflejan en la fecha de actualización. Contactar con la redacción.

Sigue leyendo