El modelo elegido decide cuántos errores detecta la IA revisora

Qué ha ocurrido

Un equipo de la Universidad de Cambridge, el Flatiron Institute, la Universitat Autònoma de Barcelona y Polymathic AI ha presentado un benchmark que evalúa a doce sistemas de revisión por pares basados en IA inyectando 357 errores en 30 artículos reales de arXiv: 15 de astrofísica y 15 de aprendizaje automático. El trabajo, enviado el 12 de noviembre de 2026 y aceptado en NeurIPS 2026, concluye que la elección del modelo es el factor que más influye en la detección de errores: con el mismo prompt, tres modelos frontera difieren en unos 50 puntos porcentuales.

Los autores afirman que la revisión por pares con IA ya se usa a escala de producción en 2026, con un ecosistema creciente de revisores automáticos. El benchmark es público, igual que el pipeline de evaluación, los catálogos de inyección y los registros de adjudicación.

Qué mide el benchmark

El sistema inyecta errores de cuatro tipos (problemas generales, matemáticas, cifras y citas) en tres niveles de gravedad (sutil, claro y descarado) en el código LaTeX de cada artículo. Cada artículo se revisa en cuatro versiones: una limpia, para medir los falsos positivos, y tres con errores. Después, un panel de tres jueces LLM de distintas familias (Claude, GPT y Gemini) decide si el revisor detectó cada error inyectado.

Se evaluaron doce sistemas: seis revisores de un solo LLM (Claude Opus 4.7, GPT-5.5 y Gemini 3.1 Pro, cada uno con un prompt libre y otro estructurado), dos configuraciones de Claude Code, tres revisores externos disponibles públicamente y SKEPTHICAL, el sistema multiagente presentado por los autores.

El hallazgo principal: el modelo manda

Con el mismo prompt de una frase ("escribe un informe de referee para este artículo como si fueras un revisor de una revista"), los tres modelos frontera se separan mucho. En el corpus de astrofísica, GPT-5.5 detecta el 60,5 % de los errores, Claude Opus 4.7 el 36,7 % y Gemini 3.1 Pro el 11,9 %: una diferencia de 48,6 puntos. En el de aprendizaje automático, el 63,9 %, el 43,9 % y el 11,1 %: 52,8 puntos. La discrepancia la explican sobre todo las matemáticas y las cifras.

El prompt estructurado (las instrucciones completas de SKEPTHICAL, de 978 líneas) reduce la brecha al levantar a los modelos más débiles: Gemini gana 25,4 puntos en astrofísica y 40 en aprendizaje automático; Claude, 16,6 y 28,3. En GPT-5.5 el efecto es casi nulo en astrofísica.

Lo que sí aportan las herramientas

Las herramientas ayudan solo cuando aportan algo que el modelo no tiene. En astrofísica, Claude Code (el agente de codificación con Claude Opus 4.7) supera a una sola llamada a Claude en cifras y matemáticas (+12,0 y +16,4 puntos). Y la recuperación obligatoria de las citas da a SKEPTHICAL una ventaja de 20 puntos sobre Claude Code en detección de errores de citas (46,7 % frente al 26,7 % de este); ningún otro sistema supera el 26,7 %.

En aprendizaje automático, sin embargo, esa ventaja desaparece: los modelos ya conocen bien la literatura y la recuperación forzada no mejora de forma significativa (SKEPTHICAL, 53,3 %, frente al 57,8-60,0 % de los estructurados). Los autores resumen así la conclusión: la recuperación marca la diferencia cuando el modelo no conoce ya la literatura.

SKEPTHICAL, el sistema multiagente, es el mejor en astrofísica (70,6 % frente al 61,3 % de GPT-5.5 estructurado, diferencia significativa), pero en aprendizaje automático se sitúa en el 76,7 %, por debajo del 81,1 % de GPT-5.5 estructurado, sin diferencia significativa. Contra una versión concisa del prompt estructurado, su margen es de +1,7 y +0,6 puntos, tampoco significativo.

Los revisores externos y los modelos pequeños

Los sistemas externos disponibles públicamente rinden mucho peor. El Stanford Agentic Reviewer alcanza el 40,7 % en astrofísica, 21 puntos por debajo del mejor LLM individual. Los dos modelos abiertos ajustados a reseñas (OpenReviewer-8B y PaperAudit-Bench Deep) no detectan apenas nada: entre el 1,7 % y el 2,8 %, incluso en aprendizaje automático, su campo de entrenamiento.

Falsos positivos y limitaciones

Los falsos positivos son generalmente bajos: por debajo del 9 % en astrofísica para todos los sistemas salvo los dos de pesos abiertos, y por debajo del 10 % en aprendizaje automático para seis de nueve (las excepciones son los tres LLM estructurados, entre el 11,5 % y el 22,7 %). Las banderas de matemáticas son las menos fiables: se juzgan falsas el 30 % de las veces en astrofísica y el 67 % en aprendizaje automático, y concentran la mitad de todos los falsos positivos.

Las limitaciones son relevantes. Cada corpus tiene solo 15 artículos de un solo día y un campo, con un máximo de 20 páginas. La adjudicación es automática y la revisión humana ciega cubre solo uno de los treinta artículos. El trabajo advierte además de que no mide la calidad global de una reseña (novedad, importancia, adecuación de los experimentos), sino la detección de defectos objetivos y localizables.

Una reseña independiente publicada en Pith Review coincide en que el resultado central (el modelo domina) es robusto, pero advierte de que las tasas absolutas deben leerse como aproximadas, porque la detección se decide sobre todo con un panel de tres jueces LLM y el panel de falsos positivos tiene un acuerdo bajo (r = 0,32-0,58). En la única comprobación humana, las cinco discrepancias fueron el panel otorgando detecciones que el humano rechazó, lo que infló la tasa de ese artículo en 3,7 puntos.

Por qué importa

El resultado obliga a tratar con cuidado la idea de que la IA ya revisa artículos. La detección de errores objetivos varía enormemente entre modelos y entre formas de preguntar, y las herramientas solo compensan cuando el modelo no tiene la información. Para quienes usan o evalúan revisores automáticos, el benchmark ofrece una forma concreta de compararlos y unos registros públicos para auditarlos.

También deja una pregunta abierta sobre la concentración: los mejores resultados dependen de modelos frontera de unos pocos proveedores, y los propios autores señalan como riesgos la falsa confianza, el aprovechamiento adversarial de debilidades conocidas y la concentración de la infraestructura de revisión en unas pocas empresas.

Lo que sigue sin saberse

No hay una replicación independiente de los resultados más allá del informe de Pith Review. Tampoco se sabe si las conclusiones se mantienen en otros campos, con manuscritos más largos o con modelos más recientes que los evaluados; los sistemas comerciales quedan congelados en las versiones usadas y quedarán obsoletos. Y queda fuera del benchmark la parte de la revisión que más discute la comunidad científica: la valoración de la novedad y la importancia de un trabajo.