Qué es una ventana de contexto de un millón de tokens y por qué el número importa menos de lo que parece

Qué es la ventana de contexto

Cuando un modelo de lenguaje procesa una petición, todo lo que «ve» —tu instrucción, los documentos que adjuntas, el historial de la conversación y su propia respuesta— ocupa espacio en una memoria de trabajo de tamaño limitado. Ese espacio se mide en tokens, unidades que no equivalen exactamente a palabras: en español, un token suele corresponder a entre 3 y 5 caracteres, así que un millón de tokens son aproximadamente entre 700.000 y 800.000 palabras de texto.

La ventana de contexto es el límite de tokens que el modelo puede manejar en una sola interacción. Si se supera, algo hay que sacar: parte del historial, parte de los documentos, o la respuesta.

Lo que cambia con un límite unificado

Google ha presentado Gemini 4 Argon con un límite de un millón de tokens que cubre entrada y salida a la vez. La diferencia con la convención habitual es importante.

En el modelo tradicional, entrada y salida tienen presupuestos separados. Si un proveedor anuncia 200.000 tokens de contexto y 8.000 de salida, se entiende que puedes meter 200.000 tokens de material y generar hasta 8.000 de respuesta.

Con un presupuesto compartido, esa suma desaparece. Si envías 990.000 tokens de documentos, te quedan unos 10.000 para la respuesta. Si quieres una salida muy larga, tienes que enviar menos material. La gestión del espacio pasa a ser una decisión tuya en cada petición, no una constante del proveedor.

Por eso Google ha publicado documentación específica sobre un protocolo de continuación: cuando la generación agota el presupuesto síncrono, el sistema permite seguir generando dentro del mismo límite total.

Por qué «un millón» no significa «recuerda un millón»

Aquí está el malentendido que conviene deshacer. La ventana de contexto es un límite de capacidad, no una garantía de rendimiento. Tres matices:

1. Capacidad no es atención

Un modelo puede aceptar un millón de tokens y, aun así, no usar la información relevante que está en medio del documento. Es un problema conocido: el rendimiento tiende a degradarse con la posición de la información dentro de contextos muy largos, y no de forma uniforme. Los proveedores trabajan en esto, pero ningún anuncio de tamaño resuelve por sí solo la cuestión.

2. Coste por petición

Cada token de entrada se factura. Un contexto de un millón de tokens, a 2 dólares por millón de entrada, cuesta 2 dólares por llamada. Si haces cien llamadas al día sobre el mismo corpus, la factura es de 200 dólares diarios, sin contar la salida.

Aquí es donde entra la caché de contexto: si envías el mismo material repetidamente, los tokens en caché se facturan con descuento —en Argon, del 95 % según el anuncio—. La diferencia entre un flujo bien diseñado y uno mal diseñado no está en la ventana, está en si aprovecha la caché.

3. Latencia

Procesar más tokens cuesta más tiempo. Para tareas interactivas, un contexto enorme puede convertir una respuesta de dos segundos en una de treinta.

Cuándo un contexto largo sí resuelve un problema real

Situaciones en las que el tamaño es la solución y no una cifra de marketing:

• Auditoría de contratos completos. Comparar un documento de doscientas páginas con sus anexos, sin trocear, evita perder la referencia cruzada.
• Refactorizaciones de código extensas. Trabajar sobre varios módulos simultáneamente permite mantener coherencia entre ellos.
• Análisis de series de incidencias. Un histórico largo en una sola pasada revela patrones que el troceado oculta.
• Comparación de versiones de un mismo texto. Detectar cambios sutiles exige tener ambas versiones a la vez.

Cuándo es peor que trocear

• Búsquedas simples. Si la pregunta se responde con un párrafo, enviar 500.000 tokens es tirar dinero y tiempo.
• Tareas repetitivas sobre el mismo corpus, salvo que la caché esté bien configurada.
• Cuando la precisión importa más que la cobertura. Recuperar los tres fragmentos relevantes y enviarlos suele dar mejores resultados que enviar todo y confiar en que el modelo encuentre la aguja.

Cómo evaluar si te sirve

Un procedimiento sencillo y honesto, en cuatro pasos:

1. Mide el tamaño real de tu material en tokens, no en páginas. La mayoría de las herramientas de tokenización te lo dicen en segundos.
2. Prueba con la mitad del material y comprueba si la calidad de las respuestas cambia. Si no cambia, no necesitas el contexto completo.
3. Prueba con la información relevante al principio, en medio y al final del contexto. Si el resultado empeora cuando está en el medio, tienes un problema de atención, no de tamaño.
4. Calcula el coste por resultado, no por token. Un modelo que cuesta el doble por llamada pero acierta a la primera es más barato que uno que obliga a repetir.

El resumen

La ventana de contexto es una capacidad, no una prestación. Un millón de tokens significa que puedes enviar un millón de tokens; no significa que el modelo vaya a entenderlos todos, ni que salga gratis, ni que sea la mejor forma de resolver tu problema.

La pregunta útil no es «¿cuánto cabe?», sino «¿qué es lo mínimo que necesito enviar para que la respuesta sea correcta?». Los modelos con contexto muy largo hacen que esa pregunta sea más importante, no menos.