Qué es un modelo de lenguaje: la biblioteca de conocimiento que aprende a predicir el siguiente símbolo
Un modelo de lenguaje es un programa que aprende las probabilidades de las secuencias de palabras a partir de enormes corpora. Lo que ve, cómo se construye, qué sabe y dónde falla.
El modelo de lenguaje como función de probabilidad
Un modelo de lenguaje (Language Model, LM) es, en esencia, una función que asigna probabilidad a las secuencias de tokens. Dada una secuencia de tokens x_1, ..., x_n, el modelo calcula P(x_{n+1} | x_1, ..., x_n): la probabilidad de que el siguiente token sea x_{n+1} en el contexto de lo que ya se ha dicho.
La frase "el gato duerme" recibirá una alta probabilidad si el modelo ha visto muchas secuencias similares en su entrenamiento; "el gato exige una patente" recibirá una probabilidad infinitesimalmente baja, aunque sea gramaticalmente válida. El modelo no entiende el significado del texto: computa estadísticas de la distribución de las secuencias.
De n-gramas a redes neuronales
Los modelos de lenguaje antiguos usaban n-gramas: contaban cuántas veces aparecía cada secuencia de n tokens en un corpus. El límite era obvio: el espacio de las n-gramas crecía exponencialmente, y el modelo no podía generalizar más allá de las secuencias vistas.
Las redes neuronales cambiaron la ecuación. En lugar de contar, aprendían representaciones vectoriales (embeddings) de los tokens y las interacciones entre ellos. La arquitectura que domina hoy es el transformer (Vaswani et al., 2017), que reemplaza la recursión por mecanismos de atención que permiten relacionar cualquier par de posiciones en la secuencia.
La atención es, en pocas palabras, un mecanismo de comprobación de similaridad: para cada token, el modelo calcula qué otros tokens de la secuencia son relevantes para entenderlo, y pondera su contribución. No hay un "lectura" secuencial; hay una red de pesos que decide qué sirve de referencia.
¿Qué significa "preentrenado" y "afinado"?
El preentrenamiento es la fase en la que el modelo aprende a predecir tokens a partir de enormes corpus sin supervisión de tareas específicas. El objetivo es construir una representación del lenguaje y, con ella, del mundo. No se "ensenan hechos" en el sentido clásico: se aprende una distribución que hace que las predicciones sean coherentes.
El afinamiento (fine-tuning) es la fase posterior en la que el modelo se adapta a tareas concretas con ejemplos etiquetados: responder preguntas, clasificar sentimientos, seguir instrucciones. Aquí es donde el modelo aprende el formato y el objetivo de la tarea, mientras mantiene las representaciones adquiridas en el preentrenamiento.
Parámetros: qué nos dice el tamaño
Los parámetros son los valores que la red ajusta durante el entrenamiento. Un modelo de 7 mil millones de parámetros (7B) tiene 7 mil millones de números que definen la función de predicción. Cuantos más parámetros, generalmente, mayor capacidad de almacenamiento de patrones. Pero el tamaño no es la única variable: la calidad del corpus, la arquitectura, el tratamiento de los datos y el procedimiento de afinado también determinan lo que el modelo puede hacer.
Límites epistemológicos
El modelo no tiene memoria persistente, no tiene creencias, no tiene metas. Es una máquina estadística que comprime la distribución de las secuencias. Cuando genera texto, no "piensa" sobre lo que dice; selecciona el siguiente token con probabilidad. Eso explica tanto su capacidad como sus fallos: es bueno para generalizar patrones, pero sin un mecanismo de validación con fuentes externas, puede producir textos que suenan convincentes y son falsos.
Referencias
- Vaswani, A. et al. (2017). "Attention Is All You Need." arXiv:1706.03762.
- Raffel, C. et al. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." JMLR.
- OpenReview — The Annotated Transformer (Harvard NLP).
Fuentes consultadas
Se conservan las referencias para poder reconstruir cómo se verificó esta información.
- Distill — The Annotated Transformerdocumentación técnica · https://nlp.seas.harvard.edu/annotated-transformer
- Attention is All You Needartículo científico · https://arxiv.org/abs/1706.03762
- Stanford CS224Ncurso · https://web.stanford.edu/class/cs224n/
¿Ves un error? Escríbenos indicando el dato concreto y la fuente que lo contradice. Las correcciones se aplican en la propia página y se reflejan en la fecha de actualización. Contactar con la redacción.
