Qué son los modelos multimodales
Los modelos multimodales procesan y generan texto, imágenes, audio y vídeo juntos: aprenden representaciones compartidas de diferentes tipos de datos y pueden operar sobre todos ellos en una sola interfaz.
Qué es un modelo multimodal en una frase
Un modelo multimodal es un sistema de inteligencia artificial capaz de procesar, comprender y generar información de varios tipos de datos (modalidades) — texto, imágenes, audio, vídeo y, en algunos casos, datos táctiles o sísmicos — dentro de una sola arquitectura neuron artificial.
¿Por qué surgen los modelos multimodales?
Los sistemas de IA generativa de una sola modalidad tienen un límite inherente: un modelo de lenguaje solo conoce el texto, un modelo de visión solo conoce imágenes. Pero el mundo real es multimodal: la imagen de un sanidad acompaña a una descripción, un vídeo acompaña a audio y texto. Un modelo que integra varias modalidades puede operar sobre todos ellos.
Los tres motores de la convergencia multimodal
- Crecimiento de los datos: los conjuntos de entrenamiento ahora incluyen texto, imágenes y audio alineados (páginas web, libros, vídeos con subtítulos, capturas de pantalla).
- Métodos de alineación: técnicas como la proyección de representaciones de distintas modalidades a un espacio común — un espacio vectorial en el que dos descripciones representan la misma idea — permiten que un mismo modelo use conceptos de diferentes fuentes.
- Escalado del cómputo: la arquitectura transformer permite que el mismo núcleo computacional se adapte a distintos tipos de entrada.
Composición arquitectónica típica
Un modelo multimodal suele estructurarse en tres capas:
1. Codificador (encoder)
Cada modalidad tiene un codificador propio:
- Texto: un transformer (como BERT, GPT o Llama) convierte tokens en vectores.
- Imagen: un codificador de imágenes (como la Red Convolucional (ResNet) o un ViT) convierte píxeles en vectores.
- Audio: un codificador de audio (como un modelo basado en spectrogramas o wav2vec) convierte ondas de sonido en vectores.
2. Proyector (projector)
Un mapeo que transforma las representaciones de cada codificador a un espacio compartido de dimensiones comunes. Este paso es clave: hace que una descripción de una imagen y la imagen misma estén en el mismo espacio vectorial.
3. Decodificador (decoder)
Un generador (también un transformer) que produce la salida: texto, código, imagen o respuesta multimodal. En algunos modelos, la decodificación es exclusivamente de texto; el multimodales se limita a la entrada.
¿Qué puede hacer un modelo multimodal?
| Capacidad | Ejemplo |
|---|---|
| Descripción de imágenes | "Describe esta imagen en tres frases." |
| Respuesta a preguntas sobre imágenes | "¿Qué está pasando en este cuadro?" |
| Generación de imágenes a partir de texto | Imagen desde prompt en lenguaje natural |
| Síntesis de video de texto a imagen | Generación condicional de secuencias temporales |
| Análisis de videos con audio | Entender diálogos, sonidos y acciones en un clip |
| Voz conversacional | Recepción de voz y generación de hablado |
Límites y precauciones
- La alineación entre modalidades no es perfecta: pueden haber asimetrías de escala, dominio e idioma.
- El modelo puede confundir información de una modalidad con otra (confusión multimodal), un problema que aumenta con la composición de varias entradas.
- La seguridad y las políticas de contenido varían según el modelo y la modalidad.
El punto de vista de la publicación
Los modelos multimodales no reemplazan a los sistemas de una sola modalidad: amplían el terreno de la inteligencia artificial a problemas donde la información está distribuida entre varias fuentes. Para los medios, son la diferencia entre un artículo que describe una imagen y un artículo que entiende la imagen y lo contextualiza.
Referencias
- OpenAI — GPT-4V (hello-gpt-4v)
- Google — Gemini
- DeepMind — Flamingo: a Loosely-coupled Vision-Language Model
- arXiv — Flamingo: a Loosely-coupled Vision-Language Model, arXiv:2204.14193
Fuentes consultadas
Se conservan las referencias para poder reconstruir cómo se verificó esta información.
- OpenAI - GPT-4Vanuncio técnico · https://openai.com/index/hello-gpt-4v/
- Google - Geminidocumentación · https://deepmind.google/models/gemini/
- DeepMind - Flamingopreimpresión · https://arxiv.org/abs/2204.14193
¿Ves un error? Escríbenos indicando el dato concreto y la fuente que lo contradice. Las correcciones se aplican en la propia página y se reflejan en la fecha de actualización. Contactar con la redacción.
