NoticiasDeIA
investigaciónExplicador

Qué son los modelos multimodales

Los modelos multimodales procesan y generan texto, imágenes, audio y vídeo juntos: aprenden representaciones compartidas de diferentes tipos de datos y pueden operar sobre todos ellos en una sola interfaz.

Redacción de NoticiasDeIAPublicado el 3 min de lectura
Compartir

Qué es un modelo multimodal en una frase

Un modelo multimodal es un sistema de inteligencia artificial capaz de procesar, comprender y generar información de varios tipos de datos (modalidades) — texto, imágenes, audio, vídeo y, en algunos casos, datos táctiles o sísmicos — dentro de una sola arquitectura neuron artificial.

¿Por qué surgen los modelos multimodales?

Los sistemas de IA generativa de una sola modalidad tienen un límite inherente: un modelo de lenguaje solo conoce el texto, un modelo de visión solo conoce imágenes. Pero el mundo real es multimodal: la imagen de un sanidad acompaña a una descripción, un vídeo acompaña a audio y texto. Un modelo que integra varias modalidades puede operar sobre todos ellos.

Los tres motores de la convergencia multimodal

  1. Crecimiento de los datos: los conjuntos de entrenamiento ahora incluyen texto, imágenes y audio alineados (páginas web, libros, vídeos con subtítulos, capturas de pantalla).
  2. Métodos de alineación: técnicas como la proyección de representaciones de distintas modalidades a un espacio común — un espacio vectorial en el que dos descripciones representan la misma idea — permiten que un mismo modelo use conceptos de diferentes fuentes.
  3. Escalado del cómputo: la arquitectura transformer permite que el mismo núcleo computacional se adapte a distintos tipos de entrada.

Composición arquitectónica típica

Un modelo multimodal suele estructurarse en tres capas:

1. Codificador (encoder)

Cada modalidad tiene un codificador propio:

  • Texto: un transformer (como BERT, GPT o Llama) convierte tokens en vectores.
  • Imagen: un codificador de imágenes (como la Red Convolucional (ResNet) o un ViT) convierte píxeles en vectores.
  • Audio: un codificador de audio (como un modelo basado en spectrogramas o wav2vec) convierte ondas de sonido en vectores.

2. Proyector (projector)

Un mapeo que transforma las representaciones de cada codificador a un espacio compartido de dimensiones comunes. Este paso es clave: hace que una descripción de una imagen y la imagen misma estén en el mismo espacio vectorial.

3. Decodificador (decoder)

Un generador (también un transformer) que produce la salida: texto, código, imagen o respuesta multimodal. En algunos modelos, la decodificación es exclusivamente de texto; el multimodales se limita a la entrada.

¿Qué puede hacer un modelo multimodal?

CapacidadEjemplo
Descripción de imágenes"Describe esta imagen en tres frases."
Respuesta a preguntas sobre imágenes"¿Qué está pasando en este cuadro?"
Generación de imágenes a partir de textoImagen desde prompt en lenguaje natural
Síntesis de video de texto a imagenGeneración condicional de secuencias temporales
Análisis de videos con audioEntender diálogos, sonidos y acciones en un clip
Voz conversacionalRecepción de voz y generación de hablado

Límites y precauciones

  • La alineación entre modalidades no es perfecta: pueden haber asimetrías de escala, dominio e idioma.
  • El modelo puede confundir información de una modalidad con otra (confusión multimodal), un problema que aumenta con la composición de varias entradas.
  • La seguridad y las políticas de contenido varían según el modelo y la modalidad.

El punto de vista de la publicación

Los modelos multimodales no reemplazan a los sistemas de una sola modalidad: amplían el terreno de la inteligencia artificial a problemas donde la información está distribuida entre varias fuentes. Para los medios, son la diferencia entre un artículo que describe una imagen y un artículo que entiende la imagen y lo contextualiza.

Referencias

  • OpenAI — GPT-4V (hello-gpt-4v)
  • Google — Gemini
  • DeepMind — Flamingo: a Loosely-coupled Vision-Language Model
  • arXiv — Flamingo: a Loosely-coupled Vision-Language Model, arXiv:2204.14193

Fuentes consultadas

Se conservan las referencias para poder reconstruir cómo se verificó esta información.

¿Ves un error? Escríbenos indicando el dato concreto y la fuente que lo contradice. Las correcciones se aplican en la propia página y se reflejan en la fecha de actualización. Contactar con la redacción.

Sigue leyendo

investigaciónExplicador

Qué es un modelo abierto

Modelos abiertos publican sus pesos y documentación: quienes tienen acceso pueden ejecutarlos, modificarlos, reentrenarlos y desplegarlos. La apertura no es un binario: abarca licencias, pesos, código y datos.