Un LLM congelado aprende a hablar en dúplex con 97M parámetros

Qué han construido

Un equipo de AveraLabs ha convertido un modelo de lenguaje multimodal ya entrenado en un sistema de voz que escucha mientras habla, sin reentrenar la mayor parte de sus parámetros. El trabajo, disponible desde el 10 de noviembre en arXiv con el título «An LLM Is All You Need», parte de Qwen3-Omni-30B-A3B y deja congelados sus 30.000 millones de parámetros. Lo que entrena son adaptadores de bajo rango sobre las proyecciones de atención, un adaptador de audio, una capa de fusión de canales y diecisiete embeddings para tokens nuevos, 97,4 millones de parámetros en total. La conversión se hace en cuatro fases que suman unas 30 horas-GPU en un solo acelerador.

El resultado es un sistema de voz en dúplex. A diferencia de los asistentes que esperan a que el usuario termine, hablan por turnos y se detienen, este modelo escucha y habla sobre la misma línea temporal. Puede ceder la palabra cuando el usuario le interrumpe, tomarla cuando este termina y emitir breves asentimientos mientras la otra persona sigue hablando. Todo lo decide el propio modelo, sin un detector de actividad por voz externo.

Por qué cuesta tanto

La vía habitual para conseguir ese comportamiento es el entrenamiento a gran escala. Moshi, uno de los sistemas de referencia, parte de un modelo de texto de 7B parámetros preentrenado con 2,1 billones de tokens y después preentrena con siete millones de horas de audio transcrito, además del corpus telefónico Fisher y más de 20.000 horas de diálogo sintético. SyncLLM, que parte de Llama3-8B, entrena con 212.000 horas de diálogo hablado sintético. Ese volumen es caro y, según los autores, reescribe el modelo de lenguaje que aporta los conocimientos del sistema, con riesgo de olvido catastrófico.

Cómo funciona la cascada

El sistema separa dos mitades. El «pensador» es el modelo congelado, convertido en quien decide; el «hablante» es un sintetizador de arquitectura similar a la de Moshi, a escala reducida, que recibe solo tokens discretos. Ambas mitades comparten un reloj de 12,5 Hz, es decir, un fotograma cada 80 milisegundos. En cada fotograma el pensador lee el último fragmento de audio del usuario y emite un token de texto del agente. Las pausas, las cesiones y las tomas de palabra son tokens del mismo vocabulario, no señales aparte, y una máquina de estados finitos enmascara antes de muestrear los tokens que no son legales en el estado actual. El hablante, que solo ve texto, transforma esos tokens en voz, así que se entrena por separado y no comparte parámetros con el pensador. Las cuatro fases cierran huecos uno a uno: leer el audio en formato codec, temporizar las pausas, tomar turnos en una línea de dos canales y gestionar interrupciones y asentimientos. Ninguna corrida usa más que unas decenas de miles de diálogos.

Qué dicen las pruebas

Los autores evalúan en tres bancos de pruebas públicos. En Full-Duplex-Bench v1.0, el sistema es el modelo de código abierto que menos veces toma la palabra cuando el usuario solo hace una pausa, con una tasa de 0,170 frente a 0,584 del siguiente, y el que más veces emite asentimientos. También acierta casi siempre al tomar el turno cuando el usuario termina. Sus puntos flacos son la rapidez y el contenido. PersonaPlex y Moshi responden antes, y tras una interrupción las respuestas del sistema reciben una relevancia más baja, 2,68 frente a 4,21 de PersonaPlex y 3,62 de Freeze-Omni en una escala de 0 a 5.

En Full-Duplex-Bench v1.5, que añade escenas con solapamiento, el sistema reacciona más rápido. Tras una interrupción se detiene y contesta antes que Moshi y Freeze-Omni, y su latencia de respuesta es la menor en todos los escenarios. Pero responde menos veces después de una interrupción, 0,42 frente a 0,72 de Freeze-Omni, y reanuda mucho menos su discurso tras un asentimiento del usuario, 0,24 frente a 0,80.

En InteractionBench, que mide precisión en tareas habladas, control de turno, susurro y volumen y coherencia, el sistema gana a los modelos abiertos en tareas habladas, con un 26% (13 de 50), en coherencia, con 47, y en aterrizaje o «groundedness», con un 53% (27 de 51) frente al 35% de Freeze-Omni. Queda segundo en control de turno, tras PersonaPlex, y último en susurro y volumen, una dimensión que su hablante no controla. Los sistemas cerrados GPT-Realtime y Gemini Live siguen por delante en todas las dimensiones. El hablante alcanza además una tasa de error de palabra de 0,088, frente a 0,128 del modelo del que parte, medida con un reconocedor automático sobre 150 diálogos.

Limitaciones

Los autores delimitan con precisión el alcance de la afirmación de eficiencia. Esta cubre solo la adaptación. Qwen3-Omni se preentrenó con grandes cantidades de audio y el hablante parte de un punto de control preentrenado de voz y texto, así que el trabajo no demuestra que un modelo que nunca ha oído habla pueda aprender el comportamiento dúplex con pocos datos. La comparación con Moshi y SyncLLM además cruza unidades: los autores cuentan ejemplos de entrenamiento y horas-GPU, mientras que aquellos sistemas miden horas de audio, y no convierten entre ambas.

Los conjuntos de las pruebas son pequeños, de 55 a 353 elementos en Full-Duplex-Bench y de 10 a 140 en InteractionBench, y los números de referencia son los publicados por los propios bancos, no repeticiones hechas por los autores. El canal de audio del usuario en el hablante está congelado y se rellena con ceros en inferencia, así que la voz del agente no se adapta al interlocutor. El hablante se entrenó solo con voz sintetizada y no controla el volumen ni el susurro, y el paso de asentimiento se entrenó con 701 diálogos repetidos ocho veces.

Por qué importa

El trabajo muestra que una parte importante del comportamiento dúplex puede añadirse a un modelo ya capacitado sin reescribirlo, con un coste de adaptación muy inferior al del preentrenamiento de voz a gran escala. Para la industria, adaptar modelos generales en lugar de preentrenar sistemas de voz desde cero abarata el camino y conserva los conocimientos del modelo base. También deja claro que la ventaja no es general. Los sistemas cerrados siguen por delante, y este modelo pierde en rapidez, en relevancia tras una interrupción y en control de la voz. La vía está abierta, pero todavía no gana la carrera.