NoticiasDeIA
RobóticaNoticiaAlta relevancia

Robot-Use RL: un modelo abierto de 27B aprende a usar robots reales sin demostraciones

Investigadores del MIT y NVIDIA entrenan Qwen3.8-27B con refuerzo íntegramente en simulación y sin demostraciones. El modelo pasa del 1,6 % al 74,4 % en LIBERO y acierta el 60 % de las pruebas en un robot real de dos brazos.

Redacción de NoticiasDeIAPublicado el Hecho ocurrido el 13 de noviembre de 20266 min de lectura
Compartir
Ilustración de un brazo robótico industrial manipulando objetos sobre una mesa, sin personas ni marcas identificables
Ilustración de un brazo robótico industrial manipulando objetos sobre una mesa, sin personas ni marcas identificables

Qué se sabe y qué no. Este artículo distingue lo anunciado oficialmente de lo filtrado, especulado o todavía no confirmado. Las afirmaciones dudosas se marcan como tales en el texto.

Qué ha ocurrido

El 13 de noviembre se publicó en arXiv el artículo Training Reasoning Models in Simulation to Natively Use Real Robots (arXiv:2611.18562), firmado por Jiaming Tang, Zhuoyang Zhang, Junxian Guo, Fangzhou Zhao, Yilong Zhao, Zekai Li, Xingyang Li, Yuyang Zhao, Song Bian, Zhijian Liu y Song Han, con afiliaciones en el MIT, UC Berkeley, UCSD, NVIDIA e Inco AI. El mismo día, el laboratorio de Song Han abrió el blog del proyecto y el repositorio PEAR (Post-training Engine for Agentic Robotics), y anunció que el modelo, el código y la infraestructura de entrenamiento se publicaban en abierto.

El trabajo parte de una analogía: si un computer-use agent maneja un ordenador observando una captura de pantalla, razonando y escribiendo un clic, un robot-use agent puede manejar un robot observando las cámaras, razonando y escribiendo el siguiente movimiento. La diferencia está en cómo se entrena. Hasta ahora, los buenos resultados en este campo los habían obtenido modelos propietarios de frontera como GPT-6 Astra y Claude Fable 5.2; los modelos abiertos se quedaban muy por detrás. Este equipo plantea que la vía para cerrar esa distancia es el aprendizaje por refuerzo, igual que se hizo con el uso de ordenadores, y lo aplica sin demostraciones y sin harness.

Qué es oficial y qué no

Son oficiales el preprint, el blog del laboratorio, el repositorio PEAR —con licencia Apache 2.0— y los pesos del modelo alojados en Hugging Face. Todas las cifras de este artículo salen de esas fuentes. Lo que no hay todavía es revisión por pares ni replicación independiente: los resultados son los que reportan los propios autores, y las comparaciones con modelos de terceros (GPT-6 Astra, GPT-6.1 Sol, π0.5) usan los protocolos y las effort settings que describe el paper. Tampoco hay, de momento, una validación externa del repositorio por parte de otros laboratorios.

Cómo funciona

El modelo base es Qwen3.8-27B, un modelo abierto de 27.000 millones de parámetros. En cada ronda observa varias vistas de cámara y el estado del brazo, razona en una cadena de pensamiento y escribe la siguiente pose del efector final en formato JSON; la cinemática inversa y el controlador del brazo convierten esa pose en movimiento. No hay nada entre medias: ni herramientas de percepción, ni planificadores de agarre o de movimiento, ni una biblioteca de habilidades. El modelo tiene que encontrar los objetos en las imágenes, calcular cómo alcanzarlos y manipularlos y darse cuenta de cuándo un movimiento no salió como esperaba.

El entrenamiento se llama Robot-Use RL y usa una única señal de recompensa: si la tarea terminó bien o mal. No se emplea ajuste fino supervisado (SFT) ni demostraciones humanas. La infraestructura PEAR corre un RL totalmente asíncrono sobre veRL, con GRPO, muestreo dinámico y Score Centering, y entrena en dos simuladores, MuJoCo (LIBERO) e Isaac Sim (RoboDojo). Los autores explican que eligieron RL puro, entre otras razones, para no dañar las capacidades generales del modelo.

Los resultados

Los números que aporta el paper, todos ellos de los autores, son los siguientes:

  • En LIBERO, el modelo pasa del 1,6 % de acierto del modelo base al 74,4 %, medido sobre los 2.000 episodios de evaluación. En esfuerzo máximo, GPT-6.1 Sol llega al 76,2 % y GPT-6 Astra al 80,6 %; en esfuerzo medio, ambos se quedan en el 48,1 % y el 49,3 %, por debajo del modelo entrenado.
  • En LIBERO-Pro, cuando la escena es conocida pero la tarea es nueva, el modelo abierto acierta el 57,4 % y π0.5 solo el 0,75 %. Si se cambian las posiciones de los objetos, el modelo abierto mantiene el 57,5 % frente al 20,8 % de π0.5.
  • En un robot real de dos brazos YAM, sin ningún dato de robot real en el entrenamiento, el modelo completa 18 de 30 pruebas, es decir, el 60 %; el modelo base no completa ninguna. El punto de control entrenado solo con LIBERO, que ni siquiera vio ese robot, acierta el 23 %.
  • En RoboDojo, con un simulador distinto y un brazo dual ARX, el modelo entrenado solo con LIBERO acierta el 39,9 % en general_pickup frente al 10,7 % del base.
  • En RoboLab-120, el modelo entrenado con LIBERO y RoboDojo llega al 37,3 %, por encima del 28,0 % de π0.5 y cerca del 36,8 % de Cosmos3-Nano-Policy.
  • En nueve benchmarks de razonamiento, código y visión, el modelo no muestra degradación medible: el cambio medio es de −0,15 puntos.
  • Entre las tareas de robot real hay dos que requieren conocimiento: copiar una versión de La noche estrellada en una pizarra y elegir fenolftaleína, y no etanol ni yodo, para comprobar si una solución es alcalina.

El modelo razona mucho antes de cada movimiento. Con pesos en BF16 decodifica 221 tokens por segundo en una sola RTX 5090 y 747 en una GB300; una ronda de razonamiento en esfuerzo alto tarda unos 4,3 segundos de media.

Por qué importa

El resultado interesa por tres razones. Primera, ataca el punto débil del campo: los modelos abiertos se habían quedado fuera del control robótico generalista, y aquí se muestra que el refuerzo en simulación puede recortar gran parte de esa distancia sin necesidad de demostraciones ni de un harness que restrinja el espacio de acciones. Segunda, la transferencia es amplia: lo aprendido en un simulador y con un brazo funciona en otro simulador, con otro brazo y en el robot real, y además se mantiene al cambiar la tarea o la disposición de los objetos. Tercera, es reproducible: el código, los pesos y la infraestructura son públicos, de modo que otros grupos pueden reentrenar y contrastar los números.

También conecta con una tendencia más amplia, la del entrenamiento de modelos para que usen herramientas y máquinas con la misma receta que se usó para el uso de ordenadores, y desplaza la discusión de «qué modelo es más capable» a «cómo se entrena para actuar sobre un cuerpo».

Limitaciones

Los propios autores son explícitos. No han podido escalar el entrenamiento por falta de GPU: solo llegaron a dos tareas de RoboDojo, dos simuladores y una base de 27B. No usaron SFT, en parte por falta de datos de calidad y en parte por temor a degradar las capacidades generales. El modelo sigue siendo lento para ejecutar tareas, porque razona a longitud antes de cada movimiento; en algunos casos la cadena de pensamiento alcanza los 32.000 tokens y un solo movimiento se va más de medio minuto. Y depende en gran medida del prompt: el modelo no conoce el cuerpo que controla, así que hay que describírselo con detalle, y su rendimiento sube cuando esa descripción es buena. Por último, no emite action chunks, solo una pose por ronda, y la precisión final depende también del controlador del robot.

Qué sigue sin saberse

Queda por ver si la receta escala: más simuladores, más tareas y una base más fuerte, según los autores, deberían mejorar el resultado, pero no hay datos. Tampoco se sabe cuánto tardará la comunidad en replicar los números con el repositorio público, ni cómo se comporta el modelo fuera de las tareas y los robots probados. Y queda abierta la pregunta de si combinar este refuerzo con SFT o con datos de preentrenamiento robótico daría mejores resultados sin perder las capacidades generales, que es la apuesta que este trabajo ha decidido no explorar.

Fuentes consultadas

Se conservan las referencias para poder reconstruir cómo se verificó esta información.

Publicación de origen: https://arxiv.org/abs/2611.18562

¿Ves un error? Escríbenos indicando el dato concreto y la fuente que lo contradice. Las correcciones se aplican en la propia página y se reflejan en la fecha de actualización. Contactar con la redacción.

Sigue leyendo