Fast-VLA reporta hasta 17 veces más velocidad de inferencia en pruebas

Una sola llamada para entender la tarea

En el campo de la IA física, Fast-VLA es un método de visión-lenguaje-acción (VLA) para manipulación robótica que separa la comprensión de la instrucción del control continuo. El preprint publicado en arXiv el 15 de octubre utiliza un modelo visión-lenguaje (VLM) congelado de 4.000 millones de parámetros una vez por episodio. Con la instrucción y las primeras vistas de la escena construye una memoria de tarea, que queda fija mientras el robot ejecuta la secuencia.

Después entra en juego un actor en línea, el módulo ligero que propone acciones. Este combina esa memoria con imágenes actuales de las cámaras de cabeza y muñeca y con datos propioceptivos del robot para predecir bloques de acciones. El modelo grande no vuelve a procesar la escena en cada ciclo: el actor consulta el contexto guardado y actualiza la acción usando las observaciones nuevas. La página del proyecto describe una memoria de claves y valores de 34 capas y publica resultados de RoboTwin 2.0, LIBERO y LIBERO-Plus.

-RobotCrew dice: La idea práctica es reservar el modelo grande para entender “qué hay que hacer” y dejar que un controlador más pequeño atienda “qué hago ahora”.-

Qué muestran las cifras del preprint

Los autores reportan un éxito del 92,46 % en RoboTwin 2.0 Clean y 92,40 % en Randomized, además de 95,95 % en LIBERO y 79,11 % en LIBERO-Plus. También miden el tiempo de inferencia amortizado (el coste medio al repartir la preparación inicial entre los pasos del episodio) en el mismo hardware frente a tres sistemas de referencia: afirman una reducción de entre 10,9 y 17,1 veces en RoboTwin. En la página del proyecto, el promedio publicado para Fast-VLA es de 1,437 milisegundos por paso de entorno y 1,22 GiB de memoria residente en línea después de preparar la memoria.

Son resultados de benchmarks reportados por los autores, no una validación de tareas en viviendas, fábricas o flotas comerciales. El porcentaje de éxito mide episodios de los conjuntos de evaluación; no significa que ese porcentaje de órdenes diversas se complete en un turno de trabajo real. Tampoco permite extrapolar directamente la latencia a otro ordenador o a un robot con sensores y actuadores distintos.

-RobotCrew dice: Un 92 % en una batería de tareas vale como comparación reproducible; todavía no es una promesa de éxito para cualquier objeto que encuentre un robot.-

La eficiencia también tiene un coste inicial

El diseño no elimina la computación pesada, sino que la concentra al comienzo del episodio. La primera acción incluye la preparación de la memoria; en RoboTwin, la página técnica indica 153,74 milisegundos para el primer bloque, de los que 108,87 ms corresponden al prellenado del VLM. La memoria en línea que queda después es menor que el pico: el proyecto informa hasta 12,11 GiB durante esa preparación para RoboTwin, frente a 1,22 GiB residente posteriormente. Esa diferencia importa al elegir un computador embarcado con memoria limitada.

Los autores comparan la latencia con tres baselines condicionados de forma continua y explican que las mediciones se hicieron con el mismo hardware. La comparación mejora la lectura del resultado, aunque el ahorro depende del conjunto de tareas, la frecuencia con que se necesita reconstruir el contexto y qué se considera parte del episodio. La propia página separa el coste de inicialización del ritmo posterior y muestra variantes donde refrescar la memoria varias veces aumenta el gasto de inferencia.

-RobotCrew dice: El primer movimiento también cuenta: una política rápida tras la preparación puede ser útil, siempre que el arranque quepa en el presupuesto del robot.-

Fast-VLA propone, por tanto, una arquitectura para reducir llamadas repetidas al modelo grande sin dejar el control abierto durante toda la tarea. Su siguiente prueba relevante será comprobar cuánto conserva esas ventajas con observaciones, perturbaciones y hardware distintos, fuera de los benchmarks publicados. Por ahora, el valor del trabajo está en la separación de memoria de tarea y actor reactivo, y en unas cifras prometedoras que siguen perteneciendo a un preprint de investigación.

Fuentes

• arXiv, preprint 2610.21389 | https://arxiv.org/abs/2610.21389
• Página del proyecto Fast-VLA | https://garfield-kh.github.io/FastVLA/

Diccionario de la Crew

• VLA — modelo que conecta instrucciones en lenguaje, información visual y acciones del robot.
• VLM — modelo de visión y lenguaje que interpreta imágenes junto con texto; por sí solo no implica control de actuadores.
• Preprint — manuscrito de investigación compartido antes de completar una revisión formal por pares.
• Actor en línea — módulo que usa el estado actual y la memoria de tarea para producir las acciones siguientes.
• Datos propioceptivos — señales internas del robot, como posiciones y estados de sus articulaciones.
• RoboTwin 2.0, LIBERO y LIBERO-Plus — conjuntos de tareas de referencia usados para evaluar políticas de manipulación en entornos simulados.
• Inferencia amortizada — coste medio por paso cuando el cálculo inicial se distribuye entre los pasos de un episodio.