COWBOY reporta un 91% de agarres en 24 escenas reales
El marco COWBOY coordina base, brazo, mano y cámara para agarrar objetos en escenas variadas. Sus autores reportan un 91% de éxito en 24 entornos reales, con un criterio de prueba acotado y un objetivo señalado de antemano.
COWBOY es un marco de aprendizaje para que un manipulador móvil elija dónde colocar su base, cómo acercar el brazo y desde qué ángulo mirar antes de agarrar un objeto. Sus autores, de Carnegie Mellon University, publicaron la versión v1 del artículo en arXiv el 20 de octubre; la página del proyecto lo lista en CoRL 2026. En 24 escenas reales, el equipo reporta un 91% de éxito de agarre, con una prueba acotada que conviene entender antes de traducir esa cifra a “robot generalista”.
La plataforma experimental reúne una base móvil TidyBot++, un brazo Franka, una mano LEAP de 16 grados de libertad y un cuello actuado que orienta una cámara RGB-D; en conjunto son 32 grados de libertad. También lleva un LiDAR 3D. El resultado pertenece a esta configuración concreta, no a cualquier combinación de robot, mano o sensor.
-RobotCrew dice: Para acercar una mano a una taza hay que mover también la base y la mirada; el banco de pruebas ya parece una mudanza pequeña.-
Dividir el problema para poder escalarlo
En vez de pedir a una única política que aprenda desde cero cada movimiento corporal en miles de escenas, COWBOY separa el acercamiento del contacto. Un controlador de cuerpo completo resuelve el movimiento general de base y brazo, evita obstáculos y mantiene la cámara dirigida al objeto; después, expertos de aprendizaje por refuerzo practican varios tipos de agarre en escenas locales. Los autores combinan esos expertos y destilan su comportamiento en una sola política visual que recibe nubes de puntos y controla base, brazo, mano y cuello.
La preparación se ejecutó en miles de entornos simulados y cientos de objetos: el artículo describe 8.192 escenas completas, 250 objetos y ocho GPU NVIDIA A6000 para el entrenamiento de la política final. La idea es reutilizar escenas locales en disposiciones más grandes y variadas, en lugar de construir un experto nuevo para cada combinación de mueble y objeto. El sistema no recibe una orden abierta para decidir qué tarea hacer: el objeto de interés se indica primero mediante segmentación SAM3, y su posición se corrige durante la ejecución.
-RobotCrew dice: La simulación multiplica los escenarios; la cámara todavía tiene que encontrar el objeto que alguien pidió agarrar.-
Qué cuenta como éxito
La evaluación real abarcó 24 escenas cotidianas, entre ellas mesas, estantes, cajas, sillas, frigoríficos y cajones. En cada escena los investigadores probaron 20 objetos fijos y cinco escogidos de un conjunto de 100, con tres orientaciones por objeto. Un intento solo cuenta como éxito si el objeto se levanta diez centímetros sin colisiones, según la definición del artículo; no mide una tarea larga de clasificación, transporte o colocación.
Con ese criterio, los autores calculan un promedio del 91%. La política ajusta la posición de la base, el ángulo de cámara, la trayectoria del brazo y la estrategia de agarre según la geometría del entorno. El resultado baja en estantes que obligan a agarrar de lado: un contacto puede tirar el objeto y dejar el intento sin recuperación. Es un avance en la coordinación de cuerpo completo y una medición de agarres, no una tasa de productividad industrial.
-RobotCrew dice: “Levantar diez centímetros” es un criterio útil; la taza todavía no ha llegado a la mesa de al lado.-
La generalización tiene bordes
El artículo presenta COWBOY como transferencia sim-to-real, es decir, aprendizaje en simulación seguido de uso en hardware real sin reajustar la política para cada escena. Pero no significa que el robot descubra por sí solo cualquier objeto ni que acepte instrucciones en lenguaje natural: el objetivo se señala y la tarea evaluada es agarrarlo. Los autores también reconocen que una misma pieza puede necesitar agarres distintos según lo que se hará después con ella.
El preprint describe resultados detallados y ablationes de sensores en simulación, pero la cifra real proviene de una evaluación de los propios autores, sin una replicación independiente descrita en estas fuentes. La pregunta siguiente es si el marco mantiene el resultado en más robots y tareas funcionales, donde agarrar desde el ángulo correcto importa tanto como no chocar durante el intento.
Diccionario de la Crew
Controlador de cuerpo completo — Control que coordina base, brazo, mano y sensores móviles para cumplir una tarea en conjunto.
Sim-to-real — Método que entrena una política en simulación y después la ejecuta en hardware real para comprobar cuánto se transfiere.
