Saltar al contenido principal
eKoFeed

Runway lanza Praxis-1, un modelo open source que convierte la IA generativa de vídeo en controlador robótico

Runway libera Praxis-1 bajo licencia Apache 2.0, un World Action Model open source que convierte el entrenamiento en vídeo en control robótico.

·
Imagen oficial de Runway sobre Praxis-1, el modelo de código abierto que adapta IA de vídeo para controlar robots (Runway)

Runway ha liberado Praxis-1, su modelo de inteligencia artificial para controlar robots, con pesos abiertos y código fuente bajo la licencia Apache 2.0, que permite su uso comercial. Según informa The Decoder a partir del anuncio oficial de Runway, el sistema traslada el aprendizaje extraído de vídeo al control de robots y arroja resultados prometedores en las pruebas propias de la compañía.

La empresa presentó inicialmente Praxis-1 a finales de septiembre con acceso limitado a socios seleccionados. Junto con su apertura pública, Runway publicó un informe de investigación detallado con nuevas evaluaciones de desempeño.

Del aprendizaje en vídeo al control continuo de robots

En su base, Praxis-1 parte de un modelo de vídeo que aprendió cómo se mueven e interactúan los objetos a partir de grabaciones ordinarias. Posteriormente, Runway realizó un ajuste fino (fine-tuning) con vídeos de acciones humanas y datos robóticos.

Con esta arquitectura, la compañía busca reducir la dependencia de costosos conjuntos de datos específicos de robótica, necesarios tradicionalmente para entrenar este tipo de sistemas. Conocida sobre todo por modelos generativos de vídeo como Gen-4.5, la firma traslada así su investigación visual al ámbito de la robótica física.

Runway cataloga a Praxis-1 como un World Action Model, capaz de procesar imágenes de cámara, instrucciones de texto e información sobre la posición del robot. A partir de esas entradas, predice cómo cambiará el entorno, calcula los movimientos adecuados y ajusta el control de forma continua conforme llegan nuevos fotogramas.

Desde septiembre, las firmas de robótica Standard Bots, Noble Machines y Ultra han estado probando Praxis-1 sobre distintas plataformas. Sus ensayos abarcan un robot humanoide, un brazo robótico industrial y un robot de almacén de doble brazo.

Datos de entrenamiento necesarios e incógnita sobre el ahorro real

Pese al preentrenamiento visual, Praxis-1 todavía requiere datos especializados de robótica para adaptarse a cada plataforma. Según el informe de investigación de Runway, adaptar el modelo a un brazo robótico Franka exigió alrededor de 277 horas de grabaciones del conjunto público DROID, que muestra robots sujetando y desplazando objetos.

En el caso de un robot de doble brazo, la compañía utilizó entre 1.400 y 2.600 horas de material de entrenamiento. Dado que Runway ya había empleado datos de DROID y de otros sistemas robóticos en fases previas de entrenamiento, aún queda abierta la cuestión de si este método necesita realmente menos datos robóticos globales que los modelos comparables sin preentrenamiento general en vídeo.

Desempeño frente a FLUX 3 Action y RT-1 en simulación y hardware real

En la clasificación RoboLab-120 de Nvidia, que mide en simulación la fiabilidad de los modelos robóticos para ordenar, agarrar o apilar objetos, Praxis-1 lidera la categoría World Action Model por delante de FLUX 3 Action. En la clasificación general se sitúa quinto, detrás de dos agentes de inteligencia artificial y dos modelos robóticos con arquitecturas diferentes, si bien todas las pruebas fueron ejecutadas por Runway y todavía carecen de verificación independiente.

Tras el ajuste con datos de DROID, la empresa evaluó ambos modelos sobre un brazo físico Franka en tareas como colocar un plátano sobre un plato o cerrar un cajón. Además, probó la transferencia hacia una plataforma móvil con brazo pinza que Google había empleado previamente para desarrollar RT-1 —ausente del entrenamiento previo de Praxis-1— en tareas simuladas como agarrar latas de refresco, abrir o cerrar cajones y guardar una manzana en un cajón:

Evaluación o benchmarkEntorno y configuración de pruebaResultado de Praxis-1Referencia comparada
RoboLab-120 (Nvidia)120 tareas simuladas de clasificación, agarre y apilado46,2 % de éxito (1.º en World Action Model; 5.º general)FLUX 3 Action: 42,9 % de éxito
Brazo robótico Franka (físico)Ajuste previo con DROID; 10 tareas (10 intentos por tarea)88 aciertosFLUX 3 Action: 80 aciertos
Plataforma móvil con pinza (inédita para el modelo)Ajuste con ~95 horas de datos; 4 tipos de tareas simuladas80 % de éxito promedioRT-1 (Google): 52,4 % de éxito

Disponibilidad, requisitos de memoria y límites actuales

Los desarrolladores ya pueden descargar Praxis-1 desde Hugging Face tras registrarse y aceptar las condiciones de acceso, mientras que el código está disponible en GitHub. De acuerdo con el anuncio de Runway, además del modelo base se ofrecen variantes preadaptadas para distintos robots, dado que el modelo base necesita entrenamiento adicional para trabajar con nuevos sistemas robóticos.

En el apartado de cómputo, la versión estándar exige una GPU con 80 GB de memoria. Una versión comprimida debería caber en una RTX 5090 con 32 GB de VRAM según las estimaciones de Runway, aunque la documentación en GitHub advierte que el consumo máximo real de memoria aún no ha sido medido.

El informe técnico también documenta limitaciones claras en el estado actual del sistema: Praxis-1 confunde en ocasiones objetos de apariencia similar y tiene dificultades con instrucciones vagas. En tareas largas resulta necesario detallar cada paso individual, pues todavía no puede planificar secuencias de acciones complejas con fiabilidad por sí solo.

Por ello, Runway concibe Praxis-1 principalmente como un sistema para la ejecución rápida de movimientos robóticos. A futuro, la compañía contempla integrarlo junto a modelos de inteligencia artificial de propósito general encargados de desglosar tareas complejas en pasos concretos.

Fuente: The Decoder | Runway