Nvidia detalla cómo crear simulaciones robóticas pick-and-place en Isaac Sim 6.2 con SimReady y OpenUSD
Nvidia detalla cómo simular tareas pick-and-place en Isaac Sim 6.2 ensamblando el brazo UR17G y la pinza Robotiq 2F-140 con activos OpenUSD SimReady.

Integrar brazos articulados, pinzas y objetos cotidianos en un entorno virtual exige que cada modelo responda con física realista desde el primer instante. Para agilizar ese montaje, NVIDIA presenta un flujo completo orientado a tareas robóticas pick-and-place sobre Isaac Sim 6.2 mediante activos prevalidados en el estándar OpenUSD.
Los ingenieros Dillon Bailey, Pomi Lee y Rishabh Chadha documentan este recorrido paso a paso en Hugging Face, apoyándose en la biblioteca abierta SimReady Central y en un agente de IA capaz de ensamblar la escena y generar el controlador en Python.
Qué aporta SimReady y cómo se validan los activos OpenUSD
Dentro de los flujos de robótica, la etiqueta SimReady indica que un recurso en OpenUSD incorpora las propiedades físicas imprescindibles para su caso de uso, entre ellas colisiones, masa, articulaciones (joints) y accionamientos (joint drives). El catálogo de SimReady Central distribuye estos modelos junto con evidencia verificable de cumplimiento de perfil.
La especificación técnica de SimReady Foundation organiza esas garantías en tres niveles encadenados para validar si un robot o componente responde correctamente antes de ejecutar la escena:
| Nivel de especificación | Función dentro de SimReady Foundation | Ejemplo en simulación pick-and-place |
|---|---|---|
| Profile | Agrupación de capacidades exigidas para un caso de uso | Cuerpo robótico o pinza industrial |
| Features | Capacidades operativas requeridas en el activo | Articulaciones controlables o geometría de colisión |
| Requirements | Comprobaciones técnicas sobre cada parámetro | Ajustes de accionamiento (drive settings) verificados |
En esta demostración intervienen tres assets públicos alojados en Hugging Face, cuyos paquetes aportan tanto la geometría tridimensional como los ajustes de simulación validados. A diferencia de esa base reutilizable, la escena de trabajo, las posiciones iniciales y el código que coordina el movimiento quedan en manos del desarrollador o del agente.
| Componente | Repositorio oficial | Archivo OpenUSD principal | Validación y propiedades |
|---|---|---|---|
| Brazo UR17G | TeradyneRobotics/UniversalRobots | ur17g_1300.usda | Perfil Robot-Body 4.0.0 (PhysX) |
| Pinza Robotiq 2F-140 | Robotiq-Official/simready-assets | Robotiq_2F_140.usda (índice enlazado a Robotiq_2F_85.usda) | Perfil Robot-Gripper 3.0.0 (PhysX) |
| Lata de bebida | nvidia/simready-assets | sm_food_beverage_can_n01_01.usd | Colisiones y masa física para agarre |
Los reportes de validación tanto del brazo como de la pinza superan las comprobaciones PhysX de articulaciones accionadas, encargadas de inspeccionar la configuración de los motores de cada junta. Ese respaldo establece un punto de partida común antes de comprobar cómo interactúan todos los elementos en conjunto.

Comprobaciones previas antes de ejecutar el agarre
Un robot puede lucir geométricamente correcto en reposo dentro de Isaac Sim y fallar en cuanto arranca el motor físico. Por ello, los ingenieros recomiendan verificar manualmente o mediante instrucciones al agente tres aspectos críticos antes de lanzar la rutina completa de manipulación:
- Ajustes de articulación: revisar los límites de recorrido y los parámetros de accionamiento (drive settings) tanto del brazo como de la pinza.
- Movimiento básico: comprobar un desplazamiento corto del brazo junto con la apertura y el cierre de los dedos de agarre.
- Contacto físico: confirmar que la lata reposa sobre la superficie de trabajo sin atravesarla y comprobar durante el traslado si permanece sujeta entre las mordazas.
Requisitos de software, descarga de activos y búsqueda USD
Para reproducir la escena se requiere instalar Isaac Sim 6.2 y habilitar las herramientas descritas en la documentación oficial de Agent Skills. El ejemplo de referencia emplea GPT-6 Sol para escribir y ejecutar código Python contra el simulador, aunque cualquier agente compatible con esas skills puede operar con resultados variables.
El flujo también se apoya en el punto de acceso de búsqueda USD Search para localizar contenido mantenido por fabricantes originales y, de forma opcional, en la CLI de Hugging Face si se prefiere automatizar la descarga por consola en lugar de guardar carpetas desde el navegador.

Al obtener cada paquete desde SimReady Central, conviene conservar íntegras las tres carpetas de recursos para que Isaac Sim resuelva sin fallos sus archivos auxiliares y texturas. Con la estructura intacta, basta entregar al agente las rutas locales de cada archivo OpenUSD, siguiendo un formato como el de este ejemplo de la pinza:
~/ASSETS/hf/src/simready-assets-c7fa7615/Robotiq_2F_140/simready_usd/Robotiq_2F_140.usda

Ensamblaje en Isaac Sim 6.2 mediante servidor Python remoto
Con los archivos en disco, Isaac Sim 6.2 debe lanzarse desde su directorio de instalación activando el servidor remoto en Python. Esto permite que el agente interactúe en vivo con la escena abierta y acceda a las skills incluidas si también se inicia desde esa misma ruta:
./isaac-sim.sh --enable isaacsim.code_editor.python_server
Tras comprobar que los tres assets cargan sin rutas rotas e inspeccionar las juntas físicas, el siguiente paso une el brazo UR17G y la pinza Robotiq 2F-140 en una única articulación (articulation) controlable. Quienes opten por configurarlo a mano disponen de la guía oficial de Robot Assembler.
Cuando se delega la tarea al agente mediante un prompt que referencia las rutas locales de ambos modelos y la documentación del ensamblador, el sistema invoca las skills isaac-sim-remote y usd-articulation. Al concluir, valida automáticamente el comportamiento físico del conjunto antes de pasar a la fase de control.

Controlador pick-and-place y secuencia de prueba
Para ejecutar la maniobra completa, el controlador sincroniza la cinemática del brazo con la apertura y el cierre de la pinza. El equipo facilita además el tutorial para añadir un manipulador para inspeccionar o adaptar manualmente la lógica generada.
En el flujo automatizado, la instrucción solicita explícitamente un agarre basado en contacto (contact-based grasp) y la medición del error de posicionamiento al soltar el objeto. Para resolverlo, el agente combina las skills isaac-sim-remote, manipulaiton-ik y physics-simulation.
La prueba reinicia el entorno y encadena las fases de aproximación, agarre, elevación, sujeción, traslado y liberación desde el marcador amarillo de recogida hasta el punto verde de destino. Si la secuencia falla, el protocolo indica inspeccionar la escena, regenerar los controles y restablecer exactamente el estado inicial para comparar resultados.

Supuestos de simulación y límites frente al hardware real
Los autores subrayan que los resultados observados responden exclusivamente a un escenario guiado y controlado, por lo que no demuestran robustez ante incertidumbre posicional, cargas distintas ni transferencia directa sim-to-real sobre hardware físico. Para consultar las fuerzas de agarre reales del fabricante, remiten a la ficha técnica oficial de Robotiq.
| Parámetro del escenario | Condición aplicada en el ejemplo | Alcance omitido en la prueba |
|---|---|---|
| Entorno y robot | Robot anclado, lata en posición conocida y mesa despejada | Sin visión artificial (vision) y con colisiones limitadas |
| Modelo del objeto | Lata rígida simplificada en OpenUSD | Sin deformación ni dinámica interna de líquidos (crushing) |
| Agarre y trayectoria | Límite de esfuerzo de 2 N·m ajustado en simulación y waypoints fijos | Sin calibración de fuerza en dedos ni replanificación (replanning) |
Como vía para ampliar el ecosistema más allá de los ejemplos publicados, el equipo de NVIDIA apunta a guías dedicadas para preparar activos propios desde CAD mediante modelos fundacionales y a la guía de envío de SimReady Central en GitHub. Asimismo, destaca proyectos comunitarios como la demostración de realidad virtual controlada por voz de Michael Wagner y la simulación Microduck de Maziyar Panahi.
Fuente: Build a Robot Pick-and-Place Simulation with SimReady Assets