Para 2030, la Organización Mundial de la Salud proyecta una escasez mundial de más de 15 millones de trabajadores de la salud, incluidos cirujanos, radiólogos y enfermeras. En los EE.UU., el déficit podría alcanzar los 124.000 médicos para 2034. El aumento de la demanda, el envejecimiento de la población y la capacidad humana limitada están llevando a los sistemas de salud a un punto de ruptura.
Los sistemas robóticos habilitados para IA ofrecen un camino a seguir. Desde la automatización de subtareas quirúrgicas y la optimización de la configuración del quirófano hasta la aceleración de los diagnósticos y la habilitación de procedimientos remotos, la robótica está ayudando a ampliar la atención, reducir la carga del personal clínico y mejorar los resultados, especialmente en regiones desatendidas.
Con más de 1.000 dispositivos médicos de IA aprobados por la FDA y más de 400 plataformas robóticas de atención médica en desarrollo, se está formando un ecosistema de innovación vibrante. Sin embargo, la implementación en el mundo real sigue siendo difícil. Los desarrolladores se enfrentan a desafíos clave como:
- Simulación biomecánica de alta fidelidad.
- Simulación y emulación avanzada de sensores médicos e imágenes.
- Transferir sim-to-real.
- Brecha de datos robóticos, adquisición de datos e integración de aprendizaje experto.
¿Qué es NVIDIA Isaac for Healthcare?
NVIDIA Isaac for Healthcare es una plataforma especialmente diseñada para acelerar la simulación, el entrenamiento y la implementación de robótica médica habilitada para IA. Lleva la poderosa arquitectura de tres computadoras de NVIDIA a la robótica de atención médica, unificando toda la pila de desarrollo desde la simulación hasta la ejecución en tiempo real.
La plataforma proporciona las herramientas necesarias para el desarrollo de la robótica médica de IA a través de cinco componentes integrados:
Comience con la simulación
Desde el modelado de robots hasta la importación de anatomías específicas del paciente y la simulación de sensores basados en la física (por ejemplo, RGB, ultrasonido, fuerza), los desarrolladores pueden generar datos de entrenamiento sintéticos de alta calidad sin interactuar con un paciente. Por ejemplo, el simulador de ultrasonido acelerado por GPU produce imágenes en modo B que son prácticamente indistinguibles de los dispositivos reales.
Los modelos específicos de AI
Domain preentrenados, como el π0 posentrenado y NVIDIA Isaac GR00T N1, proporcionan puntos de partida para la percepción y el control. Estos no son modelos genéricos, están entrenados específicamente para tareas médicas.
Cree workflows completos
Tres aplicaciones de referencia demuestran la implementación de extremo a extremo: escaneo de ultrasonido robótico, automatización de subtareas quirúrgicas y telecirugía remota. Cada uno incluye métricas de medición y se puede personalizar para su caso de uso específico.
Generar datos de entrenamiento
Cuando los datos reales son escasos, herramientas como MAISI crean pacientes sintéticos anatómicamente correctos, mientras que NVIDIA Cosmos genera variaciones de procedimiento para escenarios quirúrgicos. Esto resuelve el desafío fundamental de la disponibilidad de datos de entrenamiento en el cuidado de la salud.
Aproveche los activos médicos
Los modelos 3D prevalidados de equipos quirúrgicos, estructuras anatómicas y entornos hospitalarios aceleran el desarrollo. El catálogo de activos incluye todo, desde instrumentos da Vinci hasta anatomía del paciente, todos listos para la simulación.
Las herramientas destacadas incluyen:
- Workflows autónomos: tuberías de referencia para imágenes de ultrasonido robóticas y automatización de tareas quirúrgicas.
- Simulación de sensores ultrasónicos: simulación de imágenes en modo B con precisión física para entrenamiento y pruebas de IA.
- Activos listos para la simulación: modelos anatómicos plug-and-play y soporte de robots (por ejemplo, dVRK, Franka y más en proceso).
- Políticas preentrenadas: π0 listo para usar para la guía de ultrasonido, además de líneas de base de aprendizaje por imitación y refuerzo, como el transformador de fragmentación de acción (ACT).
- Workflow de telecirugía: canalización de control optimizada para el borde y baja latencia con E/S del sensor GPUDirect.
- Biblioteca de plantillas ampliada: nuevas políticas π0 y GR00T N1 para una ejecución de tareas más robusta
- Cosmos Transfer para la generación de datos sintéticos: adaptación sintética al dominio real para entornos de imágenes clínicas
Aspectos destacados del proyecto de acceso anticipado:
Más de 500 desarrolladores se han unido al Programa de Acceso Temprano, que cubre casos de uso desde cirugía e imágenes hasta servicios para pacientes. Destacan:
Moon Surgical: automatización de la configuración del quirófano con posicionamiento robótico inteligente
Moon Surgical es pionera en la automatización a nivel de sistema, enseñando a su robot cómo configurarse para la cirugía de forma autónoma. Utilizando cámaras integradas y una política de IA preferida basada en tarjetas, el sistema detecta las posiciones de los trócares y optimiza su configuración en función del caso quirúrgico y las preferencias del cirujano. Desde el ajuste automático a la mesa hasta el despliegue de brazos robóticos en la configuración óptima, este flujo de trabajo simplifica la configuración del quirófano y mejora la coherencia entre los casos.
Incisión virtual: automatización de la transferencia de agujas en la plataforma MIRA
Virtual Incision mostró la automatización de subtareas quirúrgicas preclínicas en su plataforma laparoscópica miniaturizada, MIRA, automatizando la tarea de transferencia de agujas. Utilizando el aprendizaje de imitación basado en transformadores, entrenaron una política de IA que imita los movimientos de los expertos y funciona con alta precisión, acercándonos a la autonomía escalable en entornos quirúrgicos restringidos.
Virtuoso Surgical: Manipulación de tejidos impulsada por IA con un robot endoscópico de tubo concéntrico
Virtuoso Surgical está brindando autonomía a sus robots de tubos concéntricos deformables al entrenar a la IA para manejar tareas delicadas como la retracción y el corte de tejidos. Uso de retroalimentación de estrés interno de datos simulados en NVIDIA Isaac Sim para desarrollar una política que permita una manipulación precisa en un entorno de tejidos blandos
Sovato: Telerobótica de baja latencia con flujo de trabajo optimizado para el borde
Sovato está avanzando en la cirugía telerobótica mediante la implementación de un flujo de trabajo optimizado para latencia adaptado a procedimientos remotos. Mediante el uso de la computación acelerada por GPU y la integración de E/S de sensores en el borde, han obtenido importantes ganancias de rendimiento, brindando control robótico de alta precisión y en tiempo real a entornos operativos distribuidos geográficamente.
Empezar
Clona los repositorios y comienza a crear:
Traiga su propio modelo/paciente/robot/XR
Isaac for Healthcare está diseñado para funcionar con sus activos, modelos y hardware existentes. La plataforma proporciona rutas de integración claras para la personalización mientras mantiene el rendimiento y la confiabilidad.
La plataforma admite modelos de IA en formatos estándar, incluidos ONNX, NVIDIA TensorRT, PyTorch (TorchScript) y TensorFlow. La integración implica exportar el modelo entrenado, crear un operador Holoscan para la inferencia y conectarlo a la canalización del sensor. El marco maneja la optimización y aceleración de hardware automáticamente.
- Traiga a su propio paciente: Convierta sus datos de imágenes médicas (tomografías computarizadas / resonancias magnéticas) en modelos 3D para simulación. Con las herramientas de integración de MONAI, puede transformar archivos DICOM, NIFTI o NRRD con máscaras de segmentación en formato USD para su uso en la planificación y capacitación quirúrgica. El flujo de trabajo incluye mallado, alineación de coordenadas e integración con la simulación física.
- Traiga su propio robot: Si tiene un robot quirúrgico personalizado o desea modificar las plataformas existentes, el marco admite la importación de URDF y la conversión de archivos CAD. El proceso incluye la conversión de la descripción del robot al formato USD, la configuración de los trenes motrices y la integración con el sistema de control. Los ejemplos incluyen el reemplazo de efectores finales (como reemplazar una pinza con una sonda de ultrasonido) o agregar plataformas robóticas completamente nuevas.
- Traiga su propio dispositivo XR: conecte cualquier casco de realidad mixta compatible con OpenXR para una teleoperación inmersiva. La plataforma es compatible con dispositivos desde Apple Vision Pro hasta Meta Quest a través de interfaces OpenXR estándar. Esto permite la visualización estereoscópica y el control intuitivo del seguimiento de la mano para el entrenamiento quirúrgico y los procedimientos remotos.
Cada ruta BYO incluye tutoriales detallados y código de muestra en el repositorio i4h-workflows e i4h-asset-catalog, lo que facilita la ampliación de la plataforma con sus requisitos específicos.