
PROYECTOS FINALIZADOS
PROYECTO Robot Autónomo
Robot quirúrgico autónomo para el manejo de la herramienta auxiliar durante una colecistectomía laparoscópica
Entidad financiadora: Junta de Andalucía
Referencia: UMA18-FEDERJA-118
Universidad: Universidad de Málaga
Duración: Desde 15/11/2019 hasta 15/11/2021
Investigador Responsable: Irene Rivas Blanco
Resumen
En las últimas décadas, la robótica quirúrgica ha experimentado un gran auge, hasta el punto de que hoy en día la presencia de robots en los quirófanos se ha convertido en un hecho cotidiano. Los robots quirúrgicos comerciales que existen en la actualidad se limitan a reproducir los movimientos que realiza el cirujano en una consola maestra, o a responder a sencillos comandos de voz en el caso de los asistentes robóticos camarógrafos, pero es el cirujano el que asume toda la carga de trabajo de la operación. Por ello, hay una tendencia actual que va encaminada al desarrollo de robots con cierto grado de autonomía, que permitan liberar al cirujano de realizar ciertas tareas y de tomar determinadas decisiones. Sin embargo, aún queda mucho camino por recorrer hasta alcanzar el concepto de un robot quirúrgico colaborativo que pueda trabajar de forma autónoma sin la intervención directa del cirujano.
En la presente propuesta se pretende dar un paso más allá en el campo de los robots quirúrgicos autónomos mediante el desarrollo de estrategias de colaboración que permitan al robot asistir al cirujano mediante el control autónomo de la herramienta auxiliar durante una intervención de colecistectomía laparoscópica, sin que éste tenga que estar continuamente comandando las acciones del robot. Para ello, en primer lugar, se propone la implementación de un mapa geométrico del entorno que analice la imagen endoscópica y sea capaz de identificar y localizar tanto el instrumental quirúrgico como las diferentes estructuras anatómicas. Actualmente, las técnicas de análisis de imagen para la identificación de órganos se han limitado a imágenes tomográficas, mientras que el reconocimiento de objetos en imágenes endoscópicas se limita al instrumental quirúrgico. Así, en este proyecto se pretende avanzar en esta línea mediante la identificación de órganos en imágenes endoscópicas reales. Una vez identificados y localizados los diferentes elementos que componen la imagen, se pretende aumentar las capacidades del robot mediante la generación de un mapa semántico que dote de sentido conceptual el estado actual del entorno. En este sentido, el mapa semántico se basará en un sistema de lógica de predicados que permita representar el entorno mediante un conjunto de hechos o situaciones que son verdaderos en un determinado instante. Finalmente, la planificación de movimientos de alto nivel se realizará mediante un algoritmo de aprendizaje profundo por refuerzo. Por un lado, la política de generación de movimientos del robot se modelará mediante una red neuronal que tomará como entrada una representación del entorno dada por la salida de los mapas geométrico y semántico, y la configuración actual del robot. La fusión de estas tres fuentes de información (imagen endoscópica, razonamiento semántico y sensores del robot) permite disponer de una representación completa del entorno, que evite la necesidad de comandos externos del cirujano durante el desempeño de la tarea. Por otro lado, se implementará un algoritmo de aprendizaje por refuerzo que modifique los pesos de la red neuronal entrenada inicialmente en función de los refuerzos que va obteniendo el sistema por medio de la experiencia.
Situación Global
En esta propuesta se plantea un concepto de asistente robótico autónomo capaz de asistir al cirujano de forma autónoma durante una intervención de colecistectomía, basado en la generación de un mapa semántico del entorno y un algoritmo de aprendizaje profundo que genera los movimientos del robot. Se plantea la colecistectomía como escenario colaborativo porque es una intervención estándar que se realiza mayoritariamente mediante abordaje laparoscópico. Además, durante esta intervención el cirujano requiere de la colaboración de un asistente que maneja una herramienta auxiliar. La maniobra que realiza el auxiliar consiste en pinzar la vesícula biliar y retraerla superiormente para dejar expuesta la zona de trabajo sobre la que opera el cirujano, que se encarga de liberar la vesícula. Una vez liberada, el asistente retira la vesícula por uno de los orificios de entrada del instrumental quirúrgico. La automatización de la herramienta auxiliar liberaría a un asistente humano de realizar esta tarea. Además, a nivel tecnológico, supone un ambicioso reto que implica la colaboración directa y continua entre el asistente robótico y el cirujano.
En base al planteamiento anterior, en esta propuesta se propone la implementación y desarrollo de un asistente robótico quirúrgico autónomo que contenga las siguientes funcionalidades:
- Generación de un mapa geométrico del entorno quirúrgico capaz de identificar y localizar el instrumental quirúrgico y las estructuras anatómicas presentes en la imagen endoscópica.
- Generación de un mapa semántico del entorno capaz de dotar de contenido conceptual el mapa geométrico generado.
- Asistencia autónoma colaborativa durante una intervención de colecistectomía que no requiera la intervención directa del cirujano, basada en la generación de movimientos mediante un algoritmo de aprendizaje profundo, que tenga como entrada la salida de los mapas geométrico y semántico del entorno y el estado del robot, y proporcione un comando de movimiento que maximice el desempeño a largo plazo del robot.
El esquema funcional de este asistente robótico se muestra en la Figura 1.
Figura 1
Objetivos
El objetivo general de la presente propuesta de proyecto se plantea como:
Establecer los procedimientos, técnicas y tecnologías necesarias para la implantación de un sistema robótico colaborativo capaz de asistir de forma autónoma al cirujano mediante el control de la herramienta auxiliar durante una intervención de colecistectomía laparoscópica. La planificación de movimientos de dicho asistente estará basada en un algoritmo de aprendizaje profundo por refuerzo en el que la representación del entorno se define mediante el estado actual del robot, y la generación de un mapa geométrico capaz de identificar estructuras anatómicas y un mapa semántico que proporciona un sentido conceptual a la imagen endoscópica.
Para lograr este objetivo general se establecen los siguientes objetivos específicos, que se relacionan entre sí siguiendo el esquema de control de la Figura 2:
- Objetivo 1: Diseño y desarrollo de un mapa geométrico del entorno quirúrgico durante una intervención de colecistectomía. Este objetivo comprende un algoritmo de clasificación y localización de los elementos que componen el entorno quirúrgico basado en arquitecturas de Deep learning. Así, la salida del mapa geométrico serán las características geométricas (posición, orientación y área) de los objetos identificados en la imagen endoscópica.
- Objetivo 2: Diseño y desarrollo de un mapa semántico capaz de interpretar el entorno para dar un sentido conceptual a la imagen endoscópica. El mapa semántico se implementará mediante un sistema de inferencia basado en lógica de predicados que, a partir del análisis geométrico de la imagen realizado en el objetivo anterior, proporcione el conjunto de funciones semánticas o predicados que definen el entorno en un determinado instante.
- Objetivo 3: Diseño y desarrollo de un algoritmo de aprendizaje profundo por refuerzo para la planificación de movimientos de alto nivel de un asistente robótico autónomo que maneja la herramienta auxiliar durante una intervención de colecistectomía. La política que define la acción del robot para un determinado estado del entorno se definirá mediante una red neuronal entrenada previamente, cuyos pesos se modificarán mediante un algoritmo de aprendizaje por refuerzo que buscará los valores óptimos de los mismos en función del refuerzo obtenido para cada conjunto de observaciones del entorno.
Figura 2
Logros
Durante la ejecución del proyecto se han conseguido los siguientes resultados de impacto en las tecnologías básicas identificadas en la guía estratégica europea Multi-Annual RoadMap for Robotics (MAR) para el horizonte H2020:
- Percepción: se ha desarrollado un mapa geométrico del entorno con la segmentación del instrumental quirúrgico y de la vesícula biliar, que constituye el órgano de interés a la hora de automatizar la herramienta auxiliar durante una colecistectomía laparoscópica. Este mapa geométrico se puede utilizar para futuras investigaciones que vayan en la línea de la automatización de tareas en procedimientos laparoscópicos.
- Cognición: se ha desarrollado un sistema de inferencia semántica del entorno quirúrgico durante una intervención de colecistectomía basado en la definición de movimientos básicos mediante la tupla <instrumento, verbo, objetivo>. Este mapa semántico sirve de base para seguir profundizando en la interpretación del entorno quirúrgico, y por tanto, para seguir avanzando en el desarrollo de estrategias colaborativas persona-máquina en este tipo de entornos.
- Navegación: se han desarrollado estrategias de planificación de movimientos basadas en técnicas de aprendizaje profundo en la que se ha hecho uso de las salidas del mapa semántico para implementar la función de refuerzo.
Resultados
Publicaciones:
- I. Rivas-Blanco, C. J. Perez-Del-Pulgar, I. Garcia-Morales, and V. F. Munoz, “A Review on Deep Learning in Minimally Invasive Surgery”, IEEE Access, vol. 9, pp. 48658−48678, 2021, doi:10.1109/ACCESS.2021.3068852.
- Irene Rivas-Blanco, Carlos J. Pérez-del-Pulgar, Andrea Mariani, Claudio Quaglia, Giuseppe Tortora, Arianna Menciassi and Víctor F. Muñoz, “A surgical dataset from the da Vinci Research Kit for task automation and recognition”, ArXiv 2021, arXiv:2102.03643.
- Irene Rivas-Blanco, Carlos J. Pérez-del-Pulgar, Andrea Mariani, and Giuseppe Tortora, “Training dataset from the Da Vinci Research Kit”, Zenodo 2020, doi: 10.5281/zenodo.3932964.
Trabajos Fin de Estudios:
- Alejandra Pomalía Neyra, Irene Rivas Blanco, y Belén Estebanez Campos, “Diseño y control de un sistema de acoplamiento de un instrumento EndoWrist para un brazo robótico UR3”, Trabajo Fin de Grado, Grado de Ingeniería de la Salud, E.T.S Ingeniería Informática, Universidad de Málaga, 2020.
- Pablo Fuentes Requena, Carlos J. Pérez-del-Pulgar, e Irene Rivas Blanco, “Control de movimiento de un instrumento quirúrgico y diseño de interfaz gráfico para la configuración de parámetros y comandos de movimiento”, Trabajo Fin de Grado, Grado en Ingeniería Electrónica, Robótica y Mecatrónica, Escuela de Ingenierías Industriales, Universidad de Málaga, 2020.
- María Jesús Mora García, Isabel García Morales, e Irene Rivas Blanco, “Generación de movimientos con realimentación visual para simular la extracción de un tumor en cirugía robótica”, Trabajo Fin de Grado, Grado en Ingeniería Electrónica, Robótica y Mecatrónica, Escuela de Ingenierías Industriales, Universidad de Málaga, 2020.
- Nuria Serón Muñoz, Isabel García Morales, e Irene Rivas Blanco, “Planificación de trayectorias para la perforación de la silla turca en intervenciones de cirugía robótica”, Trabajo Fin de Grado , Grado en Ingeniería Electrónica, Robótica y Mecatrónica, Escuela de Ingenierías Industriales, Universidad de Málaga, 2020.
- Jorge Navarro Huertas, Carlos J. Pérez-del-Pulgar, e Irene Rivas Blanco, “Reconocimiento de instrumental quirúrgico en imágenes reales utilizando Deep Learning”, Trabajo Fin de Grado, Grado en Ingeniería Electrónica, Robótica y Mecatrónica, Escuela de Ingenierías Industriales, Universidad de Málaga, 2020.