PROYECTOS FINALIZADOS
PROYECTO MARCUS
Plataforma robotizada para la asistencia en técnicas NOTES/SILS
Entidad financiadora: Ministerio de Ciencia e innovación. CICYT
Referencia: DPI2010-21126-C03
Universidad: Universidad de Málaga, Universidad Miguel Hernández, Fundación CARTIF
Duración: Desde 01/01/2011 hasta 31/12/2013
Investigador Responsable: Víctor Fernando Muñoz Martínez
Habilidades
Group | Ability | Level | Description |
Configurability | Mechatronic Configuration | 1 | Start-up Configuration. The configuration files, or the mechatronic configuration can be altered by the user prior to each task in order to customise the robot system in advance of each cycle of operation. |
Interaction | Human-Robot | 5 | Task sequence control. The system is able to execute sub-tasks autonomously. On completion of the sub-task user interaction is required to select the next sub-task resulting in a sequence of actions that make up a completed task. |
Human-Robot Feedback | 2 | Vision data feedback. The system feedbacks visual information about the state of the operating environment around the robot based on data captured locally at the robot. The user must interpret this visual imagery to assess the state of the robot or its environment. | |
Human-Robot Safety | 1 | Basic Safety. The robot operates with a basic level of safety appropriate to the task. Maintaining safe operation may depend on the operator being able to stop operation or continuously enable the operating cycle. The maintenance of this level of safety does not depend on software. | |
Dependability | Dependability | 2 | Fails Safe. The robot design is such that there are fail safe mechanisms built into the system that will halt the operation of the robot and place it into a safe mode when failures are detected. This includes any failures caused by in-field updates. Dependability is reduced to the ability to fail safely in a proportion of failure modes. Fail safe dependability relies on being able to detect failure. |
Motion | Unconstrained | 4 | Position constrained path motion. The robot carries out predefined moves in sequence where each motion is controlled to ensure position and/or speed goals are satisfied within some error bound. |
Manipulation | Grasping | 1 | Simple pick and place. The robot is able to grasp any object at a known pre-defined location using a single predefined grasp action. The robot is then able to move or orient the object and finally un-grasp it. The robot may also use its Motion Ability to move the object in a particular pattern or to a particular location. Grasping uses open-loop control. |
Holding | 1 | Simple holding of known object. The robot retains the object as long as no external perturbation of the object occurs. | |
Handling | 1 | Simple release. The robot is able to release an object at a known pre-defined location, but the resulting orientation of the object is unknown. The object should not be prematurely released. |
Resumen
La cirugía mínimamente invasiva supuso la adquisición de nuevas destrezas por parte de los cirujanos y la creación de nuevas herramientas, lugar donde la robótica constituye una ayuda inestimable. La actual tendencia se dirige a la reducción de las incisiones que se practican en el cuerpo del paciente al mínimo. De este modo, aparecen las técnicas SILS (Single Incision Laparoscopic Surgery) y NOTES (Natural Orifice Transluminal Endoscopic Surgery), donde se requieren una nueva generación de herramientas robóticas.
El presente proyecto aborda el desarrollo de nuevas herramientas robóticas útiles para los dos tipos de técnicas nombradas anteriormente y que abarquen tanto el ámbito preoperatorio como el intraoperatorio. En concreto, se acometerá el diseño y desarrollo de una plataforma robótica capaz de situar en el interior de la cavidad abdominal un micro-robot dotado de sensores y herramientas quirúrgicas que trabaje de forma colaborativa con el cirujano. El sistema podrá programarse fuera de línea para establecer el plan maestro durante la intervención y de forma intraoperatoria mediante un interfase persona-máquina multi-modal. Por otro lado, el sistema robótico en sí, constará de dos brazos posicionadores y un micro robot, de suerte que los dos primeros, mediante el uso de campos magnéticos, desplazarán y ubicarán al tercero en el campo operatorio del interior del abdomen. Como configuración de uno de los brazos robóticos posicionadores, se ha considerado una estructura hiper-redundante que sostendrá en su extremo al micro-robot para introducirse en el interior de la cavidad abdominal. El micro-robot podrá desprenderse de la estructura hiper-redundante, y mediante el otro brazo posicionador, que tendrá una configuración estándar, se moverá desde el exterior de la pared abdominal mediante el uso de un campo magnético. El micro-robot podrá desplegar pequeños brazos en los que se ubicarán cámaras, sensores de tacto, fuentes de luz o pequeñas herramientas quirúrgicas.
De esta forma, en el desarrollo de esta propuesta, se abordarán técnicas para la realización de un simulador intraoperatorio que incorpore modelos basados en datos reales del campo operatorio, así como la posibilidad de actualizarlos durante el transcurso de la intervención, que servirá como base para el interfase persona-máquina multi-modal mencionado anteriormente. Con el objeto de integrar todos los elementos del sistema, se elaborarán estrategias de planificación y control de movimientos que impliquen la coordinación de los dos brazos robóticos y del micro-robot, en respuesta a la programación fuera de línea del cirujano y a sus órdenes durante la intervención. Se contempla tanto la teleoperación directa como la realización de acciones automáticas que impliquen una colaboración con el cirujano. Finalmente, para verificar todo el trabajo realizado se prevé la realización de una serie de experimentos in-vitro.
Objetivos planteados y logros alcanzados
1. Diseño y desarrollo de un sistema robótico compuesto por un micro-robot abdominal y brazos posicionadores externos para realizar tareas específicas en una intervención
Este objetivo contempla la identificación de las tareas que pueden abordarse mediante este tipo de robots, dentro en un conjunto de intervenciones, para luego elaborar sus especificaciones, sus requerimientos y sus funcionalidades. Asimismo, este objetivo abarca los aspectos de implantación para llevar a cabo la construcción y control de movimientos básicos y comunicaciones.
Logros alcanzados – Universidad de Málaga:
- Se han diseñado en detalle y construido tres mini-robots, en concreto, un mini-robot cámara, otro de iluminación y finalmente otro con configuración de pinza.
- Se han adquirido dos brazos manipuladores, los cuales se han adaptado y programado para actuar los mini-robots.
- Se han realizado las pruebas de funcionamiento básico in-vitro.
Logros alcanzados – Fundación CARTIF:
- Se han realizado iteraciones tanto en el diseño mecatrónico para optimizar, en la medida de lo posible, tanto tamaño de los módulos que forman el robot, consumo de potencia, temperatura alcanzada en los actuadores electromagnéticos y su tiempo de respuesta de los mismos.
- Se ha seleccionado y adquirido la tarjeta de control del robot y se ha fabricado un prototipo de robot hiperredundante que será el que se usará en la integración.
2. Diseño y desarrollo de un interfaz de usuario basado en un simulador intraoperatorio para la programación de las nuevas herramientas robóticas diseñadas
Se abordará el diseño de un interfaz que sea capaz de utilizar los datos particulares de un determinado enfermo, que servirá para definir fuera de línea la misión del sistema micro-robótico. Asimismo, este interfaz se utilizará para el control intraoperatorio del sistema desarrollado.
Logros alcanzados – Universidad de Málaga:
- Ha realizado la implantación de la arquitectura que permitirá la comunicación entre el sistema robótico real y el entorno operatorio simulado. Esto permitirá el cálculo de las trayectorias de movimientos fuera de línea de los mini-robots, que después serán ejecutadas por estos.
- Se ha seguido trabajando en el sistema de reconocimiento de gestos quirúrgicos el cual se ha mejorado en lo que refiere a su tasa de reconocimiento correcto e integrado con un sistema de análisis de imágenes laparoscópica, desarrollado en el proyecto, que sustituye al tracker 3D en la estimación de la posición del instrumental quirúrgico.
Logros alcanzados – Universidad Miguel Hernández:
- Simulador dinámico capaz de simular deformaciones de tejidos deformables, típicos en un entorno SILS/NOTES. Este simulador se ha construido sobre las librerías OGRE, PHYSX.
- Interfaz de usuario que permite la conexión de diferentes dispositivos hapticos. Se han integrado los dispositivos comerciales Phantom Omni y Falcon. También se ha desarrollado un nuevo interfaz haptico basado en el uso de trackpad multigesto.
- Integración de video streaming capturado desde la cámara endoscópica y desde el ecógrafo para su visualización dentro de la interfaz de usuario.
- Comunicación UDP para conexión con sistemas ROS para su uso con el resto de sistemas de los otros subproyectos.
Logros alcanzados – Fundación CARTIF:
- Definición preliminar de la arquitectura de control necesaria para definir la funcionalidad y comunicación del interfaz persona-máquina.
3. Desarrollo de estrategias de planificación de movimientos y de interacción colaborativa entre los distintos elementos del sistema robótico y entre este y el cirujano.
Se considerará en el marco de este objetivo el desarrollo de metodologías de planificación de movimientos para el guiado automático del sistema robótico en colaboración con el cirujano. Para ello, se utilizará realimentación sensorial de varias fuentes y se abordará el problema de la coordinación persona-máquina.
Logros alcanzados – Universidad de Málaga:
- Se han desarrollado los interfaces que permiten actuar los grados de movimiento de los mini-robots con el objeto de integrarlos en la arquitectura global.
- Se han desarrollado un conjunto de primitivas básicas de movimiento que proporcionan los movimientos elementales que realizarán los mini-robots con la ayuda de los brazos posicionadores externos.
- Movimiento de la cámara del mini-robot y la acción de los brazos manipuladores externos para seguir la superficie abdominal mediante un control híbrido de fuerza y posición.
Logros alcanzados – Universidad Miguel Hernández:
- Se ha preparado un módulo de generación de scripts y envío de los mismos a través de UDP que permite que la simulación realizada en el módulo simulador sea reproducida con posterioridad por los sistemas reales.
Logros alcanzados – Fundación CARTIF:
- Se han desarrollado e implantado en el robot hiper-redundante un conjunto de primitivas de movimientos básicos, que permitan a este robot realizar, mediante la combinación de estas primitivas, los movimientos y los posicionamientos adecuados en las tareas que deberá realizar durante la intervención.
4. Integración y evaluación de la eficiencia del sistema robótico mediante la ejecución de una serie de experimentos in-vitro.
Este objetivo consiste en la integración de todas las tecnologías desarrolladas en una serie de demostraciones. De esta forma, se realizará un estudio documentado que establezca cómo el uso del sistema robótico desarrollado presenta ventajas con respecto a la cirugía convencional así como los problemas e inconvenientes que aparezcan.
Logros alcanzados – Universidad de Málaga:
- Se ha procedido a integrar los elementos hardware que componen el sistema robot. De este modo, se ha desarrollado una plataforma mecánica para soportar los dos brazos robóticos y se ha integrado toda la electrónica de control en un armario de control estándar.
- Se ha integrado el software en esta plataforma y se han realizado las primeras pruebas de integración con el simulador intraoperatorio y el interfaz persona-máquina a partir de las especificaciones realizadas sobre el escenario quirúrgico.
Logros alcanzados – Universidad Miguel Hernández:
- Se han elaborado dos aplicaciones reducidas (que no incluyen el módulo de simulador) para que sean probadas en cada uno de los otros dos subproyectos, de forma que se compruebe el funcionamiento de las comunicaciones basadas en ROS.
- Integración, dentro del módulo simulación, de los dispositivos robóticos de los otros subproyectos para que sean controlados con los dispositivos hapticos que se conecten a la interfaz.
- Se está añadiendo el modelo del entorno quirúrgico del demostrador final.
Logros alcanzados – Fundación CARTIF:
- Definición de la integración tanto hardware como software de los diferentes mini-robots con el sistema de realidad aumentada.
- Se han definido las primitivas de cada uno de los mini-robots como su papel a desempeñar durante la tarea quirúrgica.
- Se han realizado pruebas de integración y se han implementado las primitivas de movimiento.