1. Desarrollo de estrategias de colaboración con el cirujano en la ejecución de maniobras quirúrgicas basado en el uso de un guante quirúrgico inteligente

Este objetivo consiste en la consecución de un sistema plenamente colaborativo con el cirujano en función de la fase de la intervención en la que se encuentre en cada momento. Para ello, se utilizará la fusión de la información proveniente del guante quirúrgico inteligente y de otras fuentes de datos del quirófano. De este modo, se incidirá en técnicas que permitan modificar el comportamiento del sistema a partir de la experiencia.

2. Diseño y desarrollo de un sistema con realidad aumentada que incluya el concepto de abdomen transparente

Se abordará el diseño de un sistema completo de abdomen transparente que sea capaz de usar datos particulares del paciente a intervenir (ya sean datos obtenidos en fase preoperatoria como intraoperatoria). Dicho sistema deberá ser a su vez generalizable a un sistema de realidad aumentada de forma que se pueda mostrar información basada en modelos matemáticos de puntos de vista no directamente accesibles con la cámara.

3. Diseño y desarrollo de un sistema de detección y resolución de situaciones de emergencia

Se considerará en el marco de este objetivo el desarrollo de un sistema que sea capaz de prever, en función de las señales fisiológicas convenientemente recogidas y tratadas en fusión con la información obtenida de las imágenes laparoscópicas o ecográficas, la posible ocurrencia de situaciones de emergencia comunes que puedan suceder en las intervenciones a asistir.

4. Integración y evaluación de la eficiencia del sistema completo mediante la ejecución de una serie de experimentos in-vitro

Este objetivo consiste en la integración de todas las tecnologías desarrolladas en una serie de demostraciones. Deesta forma, se realizará un estudio documentado que establezca cómo el uso del sistema desarrollado presenta ventajas con respecto a la cirugía convencional así como los problemas e inconvenientes que aparezcan.

LOGROS

Definición de arquitectura cognitiva y diseño de experimentos

• • Establecimiento de un escenario genérico de intervención HALS con el objeto de identificar las prestaciones que debe incorporar el robot colaborativo.

• • Identificación y diseño de todos los componentes de la arquitectura, así como las comunicaciones entre ellos, siguiendo el modelo SOAR de arquitectura cognitiva, el cual es el que se adecua más a sus requerimientos.

• • Establecimiento de tres escenarios de pruebas y la métrica que se utilizará para la realización de las pruebas de funcionamiento con el sistema robótico:

1. Concepto de abdomen transparente
2. Identificación de gestos del cirujano y movimientos colaborativos.
3. Detección de situaciones de emergencia mediante bioseñales e imagen intraoperatoria.

Establecimiento de la memoria a largo plazo

Universidad de Málaga:

• • • Desarrollo de un escenario para el uso colaborativo de un robot mini-cámara dentro de un escenario de gestos y movimientos colaborativos.
    • Set-up in-vitro con el objetivo de que un robot mini-cámara proporcione el punto de vista adecuado en cada instante de una intervención ficticia compuesta por un conjunto de maniobras.
    • Aprendizaje en línea para situar el robot mini-cámara de forma más adecuada para un cirujano en particular y según la maniobra que realiza.

Con ello, se estableció una codificación para la memoria procedural, otra para la semántica y para la episódica. Se completó con el establecimiento de una regla de aprendizaje que modifica el comportamiento del sistema para adaptarse más a los requerimientos del cirujano. Finalmente, se realizó la integración en la arquitectura de control y se llevó a cabo una serie de experimento in-vitro para validar los trabajos desarrollados.

Planificador híbrido de movimientos y fuerzas de interacción para herramientas robotizadas

Universidad de Málaga:

• • Motorización de un instrumento quirúrgico de laparoscopia estándar para poder actuar tanto la pinza como la orientación de la misma.
  • Primitivas de movimiento del brazo robótico que porta el instrumento para que este último pivote sobre el punto de entrada en el abdomen y permita la interacción con tejidos internos. La estrategia de control se ha fundamentado en un esquema de control híbrido de fuerza-posición que utiliza un sensor de fuerzas situado entre la muñeca del robot y el instrumento motorizado.
  • Aprendizaje por demostración para movimientos más complejos del instrumental, en colaboración con un grupo de la ESA (Agencia Espacial Europea).

Generación de un modelo virtual personalizado del paciente

Universidad Miguel Hernández:

• • Modelo virtual basado en el simulador de un proyecto anterior (DPI2010-21126-C03-2), que incluye la dinámica de fluidos para la simulación de sangrados.
  • Incorporación de los mini-robots cámara e iluminación.
  • Construcción de un set-up físico para experimentación con los robots quirúrgicos. Este set-up incorpora órganos deformables, tubos flexibles con un líquido pulsante y pequeñas electrónicas que simulan las señales de un paciente real. Este simulador físico está siendo modelado como simulador virtual, de forma que se pueda verificar el correcto funcionamiento del simulador virtual.

Supervisión del campo operatorio y detección de situaciones de emergencia

Universidad Miguel Hernández y Universidad de Valladolid:

• • Algoritmo para la detección de situaciones de sangrado en tiempo real, basado en las imágenes de video endoscopio.
  • Algoritmo basado en el procesamiento de imagen endoscópica para la detección detección de vendas para garantizar que se retiran todas al finalizar la operación.

Realidad aumentada para simular abdomen transparente

Universidad de Málaga:

• • Puesta en marcha de un sistema de visión intraoperatoria compuesto por mini-robots cámara y otros tantos mini-robots iluminación. Nuevo diseño de mini-robots cámara caracterizados por poder orientar con dos grados de libertad el objetivo y así cubrir más campo intraoperatorio sin la necesidad de desplazar todo el mini-robot.
    • Agarre magnético que, desde el exterior, los fija al interior de la pared abdominal.
    • Sistema de actuación basado en cables para controlarlos desde el exterior de la cavidad abdominal.
    • Experimentos in-vivo para probar la adecuación del diseño de los mini-robots durante una intervención para la extracción de un riñón.

Universidad Miguel Hernández

• • Desarrollo de la electrónica de unos biopatchs para la comunicación NFC inalámbrica.
  • Trabajos preliminares con las librerías de realidad virtual para el desarrollo de un sistema que permita integrar la información de las cámaras en el modelo virtual.

Localización de la posición y orientación de los dedos del cirujano

Universidad de Valladolid:

• • Obtención en tiempo real de la posición y orientación en el espacio de los dedos de la mano del cirujano dentro del abdomen del paciente a través de dos mecanismos:
    • Parámetros proporcionados por el guante sensorizado, que provee información sobre el grado de flexión entre cada una de las falanges y metacarpianos de la mano.
    • Par estereoscópico proporcionado por dos microcámaras, que proporciona la posición en el espacio de las falanges distales (punta de los dedos) en tiempo real.

• • Generación un volumen aproximado de la mano del cirujano dentro de la cavidad abdominal para evitar posibles colisiones de la mano del cirujano con los mini-robots colaborativos. Dicho volumen varía según la posición que adopte la mano.

Integración y cotrol de sensores quiúrgicos para desarrollar el guante

Universidad de Valladolid:

• • Integración en el guante de un sensor de presión para que el cirujano recupere, en parte, el tacto que pierde por la presión ejercida en el brazo del cirujano por el puerto único en cirugía HALS.
  • Estudio de la integración de un sensor de temperatura utilizando el mismo sistema que para el sensor de presión que determinaría la temperatura límite en una cauterización, evitando así efectos secundarios no deseados como la estenosis, y permitiría la obtención directa de la temperatura de los tejidos y órganos.

Detección de eventos por la evolución de variables fisiológicas

Universidad de Valladolid:

• • Identificación de escenarios quirúrgicos (anastomosis intestinal, extirpación del bazo) para realizar un modelado preciso de las tareas quirúrgicas y determinar qué variables fisiológicas deben vigilarse, en qué márgenes de variación y qué relaciones existen entre ellas. Dicho modelo se elaborará a partir la evolución de los parámetros fisiológicos representativos, cuyos valores se obtendrán tanto del equipamiento del quirófano como de los sensores incorporados al guante.
  • Comienzo de integración de estos modelos con la información proporcionada por el subsistema de detección automática de sangrado, de tal forma que se puedan identificar determinados eventos a partir de la evolución de las variables fisiológicas implicadas.