Blog

Aug 01, 2023

Visión por computadora en cirugía: del potencial al valor clínico

npj Digital Medicine volumen 5, Número de artículo: 163 (2022) Cite este artículo 5564 Accesos 10 Citas 27 Detalles de Altmetric Metrics Cada uno se realizan cientos de millones de operaciones en todo el mundo

npj Digital Medicine volumen 5, Número de artículo: 163 (2022) Citar este artículo

5564 Accesos

10 citas

27 altmétrica

Detalles de métricas

Cada año se realizan cientos de millones de operaciones en todo el mundo, y la creciente adopción de la cirugía mínimamente invasiva ha permitido que las cámaras y robots de fibra óptica se conviertan en herramientas importantes para realizar cirugías y sensores desde los cuales capturar información sobre la cirugía. La visión por computadora (CV), la aplicación de algoritmos para analizar e interpretar datos visuales, se ha convertido en una tecnología crítica a través de la cual estudiar la fase intraoperatoria de la atención con el objetivo de aumentar los procesos de toma de decisiones de los cirujanos, respaldar una cirugía más segura y ampliar el acceso. a la atención quirúrgica. Si bien se ha trabajado mucho en posibles casos de uso, actualmente no existen herramientas CV ampliamente utilizadas para aplicaciones diagnósticas o terapéuticas en cirugía. Utilizando la colecistectomía laparoscópica como ejemplo, revisamos las técnicas CV actuales que se han aplicado a la cirugía mínimamente invasiva y sus aplicaciones clínicas. Finalmente, discutimos los desafíos y obstáculos que aún deben superarse para una implementación y adopción más amplia de CV en cirugía.

Con más de 330 millones de procedimientos realizados anualmente, la cirugía representa un segmento crítico de los sistemas sanitarios en todo el mundo1. Sin embargo, la cirugía no es fácilmente accesible para todos. La Comisión Lancet sobre Cirugía Global estimó que cada año se necesitan 143 millones de procedimientos quirúrgicos adicionales para “salvar vidas y prevenir discapacidades”2. Las mejoras en la atención perioperatoria y la introducción de enfoques mínimamente invasivos han hecho que la cirugía sea más efectiva pero también más compleja y costosa, y la cirugía representa aproximadamente un tercio de los costos de atención médica en EE. UU.3. Además, una gran proporción de errores médicos evitables ocurren en los quirófanos (OR)4. Estas observaciones sugieren la necesidad de desarrollar soluciones para mejorar la seguridad y eficiencia quirúrgica.

El análisis de videos de procedimientos quirúrgicos y actividades de quirófano podría ofrecer estrategias para mejorar esta fase crítica de la atención quirúrgica. Esto es especialmente cierto para los procedimientos realizados con un enfoque mínimamente invasivo, que se está adoptando cada vez más en todo el mundo5,6,7 y depende en gran medida de la visualización proporcionada por cámaras de fibra óptica. De hecho, en cirugía mínimamente invasiva la pérdida parcial de retroalimentación háptica se compensa con vídeos ampliados de alta definición adquiridos por cámaras endoscópicas8. Los vídeos endoscópicos que guían los procedimientos quirúrgicos representan una fuente directa y fácilmente disponible de datos digitales sobre la fase intraoperatoria de la atención quirúrgica.

En los últimos años, el análisis de vídeos endoscópicos de procedimientos quirúrgicos mínimamente invasivos ha permitido estudiar el impacto de las actividades del quirófano en los resultados de los pacientes9 y evaluar iniciativas de mejora de la calidad10. Además, la evaluación basada en vídeo (VBA) se investiga cada vez más para la evaluación del desempeño operativo, la retroalimentación formativa y la acreditación quirúrgica. Sin embargo, VBA ha permanecido confinado principalmente al dominio de la investigación dada la carga de revisar manualmente y evaluar consistentemente videos quirúrgicos11,12. Ampliando los éxitos iniciales en la cirugía mínimamente invasiva, el uso del vídeo también ha ido creciendo en la cirugía abierta13.

La visión por computadora (CV), una disciplina informática que utiliza técnicas de inteligencia artificial (IA), como el aprendizaje profundo (DL) para procesar y analizar datos visuales, podría facilitar el análisis de video endoscópico y permitir la ampliación de aplicaciones en beneficio de un grupo más amplio de cirujanos y pacientes14. Además, mientras que los humanos tienden a evaluar las imágenes cualitativamente, los algoritmos informáticos tienen el potencial de extraer información invisible, cuantitativa y objetiva sobre eventos intraoperatorios. Finalmente, el análisis de video endoscópico automatizado en línea podría permitirnos monitorear los casos en tiempo real, predecir complicaciones e intervenir para mejorar la atención y prevenir eventos adversos.

Recientemente, académicos y grupos industriales han desarrollado varias soluciones CV basadas en DL, principalmente para cirugía mínimamente invasiva. Las aplicaciones de CV van desde el análisis del flujo de trabajo hasta la evaluación automatizada del desempeño. Si bien se están traduciendo e implementando clínicamente soluciones digitales análogas a escala para aplicaciones de diagnóstico en endoscopia gastrointestinal15 y radiología16, la CV en cirugía está rezagada.

Discutimos el estado actual, el potencial y los posibles caminos hacia el valor clínico de la visión por computadora en cirugía. Examinamos la colecistectomía laparoscópica, actualmente el procedimiento quirúrgico más estudiado para los métodos CV, para proporcionar un ejemplo específico de cómo se ha abordado la CV en cirugía; sin embargo, muchos de estos métodos también se han aplicado a la cirugía robótica, endoscópica y abierta. Finalmente, analizamos los esfuerzos recientes para mejorar el acceso y los métodos para modelar mejor los datos quirúrgicos junto con las consideraciones éticas, legales y educativas fundamentales para brindar valor a los pacientes, los médicos y los sistemas de atención médica.

La colecistectomía es el procedimiento quirúrgico abdominal más común, con casi un millón de casos realizados sólo en los EE. UU. cada año17. La seguridad y eficacia de la cirugía mínimamente invasiva se demostraron hace más de dos décadas y desde entonces la laparoscopia se ha convertido en el método de referencia para la extirpación de la vesícula biliar. La colecistectomía laparoscópica (CL) generalmente sigue un curso operatorio estandarizado, la realizan la mayoría de los cirujanos generales y, a menudo, es uno de los primeros procedimientos introducidos durante la formación quirúrgica. Un análisis relativamente reciente que reunió datos de más de cinco mil pacientes confirmó la seguridad de la CL, reportando tasas de morbilidad y mortalidad generales de 1,6 a 5,3% y de 0,08 a 0,14%, respectivamente17. No obstante, las lesiones iatrogénicas de las vías biliares (BDI) todavía complican entre el 0,32% y el 1,5% de las CL17,18, tasas superiores a la incidencia comúnmente informada en la cirugía abierta19. Los BDI provocaron un aumento de tres veces en la mortalidad al año, una disminución permanente de la calidad de vida a pesar de la reparación por parte de expertos, y se estimó que tenían un costo anual de alrededor de mil millones de dólares solo en los EE. UU.20,21. El exceso de confianza en la realización de este procedimiento quirúrgico tan común y la variabilidad en la dificultad operativa de la CL han resultado en la escasa implementación de pautas de seguridad y la consecuente incidencia no decreciente de BDI.

Por lo tanto, la ubicuidad y estandarización de las CL han convertido a este procedimiento en un punto de referencia atractivo para la investigación y el desarrollo CV en cirugía mínimamente invasiva22,23. Además, la naturaleza visual y la importancia de BDI han incentivado tanto al mundo académico como a la industria a desarrollar soluciones CV para resolver esta necesidad clínica bien definida. Finalmente, la publicación de conjuntos de datos de videos de LC anotados ha aumentado el interés y facilitado la investigación en el campo24.

En el nivel más aproximado, una cirugía se puede describir identificando el procedimiento que se realiza. Por ejemplo, el reconocimiento automático del tipo de procedimiento laparoscópico desde los primeros 10 minutos de los procedimientos quirúrgicos ha demostrado ser muy eficaz25. Aunque estas aplicaciones pueden no parecer clínicamente relevantes de inmediato, podrían servir para varios propósitos indirectos, como reducir los esfuerzos de anotación para tareas más específicas26 o activar modelos de procedimientos específicos sin intervención humana. Una vez identificado el tipo de procedimiento, el consenso sugiere que los procedimientos quirúrgicos pueden describirse tanto temporal como espacialmente utilizando una jerarquía de descriptores o anotaciones cada vez más detalladas (Fig. 1)27. En la práctica, esta jerarquía indica inherentemente una progresión natural de tareas cada vez más complejas para anotar y modelar.

Las anotaciones temporales (a) y espaciales (b) con diferentes resoluciones se utilizan para modelar tareas con detalles cada vez más finos.

En el nivel temporal más aproximado, un vídeo quirúrgico completo se puede clasificar en fases, etapas amplias de los procedimientos quirúrgicos, que se pueden dividir en pasos más específicos que se realizan para lograr objetivos quirúrgicos significativos, como exponer estructuras anatómicas específicas. En 2016, EndoNet abordó por primera vez la tarea de reconocimiento de la fase quirúrgica utilizando una red neuronal convolucional (CNN) para extraer automáticamente características visuales, incluida información sobre la apariencia de los instrumentos quirúrgicos, a partir de fotogramas de vídeo LC24. Se podría utilizar un análisis temporal más detallado para reconocer actividades específicas en videos quirúrgicos. Los trabajos iniciales sobre el tema han formalizado las acciones quirúrgicas como tripletes que comprenden la herramienta que actúa como efector final, el verbo que describe la actividad en juego y la anatomía a la que se dirige (p. ej., “agarrar, retraer, vesícula biliar”)28.

En el extremo temporal más breve, se pueden describir los contenidos de un solo cuadro, como los instrumentos o las características anatómicas. Cuando corresponda, estos contenidos se pueden localizar aún más espacialmente, ya sea de manera flexible con marcas como cuadros delimitadores dibujados alrededor de estructuras de interés o con precisión con máscaras de segmentación que delinean objetos con precisión a nivel de píxeles. Para las anotaciones espaciales, el grado de detalle se define tanto por el tipo de anotación (por ejemplo, cuadro delimitador frente a máscaras de segmentación) como por el objetivo que se está anotando (por ejemplo, herramientas o partes de herramientas). Además, también se pueden describir las relaciones entre diferentes objetos localizados, por ejemplo, para describir la interacción o posición relativa entre instrumentos y estructuras anatómicas.

Invariablemente, el factor limitante para la mayoría de las aplicaciones clínicas es la disponibilidad de conjuntos de datos bien anotados. Las etiquetas más generales, como clasificar o describir cualitativamente el contenido de una secuencia de vídeo en lugar de segmentar cada fotograma, son menos engorrosas de anotar, pero pueden parecer que sirven para aplicaciones clínicas menos directamente relevantes. Sin embargo, las etiquetas generales podrían usarse para: (1) curación y navegación de datos para agilizar el uso de video para VBA; (2) educación explicando el contenido de un vídeo a los alumnos; y (3) documentación y navegación a puntos de datos específicos para luego anotar más detalles.

El trabajo fundamental sobre CV para el análisis temporal y espacial de vídeos endoscópicos que permiten el flujo de trabajo quirúrgico automatizado y la comprensión de la escena se está trasladando a escenarios clínicamente aplicables. La LC sigue siendo el procedimiento de elección para demostrar muchos de estos escenarios dada su ubicuidad y sus fenómenos clínicos bien definidos; por lo tanto, analizamos las aplicaciones quirúrgicas habilitadas por CV para el análisis de vídeo posoperatorio y la posible asistencia intraoperatoria en tiempo real en LC. Es importante reconocer, sin embargo, que dichas aplicaciones también se están investigando para otros procedimientos mínimamente invasivos, endoscopia gastrointestinal y cirugía abierta23,29.

En el posoperatorio, se podrían utilizar modelos para el reconocimiento de la fase quirúrgica y del procedimiento para generar automáticamente bases de datos estructuradas y segmentadas para ayudar con las iniciativas de mejora de la calidad. Si bien dichas bases de datos representarían un recurso invaluable para la documentación, la investigación y la educación quirúrgica per se, la carga asociada con el análisis manual de grandes cantidades de videos presenta un obstáculo considerable para su adopción. El análisis de vídeo automatizado podría utilizarse para digerir estas grandes colecciones de vídeos quirúrgicos, recuperar secuencias de vídeo significativas y extraer información importante. Por ejemplo, los vídeos quirúrgicos completos se pueden analizar con modelos de detección de fases y herramientas para identificar eventos intraoperatorios y producir de forma eficaz vídeos cortos que documenten selectivamente la división del conducto cístico y la arteria cística, la fase más crítica de una CL30,31. Si bien este enfoque bastante simple podría aplicarse a una variedad de procedimientos, la adaptación a otros casos de uso aún requeriría un desarrollo considerable. Muy recientemente, métodos de vanguardia han permitido superar dichas barreras al permitir la recuperación de vídeo a vídeo, la tarea de utilizar un vídeo para buscar vídeos con eventos similares32,33. Además, los modelos de reconocimiento de fases también se pueden utilizar directamente para generar automáticamente informes quirúrgicos estandarizados de LC. Al analizar dichos informes basados ​​en predicciones de fase, Berlet et al. descubrieron que grupos de fotogramas de vídeo reconocidos incorrectamente, es decir, fallos del modelo, podrían indicar complicaciones como hemorragia o problemas con la recuperación de la vesícula biliar34. Estos eventos podrían vincularse con el historial médico electrónico para obtener información sobre los resultados de los pacientes después de la cirugía.

Los modelos de CV se pueden entrenar para extraer información más matizada de vídeos, como sustitutos de la dificultad operativa de LC. Dado que la dificultad operativa de la CL se correlaciona con la inflamación de la vesícula biliar, Loukas et al. entrenaron una CNN para clasificar el grado de vascularización de la pared de la vesícula biliar, con un rendimiento comparable al de cirujanos expertos35. De manera similar, Ward et al. entrenó a una CNN para clasificar la inflamación de la vesícula biliar según la escala de clasificación de Parkland, un sistema de cinco niveles basado en cambios anatómicos. Esta clasificación luego contribuyó a las predicciones de eventos como la fuga de bilis de la vesícula biliar durante la cirugía y proporcionó información sobre cómo los aumentos de la inflamación se correlacionan con tiempos operatorios prolongados36.

Se han utilizado modelos CV para la detección de herramientas para evaluar las habilidades técnicas de los cirujanos. En este sentido, Jin et al. demostraron que la información inferida automáticamente sobre los patrones de uso de herramientas, el rango de movimiento y la economía se correlacionaba con el desempeño evaluado por los cirujanos utilizando métricas de evaluación validadas37. Más recientemente, Lavanchy et al. han propuesto transformar la información de ubicación de la herramienta extraída automáticamente en características de movimiento de series temporales para utilizarlas como entrada de un modelo de regresión para predecir las habilidades quirúrgicas y distinguir el rendimiento técnico bueno del malo38. Sin embargo, estos intentos de evaluar automáticamente las habilidades técnicas no se han basado en medidas de habilidades validadas y existentes; por lo tanto, se requiere más investigación para determinar si las evaluaciones automatizadas de habilidades complementarán o reemplazarán los métodos de evaluación tradicionales39.

Prevemos la adopción de IA para ayudar durante los procedimientos mínimamente invasivos (Fig. 2). En este contexto, las predicciones en tiempo real de los modelos CV podrían usarse para guiar a los alumnos, mejorar el desempeño de los cirujanos y mejorar la comunicación en el quirófano. Al iniciar una CL, los modelos CV podrían evaluar automáticamente la apariencia de la vesícula biliar35,36, ajustar las estimaciones preoperatorias de la dificultad operativa40 y sugerir si ese caso es más apropiado para un cirujano en formación o con experiencia. Una vez que la vesícula biliar queda expuesta, las pautas quirúrgicas sugieren el uso de puntos de referencia anatómicos para ayudar a guiar las zonas seguras para la incisión. Por ejemplo, Tokuyasu et al. desarrollaron un modelo para detectar automáticamente dichos puntos de referencia clave con cuadros delimitadores41.

Se podrían utilizar modelos CV resumidos para evaluar la dificultad de un caso y si es apto para un residente de cirugía (a), para advertir a los cirujanos contra la incisión por debajo del sitio apropiado (b), para guiar la disección segura (c), para evaluar automáticamente medidas de seguridad (d), para evitar aplicaciones incorrectas de los clips (e) y para mejorar la conciencia y preparación del personal de quirófano.

De manera similar, se podrían usar modelos de aprendizaje profundo para proporcionar una superposición codificada por colores en el video quirúrgico que, en última instancia, podría servir como asistente de navegación para los cirujanos. Madani et al. han utilizado anotaciones de cirujanos expertos para capacitar a GoNoGoNet para identificar áreas de disección seguras e inseguras42. El criterio de valoración de la disección segura del triángulo hepatoquístico es lograr la visión crítica de seguridad (CVS), un punto de control universalmente recomendado para identificar de manera concluyente la anatomía hepatoquística y prevenir la ilusión de percepción visual que causa el 97% de las BDI importantes43,44. En este sentido, Mascagni et al. han desarrollado un modelo CV de dos etapas para segmentar primero las herramientas quirúrgicas y la anatomía hepatoquística de grano fino para luego predecir si se ha cumplido cada uno de los tres criterios CVS45.

Si bien la confirmación automatizada del CVS puede proporcionar al cirujano una seguridad adicional de la anatomía, otras herramientas CV pueden garantizar que los clips estén bien colocados y que no se recorten otras estructuras sin darse cuenta. Para brindar dicha asistencia, Aspart et al. Recientemente propuso ClipAssistNet, una red neuronal entrenada para detectar las puntas de un aplicador de clips durante LC46. Si los cirujanos experimentados pueden encontrar dicha asistencia innecesaria e incluso trivial, los cirujanos en formación y los que inician su carrera pueden beneficiarse de la tranquilidad que pueden brindar los algoritmos de apoyo a la toma de decisiones en tiempo real, como GoNoGoNet, DeepCVS y ClipAssistNet. Dichos algoritmos podrían servir como versiones automatizadas de entrenadores quirúrgicos que pueden facilitar y aumentar la toma de decisiones en el quirófano39.

En un nivel más amplio, el análisis del flujo de trabajo en tiempo real podría utilizarse para mejorar la comunicación, el conocimiento de la situación y la preparación de todo el equipo quirúrgico. El análisis de vídeos quirúrgicos, modelos de detección de fases23 y algoritmos para estimar los tiempos quirúrgicos restantes47 puede ayudar a realizar un seguimiento del progreso de la operación para ayudar al personal de quirófano y al personal de anestesia a planificar el caso actual y el siguiente. Además, el análisis del flujo de trabajo podría ayudar a detectar desviaciones de un curso intraoperatorio esperado y desencadenar una solicitud automatizada de respaldo o una segunda opinión. Finalmente, se podría analizar un resumen visual postoperatorio de los eventos intraoperatorios o “huella quirúrgica” con el perfil preoperatorio del paciente para evaluar el riesgo de morbilidad o mortalidad postoperatoria48.

A pesar de la gran cantidad de métodos para el análisis automatizado de vídeos de LC presentados en los últimos años, se han propuesto pocos sistemas CV basados ​​en IA para analizar otros procedimientos quirúrgicos, y la mayoría se centra en procedimientos mínimamente invasivos. Esto dificulta el impacto clínico, hasta el punto de que actualmente no hay una aplicación CV ampliamente utilizada en cirugía.

Las razones de esta falta de generalización y traducción clínica son múltiples, pero se centran en gran medida en la disponibilidad y calidad de los datos y el rendimiento de los enfoques de modelado existentes, dos elementos clave para la CV en cirugía que están íntimamente entrelazados.

Históricamente, los procedimientos quirúrgicos se demostraban frente a los alumnos y compañeros en quirófanos con asientos estilo estadio y ventanas que daban luz natural. Sin embargo, hoy en día los quirófanos son uno de los componentes más aislados de los sistemas sanitarios. La información sobre los eventos de quirófano generalmente solo se informa en notas posoperatorias dictadas por el cirujano o se infiere indirectamente de los resultados quirúrgicos posoperatorios. Como tal, durante mucho tiempo ha sido difícil recopilar información útil sobre los eventos adversos (EA) intraoperatorios, que ocurren hasta en el 2% de todos los casos quirúrgicos49. En consecuencia, las necesidades clínicas se identificaron en su mayoría de forma anecdótica entrevistando a cirujanos y líderes de opinión clave, una práctica subóptima propensa a sesgos.

Hoy en día, una mayor solicitud de documentación quirúrgica, junto con la facilidad de grabar videos endoscópicos de procedimientos quirúrgicos mínimamente invasivos, han mejorado en gran medida nuestra capacidad para observar eventos intraoperatorios y trabajar para diseñar soluciones que mejoren la seguridad y eficiencia quirúrgica. Sin embargo, todavía no hay mucha aceptación en torno al registro y análisis de datos quirúrgicos. En una encuesta de miembros de una gran sociedad quirúrgica, Mazer et al. Descubrió que los cirujanos grababan menos del 40 % de sus casos, aunque deseaban poder capturar hasta el 80 % de los vídeos. Los cirujanos sintieron que la falta de equipo, políticas institucionales y preocupaciones médico-legales eran obstáculos para registrar los casos50.

Las preocupaciones de los cirujanos y los sistemas de salud que temen que los datos intraoperatorios puedan usarse en su contra pueden ser infundadas. Una revisión reciente sobre dispositivos de grabación de cajas negras en el quirófano ha sugerido que los datos de vídeo ayudan predominantemente a los cirujanos en casos de negligencia51. Por lo tanto, las instituciones han comenzado en gran medida a implementar un enfoque individualizado para la grabación de video que se adapta a sus propias necesidades. Algunos continúan prohibiendo el almacenamiento de video, otros lo permiten para propósitos selectos pero con parámetros específicamente definidos (por ejemplo, destrucción programada de datos cada 30 días), mientras que otros aún alientan la grabación y el almacenamiento de video únicamente con fines de mejora de la calidad, educación e investigación. . Por lo tanto, las instituciones deben emprender una revisión de las políticas existentes e involucrar a las partes interesadas, como funcionarios de gestión de riesgos, compañías de seguros contra negligencias, cirujanos y pacientes, para determinar la mejor estrategia local para la grabación de video. Unas reglas institucionales claras guiarían a los cirujanos que deseen registrar sus casos por diversos motivos, incluido, entre otros, el uso con fines científicos de datos quirúrgicos.

Las políticas y los incentivos pueden ayudar a cambiar aún más la cultura de la recopilación de datos quirúrgicos para favorecer una mayor recopilación y uso de datos operativos entre los médicos que de otro modo no considerarían el valor de los análisis intraoperatorios de vídeo y visión por computadora. Las instituciones que comprenden el valor de los datos de vídeo pueden desempeñar un papel a la hora de incentivar a los médicos. Como ejemplo, AdventHealth, un gran sistema de salud académico en los Estados Unidos (EE. UU.), se asoció con una organización de seguridad del paciente (PSO) para recopilar y analizar datos enviados voluntariamente y brindar retroalimentación a los médicos, para mejorar sus iniciativas de mejora de la calidad en torno a la retroalimentación operativa52. . En los EE. UU., las PSO fueron establecidas por la Ley de Mejora de la Calidad y Seguridad del Paciente de 2005 y protegen los productos del trabajo de seguridad del paciente a partir de datos enviados voluntariamente con fines de mejora de la calidad frente a procedimientos civiles, penales, administrativos y disciplinarios, excepto en circunstancias específicas y limitadas. Las PSO son organizaciones independientes de un sistema de salud y certificadas por la Agencia de Estados Unidos para la Investigación y la Calidad de la Atención Médica (AHRQ).

Además, AdventHealth ofreció créditos de educación médica continua (CME) necesarios para la renovación de licencias y la certificación continua de la junta como un incentivo individual adicional para que los cirujanos graben y envíen videos y revisen los videos de otros para mejorar la calidad y con fines educativos, como revisión por pares y comentarios. Al combinar la garantía legal de privacidad con incentivos individuales en forma de CME, este sistema de salud ha fomentado la presentación voluntaria de datos de video por parte de la mayoría de sus cirujanos. Otros sistemas de salud deberían considerar tales protecciones e incentivos para fomentar la participación voluntaria no solo en programas de mejora de la calidad sino también en los esfuerzos por desarrollar algoritmos CV que puedan facilitar dichas iniciativas de mejora de la calidad. En última instancia, mejores incentivos y directrices claramente regulatorias podrían ampliar la lista de conjuntos de datos disponibles públicamente en los que se podrían desarrollar y probar algoritmos CV53.

No es sólo la cantidad de datos disponibles lo que limita el valor clínico de las aplicaciones de visión por computadora, sino también la calidad de esos datos. Si bien se pueden utilizar mediciones estandarizadas con variabilidad predecible en datos tabulares, como valores de laboratorio para hemoglobina o creatinina, definir fenómenos clínicos en videos quirúrgicos (es decir, anotaciones) puede ser bastante difícil. La cirugía abierta presenta desafíos únicos que ocurren con la oclusión de datos de video de los propios movimientos del cirujano, lo que requiere múltiples ángulos de cámara, sensores adicionales o enfoques algorítmicos para superar la oclusión y considerar la complejidad adicional de las interacciones mano-herramienta54,55,56.

Se necesitan protocolos de anotación claros con una amplia capacitación de anotadores para garantizar que las anotaciones temporales y espaciales en videos quirúrgicos sean claras, confiables y reproducibles. Los objetivos de un proyecto determinado pueden ayudar a definir las necesidades de anotación y deben establecerse claramente a priori para garantizar que se establezcan y midan las verdades fundamentales adecuadas. Además, los protocolos de anotación deben compartirse públicamente para favorecer la reproducibilidad y la confianza al permitir que otros colaboren y al mismo tiempo permitir una evaluación independiente de la verdad fundamental utilizada para entrenar y probar modelos CV57. Ward y cols. proporcionan más detalles sobre las dificultades de anotar videos quirúrgicos y sugieren varios pasos clave que pueden mitigar el desempeño deficiente o inaplicable del modelo relacionado con una anotación deficiente o inapropiada58.

A medida que se identifican más y más aplicaciones clínicas, se van introduciendo técnicas cada vez más efectivas para modelar estas aplicaciones y aportar valor a los pacientes. Más allá del modelado de aplicaciones específicas, también se están desarrollando métodos para ayudar a eludir o mitigar las limitaciones técnicas, regulatorias, éticas y clínicas endémicas de la cirugía.

Para desarrollar soluciones clínicas efectivas, los modelos de IA a menudo se entrenan para replicar el desempeño de expertos a partir de grandes cantidades de datos bien anotados (es decir, aprendizaje totalmente supervisado). Si bien conduce a resultados sin precedentes en el análisis de imágenes médicas59, este paradigma de aprendizaje depende en gran medida de la disponibilidad de grandes conjuntos de datos anotados. Por lo tanto, su sostenibilidad está gravemente limitada por cuestiones como las estrictas restricciones regulatorias sobre el intercambio de datos y el costo de oportunidad para los médicos de anotar los datos, que hacen que la generación de grandes conjuntos de datos esté lejos de ser trivial60. Estos problemas se ven agravados aún más por la necesidad de representar bien y tener en cuenta las variaciones entre los pacientes (anatomía, demografía, etc.), las interacciones del cirujano (flujo de trabajo, habilidades, etc.) y el hardware del quirófano (instrumentos, sistemas de adquisición de datos, etc.). ).

Se han explorado varias soluciones para aumentar la cantidad de datos disponibles, como el uso de conjuntos de datos generados sintéticamente61 o el aumento artificial de conjuntos de datos anotados disponibles62. Aún así, modelar suficientemente la gama de posibles interacciones sigue siendo un problema abierto. Recientemente, los enfoques para la capacitación descentralizada (por ejemplo, el aprendizaje federado) han comenzado a ganar terreno63, lo que permite aprender a partir de datos en ubicaciones físicas remotas, mitigar las preocupaciones sobre la privacidad y aumentar la esperanza de una mayor accesibilidad a los datos.

Sin embargo, incluso con grandes cantidades de datos disponibles, las anotaciones de calidad siguen siendo escasas y costosas de producir. Para reducir la dependencia de las anotaciones, se han propuesto diferentes soluciones, aprovechando la información intrínseca presente en los datos sin etiquetar o reutilizando el conocimiento adquirido en diferentes tareas y dominios. Los enfoques autosupervisados ​​tienen como objetivo aprender información útil a partir de grandes cantidades de datos sin etiquetar mediante la formulación de tareas previas al texto que no requieren anotaciones externas64. Los enfoques semisupervisados ​​también aprovechan grandes cantidades de datos sin etiquetar, pero los combinan con pequeñas cantidades de datos anotados. Esta estrategia a menudo implica el etiquetado artificial de datos no etiquetados, guiado por algunos datos etiquetados disponibles65,66.

Los métodos débilmente supervisados ​​tienen como objetivo refinar las anotaciones fácilmente disponibles pero ruidosas, como etiquetas de origen público67, o reutilizar anotaciones existentes recopiladas para diferentes tareas (por ejemplo, aprender a localizar herramientas quirúrgicas utilizando anotaciones no espaciales como la presencia de herramientas binarias68). Cuando dichas anotaciones están disponibles simultáneamente con las anotaciones de la tarea objetivo, se puede llevar a cabo un entrenamiento multitarea (por ejemplo, utilizando señales de presencia de herramientas para ayudar a informar qué fase quirúrgica se está llevando a cabo y viceversa)24. Alternativamente, los enfoques de transferencia de aprendizaje ayudan a reutilizar la información aprendida en diferentes tareas y/o dominios, para los cuales los conjuntos de datos anotados están más disponibles, y aplicarlos al dominio y tarea de interés (Tabla 1). Un ejemplo común es el empleo del aprendizaje por transferencia a partir de conjuntos de datos grandes, bien etiquetados y no quirúrgicos, como ImageNet69. La adaptación del dominio es otro paradigma popular de transferencia-aprendizaje cuando se trata de datos provenientes de dominios similares al objetivo, como conjuntos de datos quirúrgicos sintéticos61.

Incluso cuando se desarrollan modelos cada vez más eficaces para diversas aplicaciones clínicas, también se requieren métodos técnicos para equipar al personal quirúrgico con los medios para explicar las predicciones de la IA, interpretar las razones detrás de ellas, estimar la certeza predictiva y, en consecuencia, generar confianza en los propios modelos. Estas consideraciones recién ahora están comenzando a abordarse en aplicaciones de atención médica70 y son particularmente evidentes en el caso de los algoritmos de “caja negra”, como los métodos basados ​​en el aprendizaje profundo, donde las relaciones entre entrada y salida no siempre son explícitas o bien comprendidas. Aquí, establecer, formalizar y comunicar relaciones causales entre las características de la entrada y la salida del modelo podría ayudar a mitigar fallas peligrosas del modelo y potencialmente informar el diseño del modelo71. También es importante formalizar procesos para identificar, registrar y responder a posibles fuentes de error antes y después de la implementación del modelo. Con este fin, Liu et al. presentar un marco para auditar aplicaciones de inteligencia artificial médica72.

El trabajo futuro podría ir más allá de estas cuestiones y buscar métodos que puedan identificar cuando se trata de datos desconocidos (fuera de distribución). Además de permitir a los médicos tomar decisiones informadas basadas en la confiabilidad del sistema de IA en entornos específicos, esto también podría ayudar a los investigadores a reconocer y abordar los sesgos de selección de datos y otros factores de confusión presentes en los conjuntos de datos utilizados para entrenar estos modelos.

Cada aplicación clínica exige que se cumplan condiciones específicas para poder entregarse de manera oportuna y adecuada de acuerdo con los flujos de trabajo técnicos y clínicos existentes. A medida que se desarrollan varios métodos para servir y apoyar a diversas partes interesadas durante las diferentes etapas de la atención perioperatoria, también será necesario considerar cuidadosamente las optimizaciones de hardware y software. La latencia aceptable, los errores y las interfaces ergonómicas son factores clave en esta discusión. Por ejemplo, ciertas optimizaciones, como ejecutar estos modelos con precisiones reducidas, pueden ayudar a reducir drásticamente la infraestructura computacional necesaria para implementar estos modelos, pero pueden degradar el rendimiento. Para aplicaciones menos urgentes, se ha explorado la computación en la nube para la navegación y la asistencia mediante IA, pero está limitada por la conectividad de la red73.

Los enfoques que hemos revisado demuestran que los métodos modernos tienen la capacidad técnica de trasladar los avances de la visión por computadora a la atención quirúrgica. Sin embargo, aún quedan varios obstáculos y desafíos para desbloquear el potencial de la visión por computadora en la cirugía (Fig. 3). Si bien la traducción del quirófano, la validación clínica y la implementación a escala de soluciones CV son sin duda fundamentales para ofrecer el valor quirúrgico prometido, estos pasos involucran a múltiples partes interesadas (desde fabricantes de dispositivos hasta reguladores) y siguen en gran medida inexplorados en la actualidad. Aquí nos centramos en consideraciones éticas, culturales y educativas importantes para los cirujanos y sus pacientes.

Los obstáculos de comportamiento y técnicos/operativos pueden limitar el desarrollo y la implementación de modelos CV en cirugía. Una combinación de cambios estatutarios, de comportamiento y operativos en los entornos regulatorios, clínicos y técnicos podría dar como resultado mejoras en la aplicación de CV para cirugía. Inteligencia artificial AI, organización de seguridad del paciente PSO, educación médica continua CME o quirófano.

Es necesario abordar varias cuestiones éticas, incluidas la seguridad y transparencia de los datos, la privacidad y la equidad y el sesgo74. Se están llevando a cabo debates tanto a nivel nacional como internacional para determinar la mejor manera de proteger a los pacientes sin prohibir innovaciones en el análisis de datos que podrían generar una atención quirúrgica más segura. Las consideraciones para la seguridad, transparencia y privacidad de los datos incluyen conceptos de consentimiento informado por parte de los pacientes, seguridad de los datos y propiedad y acceso a los datos, incluido si los pacientes tienen derecho a controlar y supervisar cómo se utilizan sus datos personales.

En un análisis cualitativo de las perspectivas de 49 pacientes sobre la grabación de vídeo a través de un hipotético sistema de "caja negra" que podría capturar todos los datos quirúrgicos en el quirófano, el 88% de los pacientes sintieron que cualquier propiedad de los datos de vídeo les pertenecía a ellos y no al hospital en el que se encontraban. recibió su atención o al cirujano que realizó sus operaciones75. Las regulaciones sobre propiedad, privacidad y uso de datos identificables y seudonimizados varían según el país (e incluso según las reglas estatales, locales e institucionales), por lo que los esfuerzos de investigación se han aislado en gran medida en instituciones individuales o consorcios locales, donde puede ser más fácil definir quién. posee datos bajo una infraestructura legal determinada y cómo se pueden utilizar. A medida que continúen los esfuerzos para comprender mejor las necesidades del campo en el desarrollo de tecnología que podría salvar vidas en la atención quirúrgica, será de vital importancia garantizar que los pacientes sean incluidos y priorizados en las discusiones relacionadas con el uso de los datos generados a través de sus encuentros de salud.

Los pacientes podrían ser un firme defensor de la investigación de la visión por computadora en cirugía, ya que muchos informan que perciben que un beneficio de la grabación de video es permitir un registro objetivo del caso para ayudar en la atención futura y servir como protección médico-legal tanto para el paciente como para el paciente. cirujano. Es importante destacar que los pacientes resaltaron su deseo de que dichos datos se utilizaran para una mejora continua de la calidad75. El uso de modelos de visión por computadora como los que hemos descrito anteriormente puede facilitar cada uno de estos beneficios hoy en día, ya que los algoritmos conscientes del contexto pueden indexar automáticamente los casos para una revisión rápida y el uso post hoc de algoritmos de guía puede proporcionar retroalimentación visual a los cirujanos. De hecho, algunas instituciones están utilizando estas tecnologías para facilitar debates en conferencias semanales sobre morbilidad y mortalidad con fines de mejora de la calidad.

En publicaciones recientes también se han destacado consideraciones adicionales sobre la equidad y el sesgo de los conjuntos de datos que afectan el rendimiento del modelo y la falta de transparencia algorítmica76,77. Se debe reconocer y considerar el sesgo en los conjuntos de datos, especialmente teniendo en cuenta que muchos conjuntos de datos actuales y futuros se obtendrán de plataformas laparoscópicas y robóticas que pueden no ser tan accesibles para los países de ingresos bajos y medianos. También es importante que los investigadores reconozcan que se pueden introducir sesgos a nivel de cada operación, ya que los cirujanos llevan consigo la influencia de su formación y experiencia operativa previa en la toma de decisiones quirúrgicas. Sin duda, la combinación de tales influencias introducirá sesgos en los conjuntos de datos que podrían afectar el rendimiento del modelo y, por lo tanto, la generalización de las herramientas CV en cirugía.

A medida que se reconoce cada vez más la importancia del sesgo en los conjuntos de datos y la necesidad de datos representativos y generalizables, han aumentado los esfuerzos para ampliar la naturaleza colaborativa de la investigación de la IA para la cirugía. Por ejemplo, la Colaboración Global de Inteligencia Artificial Quirúrgica (GSAC), una organización sin fines de lucro dedicada a promover la democratización de la atención quirúrgica a través de la intersección de educación, innovación y tecnología, ha estado facilitando colaboraciones de investigación entre instituciones de EE. UU., Canadá y Europa. proporcionando herramientas para la anotación, el intercambio de datos y el desarrollo de modelos que cumplan con los estándares regulatorios de cada uno de los países de origen de las instituciones participantes. Esfuerzos enfocados como GSAC pueden reducir la barrera de entrada para instituciones e individuos sin acceso significativo a datos o recursos computacionales al facilitar el reparto de costos, proporcionar infraestructura y ampliar el acceso a experiencia tanto técnica como quirúrgica para el trabajo colaborativo.

Finalmente, la educación en ciencia de datos quirúrgicos es de suma importancia, tanto para garantizar que los médicos actuales puedan comprender cómo la visión por computadora y otras herramientas de inteligencia artificial impactan su toma de decisiones y a sus pacientes, como para permitir que las generaciones futuras contribuyan con sus propios conocimientos al desarrollo de herramientas más nuevas y sofisticadas. herramientas. El Real Colegio de Médicos y Cirujanos de Canadá ha identificado recientemente la alfabetización en salud digital como una nueva competencia potencial para los médicos canadienses en la práctica especializada, destacando la importancia de nuevas carreras que combinen el conocimiento médico con la educación de posgrado en IA, así como equipos clínicos multidisciplinarios que incorporen científicos de datos e investigadores de IA78. Se llegó a una conclusión similar en el Topol Review del Reino Unido sobre la preparación de la fuerza laboral sanitaria para un futuro digital en el Servicio Nacional de Salud (NHS), y posteriormente el NHS estableció Topol Digital Fellowships para enseñar técnicas de transformación digital79. Actualmente se están estableciendo becas institucionales e interdisciplinarias para promover una mayor alfabetización de los médicos en temas de IA y una mayor comprensión de los problemas clínicos y el flujo de trabajo por parte de ingenieros y científicos de datos. Además, instituciones como IHU Strasbourg ofrecen cursos intensivos cortos en ciencia de datos quirúrgicos tanto a médicos como a ingenieros/científicos de datos para promover la educación y la colaboración interdisciplinarias.

La visión por computadora ofrece un medio sin precedentes para estudiar y mejorar la fase intraoperatoria de la cirugía a escala. A medida que las comunidades clínica y científica de datos han comenzado a converger en el avance de la investigación y la investigación científica sobre la mejor manera de utilizar CV en cirugía, se han demostrado varias aplicaciones de prueba de concepto de potencial valor clínico en cirugía mínimamente invasiva. Los esfuerzos clave para generalizar tales aplicaciones se centran en optimizar el acceso a los datos quirúrgicos y mejores métodos de modelado, considerando siempre los aspectos culturales y éticos intrínsecos a la atención al paciente. A medida que la CV en cirugía madure, será necesaria una participación social más amplia para garantizar que las promesas de la CV en cirugía se traduzcan de manera segura y eficaz para ayudar en la atención de los pacientes quirúrgicos.

El intercambio de datos no se aplica a este artículo ya que no se generaron ni analizaron conjuntos de datos durante el estudio actual.

Weiser, TG y cols. Estimación del volumen global de cirugía en 2012: una evaluación que respalda mejores resultados de salud. Lanceta 385, T11 (2015).

Artículo PubMed Google Scholar

Meara, JG y cols. Cirugía Global 2030: Evidencia y soluciones para lograr salud, bienestar y desarrollo económico. Cirugía 158, 3–6 (2015).

Artículo PubMed Google Scholar

Childers, CP y Maggard-Gibbons, M. Comprensión de los costos de la atención en el quirófano. JAMA Cirugía. 153, e176233 (2018).

Artículo PubMed PubMed Central Google Scholar

Zegers, M. y col. La incidencia, las causas fundamentales y los resultados de los eventos adversos en las unidades quirúrgicas: implicaciones para posibles estrategias de prevención. Seguridad del paciente. Cirugía. 5, 13 (2011).

Artículo PubMed PubMed Central Google Scholar

Lewandrowski, K.-U. et al. Variaciones regionales en la aceptación y utilización de técnicas de cirugía de columna mínimamente invasivas entre cirujanos de columna: resultados de una encuesta global. J. Cirugía de columna. 6, S260–S274 (2020).

Artículo PubMed PubMed Central Google Scholar

Bardakcioglu, O., Khan, A., Aldridge, C. y Chen, J. Crecimiento de la colectomía laparoscópica en los Estados Unidos: análisis de factores regionales y socioeconómicos a lo largo del tiempo. Ana. Cirugía. 258, 270–274 (2013).

Artículo PubMed Google Scholar

Richards, MK y cols. Una revisión nacional de la frecuencia de la cirugía mínimamente invasiva entre los residentes de cirugía general: evaluación de los registros de casos del ACGME durante 2 décadas de formación de residentes de cirugía general. JAMA Cirugía. 150, 169-172 (2015).

Artículo PubMed Google Scholar

Zhou, M. y col. Efecto de la retroalimentación háptica en la adquisición de habilidades en cirugía laparoscópica. Cirugía. Endosc. 26, 1128-1134 (2012).

Artículo CAS PubMed Google Scholar

Balvardi, S. et al. La asociación entre la evaluación basada en vídeo del rendimiento técnico intraoperatorio y los resultados de los pacientes: una revisión sistemática. Cirugía. Endosc. https://doi.org/10.1007/s00464-022-09296-6 (2022).

Mascagni, P. et al. Tiempo de espera intraoperatorio para promover la implementación de la visión crítica de la seguridad en la colecistectomía laparoscópica: una evaluación basada en video de 343 procedimientos. Mermelada. Col. Cirugía. 233, 497–505 (2021).

Artículo PubMed Google Scholar

Pugh, CM, Hashimoto, DA y Korndorffer, JR Jr. ¿El qué? ¿Cómo? ¿Y quien? De evaluación basada en vídeo. Soy. J. Cirugía. 221, 13-18 (2021).

Artículo PubMed Google Scholar

Feldman, LS y cols. Programa SAGES de evaluación basada en vídeo (VBA): una visión para el aprendizaje permanente de los cirujanos. Cirugía. Endosc. 34, 3285–3288 (2020).

Artículo PubMed Google Scholar

Sharma, G. y col. Un curso de simulación de anatomía de procedimientos cadavéricos mejora la evaluación basada en vídeo del desempeño operatorio. J. Cirugía. Res. 223, 64–71 (2018).

Artículo PubMed Google Scholar

Ward, TM y cols. Visión por ordenador en cirugía. Cirugía 169, 1253–1256 (2021).

Artículo PubMed Google Scholar

Hassan, C. y col. Rendimiento de la inteligencia artificial en colonoscopia para la detección de adenomas y pólipos: una revisión sistemática y un metanálisis. Gastrointestinal. Endosc. 93, 77–85.e6 (2021).

Artículo PubMed Google Scholar

van Leeuwen, KG, Schalekamp, ​​​​S., Rutten, MJCM, van Ginneken, B. & de Rooij, M. Inteligencia artificial en radiología: 100 productos disponibles comercialmente y su evidencia científica. EUR. Radiol. 31, 3797–3804 (2021).

Artículo PubMed PubMed Central Google Scholar

Pucher, PH y cols. Tendencias de resultados y medidas de seguridad después de 30 años de colecistectomía laparoscópica: una revisión sistemática y análisis de datos agrupados. Cirugía. Endosc. 32, 2175–2183 (2018).

Artículo PubMed PubMed Central Google Scholar

Törnqvist, B., Strömberg, C., Persson, G. y Nilsson, M. Efecto de la colangiografía intraoperatoria prevista y la detección temprana de lesión de las vías biliares en la supervivencia después de la colecistectomía: estudio de cohorte poblacional. BMJ 345, e6457 (2012).

Artículo PubMed PubMed Central Google Scholar

Un análisis prospectivo de 1518 colecistectomías laparoscópicas. N. inglés. J. Med. 324, 1073–1078 (1991).

Rogers, SO Jr. y col. Análisis de errores quirúrgicos en reclamaciones cerradas por mala praxis en 4 aseguradoras de responsabilidad. Cirugía 140, 25–33 (2006).

Artículo PubMed Google Scholar

Berci, G. y col. Colecistectomía laparoscópica: primero, no hacer daño; En segundo lugar, ocúpese de los cálculos de las vías biliares. Cirugía. Endosc. 27, 1051-1054 (2013).

Artículo PubMed Google Scholar

Anteby, R. y col. Análisis visual de aprendizaje profundo en cirugía laparoscópica: una revisión sistemática y un metanálisis de precisión de pruebas diagnósticas. Cirugía. Endosc. 35, 1521-1533 (2021).

Artículo PubMed Google Scholar

Garrow, CR y cols. Aprendizaje automático para el reconocimiento de la fase quirúrgica: una revisión sistemática. Ana. Cirugía. 273, 684–693 (2021).

Artículo PubMed Google Scholar

Twinanda, AP y cols. EndoNet: una arquitectura profunda para tareas de reconocimiento en videos laparoscópicos. Traducción IEEE. Medicina. Imágenes 36, 86–97 (2017).

Artículo PubMed Google Scholar

Kannan, S., Yengera, G., Mutter, D., Marescaux, J. y Padoy, N. LSTM de predicción del estado futuro para el reconocimiento temprano del tipo de cirugía. Traducción IEEE. Medicina. Imágenes 39, 556–566 (2020).

Artículo PubMed Google Scholar

Yengera, G., Mutter, D., Marescaux, J. & Padoy, N. Menos es más: reconocimiento de fase quirúrgica con menos anotaciones mediante entrenamiento previo autosupervisado de redes CNN-LSTM. arXiv [cs.CV] (2018).

Meireles, OR et al. Recomendaciones de consenso SAGES sobre un marco de anotación para vídeo quirúrgico. Cirugía. Endosc. En prensa, (2021).

Nwoye, CI y cols. Cita: Mecanismos de atención para el reconocimiento de tripletas de acción quirúrgica en videos endoscópicos. Medicina. Imagen Anal. 78, 102433 (2022).

Artículo PubMed Google Scholar

Yeung, S. y col. Un modelo de IA espaciotemporal en tiempo real analiza la habilidad en vídeos quirúrgicos abiertos. Res. Cuadrado https://doi.org/10.21203/rs.3.rs-1129461/v1 (2021).

Mascagni, P. et al. Una plataforma de visión por computadora para localizar automáticamente eventos críticos en videos quirúrgicos: documentar la seguridad en la colecistectomía laparoscópica. Ana. Cirugía. 274, e93-e95 (2021).

Artículo PubMed Google Scholar

Mascagni, P. et al. Validación multicéntrica de EndoDigest: una plataforma de visión por computadora para la documentación en video de la visión crítica de la seguridad en la colecistectomía laparoscópica. Cirugía. Endosc. https://doi.org/10.1007/s00464-022-09112-1 (2022).

Yu, T. & Padoy, N. Codifique lo invisible: hash de video predictivo para una recuperación escalable a mitad de camino. En: Ishikawa, H., Liu, CL., Pajdla, T., Shi, J. (eds) Computer Vision - ACCV 2020. ACCV 2020. Lecture Notes in Computer Science, vol 12626. Springer, Cham. https://doi.org/10.1007/978-3-030-69541-5_26 (2021).

Yu, T. y col. Recuperación de videos laparoscópicos en vivo con incertidumbre comprimida. Preimpresión en: https://arxiv.org/abs/2203.04301 (2022).

Berlet, M. et al. Informes quirúrgicos para colecistectomía laparoscópica basados ​​en la anotación de fase mediante una red neuronal convolucional (CNN) y el fenómeno del parpadeo de fase: una prueba de concepto. En t. J. Computación. Asistir. Radiol. Cirugía. https://doi.org/10.1007/s11548-022-02680-6 (2022).

Loukas, C., Frountzas, M. & Schizas, D. Clasificación basada en parches de la vascularización de la pared de la vesícula biliar a partir de imágenes laparoscópicas mediante aprendizaje profundo. En t. J. Computación. Asistir. Radiol. Cirugía. 16, 103-113 (2021).

Artículo PubMed Google Scholar

Ward, TM, Hashimoto, DA, Ban, Y., Rosman, G. y Meireles, O Predicción de inteligencia artificial del curso operatorio de colecistectomía a partir de la identificación automatizada de la inflamación de la vesícula biliar. Cirugía. Endosc. https://doi.org/10.1007/s00464-022-09009-z (2022).

Jin, A. y col. Detección de herramientas y evaluación de habilidades operativas en videos quirúrgicos utilizando redes neuronales convolucionales basadas en regiones, Conferencia de invierno del IEEE sobre aplicaciones de visión por computadora (WACV), 2018, págs. https://doi.org/10.1109/WACV.2018.00081 (2018).

Lavanchy, JL y cols. Automatización de la evaluación de habilidades quirúrgicas mediante un algoritmo de aprendizaje automático de tres etapas. Ciencia. Rep. 11, 5197 (2021).

Artículo CAS PubMed PubMed Central Google Scholar

Ward, TM y cols. Ciencia de datos quirúrgicos e inteligencia artificial para la educación quirúrgica. J. Cirugía. Oncol. 124, 221–230 (2021).

Artículo PubMed Google Scholar

Vannucci, M. y col. Modelos estadísticos para predecir preoperatoriamente la dificultad operativa en la colecistectomía laparoscópica: una revisión sistemática. Cirugía 171, 1158-1167 (2022).

Artículo PubMed Google Scholar

Tokuyasu, T. y col. Desarrollo de un sistema de inteligencia artificial que utiliza aprendizaje profundo para indicar puntos de referencia anatómicos durante la colecistectomía laparoscópica. Cirugía. Endosc. 35, 1651–1658 (2021).

Artículo PubMed Google Scholar

Madani, A. y col. Inteligencia artificial para guía intraoperatoria. Ana. Cirugía. 276, 363–369 (2022).

Artículo PubMed Google Scholar

Manera, LW et al. Causas y prevención de las lesiones de la vía biliar por laparoscopia. Ana. Cirugía. 237, 460–469 (2003).

Artículo PubMed PubMed Central Google Scholar

Brunt, LM y cols. Guía de práctica multisociedad sobre colecistectomía segura y conferencia de consenso sobre los últimos avances sobre la prevención de lesiones de las vías biliares durante la colecistectomía. Ana. Cirugía. 272, 3–23 (2020).

Artículo PubMed Google Scholar

Mascagni, P. et al. Inteligencia artificial para la seguridad quirúrgica. Ana. Cirugía. 275, 955–961 (2022).

Artículo PubMed Google Scholar

Aspart, F. y col. ClipAssistNet: brinda información sobre seguridad en tiempo real a los quirófanos. En t. J. Computación. Asistir. Radiol. Cirugía. 17, 5-13 (2022).

Artículo PubMed Google Scholar

Twinanda, AP, Yengera, G., Mutter, D., Marescaux, J. y Padoy, N. RSDNet: Aprender a predecir la duración restante de la cirugía a partir de videos laparoscópicos sin anotaciones manuales. Traducción IEEE. Medicina. Imágenes 38, 1069–1078 (2019).

Artículo PubMed Google Scholar

Ward, TM y cols. Identificación automatizada de la fase operativa en miotomía endoscópica peroral. Cirugía. Endosc. 35, 4008–4015 (2021).

Artículo PubMed Google Scholar

Mavros, MN et al. Abrir la caja de Pandora: comprender la naturaleza, los patrones y los resultados a 30 días de los eventos adversos intraoperatorios. Soy. J. Cirugía. 208, 626–631 (2014).

Artículo PubMed Google Scholar

Mazer, L., Varban, O., Montgomery, JR, Awad, MM y Schulman, A. El vídeo es mejor: ¿por qué no lo utilizamos? Un estudio de métodos mixtos sobre las barreras a la grabación de vídeo procesal de rutina y la revisión de casos. Cirugía. Endosc. 36, 1090–1097 (2022).

Artículo PubMed Google Scholar

van Dalen, ASHM, Legemaate, J., Schlack, WS, Legemate, DA & Schijven, MP Perspectivas legales sobre los dispositivos de grabación de caja negra en el entorno operativo. Hno. J. Cirugía. 106, 1433-1441 (2019).

Artículo PubMed PubMed Central Google Scholar

Código de Regulación Federal de los Estados Unidos. 42 CFR Ch I, Parte 3. https://www.ecfr.gov/current/title-42/chapter-I/subchapter-A/part-3.

Rivas-Blanco, I., Perez-Del-Pulgar, CJ, García-Morales, I. & Munoz, VF Una revisión sobre el aprendizaje profundo en cirugía mínimamente invasiva. Acceso IEEE 9, 48658–48678 (2021).

Artículo de Google Scholar

Shimizu, T., Hachiuma, R., Kajita, H., Takatsume, Y. y Saito, H. Localización y clasificación de herramientas quirúrgicas con reconocimiento de movimiento de la mano desde una cámara egocéntrica. J. Imágenes 7, 15 (2021).

Artículo PubMed PubMed Central Google Scholar

Zhang, M. y col. Uso de visión por computadora para automatizar la detección de manos y el seguimiento de los movimientos del cirujano en videos de cirugía abierta. AMIA Annu. Síntoma. Proc. 2020, 1373–1382 (2020).

PubMed Google Académico

Goldbraikh, A., D'Angelo, A.-L., Pugh, CM & Laufer, S. Evaluación totalmente automática basada en vídeo de las habilidades de sutura en cirugía abierta. En t. J. Computación. Asistir. Radiol. Cirugía. 17, 437–448 (2022).

Artículo PubMed PubMed Central Google Scholar

Mascagni, P. et al. Ciencia de datos quirúrgicos para una colecistectomía segura: un protocolo para la segmentación de la anatomía hepatoquística y la evaluación de la visión crítica de la seguridad. Preimpresión en: https://arxiv.org/abs/2106.10916 (2021).

Ward, TM y cols. Desafíos en la anotación de videos quirúrgicos. Cirugía asistida por ordenador. (Abingdon) 26, 58–68 (2021).

Artículo de Google Scholar

Esteva, A. et al. Una guía para el aprendizaje profundo en la atención sanitaria. Nat. Medicina. 25, 24-29 (2019).

Artículo CAS PubMed Google Scholar

Maier-Hein, L. et al. Ciencia de datos quirúrgicos: desde los conceptos hasta la traducción clínica. Medicina. Imagen Anal. 76, 102306 (2022).

Artículo PubMed Google Scholar

Rau, A. et al. Adaptación implícita del dominio con redes adversarias generativas condicionales para la predicción de profundidad en endoscopia. En t. J. Computación. Asistir. Radiol. Cirugía. 14, 1167-1176 (2019).

Artículo PubMed PubMed Central Google Scholar

Shorten, C. & Khoshgoftaar, TM Una encuesta sobre el aumento de datos de imágenes para el aprendizaje profundo. J. Big Data 6, (2019).

Kassem, H. y col. Ciclismo Federado (FedCy): Aprendizaje Federado Semi-supervisado de las fases quirúrgicas. Preimpresión en: https://arxiv.org/abs/2203.07345 (2022).

Taleb, A. y col. Métodos 3D autosupervisados ​​para imágenes médicas. En actas de la 34.a Conferencia internacional sobre sistemas de procesamiento de información neuronal (págs. 18158-18172) (2020).

Yu, T., Mutter, D., Marescaux, J. y Padoy, N. Aprendiendo de un pequeño conjunto de datos de anotaciones manuales: un enfoque profesor/estudiante para el reconocimiento de la fase quirúrgica. Preimpresión en: https://arxiv.org/abs/1812.00033 (2018).

Shi, X., Jin, Y., Dou, Q. y Heng, P.-A. Aprendizaje semisupervisado con excavación progresiva de datos sin etiquetar para un reconocimiento del flujo de trabajo quirúrgico eficiente en las etiquetas. Medicina. Imagen Anal. 73, 102158 (2021).

Artículo PubMed Google Scholar

Zhang, J., Sheng, VS, Li, T. y Wu, X. Mejora de la calidad de las etiquetas colaborativas mediante la corrección de ruido. Traducción IEEE. Red neuronal. Aprender. Sistema. 29, 1675–1688 (2018).

Artículo PubMed Google Scholar

Nwoye, CI, Mutter, D., Marescaux, J. & Padoy, N. Enfoque LSTM convolucional débilmente supervisado para el seguimiento de herramientas en videos laparoscópicos. En t. J. Computación. Asistir. Radiol. Cirugía. 14, 1059-1067 (2019).

Artículo PubMed Google Scholar

Deng, J. y col. ImageNet: una base de datos de imágenes jerárquica a gran escala. En 2009 Conferencia IEEE sobre visión por computadora y reconocimiento de patrones (IEEE, 2009). https://doi.org/10.1109/cvpr.2009.5206848.

Reyes, M. et al. Sobre la interpretabilidad de la inteligencia artificial en radiología: Retos y oportunidades. Radio. Artif. Intel. 2, e190043 (2020).

Artículo de Google Scholar

Castro, DC, Walker, I. y Glocker, B. La causalidad importa en las imágenes médicas. Nat. Comunitario. 11, 3673 (2020).

Artículo CAS PubMed PubMed Central Google Scholar

Liu, X. y col. La auditoría algorítmica médica. Lancet Digit Health 4, e384–e397 (2022).

Artículo PubMed Google Scholar

Sun, L., Jiang, X., Ren, H. & Guo, Y. Computación en la nube de borde e inteligencia artificial en Internet de los objetos médicos: arquitectura, tecnología y aplicaciones. IEEE Acceso 8, 101079–101092 (2020).

Artículo de Google Scholar

Gerke, S., Minssen, T. & Cohen, G. Desafíos éticos y legales de la atención médica impulsada por inteligencia artificial. En Inteligencia artificial en la atención sanitaria 295–336 (Elsevier, 2020).

Gallant, J.-N., Brelsford, K., Sharma, S., Grantcharov, T. y Langerman, A. Percepciones de los pacientes sobre la grabación de audio y vídeo en el quirófano. Ana. Cirugía. https://doi.org/10.1097/SLA.0000000000004759 (2021).

Gichoya, JW et al. Reconocimiento por IA de la raza de los pacientes en imágenes médicas: un estudio de modelado. Lancet Digit Health 4, e406–e414 (2022).

Artículo PubMed Google Scholar

Pierson, E., Cutler, DM, Leskovec, J., Mullainathan, S. y Obermeyer, Z. Un enfoque algorítmico para reducir las disparidades de dolor inexplicables en poblaciones desatendidas. Nat. Medicina. 27, 136-140 (2021).

Artículo CAS PubMed Google Scholar

Reznick, R. y col. Informe del grupo de trabajo sobre inteligencia artificial y tecnologías digitales emergentes. Publicado en: https://www.royalcollege.ca/rcsite/documents/health-policy/rc-ai-task-force-e.pdf (2021).

La revisión de Topol: educación sanitaria del NHS de Inglaterra. The Topol Review - Educación sanitaria del NHS de Inglaterra. Publicado en: https://topol.hee.nhs.uk/ (2019).

Descargar referencias

Este trabajo fue financiado parcialmente por fondos estatales franceses gestionados por la ANR con las referencias ANR-20-CHIA-0029-01 (Cátedra Nacional de IA AI4ORSafety) y ANR-10-IAHU-02 (IHU Estrasburgo). Este trabajo ha recibido financiación del programa de investigación e innovación Horizonte 2020 de la Unión Europea en el marco del acuerdo de subvención Marie Sklodowska-Curie nº 813782 - proyecto ATLAS.

Estos autores contribuyeron igualmente: Pietro Mascagni, Deepak Alapatt.

Hospital Gemelli, Universidad Católica del Sagrado Corazón, Roma, Italia

Pietro Mascagni

IHU-Estrasburgo, Instituto de Cirugía Guiada por Imágenes, Estrasburgo, Francia

Pietro Mascagni y Nicolás Padoy

Colaboración global de inteligencia artificial quirúrgica, Toronto, ON, Canadá

[ PubMed ] 10. Pietro Mascagni, Maria S. Altieri, Amin Madani, Yusuke Watanabe, Adnan Alseidi y Daniel A. Hashimoto

ICube, Universidad de Estrasburgo, CNRS, IHU, Estrasburgo, Francia

Deepak Alapatt, Luca Sestini y Nicholas Padoy

Departamento de Electrónica, Información y Bioingeniería, Politecnico di Milano, Milán, Italia

Luca Sestini

Departamento de Cirugía, Facultad de Medicina Perelman de la Universidad de Pensilvania, Filadelfia, PA, EE. UU.

Maria S. Altieri & Daniel A. Hashimoto

Departamento de Cirugía, Red Universitaria de Salud, Toronto, ON, Canadá

Amin Madani

Departamento de Cirugía, Universidad de Hokkaido, Hokkaido, Japón

Yusuke Watanabe

Departamento de Cirugía, Universidad de California San Francisco, San Francisco, CA, EE. UU.

Adnan Alseidi

Departamento de Cirugía, AdventHealth-Celebration Health, Celebration, FL, EE. UU.

Jay A. Redan

Fondazione Policlinico Universitario A. Gemelli IRCCS, Roma, Italia

Sergio Alfieri, Guido Costamagna e Ivo Boškoski

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

También puedes buscar este autor en PubMed Google Scholar.

PM: Concepción y diseño, redacción y revisión sustancial. DA: Concepción y diseño, redacción y revisión sustancial. LS: Concepción y diseño, redacción y revisión sustancial. MSA: Diseño, redacción y revisión sustancial. AM: Diseño, revisión sustancial. YW: Diseño, revisión sustancial. AA: Diseño, revisión sustancial. JR: Diseño, revisión sustancial. SA: Diseño, revisión sustancial. GC: Diseño, revisión sustancial. IB: Diseño, revisión sustancial. NP: Concepción y diseño, revisión sustancial. DAH: Concepción y diseño, redacción y revisión sustancial. Todos los autores han aprobado la versión enviada y aceptan ser personalmente responsables del trabajo. PM y DA contribuyeron por igual y comparten la primera coautoría.

Correspondencia a Pietro Mascagni.

Los autores declaran los siguientes intereses financieros en competencia: AM es consultor de Activ Surgical y Genesis MedTech. NP es asesor científico de Caresyntax y su laboratorio recibe una beca de doctorado de Intuitive Surgical. DAH es consultor de Johnson & Johnson Institute y Activ Surgical. Anteriormente recibió apoyo para investigación de Olympus Corporation. Los autores declaran también los siguientes intereses no financieros en competencia: PM, MSA, AM, YW, AA y DAH forman parte de la junta directiva de Global Surgical AI Collaborative, una organización sin fines de lucro que supervisa una plataforma de análisis e intercambio de datos. para datos quirúrgicos.

Nota del editor Springer Nature se mantiene neutral con respecto a reclamos jurisdiccionales en mapas publicados y afiliaciones institucionales.

Acceso Abierto Este artículo está bajo una Licencia Internacional Creative Commons Attribution 4.0, que permite el uso, compartir, adaptación, distribución y reproducción en cualquier medio o formato, siempre y cuando se dé el crédito apropiado a los autores originales y a la fuente. proporcione un enlace a la licencia Creative Commons e indique si se realizaron cambios. Las imágenes u otro material de terceros en este artículo están incluidos en la licencia Creative Commons del artículo, a menos que se indique lo contrario en una línea de crédito al material. Si el material no está incluido en la licencia Creative Commons del artículo y su uso previsto no está permitido por la normativa legal o excede el uso permitido, deberá obtener permiso directamente del titular de los derechos de autor. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/4.0/.

Reimpresiones y permisos

Mascagni, P., Alapatt, D., Sestini, L. et al. Visión por computadora en cirugía: del potencial al valor clínico. npj Dígito. Medicina. 5, 163 (2022). https://doi.org/10.1038/s41746-022-00707-5

Descargar cita

Recibido: 15 de julio de 2022

Aceptado: 10 de octubre de 2022

Publicado: 28 de octubre de 2022

DOI: https://doi.org/10.1038/s41746-022-00707-5

Cualquier persona con la que comparta el siguiente enlace podrá leer este contenido:

Lo sentimos, actualmente no hay un enlace para compartir disponible para este artículo.

Proporcionado por la iniciativa de intercambio de contenidos Springer Nature SharedIt

npj Medicina digital (2023)

Endoscopia Quirúrgica (2023)