Blog

Jun 04, 2024

Un transformateur de vision pour décoder l'activité du chirurgien à partir de vidéos chirurgicales

Nature Biomedical Engineering volume 7, pages 780-796 (2023)Citer cet article 10k Accès 8 Citations 140 Détails Altmetric Metrics L'activité peropératoire d'un chirurgien a un impact substantiel sur

Nature Biomedical Engineering volume 7, pages 780-796 (2023)Citer cet article

10 000 accès

8 citations

140 Altmétrique

Détails des métriques

L'activité peropératoire d'un chirurgien a un impact substantiel sur les résultats postopératoires. Cependant, pour la plupart des interventions chirurgicales, les détails des actions chirurgicales peropératoires, qui peuvent varier considérablement, ne sont pas bien compris. Nous rapportons ici un système d'apprentissage automatique exploitant un transformateur de vision et un apprentissage contrastif supervisé pour le décodage d'éléments de l'activité chirurgicale peropératoire à partir de vidéos couramment collectées lors de chirurgies robotiques. Le système a identifié avec précision les étapes chirurgicales, les actions effectuées par le chirurgien, la qualité de ces actions et la contribution relative des images vidéo individuelles au décodage des actions. Grâce à des tests approfondis sur les données de trois hôpitaux différents situés sur deux continents différents, nous montrons que le système se généralise à travers des vidéos, des chirurgiens, des hôpitaux et des procédures chirurgicales, et qu'il peut fournir des informations sur les gestes et compétences chirurgicaux à partir de vidéos non annotées. Le décodage de l'activité peropératoire via des systèmes d'apprentissage automatique précis pourrait être utilisé pour fournir aux chirurgiens un retour d'information sur leurs compétences opératoires, et pourrait permettre l'identification d'un comportement chirurgical optimal et l'étude des relations entre les facteurs peropératoires et les résultats postopératoires.

L’objectif primordial de la chirurgie est d’améliorer les résultats postopératoires pour les patients1,2. Il a été récemment démontré que ces résultats sont fortement influencés par l'activité chirurgicale peropératoire3, c'est-à-dire les actions effectuées par un chirurgien au cours d'une intervention chirurgicale et la qualité de leur exécution. Cependant, pour la grande majorité des interventions chirurgicales, une compréhension détaillée de l’activité chirurgicale peropératoire reste difficile à atteindre. Ce scénario n’est que trop courant dans d’autres domaines de la médecine, où les facteurs déterminants de certains résultats pour les patients doivent encore être découverts ou se manifestent différemment. Le statu quo en chirurgie est que l’activité chirurgicale peropératoire n’est tout simplement pas mesurée. Un tel manque de mesures rend difficile la capture de la variabilité de la manière dont les interventions chirurgicales sont réalisées au fil du temps, des chirurgiens et des hôpitaux, le test des hypothèses associant l'activité peropératoire aux résultats pour les patients et la fourniture aux chirurgiens d'un retour d'information sur leur technique opératoire.

L’activité chirurgicale peropératoire peut être décodée à partir de vidéos couramment collectées lors d’interventions chirurgicales assistées par robot. Un tel décodage donne un aperçu des étapes procédurales (telles que la dissection et la suture des tissus) qui sont réalisées au fil du temps, de la manière dont ces étapes sont exécutées (par exemple, à travers un ensemble d'actions ou de gestes discrets) par le chirurgien opératoire, et de la qualité avec laquelle elles sont exécutées. sont exécutés (c’est-à-dire la maîtrise d’une compétence ; Fig. 1). Actuellement, si une vidéo devait être décodée, cela se ferait grâce à une analyse rétrospective manuelle par un chirurgien expert. Cependant, cette approche humaine est subjective, car elle dépend de l’interprétation de l’activité par le chirurgien examinateur ; peu fiable, car il suppose qu'un chirurgien est au courant de toutes les activités peropératoires ; et peu évolutif, car il nécessite la présence d’un chirurgien expert et beaucoup de temps et d’efforts. Ces hypothèses sont particulièrement déraisonnables lorsque les chirurgiens experts ne sont pas disponibles (comme dans les contextes à faibles ressources) et sont déjà pressés par le temps. Il existe donc un besoin urgent de décoder l’activité chirurgicale peropératoire de manière objective, fiable et évolutive.

a, Les vidéos chirurgicales généralement collectées lors des chirurgies robotiques sont décodées via SAIS en plusieurs éléments de l'activité chirurgicale peropératoire : ce qui est effectué par un chirurgien, comme les sous-phases de suture de la manipulation de l'aiguille, de l'enfoncement de l'aiguille et du retrait de l'aiguille, et comment cette activité est exécutée par un chirurgien, par exemple par des gestes discrets et à différents niveaux de compétence. b, SAIS est un système unifié puisque la même architecture peut être utilisée pour décoder indépendamment différents éléments de l'activité chirurgicale, de la reconnaissance des sous-phases à la classification des gestes et à l'évaluation des compétences.