Methods for learning surgical instrument segmentation from unlabelled datasets using prior knowledge

Surgical videos offer a rich source of information for analyzing minimally invasive procedures. Identifying and localising surgical instruments from these videos is a crucial step for the development of valuable applications like automatic surgical skill assessment and real-time decision support. State-of-the-art approaches rely on fully-supervised training of deep learning models, which is limited by the cost and availability of annotated data. This thesis proposes methods for instrument localisation and identification which can be trained on unlabelled datasets. General knowledge about surgical instruments - cheaper and more easily obtained than manual annotations - is incorporated in the training architectures to fabricate effective supervision signals. The proposed approaches leverage novel methods for unsupervised learning, self-supervised representation learning, and learning from noisy labels, all designed to effectively mine such prior and complementary knowledge. We hope our proposed approaches can facilitate the development of valuable assistive technologies to improve the quality of surgical care.

I video chirurgici offrono una ricca fonte di informazioni per l'analisi delle procedure minimamente invasive. L'identificazione e la localizzazione degli strumenti chirurgici da questi video è un passo cruciale per lo sviluppo di applicazioni preziose per la valutazione automatica dell'abilità chirurgica e per il supporto in tempo reale del chrurgo in sala operatoria. Gli approcci comunemente utilizzati si basano sull'addestramento completamente supervisionato di modelli di deep learning. Tali soluzioni sono generalmente limitati dal costo e dalla disponibilità di dati annotati. Questa tesi propone metodi per la localizzazione e l'identificazione degli strumenti che possono essere addestrati su dati completamente privi di annotazioni. Conoscenze generali sugli strumenti chirurgici - più economiche e più facilmente ottenibili rispetto alle annotazioni manuali - sono incorporate nelle architetture sviluppate. Gli approcci proposti sfruttano metodi innovativi per l'apprendimento non supervisionato e auto-supervisionato, tutti progettati per sfruttare efficacemente tali conoscenze pregresse sugli strumenti chirurgici. Ci auguriamo che gli approcci proposti possano facilitare lo sviluppo di valide tecnologie di assistenza per migliorare la qualità della chirurgica mininvasiva.