Tracking surgical instruments in vitrectomy surgeries leveraging spatial and temporal features through deep neural networks

Surgeries are always challenging and risky procedures. In ophthalmology, in particular, the main challenges are represented by limited space to operate, complicated viewpoints, and bad illumination, which make even harder for surgeons to ensure safety to patients. During ophthalmic surgeries, safety circumstances can be achieved by avoiding risky movements, avoiding to apply excessive pressure on the surfaces that constitute the eye bulb and, in particular, avoiding touching the retina, i.e. the membrane covering the inner surface of the eye. In the human eye, the retina is an extremely fragile tissue and, any unintended collision with it may produce serious permanent eye damages for the patients. In the most critical cases, eye damages can lead to sight loss. Ophthalmologists make use of various tools to have a clear and magnified view of the eye bulb, for instance, ad-hoc surgical microscopes. They also employ tools to avoid hazardous movements, such as systems for intraoperative surgical guidance. However, surgeons do not have any reliable depth perception of the region affected by the surgery to help them avoid collision with the retina. Surgeons still have to rely on 2D images and visual cues. The goal of this thesis is to design a real-time system employing Deep Learning and Computer Vision techniques to deal with the problem of retinal collision avoidance and to provide ophthalmologists with information about the proximity of the instruments with the retinal surface. Our system relies on stereoscopic videos of ophthalmic surgeries recorded by the surgical microscope employed in the operating room. The system uses two Convolutional Neural Networks for localization and tracking of surgical instruments' tips, and Stereo Vision to estimate the distance of the tips from the retinal surface in the background.

Gli interventi chirurgici sono sempre procedure complicate. In oftalmologia, le principali sfide sono rappresentate da spazi ridotti, campo visivo limitato e pessime condizioni di luce, che rendono ancora più difficile per i chirurghi garantire alti standard di sicurezza per i pazienti. Negli interventi chirurgici oftalmologici, situazioni di sicurezza si ottengono evitando movimenti rapidi, evitando di usare eccessiva pressione sulle superfici che costituiscono il bulbo oculare e, in particolare, evitando di toccare la retina, ovvero la membrana che riveste la parete interna dell'occhio. All'interno dell'occhio umano, infatti, la retina è una membrana estremamente fragile e qualsiasi collisione accidentale con essa può causare gravi danni permanenti ai pazienti. Nei casi più critici, questi danni possono causare perdita della vista. Per garantire alti standard di sicurezza, gli oftalmologi dispongono di strumenti che forniscono loro una visione chiara e ingrandita del bulbo oculare, come ad esempio microscopi chirurgici appositi, e strumenti che limitano movimenti rischiosi, come sistemi di guida chirurgica. Tuttavia, gli oftalmologi non dispongono di nessuno strumento in grado di fornire loro un’affidabile percezione di profondità relativa alla regione interessata dall'intervento chirurgico, utile a evitare urti con la retina. I chirurghi devono ancora fare affidamento a immagini 2D e spunti visivi come, ad esempio, la distanza della punta dello strumento chirurgico dall’ombra proiettata sulla retina. L'obiettivo di questa tesi è progettare un sistema real-time, che impieghi tecniche di Deep Learning e Computer Vision, per la prevenzione di urti con la retina e per fornire agli oftalmologi informazioni riguardo la prossimità tra strumenti chirurgici e retina durante operazioni di chirurgia oftalmica. Il nostro sistema utilizza video stereoscopici di interventi oftalmici registrati dai microscopi utilizzati in sala operatoria. Il sistema impiega due reti neurali convoluzionali (CNN) per l’individuazione e il tracking delle punte degli strumenti chirurgici, e la visione stereoscopica per stimare la distanza di tali punte dalla superficie retinica in secondo piano.