Real-time generation of ultrasound images starting from CT scans with and without neural networks

Medical ultrasound is one of the most widely used imaging techniques, due to its ease of use and non-invasive safe nature. However, ultrasound images have low quality and this requires high knowledge and experience from doctors in order to correctly interpret such images. To improve doctors’ experience and strengthen their theoretical grounds, real-time ultrasound simulation has arisen as a reliable solution. At the same time, in recent years, Virtual Reality technology has made huge steps ahead and VR environments for training purposes are a reality now, which is considered for real-time ultrasound simulation. This thesis is devoted to explore two new methodologies regarding ultrasound simulation starting from CT scans, one of which involves the application of a neural network, a new approach in this field, trained with a supervised learning approach, and the other based on distribution fitting on noise data extracted from our dataset. For both methodologies we use a dataset created starting from a repository of CT scans and applying a ultrasound simulator that transforms such images in the ultrasound domain. The purpose of this work is to find interesting alternatives for ultrasound simulation that can be fast and not computationally intensive, in order to be applied on VR environments that rely on devices of constrained power in terms of hardware, even by sacrificing part of image quality. Our results show that, due to unrespected inference time requirements, the method based on a neural network is not recommmended. Both methods lead to visually acceptable results, but even if we applied a method to compare the images that demonstrates a slight advantage in the usage of neural networks on a visual point of view, due to the capture of low frequencies in the image, it is not enough to justify the application of a neural network.

L’ecografia medica è una delle più utilizzate tecniche di imaging, grazie alla sua facilità d’uso e alla sua natura sicura e non invasiva. Tuttavia, le immagini ecografiche hanno una bassa qualità e questo richiede ampia conoscenza ed esperienza da parte dei dottori per poter intrepretare correttamente tali immagini. Per incrementare l’esperienza dei dottori e rafforzare le loro basi teoriche, la simulazione ecografica in tempo reale è sorta come soluzione affidabile. Allo stesso tempo, negli ultimi anni, la tecnologia sulla Realtà Virtuale ha fatto passi da gigante e gli ambienti in Realtà Virtuale per addestramenti sono ora una realtà, che viene considerata anche per la simulazione dell’ecografia in tempo reale. Questa tesi è dedicata all’esplorazione di due nuove metodologie riguardo la simulazione ecografica partendo da scansioni TC, una delle quali prevede l’applicazione di una rete neurale, un approccio nuovo in questo campo, mentre l’altra è basata sul fitting di distribuzioni di dati di rumore estratto dal nostro set di dati. Per entrambe le metodologie utilizziamo un set di dati creato partendo da un deposito di scansioni TC e applicando un simulatore ecografico che transforma tali immagini nel dominio ecografico. Lo scopo di questo lavoro è di trovare interessanti alternative per la simulazione ecografica che siano veloci e non computazionalmente intensive, in modo tale da essere applicate ad ambienti in Realtà Virtuale che fanno affidamento su dispositivi di limitata potenza in termini di hardware, anche al costo di sacrificare parte della qualità dell’immagine. I nostri risultati mostrano che, a causa di requisiti di tempo di inferenza non rispettati, il metodo basato sulla rete neurale non è consigliato. Entrambi i metodi portano a risultati visivamente accettabili, ma anche se abbiamo applicato un metodo per confrontare le immagini che dimostrano un leggero vantaggio nell’utilizzo della rete neurale, grazie alla cattura delle basse frequenze nell’immagine, non è sufficiente per giustificare l’applicazione di una rete neurale.