Ultrasound plane pose regression along realistic probe trajectories acquired with a haptic-based simulation

This project aims to integrate a haptic handheld manipulator device in a fetal US simulator to acquire realistic US probe trajectories that include the influence of deformations that the maternal womb encounters during an actual scan. The simulator will be utilized further to generate training data for a US pose regression machine learning (ML) model. While this regression model was already developed, it is currently trained with randomly sampled slices of 3D US volumes. We expect to generate enhanced training data corresponding to continuous probe trajectories following skin contact and deformation constraints with the proposed simulator the addition of a temporal component to the US pose regression model, where a window of continuous frames can be processed jointly to enforce that a realistic continuous US probe pose is estimated, as opposed to independent pose estimations for each frame. The project’s first stage involved the integration of haptic hardware within the CHAI3D framework, where the virtual fetal sonography scene is implemented, plus the development of a realistic US-skin contact deformation model of the womb. Different models were developed and tested until a satisfactory design presented no unstable deformation behavior and the impossibility of US probe-skin penetration was established. Then, a connection was made between the CHAI3D simulation and an existing Unity 3D virtual environment to reconstruct a 3D US volume starting from DICOM; this environment is used to acquire the bidimensional (2D) US planes slicing the fetal brain US volume. Their sixdimensional (6D) pose with respect to the fetal brain center. Starting from a previously developed US plane pose regression CNN, we added a temporal module to improve the existing model on the estimation of continuous trajectories. Indeed, due to their higher complexity, precision, and intrinsically temporal nature, it was clear that a more robust solution for pose regression was necessary. The recorded US probe trajectories and their corresponding rendered US planes, obtained from five real fetal brain volumes with 21, 22, 23, 24, and 25 weeks gestional age (GA), have been used to train and test the improved US plane pose regression model. A direct comparison between the enhanced temporal model and prior work has been made to validate the system.

Il seguente lavoro mira a integrare l’utilizzo di un dispositivo aptico dotato di manipolo con un simulatore virtuale di un’ecografia ultrasound (US) fetale, allo scopo di produrre delle realisitiche traiettorie della sonda ecografica. Nel realizzare la simulazione, una particolare attenzione è stata garantita nel riprodurre le deformazioni che l’utero materno subisce durante le scansioni a contatto con la sonda. Il fine ultimo del simulatore è quindi quello di generare delle traiettorie della sonda ecografica che possano essere utilizzate per produrre dati di training per un modello di apprendimento della posa dei piani di US. Sebbene questo modello di regressione sia già stato sviluppato all’inizio del progetto, attualmente risulta essere addestrato con sezioni campionate casualmente da volumi tridimensional (3D) d’ultrasuoni. Con il simulatore proposto, ci aspettiamo di generare dei dati di addestramento che risultino essere più veritieri e precisi, corrispondenti a traiettorie continue della sonda ecografica, che tengano conto del contatto fra pelle e sonda, e dei relativi vincoli di deformazione. Inoltre, questi nuovi dati di addestramento consentiranno l’aggiunta di una componente temporale al modello di regressione, che permette di elaborare congiuntamente una finestra di fotogrammi continui per ottenere la stima di una singola posa. Questo rafforza ancora di più l’idea che i dati di ingresso siano delle posizioni realistiche e continue della sonda di US, e per questo motivo, rispetto al metodo di stima precedente basato sull’elaborazione indipendente di ogni singolo fotogramma, qui una finestra temporale di dati viene usata per conseguire la stima. La prima fase del progetto ha comportato l’integrazione dell’hardware aptico con il framework della simualazione, chiamato Computer Haptics and Active Interfaces 3D (CHAI3D), e lo sviluppo di un modello deformabile del grembo materno che riproducesse nel modo più realistico possibile il contatto con fra pelle e sonda. Diveris modelli sono stati sviluppati e testati fino ad ottenere un design soddisfacente (nessun comportamento deformativo instabile, impossibilità di penetrazione della sonda ecografica nella pelle, ecc.). Dopo aver creato il modello deformabile, la simulazione è stata collegata a un game virtuale già esistente in Unity3D, in modo che per qualsiasi traiettoria registrata fosse possibile acquisire il corrispondente piano di US. Il volume target desiganto all’acquisizione dei piani di US è il cervello del feto, importato nel progetto di Unity3D attraverso un’estensione esterna. Le traiettorie acquisite e le corrispodenti immagini US sono state usate per allenare e valutare il modello di regressione della posa, lavorando su 5 differenti volumi corrispodenti a pazienti di 21, 22, 23, 24, 25 settimane. Tale processo di rendering dei piani US è per ora attuato solo nella zona del cervello del feto e i piani vengono acquisiti da un volume 3D ricostruito da immagini Digital Imaging and Communications in Medicine (DICOM) di un’ecografia reale. Le traiettorie acquisite e i corrispondenti piani US vengono attualmente utilizzati per addestrare e testare il modello di regressione della posa dei piani. A causa di una maggiore complessità e precisione nei dati, nonchè della loro natura intrinsicamente temporale, si è reputato necessario trovare una soluzione più idonea per la classificazione della loro pose. Per questo motivo è stato aggiunto un modulo in grado di processare temporalmente i dati, utilizzando recurrent neural network (RNN), come i modelli long-short-term memory (LSTM) o i gated recurrent network (GRU). Per validare il sistema, è possibile effettuare un confronto diretto tra il modello temporale avanzato e studi precedenti.