Automatic deep learning-based segmentation of mitral valve and catheter from 4D echocardiography for intra-procedural support in percutaneous mitral valve repair

Mitral regurgitation is the most common valvular abnormality worldwide; to lower the risks inherent to the required open-heart surgery, percutaneous procedures such as the MitraClip application can be used. To reduce their complexity and make them more reliable, the EU-funded project ARTERY is working towards providing a radiation-free approach via robotic catheters. The present work focuses on improving the interpretability of the echocardiogram, making more information available to the surgeon and for robotic catheter control. To do so, two neural networks have been trained to provide a segmentation of the mitral valve and of the catheter used to deliver the device, aiming for real-time computation. From intra-operative transoesophageal echocardiographic acquisitions pertaining 78 full procedures, 100 and 105 images were chosen to create two datasets, one aimed at segmenting the valve and one for the catheter. Manual segmentation provided the ground truth needed as input for the neural network training and to validate the results. The segmentations include annulus, anterior and posterior leaflets for the first dataset, annulus and catheter for the second one. The 3D U-Net architecture was chosen and implemented with PyTorch, a Python open-source library; after extensive testing to find the optimal hyperparameters and strategy, two networks were fully trained. Cross-validation was also performed, to estimate how the model generalises to new, unseen data. The results show a total Dice score of 0.75 ± 0.06 and a 95% Hausdorff distance of 2.58 ± 0.95 mm for the first network, indicating proper recognition of the structures. The second network has shown much higher variability, and, as a consequence, worse average results (Dice 0.19 ± 0.06, 95% Hausdorff 16.84 ± 3.35 mm), mainly due to strong artifacts caused by the presence of the catheter itself. These promising results were obtained with times lower than a second per image, making this approach appropriate for real-time intraprocedural use, providing accurate segmentations and therefore making more information available to facilitate the procedure.

Il rigurgito mitralico è la forma più comune di patologia valvolare nel mondo; per diminuire i rischi dell’operazione a cuore aperto richiesta, possono essere utilizzate procedure percutanee, quale l’applicazione di MitraClip. Per ridurne la complessità e renderle più sicure, il progetto ARTERY, finanziato dalla UE, lavora per fornire un approccio privo di radiazioni tramite l’uso di cateteri robotizzati. Il presente lavoro mira a migliorare l’interpretabilità delle immagini ecocardiografiche, così da rendere più informazioni disponibili al chirurgo e per il controllo robotico dei cateteri. A questo scopo, due reti neurali sono state allenate per fornire una segmentazione della valvola mitrale e del catetere usato per portare il dispositivo a destinazione, puntando a ottenerle in tempo reale. Partendo da acquisizioni di ecocardiografia transesofagea intra-operatoria appartenenti a 78 diverse operazioni, sono state selezionate 100 e 105 immagini per creare due dataset, l’uno per la segmentazione della valvola, l’altro per il catetere. Un processo di segmentazione manuale ha permesso di creare la ground truth necessaria per fornire gli input per l’allenamento delle reti e per validarne poi i risultati. Le segmentazioni includono classi per annulus, foglietto anteriore e posteriore per il primo dataset, annulus e catetere per il secondo. L’architettura 3D U-Net è stata scelta e implementata tramite la libreria Python PyTorch; dopo una fase di testing per trovare i parametri e la strategia ottimale, si è proceduto con l’allenamento delle due reti. È stata inoltre effettuata cross-validation per valutare la risposta del modello di fronte a dati nuovi. I risultati mostrano un Dice score di 0.75 ± 0.06 e una distanza di Hausdorff al 95% di 2.58 ± 0.95 mm per la prima rete, che indicano un corretto riconoscimento delle strutture. La seconda rete ha mostrato maggiore variabilità, e di conseguenza risultati medi peggiori (Dice 0.19 ± 0.06, 95% Hausdorff 16.84 ± 3.35 mm), causati principalmente dai forti artefatti causati dallo stesso catetere. Questi risultati sono stati ottenuti in meno di un secondo per immagine, rendendo l’approccio adatto per un uso in tempo reale durante l’operazione, producendo segmentazioni accurate e fornendo informazioni utili a facilitare la procedura.