Improvement of vertebral landmarks location and 3D reconstruction of the spine from 2D longitudinal and transversal images using Convolutional Neural Networks (CNNs)

Scoliosis is a disorder affecting a growing number of patients worldwide, particularly adolescent ones as it appears mainly during growth. To diagnose such spinal three-dimensional deformities, Cobb angle measurement is still done in 2D projections, leading to a loss of precision. Methods for computational 3D image reconstruction from X-ray images exist and are currently challenged by a lack of applicability. Analysing both lateral (side view) and frontal (front view) X-ray images of the spine enables the reconstruction of accurate 3D representations of the spinal structure. Pedicles of the vertebra are still subjected to errors in prediction location, particularly due to their superimposition in the sagittal plane. The study aims at developing Convolutional Neural Network models to localise specific pedicle landmarks on these two orthogonal vertebral X-ray images. Previous works in the field of medical imaging particularly emphasised the performance of U-Net with a ResNet50 backbone, which was consequently selected to perform this study. Depending on input images, supervision, and augmentation, pixel distances between 4 and 9 pixels were achieved, showing reasonable accuracy in pedicle localisation. Combining face and profile views improved detection in the profile view but slightly reduced performance in the face view, consistent with challenges in the sagittal plane. The effectiveness of supervision depends on the desired focus, and full augmentation is best. Afterwards, two different ablation studies were performed to assess the reliability of the results. Reducing the size of the decoder part filters of the U-Net model results in worse performance in the location task, while highlighting the crucial role of skip connections. Skipping the Y-alignment of both images during preprocessing also results in underperformance. The results obtained are paving the way for an equivalent method coupling sagittal and coronal incidences to train Convolutional Neural Networks to perform pedicle location. 3D reconstruction using X-ray images may provide a solution for diagnosis, computer-aided surgery, surgical planning, patient follow-up, and other biomechanical applications.

La scoliosi è un disturbo che colpisce un numero crescente di pazienti. Per diagnosticare queste deformità tridimensionali della colonna vertebrale, la misurazione dell'angolo di Cobb viene ancora effettuata in proiezioni 2D, con conseguente perdita di precisione. Esistono metodi per la ricostruzione computazionale di immagini 3D a partire da immagini radiografiche, ma attualmente la mancanza di applicabilità è un problema. L'analisi di immagini radiografiche della colonna vertebrale sia laterali (vista laterale) che frontali (vista frontale) consente di ricostruire rappresentazioni 3D accurate della struttura spinale. I peduncoli delle vertebre sono ancora soggetti a errori di previsione, in particolare a causa della loro sovrapposizione sul piano sagittale. Lo studio mira a sviluppare modelli di rete neurale convoluzionale per localizzare i punti di riferimento specifici dei peduncoli su queste due immagini radiografiche vertebrali ortogonali. Precedenti lavori hanno enfatizzato in particolare le prestazioni di U-Net con una struttura portante ResNet50, che è stata di conseguenza selezionata per eseguire questo studio. A seconda delle immagini di input, della supervisione e dell'incremento, le prestazioni di localizzazione dei peduncoli sono abbastanza accurate. L'efficacia della supervisione dipende dalla focalizzazione desiderata e l'aumento completo è il migliore. Successivamente, sono stati eseguiti due diversi studi di ablazione per valutare l'affidabilità dei risultati. La riduzione della dimensione dei filtri della parte di decodifica del modello U-Net comporta un peggioramento delle prestazioni nel compito di localizzazione, evidenziando il ruolo cruciale delle connessioni di salto. Anche saltare l'allineamento Y di entrambe le immagini durante la preelaborazione porta a prestazioni inferiori. I risultati ottenuti aprono la strada a un metodo equivalente che accoppi le incidenze sagittali e coronali per addestrare le reti neurali convoluzionali a eseguire la localizzazione dei peduncoli. La ricostruzione 3D utilizzando immagini radiografiche può fornire una soluzione per la diagnosi, la chirurgia assistita, la pianificazione chirurgica e altre applicazioni biomeccaniche.