Learning-based robust needle tip visualization framework for robotic ultrasound-guided interventions

Ultrasound (US)-guided percutaneous interventions have become standardized procedures widely employed in various clinical applications, including biopsy, ablation, and regional anesthesia. These interventions require clinicians to simultaneously manipulate the US probe for real-time imaging compromised by speckle noise, artifacts, and low contrast while accurately positioning the needle tip within the target anatomical structure, resulting in significant cognitive and technical demands. Traditional methods often encounter failures due to the acoustic effects, which include mismatch, misdetection and drifts. To tackle these challenges, this work implements a learning-based robust needle tip visualization framework, which addresses the desired tip-tracking capability and optimally adjusts the probe. Specifically, a hybrid tracking was designed to locate the tip on the US image. By integrating detection and tracking methods, the system has the ability to initialize and restore the needle-tracking phase if the needle disappears in a short time, caused by occlusion or miss-tracking by high reflection speckles. Bayesian optimization (BO)-based probe roll angle adjustment algorithm ensures the restoration of the tip's visualization. By combining scores from the tracking and detection networks as the objective function, Gaussian process approximates the distribution of scores relative to the probe position. This distribution serves as the model for BO to identify the expected probe position with minimal observations. Comprehensive comparison experiments were conducted to validate the proposed framework and compare it with baselines. Experimental results showed that the proposed framework outperforms the other two baseline visual trackers. Furthermore, the localization error shows a high accuracy of the probe adjustment.

Gli interventi percutanei guidati dagli ultrasuoni (US) sono diventati procedure standardizzate ampiamente utilizzate in varie applicazioni cliniche, tra cui biopsia, ablazione e anestesia regionale. Questi interventi richiedono ai medici di manipolare simultaneamente la sonda statunitense per ottenere immagini in tempo reale, compromesse da rumore speckle, artefatti e basso contrasto, e di posizionare accuratamente la punta dell'ago all'interno della struttura anatomica bersaglio, con conseguenti notevoli requisiti cognitivi e tecnici. I metodi tradizionali spesso falliscono a causa degli effetti acustici, tra cui mismatch, errori di rilevamento e derive. Per affrontare queste sfide, questo lavoro implementa un framework di visualizzazione della punta dell'ago robusto e basato sull'apprendimento, che affronta la capacità di tracciamento della punta desiderata e regola in modo ottimale la sonda. In particolare, è stato progettato un tracciamento ibrido per localizzare la punta sull'immagine US. Integrando i metodi di rilevamento e di tracciamento, il sistema è in grado di inizializzare e ripristinare la fase di tracciamento dell'ago se questo scompare in breve tempo, a causa di un'occlusione o di un tracciamento errato da parte di puntini ad alta riflessione. L'algoritmo di regolazione dell'angolo di rotazione della sonda basato sull'ottimizzazione bayesiana (BO) assicura il ripristino della visualizzazione della punta. Combinando i punteggi delle reti di tracciamento e rilevamento come funzione obiettivo, il processo gaussiano approssima la distribuzione dei punteggi rispetto alla posizione della sonda. Questa distribuzione serve come modello per BO per identificare la posizione prevista della sonda con osservazioni minime. Sono stati condotti esperimenti di confronto completi per convalidare il framework proposto e confrontarlo con le linee di base. I risultati sperimentali hanno dimostrato che il framework proposto supera gli altri due tracker visivi di base. Inoltre, l'errore di localizzazione mostra un'elevata precisione nella regolazione della sonda.