Enabling selective prediction on personalized models for the classification of lung sound abnormalities

The automatic classification of lung sound abnormalities, such as crackles and wheezes, is an important task in the diagnosis and monitoring of respiratory diseases. While deep learning methods using generalized models have shown promise, their performance is unreliable when applied to unseen patients due to the issue of patient heterogeneity. Model personalization techniques based on transfer learning using patient-specific data have been proposed to address this challenge. However, these methods still struggle to achieve reliable performance under the typical constraint of scarce data for the target patient. This work addresses the novel problem of enabling selective prediction on personalized models for lung sound classification. Selective prediction allows models to abstain from uncertain predictions, trading coverage for improved reliability—an essential requirement in critical medical applications. We propose a pipeline that first trains a generalized Convolutional Neural Network (CNN) on a large, heterogeneous dataset of lung sound recordings. The model is then personalized via fine-tuning on limited data from a novel target patient. On top of this personalized model, we integrate two uncertainty estimation techniques—softmax entropy and Monte Carlo Dropout (MCDO)—to enable selective prediction. We evaluate our solution on the ICBHI 2017 Challenge dataset, considering multiple patients and simulating realistic data scarcity for the target patient. We show that the use of selective prediction significantly improves the performance of personalized models in terms of macro-averaged F1-score. In particular, MCDO achieves average performance gains of 9.3%, 15.4% and 24.4% at coverage levels of 0.8, 0.6 and 0.4 respectively, by only using 15 samples per class for training. These results demonstrate that enabling selective prediction on personalized models is highly beneficial, especially in clinical contexts where reliability and user trust are critical.

La classificazione automatica delle anomalie nei suoni polmonari, come crepitii e sibili, è un compito importante per la diagnosi precoce e il monitoraggio delle malattie respiratorie. Sebbene i metodi di deep learning basati su modelli generalizzati siano promettenti, le loro prestazioni degradano significativamente quando vengono applicati a nuovi pazienti, a causa della loro eterogeneità. Per affrontare questa sfida sono state proposte tecniche di personalizzazione del modello basate su transfer learning con l’utilizzo di dati specifici del paziente. Tuttavia, tali metodi non raggiungono ancora prestazioni affidabili sotto il tipico vincolo di scarsità di dati per il paziente. Questo lavoro affronta il problema ancora inesplorato dell’aggiunta di predizione selettiva in modelli personalizzati per la classificazione di suoni polmonari. La predizione selettiva consente ai modelli di astenersi da previsioni incerte, scambiando copertura per affidabilità—essenziale in applicazioni mediche critiche. Proponiamo una pipeline che prevede l’addestramento iniziale di una rete neurale convoluzionale (CNN) su un ampio dataset eterogeneo di suoni polmonari. Il modello viene poi personalizzato mediante fine-tuning su un numero limitato di dati di un nuovo paziente target. Su questo modello personalizzato integriamo due tecniche di stima dell’incertezza—entropia dell’output softmax e Monte Carlo Dropout (MCDO)—per abilitare la predizione selettiva. Valutiamo la soluzione utilizzando il ICBHI Challenge 2017 dataset, considerando diversi pazienti e simulando la tipica scarsità di dati per il paziente target. Mostriamo che la predizione selettiva migliora significativamente le prestazioni dei modelli personalizzati in termini di F1-score medio fra classi. In particolare, MCDO ottiene guadagni medi di performance di 9.3%, 15.4% e 24.4% a livelli di copertura rispettivamente di 0.8, 0.6 e 0.4 utilizzando solo 15 campioni per classe per l’addestramento. Questi risultati dimostrano che la predizione selettiva nei modelli personalizzati è estremamente vantaggiosa, soprattutto in contesti in cui affidabilità del sistema e fiducia dell’utente sono critici.