Patients with respiratory disorders are often unable to expectorate autonomously due to respiratory muscle weakness, lung diseases or central system diseases, resulting in sputum deposition in the body and damaging their own health. The application of expectoration machine is the main method to solve the above problems. The expectoration machine cannot be used at will, so it is the main concern of clinicians to conveniently and accurately evaluate the degree of sputum deposition and determine the use time of the expectoration machine. Nowadays, doctors listen to the sound of sputum on the body surface through an artificial stethoscope. The evaluation method of sputum deposition degree is limited by medical resources and can not meet the needs of patients' independent sputum excretion due to the subjective influence of doctors. The existing intelligent evaluation system for the degree of sputum deposition is based on the sound of sputum in the body and is only suitable for patients with invasive mechanical ventilation. Therefore, based on the sound of phlegm on the body surface, it is of great engineering and application value to automatically evaluate the degree of sputum deposition conveniently and accurately. In this study, the acquisition equipment of body surface sputum sound is developed, and the preprocessing methods of body surface sputum sound signal, including filtering and periodic segmentation, are studied. In order to realize the intelligent classification of sputum deposition degree, this study designs and compares the deep learning methods of various convolution neural network models based on spectrogram, as well as the few shots learning methods when the sample size of sputum sounds is small, and studies the influence of various factors on the accuracy and time of sputum deposition degree identification. In addition, this study developed a sputum deposition estimation and diagnosis system including graphical user interface and database, and integrated spectrogram conversion, denoising, cycle segmentation, classification model selection and other systems in the server. The research contents of this thesis mainly include: 1. The auscultation equipment for sputum ringing on body surfaces is designed and a prototype is produced. The acquisition equipment of phlegm sound on the body surface is studied and manufactured, including shell part, circuit design part, embedded software development part and mobile terminal software development part. It realizes the collection of sputum sound signal through piezoelectric sensor, amplification and filtering, and transmission through Bluetooth Wav file and stored in the mobile terminal. 2. Preprocessing algorithm of sputum ringing signal is studied. The smoothing filter function preserves the physiological characteristics of phlegm sound and improves the signal-to-noise ratio of phlegm sound signal through the improved phlegm sound wavelet filtering algorithm. The period is segmented through deep learning, and the sputum sound length signal is segmented according to the respiratory cycle based on the sputum sound time-frequency map. 3. Sputum deposition degree based on sputum sounds on the body surface is classified. The method of deep learning is used to intelligently evaluate the degree of sputum deposition, and a large number of benchmark experiments are carried out to study the influence of various Super parameters on the identification accuracy of each model. This thesis studies the few shots learning method, uses the typical network in metric based meta learning to evaluate the degree of sputum deposition, and studies the effect of different arguments on the identification accuracy of the model. 4. On the basis of the above, the human-computer interaction interface and database of the sputum degree identification system are designed and accomplished. The sputum sound data viewing, storage, preprocessing, feature extraction and sputum deposition degree classification are integrated into the system. The evaluation system collects the sputum sound on the body surface through the sputum sound acquisition hardware, transmits it to the mobile terminal, and then accesses the service terminal through the mobile terminal to identify the degree of sputum deposition. The research activity reported in this thesis has been carried out under the supervision of Professor Maolin Cai at Beihang University within the framework of the double Ms.c. degree programme in Electrical Engineering between Beihang University and Politecnico di Milano.

I pazienti con disturbi respiratori spesso non sono in grado di espettorare autonomamente a causa di debolezza muscolare respiratoria, malattie polmonari o malattie del sistema centrale, con conseguente deposizione dell'espettorato nel corpo e danno alla propria salute. L'applicazione della macchina di espettorazione è il metodo principale per risolvere i problemi di cui sopra. La macchina di espettorazione non può essere utilizzata a piacimento, quindi è la preoccupazione principale dei medici valutare convenientemente e accuratamente il grado di deposizione dell'espettorato e determinare il tempo di utilizzo della macchina di espettorazione. Al giorno d'oggi, i medici ascoltano il suono dell'espettorato sulla superficie corporea attraverso uno stetoscopio artificiale. Il metodo di valutazione I pazienti con disturbi respiratori spesso non sono in grado di espettorare autonomamente a causa di debolezza muscolare respiratoria, malattie polmonari o malattie del sistema centrale, con conseguente deposizione dell'espettorato nel corpo e danno alla propria salute. L'applicazione della macchina di espettorazione è il metodo principale per risolvere i problemi di cui sopra. La macchina di espettorazione non può essere utilizzata a piacimento, quindi è la preoccupazione principale dei medici valutare convenientemente e accuratamente il grado di deposizione dell'espettorato e determinare il tempo di utilizzo della macchina di espettorazione. Al giorno d'oggi, i medici ascoltano il suono dell'espettorato sulla superficie corporea attraverso uno stetoscopio artificiale. Il metodo di valutazione del grado di deposizione dell'espettorato è limitato dalle risorse mediche e non può soddisfare le esigenze di escrezione indipendente dell'espettorato dei pazienti a causa dell'influenza soggettiva dei medici. Il sistema di valutazione intelligente esistente per il grado di deposizione dell'espettorato si basa sul suono dell'espettorato nel corpo ed è adatto solo a pazienti con ventilazione meccanica invasiva. Pertanto, in base al suono del flemma sulla superficie corporea, è di grande valore ingegneristico e applicativo valutare automaticamente il grado di deposizione dell'espettorato convenientemente e accuratamente. In questo studio, viene sviluppata l'attrezzatura di acquisizione del suono dell'espettorato della superficie corporea e vengono studiati i metodi di preelaborazione del segnale sonoro dell'espettorato della superficie corporea, compreso il filtraggio e la segmentazione periodica. Al fine di realizzare la classificazione intelligente del grado di deposizione dell'espettorato, questo studio progetta e confronta i metodi di apprendimento profondo di vari modelli di rete neurale di convoluzione basati sullo spettrogramma, così come i metodi di apprendimento del piccolo campione quando la dimensione del campione dei suoni dell'espettorato è piccola, e studia l'influenza di vari fattori sull'accuratezza e il tempo di identificazione del grado di deposizione dell'espettorato. Inoltre, questo studio ha sviluppato un sistema di stima e diagnosi della deposizione dell'espettorato comprendente interfaccia utente grafica e database, e conversione integrata dello spettrogramma, denoising, segmentazione del ciclo, selezione del modello di classificazione e altri sistemi nel server. I contenuti di ricerca di questa tesi comprendono principalmente: 1. L'attrezzatura di auscultation dell'anello dell'espettorato sulla superficie del corpo è progettata e il prototipo è prodotto. L'attrezzatura di acquisizione del suono flemma sulla superficie del corpo è studiata e prodotta, compresa la parte della shell, la parte di progettazione del circuito, la parte di sviluppo software incorporato e la parte di sviluppo software del terminale mobile. Realizza la raccolta del segnale sonoro dell'espettorato attraverso sensore piezoelettrico, amplificazione e filtraggio e trasmissione tramite file Wav Bluetooth e memorizzato nel terminale mobile. 2. L'algoritmo di pre-elaborazione del segnale di squillo dell'espettorato è studiato. La funzione filtro levigante preserva le caratteristiche fisiologiche del suono flemma e migliora il rapporto segnale-rumore del segnale sonoro flemma attraverso l'algoritmo di filtraggio dell'onda del suono flemma migliorato. Il periodo è segmentato attraverso l'apprendimento profondo e il segnale della lunghezza del suono dell'espettorato è segmentato secondo il ciclo respiratorio in base alla mappa tempo-frequenza del suono dell'espettorato. 3. Il grado di deposizione dello sputo basato sui suoni dell'espettorato sulla superficie del corpo è classificato. Il metodo di deep learning è utilizzato per valutare in modo intelligente il grado di deposizione dell'espettorato, e un gran numero di esperimenti di benchmark sono effettuati per studiare l'influenza di vari Super parametri sulla precisione di identificazione di ogni modello. Questa tesi studia il metodo di apprendimento dei pochi colpi, utilizza la rete tipica del metaapprendimento basato sulla metrica per valutare il grado di deposizione dell'espettorato e studia l'effetto di diversi argomenti sulla precisione di identificazione del modello. 4. Sulla base di quanto sopra, l'interfaccia di interazione uomo-computer e il database del sistema di identificazione del grado dell'espettorato è progettato e realizzato. La visualizzazione, lo stoccaggio, il pretrattamento, l'estrazione delle caratteristiche e la classificazione del grado di deposizione dell'espettorato sono integrati nel sistema. Il sistema di valutazione raccoglie il suono dell'espettorato sulla superficie corporea attraverso l'hardware di acquisizione del suono dell'espettorato, lo trasmette al terminale mobile e quindi accede al terminale di servizio attraverso il terminale mobile per identificare il grado di deposizione dell'espettorato. L'attività di ricerca riportata in questa tesi è stata svolta sotto la supervisione del professor Maolin Cai presso l'Università Beihang nell'ambito del doppio corso di laurea magistrale in Ingegneria Elettrica tra l'Università Beihang e il Politecnico di Milano.

Evaluation method of sputum deposition degree based on body surface sputum ringing

SHU, DONGCHANG
2021/2022

Abstract

Patients with respiratory disorders are often unable to expectorate autonomously due to respiratory muscle weakness, lung diseases or central system diseases, resulting in sputum deposition in the body and damaging their own health. The application of expectoration machine is the main method to solve the above problems. The expectoration machine cannot be used at will, so it is the main concern of clinicians to conveniently and accurately evaluate the degree of sputum deposition and determine the use time of the expectoration machine. Nowadays, doctors listen to the sound of sputum on the body surface through an artificial stethoscope. The evaluation method of sputum deposition degree is limited by medical resources and can not meet the needs of patients' independent sputum excretion due to the subjective influence of doctors. The existing intelligent evaluation system for the degree of sputum deposition is based on the sound of sputum in the body and is only suitable for patients with invasive mechanical ventilation. Therefore, based on the sound of phlegm on the body surface, it is of great engineering and application value to automatically evaluate the degree of sputum deposition conveniently and accurately. In this study, the acquisition equipment of body surface sputum sound is developed, and the preprocessing methods of body surface sputum sound signal, including filtering and periodic segmentation, are studied. In order to realize the intelligent classification of sputum deposition degree, this study designs and compares the deep learning methods of various convolution neural network models based on spectrogram, as well as the few shots learning methods when the sample size of sputum sounds is small, and studies the influence of various factors on the accuracy and time of sputum deposition degree identification. In addition, this study developed a sputum deposition estimation and diagnosis system including graphical user interface and database, and integrated spectrogram conversion, denoising, cycle segmentation, classification model selection and other systems in the server. The research contents of this thesis mainly include: 1. The auscultation equipment for sputum ringing on body surfaces is designed and a prototype is produced. The acquisition equipment of phlegm sound on the body surface is studied and manufactured, including shell part, circuit design part, embedded software development part and mobile terminal software development part. It realizes the collection of sputum sound signal through piezoelectric sensor, amplification and filtering, and transmission through Bluetooth Wav file and stored in the mobile terminal. 2. Preprocessing algorithm of sputum ringing signal is studied. The smoothing filter function preserves the physiological characteristics of phlegm sound and improves the signal-to-noise ratio of phlegm sound signal through the improved phlegm sound wavelet filtering algorithm. The period is segmented through deep learning, and the sputum sound length signal is segmented according to the respiratory cycle based on the sputum sound time-frequency map. 3. Sputum deposition degree based on sputum sounds on the body surface is classified. The method of deep learning is used to intelligently evaluate the degree of sputum deposition, and a large number of benchmark experiments are carried out to study the influence of various Super parameters on the identification accuracy of each model. This thesis studies the few shots learning method, uses the typical network in metric based meta learning to evaluate the degree of sputum deposition, and studies the effect of different arguments on the identification accuracy of the model. 4. On the basis of the above, the human-computer interaction interface and database of the sputum degree identification system are designed and accomplished. The sputum sound data viewing, storage, preprocessing, feature extraction and sputum deposition degree classification are integrated into the system. The evaluation system collects the sputum sound on the body surface through the sputum sound acquisition hardware, transmits it to the mobile terminal, and then accesses the service terminal through the mobile terminal to identify the degree of sputum deposition. The research activity reported in this thesis has been carried out under the supervision of Professor Maolin Cai at Beihang University within the framework of the double Ms.c. degree programme in Electrical Engineering between Beihang University and Politecnico di Milano.
CAI, MAOLIN
ING - Scuola di Ingegneria Industriale e dell'Informazione
22-lug-2022
2021/2022
I pazienti con disturbi respiratori spesso non sono in grado di espettorare autonomamente a causa di debolezza muscolare respiratoria, malattie polmonari o malattie del sistema centrale, con conseguente deposizione dell'espettorato nel corpo e danno alla propria salute. L'applicazione della macchina di espettorazione è il metodo principale per risolvere i problemi di cui sopra. La macchina di espettorazione non può essere utilizzata a piacimento, quindi è la preoccupazione principale dei medici valutare convenientemente e accuratamente il grado di deposizione dell'espettorato e determinare il tempo di utilizzo della macchina di espettorazione. Al giorno d'oggi, i medici ascoltano il suono dell'espettorato sulla superficie corporea attraverso uno stetoscopio artificiale. Il metodo di valutazione I pazienti con disturbi respiratori spesso non sono in grado di espettorare autonomamente a causa di debolezza muscolare respiratoria, malattie polmonari o malattie del sistema centrale, con conseguente deposizione dell'espettorato nel corpo e danno alla propria salute. L'applicazione della macchina di espettorazione è il metodo principale per risolvere i problemi di cui sopra. La macchina di espettorazione non può essere utilizzata a piacimento, quindi è la preoccupazione principale dei medici valutare convenientemente e accuratamente il grado di deposizione dell'espettorato e determinare il tempo di utilizzo della macchina di espettorazione. Al giorno d'oggi, i medici ascoltano il suono dell'espettorato sulla superficie corporea attraverso uno stetoscopio artificiale. Il metodo di valutazione del grado di deposizione dell'espettorato è limitato dalle risorse mediche e non può soddisfare le esigenze di escrezione indipendente dell'espettorato dei pazienti a causa dell'influenza soggettiva dei medici. Il sistema di valutazione intelligente esistente per il grado di deposizione dell'espettorato si basa sul suono dell'espettorato nel corpo ed è adatto solo a pazienti con ventilazione meccanica invasiva. Pertanto, in base al suono del flemma sulla superficie corporea, è di grande valore ingegneristico e applicativo valutare automaticamente il grado di deposizione dell'espettorato convenientemente e accuratamente. In questo studio, viene sviluppata l'attrezzatura di acquisizione del suono dell'espettorato della superficie corporea e vengono studiati i metodi di preelaborazione del segnale sonoro dell'espettorato della superficie corporea, compreso il filtraggio e la segmentazione periodica. Al fine di realizzare la classificazione intelligente del grado di deposizione dell'espettorato, questo studio progetta e confronta i metodi di apprendimento profondo di vari modelli di rete neurale di convoluzione basati sullo spettrogramma, così come i metodi di apprendimento del piccolo campione quando la dimensione del campione dei suoni dell'espettorato è piccola, e studia l'influenza di vari fattori sull'accuratezza e il tempo di identificazione del grado di deposizione dell'espettorato. Inoltre, questo studio ha sviluppato un sistema di stima e diagnosi della deposizione dell'espettorato comprendente interfaccia utente grafica e database, e conversione integrata dello spettrogramma, denoising, segmentazione del ciclo, selezione del modello di classificazione e altri sistemi nel server. I contenuti di ricerca di questa tesi comprendono principalmente: 1. L'attrezzatura di auscultation dell'anello dell'espettorato sulla superficie del corpo è progettata e il prototipo è prodotto. L'attrezzatura di acquisizione del suono flemma sulla superficie del corpo è studiata e prodotta, compresa la parte della shell, la parte di progettazione del circuito, la parte di sviluppo software incorporato e la parte di sviluppo software del terminale mobile. Realizza la raccolta del segnale sonoro dell'espettorato attraverso sensore piezoelettrico, amplificazione e filtraggio e trasmissione tramite file Wav Bluetooth e memorizzato nel terminale mobile. 2. L'algoritmo di pre-elaborazione del segnale di squillo dell'espettorato è studiato. La funzione filtro levigante preserva le caratteristiche fisiologiche del suono flemma e migliora il rapporto segnale-rumore del segnale sonoro flemma attraverso l'algoritmo di filtraggio dell'onda del suono flemma migliorato. Il periodo è segmentato attraverso l'apprendimento profondo e il segnale della lunghezza del suono dell'espettorato è segmentato secondo il ciclo respiratorio in base alla mappa tempo-frequenza del suono dell'espettorato. 3. Il grado di deposizione dello sputo basato sui suoni dell'espettorato sulla superficie del corpo è classificato. Il metodo di deep learning è utilizzato per valutare in modo intelligente il grado di deposizione dell'espettorato, e un gran numero di esperimenti di benchmark sono effettuati per studiare l'influenza di vari Super parametri sulla precisione di identificazione di ogni modello. Questa tesi studia il metodo di apprendimento dei pochi colpi, utilizza la rete tipica del metaapprendimento basato sulla metrica per valutare il grado di deposizione dell'espettorato e studia l'effetto di diversi argomenti sulla precisione di identificazione del modello. 4. Sulla base di quanto sopra, l'interfaccia di interazione uomo-computer e il database del sistema di identificazione del grado dell'espettorato è progettato e realizzato. La visualizzazione, lo stoccaggio, il pretrattamento, l'estrazione delle caratteristiche e la classificazione del grado di deposizione dell'espettorato sono integrati nel sistema. Il sistema di valutazione raccoglie il suono dell'espettorato sulla superficie corporea attraverso l'hardware di acquisizione del suono dell'espettorato, lo trasmette al terminale mobile e quindi accede al terminale di servizio attraverso il terminale mobile per identificare il grado di deposizione dell'espettorato. L'attività di ricerca riportata in questa tesi è stata svolta sotto la supervisione del professor Maolin Cai presso l'Università Beihang nell'ambito del doppio corso di laurea magistrale in Ingegneria Elettrica tra l'Università Beihang e il Politecnico di Milano.
File allegati
File Dimensione Formato  
shudongchang.pdf

accessibile in internet solo dagli utenti autorizzati

Dimensione 6.3 MB
Formato Adobe PDF
6.3 MB Adobe PDF   Visualizza/Apri

I documenti in POLITesi sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/10589/190638