A sustainable deep learning approach for limbs' detection in preterm infants depth images

The human brain goes through maximal development during the last three months of gestation: a preterm birth during this phase causes significant changes in this delicate process, with consequences as neurodevelopmental disorders. Early identification of infants with neurodevelopmental impairments may be crucial for the optimization of their treatment. Nowadays, the assessment is performed by observing infants' movements by a trained clinician, making the evaluation subjective and time-consuming. Therefore, this thesis is aimed at automating this process by developing a framework for infants limbs' pose estimation based on Deep Learning algorithms. The desired architecture should perform accurate and time-efficient segmentation. A sustainable model could support the clinician during infants' movements evaluation in any neonatal intensive care unit. Two frameworks were chosen as baselines, one being highly accurate and the other being highly efficient. Four new architectures were designed as enhancements of said baselines. The new models were tested on the BabyPose dataset, made by 27 infants' depth videos, and their performances were scored in terms of accuracy and speed. All the proposed designs showed a better compromise between efficacy and efficiency than the respective baselines. In particular, one provides a Recall of 74% while performing in the real-time working zone (33FPS), while two other networks performed very similarly, although one requires fewer parameters (15%) and less testing time than the other. Conclusions: it was proved that high accuracy can be obtained in the real-time work region and using very few parameters. Further improvements to these results can be achieved by using cost-effective hardware, by integrating data from more than one sensor, or by the expansion of the BabyPose dataset.

Il cervello umano si sviluppa molto velocemente durante l’ultimo semestre di gestazione- Una nascita prematura durante questo periodo causa cambiamenti significativi in questo delicato processo, il che può provocare disturbi nello sviluppo neurologico. Un’identificazione precoce di deficit di questo tipo in un infante può essere cruciale per l’ottimizzazione del trattamento. Ad oggi, la valutazione si basa sull’osservazione dei movimenti del bambino da parte di un clinico specializzato: il processo è soggettivo e richiede molto tempo. Quindi, lo scopo di questa tesi è di sviluppare un modello per la stima della posa dei bambini basato su algoritmi di Deep Learning. L’architettura ottimale dovrebbe eseguire segmentazioni accurate ed efficienti: un modello sostenibile potrebbe effettivamente essere usato come supporto al clinico durante la valutazione dei movimenti in qualsiasi terapia intensiva neonatale. Due architetture sono scelte come punto di partenza: la prima è estremamente accurata, la seconda è molto veloce. Quattro nuove CNN sono presentate come potenziamenti delle reti di partenza. Le nuove architetture sono testate sul dataset BabyPose, costituito da fotogrammi di video di profondità di 27 bambini, e le loro performance sono valutate in termini di velocità e accuratezza. Tutte le reti proposte appresentano un compromesso più conveniente tra efficienza ed efficacia rispetto alle architetture di partenza. In particolare, una raggiunge accuratezze del 74% pur lavorando in tempo reale (a 33FPS), mentre due altre forniscono performance completamente sovrapponibili nonostante una richieda meno parametri (il 15%) e meno tempo di test dell’altra. Conclusioni: è stato provato che si possono raggiungere accuratezze elevate anche lavorando in tempo reale ed usando pochi parametri. Questi risultati possono essere ulteriormente migliorati usando hardware dedicati, integrando informazioni da più sensori o espandendo il dataset BabyPose.