AI for inclusivity: a deep learning approach for italian sign language recognition

The inability of many people to understand sign language represents a significant communicative barrier for the Deaf community. Research on automatic sign language recognition aims to overcome this barrier, fostering more inclusive and effective communication. This study proposes a vision-based approach that relies on the extraction of skeletal keypoints, from which 42 joint angles are computed and used as input for the analyzed Machine Learning and Deep Learning models. In particular, the performance of 1D convolutional models, bidirectional LSTM architectures enhanced with attention mechanisms, and Transformer-based architectures has been evaluated. The work addresses three main tasks: isolated sign classification, out-of-distribution sign recognition, and continuous sign sequence classification. Experimental analyses were conducted on two private datasets containing 46 and 72 Italian Sign Language (LIS) signs, respectively.

L'incapacità di molte persone di comprendere la lingua dei segni rappresenta una significativa barriera comunicativa nei confronti della comunità dei sordi. Gli studi sul riconoscimento automatico della lingua dei segni mirano a superare questa barriera, promuovendo una comunicazione più inclusiva ed efficace. Questo studio propone un approccio vision-based basato sull’estrazione di punti chiave dello scheletro, dai quali vengono calcolati 42 angoli che costituiscono l’input per i modelli di Machine Learning e Deep Learning analizzati. In particolare, sono state valutate le prestazioni di modelli basati su convoluzioni 1D, architetture LSTM bidirezionali integrate con meccanismi di attenzione e architetture Transformer. Il lavoro si articola in tre attività principali: la classificazione di segni isolati, il riconoscimento di segni Out-of-Distribution e la classificazione di sequenze continue di segni. Le analisi sperimentali sono state condotte su due dataset privati contenenti rispettivamente 46 e 72 segni della Lingua dei Segni Italiana (LIS).