Leveraging video and Artificial Intelligence to estimate human-induced excitation of stadium grandstands

In the field of Structural Health Monitoring (SHM), the deterioration of existing infras- tructure presents a significant challenge, requiring continuous surveillance to ensure the comfort and safety of occupants through the implementation of advanced and expensive systems capable of assessing vibrations and accelerations. While accelerometers have traditionally been used for this purpose, emerging technolo- gies such as cameras and artificial intelligence (AI) algorithms offer promising alternatives, both in terms of technical capabilities and cost-effectiveness of maintenance. This study explores the feasibility of approximating the dynamics of each individual to obtain timely information in terms of human-induced excitation. Using AI algorithms, the movement dynamics of the participants are approximated. Specifically, algorithms for face recognition and tracking are employed. This methodology is applied to a real scenario at the San Siro stadium in Milan, where a selected group is invited to jump to music. Observation of the crowd is conducted remotely through a single calibrated camera. The resulting accelerations are then confronted with MEMS accelerometers worn by individual participants. Subsequently, the study delves into the structure’s morphology and the positioning of individuals, utilizing the system for load analysis. This investigation yields significant insights into the synchronization of people, both spatially and temporally, particularly in response to song playback. The promising results demonstrate a remarkable correlation between signals, indicating a vast potential for technological advancements in camera sophistication and algorithms development for person tracking. Future applications could open new horizons on crowd counting, behavioral modeling under varying stimuli, and real-time modal analysis of structures using motion magnification algorithms. The potential for long-term monitor- ing to develop fatigue and deterioration models is also presented.

Nel campo del Monitoraggio della Salute Strutturale, il deterioramento delle infrastrut- ture esistenti rappresenta una sfida significativa, che richiede una sorveglianza continua per garantire il comfort e la sicurezza degli occupanti attraverso l’implementazione di sis- temi avanzati e costosi capaci di valutare vibrazioni e accelerazioni. Gli accelerometri sono stati tradizionalmente utilizzati a questo scopo ma tecnologie emer- genti come telecamere e algoritmi di intelligenza artificiale (AI) offrono alternative promet- tenti, sia in termini di capacità tecniche che di manutenibilità. Questo studio esplora la fattibilità di approssimare la dinamica di ogni individuo per ot- tenere informazioni tempestive in termini di eccitazione indotta dall’uomo. Utilizzando algoritmi di AI, la dinamica del movimento dei partecipanti è approssimata. In partico- lare, sono impiegati algoritmi per il riconoscimento e il tracciamento dei volti. Questa metodologia è applicata a uno scenario reale presso lo stadio di San Siro a Milano, dove un gruppo selezionato è invitato a saltare a ritmo di musica. L’osservazione della folla è condotta da remoto tramite una telecamera calibrata. Le accelerazioni risultanti sono poi confrontate con gli accelerometri MEMS indossati dai singoli partecipanti. Successivamente, lo studio si addentra nella morfologia della struttura e nel posizion- amento degli individui, utilizzando il sistema per l’analisi del carico. Questa indagine fornisce importanti intuizioni sulla sincronizzazione delle persone, sia spazialmente che temporalmente, in particolare in risposta alla riproduzione di una canzone. I risultati dimostrano una notevole correlazione tra i segnali, indicando un grande poten- ziale per i progressi tecnologici nella sofisticazione delle telecamere e nello sviluppo di algoritmi per il tracciamento delle persone. Le applicazioni future potrebbero aprire nuovi orizzonti nel conteggio della folla, nella modellazione comportamentale sotto sti- moli variabili e nell’analisi modale in tempo reale delle strutture, utilizzando algoritmi di ingrandimento del movimento. Viene anche presentata la possibilità di sviluppare modelli di fatica e deterioramento con il monitoraggio a lungo termine.