Detection of life-threatening situations by visual motion analysis

This thesis aims to develop a series of solutions to automatically detect life-threatening situations that can occur in everyday life using common surveillance cameras. A heuristic vision-based method to recognize a fall has been introduced. The proposed method comprises the following stages: preprocessing, person detection, person tracking, extraction of the 3d landmarks and fall detection. The developed criterion relies on the specific features of a fall, such as the fact that the angle between the vector crossing the center of the head and the center of the hips of a person and the ground plane decreases and the descending speed increases, because of the gravity acceleration. Since the developed method is heuristic-based, no training is required. Furthermore, since it relies on detecting the key aspects of a fall, and is not trained on specific ones, the system is able to recognize a type of fall not present in any dataset. The introduced fall detection framework has been adapted to recognize the action of climbing over the turnstile. The developed heuristic is based on the variation of the ascending speed, since the person must accelerate upward to win the gravity acceleration during the jump, and the fact that, during this specific action, the legs get closer to their hips when the peak of the jump has been reached, i.e. when the ascending speed is close to zero. A study on the recognition of passive behaviours during a jump has also been carried out. The proposed framework has been modified to track the trajectory followed by a person during a jump, compute the expected one and identify a deviation from the expected parabolic trajectory. By recognizing this deviation it is possible to identify passive, potentially dangerous, behaviours which occur when a person does not oppose any resistance to the inertial motion, thus resulting in a potentially harmful impact on the ground. Finally, a method for the detection of dangerous situations in railways has been introduced. The developed method is composed of the following stages: preprocessing, projective transformation, dangerous areas definition, background estimation, background subtraction, connected components detections and alarm triggering criteria. The triggering criteria relies on the detection of changes in the scene and it offers a methodology to identify the situation in which a person is crossing the yellow line and there is no train close to the platform and also the presence of people on the track.

Lo scopo di questa tesi è quello di presentare una serie di soluzioni per riconoscere automaticamente situazioni pericolose utilizzando comuni videocamere di sorveglianza. Una soluzione per il riconoscimento di una caduta incentrata su un’euristica viene introdotta. Tale approccio si articola nelle seguenti sottoparti: preelaborazione, rilevamento delle persone, tracciamento delle persone, estrazione dei landmark in 3d e rilevamento della caduta. Il criterio sviluppato è incentrato sulle caratteristiche proprie della caduta, quali la diminuzione dell’angolo tra il vettore passante per il centro della testa e dei fianchi di un individuo e il suolo, e l’aumento della velocità di caduta del soggetto dovuta all’accelerazione gravitazionale. Dal momento che la metodologia proposta è incentrata su un’euristica, non è necessaria alcuna fase di addestramento. Inoltre, essendo incentrata sul riconoscimento delle caratteristiche proprie di una caduta, e non addestrata su cadute specifiche, tale metodologia è capace di riconoscere tipologie di cadute non presenti nei dati di addestramento. Il framework introdotto è stato adattato per il riconoscimento dello scavalcamento dei tornelli. L’euristica che è stata sviluppata si basa sulla variazione della velocità verticale del soggetto, dal momento che esso deve accelerare verso l’alto in modo tale da vincere l’accelerazione gravitazionale durante il salto, e sul fatto che durante questa azione specifica, le gambe si avvicinano ai fianchi al culmine del salto, ossia quando la velocità è prossima allo zero. È stato effettuato uno studio sul riconoscimento dei comportamenti passivi durante un salto. Il framework proposto per il riconoscimento della caduta è stato modificato per tracciare la traiettoria seguita da un soggetto durante un salto, calcolare la traiettoria parabolica stimata e rilevare deviazioni dalla stessa. Rilevando tali deviazioni è possibile identificare comportamenti passivi, potenzialmente pericolosi, che avvengono durante un salto. Tali comportamenti si verificano quando il soggetto non oppone resistenza al moto inerziale, risultando in un potenzialmente pericoloso impatto con il suolo. Infine, è stato introdotto un metodo per rilevare situazioni pericolose nelle stazioni. Tale approccio si articola nelle seguenti sottoparti: preelaborazione, trasformazione proiettiva, definizione delle zone pericolose, stima dello sfondo, sottrazione dello sfondo, rilevamento dei componenti connessi e criterio per lanciare l’allarme. Tale criterio si basa sul rilevamento del movimento nella scena e permette di identificare quando una persona supera la linea gialla e nessun treno è presente e quando una persona scavalca o cade sui binari.