A method to process eye-tracker data with image processing algorithms for driver behavior analysis

One of the most important factors identified as a cause of road crashes is driver behavior. In a well-conditioned traffic situation, a driving simulator has become the primary instrument for simulating and verifying the interaction between vehicle and driver. It also seeks to determine the optimal LOD (Level of Detail) of those scenarios in a driving simulator that result in increased reliability. The data obtained by the driving simulator and eye-tracker devices of Politecnico di Milano's i.Drive laboratory is the basis for the research presented in this thesis. The driving simulator consists of a fixed seat, monitors, a steering wheel, and pedals for operating the car. Driving scenarios provide routes with a variety of environmental details. It is feasible to observe the driver's behavior when their LOD varies while the road infrastructure remains unchanged by using the driving simulator. The experiment employs four levels of detail, ranging from simple scenarios (with carriageway and road signs) to a scenario that is quite near to reality (with realistic buildings and all other elements like trees, lamps, and pedestrians). In this study, a novel way for properly interpreting the experiment based on Pupil Labs eye-tracking equipment was proposed. The drivers' gaze locations were captured by Pupil Labs' eye-tracking equipment, and the gaze positions were elaborated on in a prior paper on this experiment by Rawal (Rawal, 2021). Because the subjects wore the Pupil Labs eye-tracking apparatus on their heads during the experiment, the world camera on the equipment captured and archived the driver's perspective as a world movie. The world video, as well as the timestamps for each individual frame of the world video, were acquired using the Pupil Labs Player application. In MATLAB, all of the frames from the world video were extracted for the 19th driver, which was chosen to be evaluated, with LODs ranging from 0 to 3. The gaze locations from previous elaborations (Rawal, 2021) and frames acquired from world video with the closest timestamps to the reference array (Ahmed, 2020) were matched. The integration of the new image processing approach with the existing data elaborations of the experiment was thus maintained. Initially, an edge detection method was used for each frame that had been matched with the previous elaboration in order to find pixels with value 1 in the greyscale image that had been converted from the RGB image. A selection window was constructed in MATLAB to choose the road borders from the photo's edges, which are defined as all pixels in the image with value 1. A multitude of elements, including head movement, vehicle exact location, and orientation along the circuit's track impact the driver's perspective, hence the word camera frame images. Due to the constant change in the driver's perspective along the simulation path, this selection window needed to be updated for the proper selection of the road border coordinates in order to detect in which frames the gaze is inside the road limits for better perception of the driver behavior along the circuit, specifically for one rectilinear and one curvilinear segments were chosen to be analyzed with LODs ranging from 0 to 3. The primary purpose of the research is to offer an efficient methodology for processing eye-tracker data with image processing algorithms for driver behavior analysis utilizing various LODs of road scenarios in curvilinear and rectilinear geometrically dissimilar segments for a better interpretation of the complex driver behavior.

Uno dei fattori più importanti identificato come causa di incidente stradale è il comportamento del guidatore. Per situazioni di traffico ben definite, un simulatore di guida è diventato lo strumento primario per simulare e verificare l'interazione tra veicolo e guidatore. Si cerca inoltre di determinare il LOD (Livello di dettaglio) ottimale degli scenari utilizzati in un simulatore di guida che conferiscono in una maggiore affidabilità alla simulazione stessa. I dati ottenuti dal simulatore di guida e dai dispositivi eye-tracker del laboratorio i.Drive del Politecnico di Milano sono alla base della ricerca presentata in questa tesi. Il simulatore di guida è composto da un sedile fisso, monitor, volante e pedali per il funzionamento dell'auto. Gli scenari di guida forniscono percorsi con una varietà di dettagli ambientali. È possibile osservare il comportamento del guidatore quando il LOD degli scenari varia mentre l'infrastruttura stradale rimane invariata. L'esperimento utilizza quattro livelli di dettaglio, che vanno dallo scenario semplice (con segnaletica stradale e carreggiata) a quello abbastanza vicino alla realtà (con edifici realistici e altri elementi come alberi, lampade, pedoni). In questo studio è stato proposto un nuovo modo per interpretare correttamente l'esperimento basato sull'apparecchiatura di tracciamento oculare di Pupil Labs. Le posizioni dello sguardo dei guidatori sono state catturate dall'attrezzatura per il tracciamento degli occhi di Pupil Labs. Queste sono già state elaborate e presentate in un precedente documento su questo stesso esperimento (Rawal, 2021). Poiché durante l'esperimento i soggetti indossavano l'apparato di tracciamento oculare di Pupil Labs sulla testa, la telecamera d’insieme dell'attrezzatura ha catturato e archiviato la prospettiva del guidatore. Il video d’insieme, così come i timestamp per ogni singolo fotogramma del video d’insieme, sono stati acquisiti utilizzando l'applicazione Pupil Labs Player. In MATLAB, tutti i fotogrammi del video mondiale sono stati estratti per il 19 campione dell’esperimento, che è stato scelto per la validazione del metodo, per tutti i casi LOD compresi tra 0 e 3. Le posizioni dello sguardo delle precedenti elaborazioni (Rawal, 2021) e i fotogrammi acquisiti dal video d’insieme sono stati abbinati con i timestamp più vicini all'array di riferimento (Ahmed, 2020). È stata così mantenuta l'integrazione del nuovo approccio di elaborazione delle immagini con le elaborazioni di dati già elaborate. Inizialmente, è stato utilizzato un metodo di rilevamento dei bordi per ogni fotogramma che era stato abbinato all'elaborazione precedente al fine di trovare pixel con valore 1 nell'immagine in scala di grigi convertita dall'immagine RGB. In MATLAB è stata costruita una finestra di selezione per scegliere i bordi della strada dai bordi della foto, che sono definiti come tutti i pixel nell'immagine con valore 1. Numerosi, tra cui il movimento della testa, la posizione esatta del veicolo e l'orientamento lungo la pista del circuito, influiscono sulla prospettiva del guidatore, per cui si rende necessario usare le immagini della telecamera. A causa del continuo cambiamento della prospettiva del guidatore lungo il percorso di simulazione, questa finestra di selezione deve essere aggiornata per la corretta selezione delle coordinate del confine stradale al fine di rilevare in quali fotogrammi lo sguardo si trova all'interno dei limiti della strada per una migliore comprensione del comportamento del guidatore lungo il circuito. Ci si è concentrati su, un segmento rettilineo e uno curvilineo scelti come rappresentativi dell’intero pecorso con LOD compresi tra 0 e 3. Lo scopo principale della ricerca è stato quello di elaborare una metodologia efficiente per l'elaborazione dei dati dell'eye-tracker con algoritmi di elaborazione delle immagini per l'analisi del comportamento del guidatore utilizzando vari LOD di scenari stradali per segmenti sia curvilinei sia rettilinei, quindi geometricamente dissimili per una migliore interpretazione del complesso processo di guida.