I.DRIVE : a software system for driver, vehicle, and environment interaction data analytics

With the progression of technology, automatic functions implementations in cars are becoming more common, reducing the human effort for basic actions or manoeuvres getting closer to the realization of a fully autonomous car; however, there are still a lot of issues to overcome before a fully autonomous car could be used in practice without harming passengers and pedestrians. Although many studies describe possible implementations of autonomous car, not many focuses on mood of passenger during the drive. The goal of this work is to develop a software system able to process collected data during driving tasks and highlight possible stressing events occurred such that future autonomous cars know in advance possible stressing situations and behave accordingly, thus preventing passenger discomfort. To reach this goal we used a properly modified car on which have been installed cameras, Global Positioning System (GPS) and Light Detection and Ranging (LiDAR) sensors driven in a urban environment and measuring sweating and heart beat rate of the driver: the driver also wears an eye tracker in order to contextualise data collected by the other sensors through information about the observed objects during driving. Once data have been collected, we developed a software system that processes data and plots results on graphs to show factors that could be related to a stressing event.

Il progetto Interaction between Driver, Road Infrastructure, Vehicle and Environment (I.DRIVE) è un progetto interdisciplinare del Politecnico di Milano il cui scopo è acquisire, analizzare e modellare l’interazione tra il guidatore, il veicolo e l’ambiente circostante. All’interno di questo progetto si è svolto il lavoro descritto in questa tesi. Infatti, abbiamo progettato e sviluppato un sistema software in grado di elaborare i dati raccolti dai sensori montati su un’automobile al fine di ricavare le differenze nei segnali fisiologici durante eventi di stress; in questo modo siamo in grado di distinguere e rilevare situazioni potenzialmente stressanti che possono verificarsi durante la guida tradizionale o autonoma. Questo perché in un veicolo completamente autonomo, il controllo è affidato esclusivamente al veicolo stesso e non più al guidatore: questa perdita del controllo sul veicolo, come mostrato in seguito, può causare insicurezza e stress. Per incrementare la confidenza che un passeggero ha verso un’auto autonoma, è importante comprendere le reazioni emotive di quest’ultimo durante la marcia in modo da adattare il comportamento dell’auto autonoma così che vengano evitate situazioni che possano generare stress nel passeggero. Lo scopo di questo lavoro di tesi è quello di sviluppare un algoritmo che estrae automaticamente gli indici di stress, evidenziando gli istanti in cui è possibile si sia verificato un evento stressante per il passeggero; unendo questi dati con le informazioni acquisite sull’ambiente circostante è possibile dare un contesto allo stress rilevato. Per raggiungere il nostro obiettivo, è necessario raccogliere più informazioni possibili sul guidatore e sull’ ambiente esterno: per far ciò abbiamo utilizzato dei sensori applicati sul guidatore per monitorare alcuni segnali fisiologici, e sensori installati sull’automobile, tra cui telecamere, per acquisire informazioni sull’ambiente circostante. Per contestualizzare meglio i segnali di stress, abbiamo poi elaborato le immagini tramite Deep Learning. Una volta che i dati sono stati raccolti, salviamo quelli più rilevanti in file rosbag, che sono particolari file accessibili sequenzialmente: questi file sono stati utilizzati per disegnare grafici e mostrare possibili misure di stress. Durante lo sviluppo di questo progetto, abbiamo avuto modo di verificare i risultati di altri paper che mostravano le diverse affidabilità di diversi segnali fisiologici utilizzati come misure di stress.