Deep learning classification of Big Five personality traits from EEG signals

Personality refers to a set of characteristics that influence the behavior and cognition of different individuals. Personality psychology has developed the Big Five model, which identifies five main attributes of personality, called traits, able to capture personality differences among individuals. Nevertheless, the five personality traits are generally assessed using self-report questionnaires which are particularly prone to bias. As a result, the demand for an automatic and more objective personality assessment approach has arisen. In this context, the application of machine learning (ML) techniques to Electroencephalography (EEG) could be a valid classification approach. Indeed, several studies in literature successfully applied ML to EEG for different classification purposes, such as subjective emotion assessment. However, from the few existing studies that attempted to classify personality from EEG signals, it emerged that the a priori selection of EEG features able to differentiate different traits is a major limitation. In this context, the use deep learning (DL) models that can automatically extract features could represent a promising approach. To the best of our knowledge, no studies that apply DL to EEG for personality classification are present in literature. The aim of this thesis is to develop a DL-based binary personality classification method starting from EEG data, with a focus on model validation and interpretation of the extracted features. EEGNet, a state-of-the-art Convolutional Neural Network (CNN) model specifically designed for EEG decoding, was adopted. Classification was performed on the AMIGOS public dataset, which provides personality data and EEG traces from 38 subjects acquired during the visualization of emotional videos. Specifically, a binary classifier for each of the five traits was implemented. To do this, a binarization of the personality scores was performed to generate a class representing low expression of the trait (class 0) and one for high expression of the trait (class 1). Moreover, in order to assess the model's ability to handle raw, minimally pre-processed, and fully pre-processed data, three different levels of pre-processing were applied to the EEG signals. The optimal EEGNet structure was assessed by means of a full validation of its hyperparameters. In the end, a five-fold cross-validation training strategy was used to assess classification performance on all the three differently pre-processed datasets. Furthermore, the automatically extracted features were analyzed by directly visualizing the learned filters and hidden layer outputs in the frequency domain and by using DeepLIFT, a novel algorithm that assigns a contribution value to each input channel based on how much it affects the final prediction. The best classification performance was achieved by the models trained on the minimally pre-processed data with an average accuracy and F1 scores > 0.89 for all five personality traits, while some preliminary relevant features were identified for three out of the five traits.

La personalità comprende quell’insieme di caratteristiche che influenzano la cognizione e il comportamento di diversi individui. La psicologia della personalità ha sviluppato il modello Big Five, che identifica cinque attributi principali della personalità, chiamati tratti, in grado di cogliere le differenze di personalità tra gli individui. I cinque tratti di personalità sono generalmente quantificati utilizzando questionari autocompilativi, i quali, tuttavia, sono particolarmente soggetti a imprecisioni dovute all’autovalutazione. Di conseguenza, è sorta l'esigenza di un approccio automatico e più oggettivo per la valutazione della personalità. In questo contesto, l'applicazione di tecniche di machine learning (ML) all'elettroencefalografia (EEG) potrebbe essere un valido approccio di classificazione. Effettivamente, diversi studi in letteratura hanno applicato con successo il ML sull'EEG per diversi scopi di classificazione, come ad esempio la valutazione delle emozioni soggettive. Tuttavia, dai pochi studi esistenti che hanno tentato di classificare la personalità dai segnali EEG, è emerso che la selezione a priori delle caratteristiche EEG in grado di differenziare i diversi tratti è una grande limitazione. In questo contesto, l'uso di modelli di deep learning (DL) che possono estrarre automaticamente le feature potrebbe rappresentare un approccio promettente. Per quanto ne sappiamo non sono presenti in letteratura studi che applicano DL all’EEG per la classificazione della personalità. Lo scopo di questa tesi è quello di sviluppare un metodo di classificazione binaria della personalità basato sul DL a partire da dati EEG, riservando particolare attenzione alla validazione del modello e all'interpretazione delle feature estratte. Il modello adottato per la classificazione è EEGNet, una convolutional neural network (CNN) progettata specificamente per la decodifica di segnali EEG. La classificazione è stata svolta sul dataset pubblico AMIGOS, il quale fornisce i dati della personalità e le tracce EEG di 38 soggetti acquisiti durante la visione di video emozionali. In particolare, è stato implementato un classificatore binario per ciascuno dei cinque tratti. Per fare ciò, è stata eseguita una binarizzazione dei valori di personalità per generare una classe che rappresenta la bassa espressione del tratto (classe 0) e una per l'alta espressione del tratto (classe 1). Inoltre, per valutare la capacità del modello di gestire dati grezzi, dati minimamente pre-processati e dati completamente pre-processati, tre diversi livelli di pre-processing sono stati applicati ai segnali EEG. La struttura finale di EEGNet utilizzata per la classificazione è stata determinata mediante l’ottimizzazione dei suoi iperparametri. Infine, la performance di classificazione del modello ottenuto sono state valutate tramite una strategia di valutazione incrociata basata sulla suddivisione dei dati in cinque parti. Inoltre, le feature estratte automaticamente dal classificatore sono state analizzate visualizzando direttamente i filtri appresi e gli output degli strati nascosti nel dominio della frequenza e utilizzando DeepLIFT, un algoritmo che assegna un valore di contribuzione a ciascun canale di input in base a quanto questo influisce sulla classificazione finale. Le migliori prestazioni di classificazione sono state ottenute dai modelli allenati sui dati minimamente pre-processati, con un'accuratezza e F1 score medi > 0,89 per tutti e cinque i tratti della personalità, mentre a livello preliminare sono state identificate feature rilevanti per tre dei cinque tratti.