What makes an ad memorable? A multimodal machine learning study in Neuromarketing

Advertising brand recall is a critical measure of advertisement effectiveness, yet traditional self-reported methods often fail to capture the subconscious processes that lead to memory formation. This thesis introduces a multimodal approach that integrates biometric signals, specifically electroencephalogram (EEG) and galvanic skin response (GSR) with extracted audiovisual features to predict unaided brand recall in advertising contexts. In a large-scale experiment involving 600 participants exposed to advertisements under various viewing conditions (simulated linear TV and on-demand platforms), physiological data and ad content metrics were collected and analysed using both deep learning (CNN-LSTM architectures) and machine learning (e.g., XGBoost, SVM) techniques. The results demonstrate that multimodal integration increases recall prediction accuracy compared to unimodal approaches. Moreover, logistic regression was considered to retrieve linear and interpretable patterns, rather than focusing solely on prediction accuracy. Specifically, neural markers such as beta oscillations positively correlate with recall, whereas alpha and gamma oscillations show negative associations. Another notable finding shows the significance of audio-visual features like colour, motion and audio respect to unaided recall. Eventually, path modelling reveals that beta wave responses mediate the impact of some audiovisual features on recall. These findings advance our understanding of the relationships between external stimuli and internal cognitive processes and provide actionable insights for designing more effective advertising strategies.

Il richiamo del brand nelle pubblicità è una misura fondamentale dell'efficacia pubblicitaria, ma i metodi tradizionali basati ad esempio su questionari o focus groups, spesso non riescono a catturare i processi inconsci che portano alla formazione della memoria. Questo studio introduce un approccio multimodale che integra segnali biometrici, in particolare Elettroencefalografo (EEG) e Galvanic Skin Response (GSR), con caratteristiche audiovisive estratte per prevedere il richiamo del brand. In un esperimento con 600 partecipanti esposti a pubblicità in diverse condizioni di fruizione (TV lineare e piattaforme on-demand), sono stati raccolti e analizzati dati fisiologici e metriche relative ai contenuti pubblicitari utilizzando sia tecniche di deep learning (architetture CNN-LSTM) sia metodi di machine learning (ad esempio, XGBoost, SVM). I risultati dimostrano che l'integrazione multimodale aumenta l'accuratezza della previsione del richiamo rispetto agli approcci unimodali. Inoltre, è stata considerata la regressione logistica per individuare schemi lineari e interpretabili, piuttosto che concentrarsi esclusivamente sulla precisione predittiva. In particolare, si osserva che le variabili biometriche, come le onde beta, sono positivamente correlati al richiamo, mentre le oscillazioni alfa e gamma mostrano associazioni negative. Un altro risultato rilevante evidenzia l'importanza di caratteristiche audiovisive come colore, dinamicità e audio rispetto al richiamo. Infine, la path analysis rivela che le onde beta mediano l'impatto di alcune caratteristiche audiovisive sul richiamo. Questi risultati avanzano la comprensione delle relazioni tra stimoli esterni e processi cognitivi interni, offrendo spunti concreti per progettare strategie di marketing più efficaci.