Golden eye - human-centric neuroscience analysis of order picking processes

The digital transformation of warehouse operations will lead to the reshaping of traditional order picking systems, yet the cognitive and physiological consequences of digital augmentation remain insufficiently understood and recent technological developments increasingly replace paper-based lists with digital interfaces. While previous research demonstrates the potential improvement in terms of speed and accuracy of the picking task through digital guidance systems [1] ,but neglecting the cognitive and embodied mechanism concerning the human performance. Consideration of the Cognitive Load Theory [2] and extending towards embodied cognition perspectives [3].The thesis tries to find the role of visual saliency in digital picking list interfaces compared with the paper based list within a human-centric industry 5.0 framework. Focusing in-depth of the three levels of interface saliency: paper-based lists, static digital list and interactive digital list with dynamic highlighting, affecting visual attention, physiological workload and operational performance. A controlled within-subject laboratory experiment was conducted with eye-tracking device to measure attentional distribution, Heart rate sensors to record heat rate variability (HRV) to assess autonomic physiological strain, and subjective workload evaluation using NASA-TLX. By isolating interface saliency while also controlling the task complexity and physical conditions the research tries to evaluate whether digital enhancements reduce extraneous cognitive load or introduce attentional fragments and physiological stress. The research is conducted as a multimodal framework which involves analysing the AOI region of the shelf and the picking list to focus on the fixations in these regions, using HRV metrics such as Mean of The RR-intervals, Root Mean Square of Successive differences(RMSSD) and frequency domain(Low Frequency/High Frequency).While also conducting survey-based study on each participant using NASA-TLX. Statistical analysis such as non-parametric repeated measures testing for HRV metrics and linear mixed effect modelling was used for AOI data and NASA-TLX data. Where needed post hoc pairwise comparisons were computed. The findings shows that interface saliency systematically influences fixation changes and autonomic responses, which suggest that there is an existence of a saliency threshold beyond which digital augmentation may impair rather than support performance. This study contributes to behavioural operations management by introducing a multimodal cognitive-physiological evaluation framework for order picking systems. From a managerial perspective it aids in designing of guidance systems where digital interfaces are used while also balancing efficiency, cognitive sustainability and well-being of the worker.

La trasformazione digitale delle operazioni di magazzino sta portando a un profondo ripensamento dei tradizionali sistemi di picking, ma le conseguenze cognitive e fisiologiche dell’adozione di interfacce digitali rimangono ancora poco comprese. Gli sviluppi tecnologici più recenti stanno progressivamente sostituendo le liste cartacee con interfacce digitali, e sebbene la letteratura abbia evidenziato miglioramenti in termini di velocità e accuratezza del compito di picking grazie ai sistemi di guida digitale [1], spesso si trascura l’analisi dei meccanismi cognitivi ed embodied che influenzano la performance umana. Partendo dalla Teoria del Carico Cognitivo [2] e ampliando la prospettiva verso l’approccio dell’embodied cognition [3], la presente tesi indaga il ruolo della salienza visiva nelle interfacce digitali per il picking, confrontandole con le tradizionali liste cartacee, all’interno di un framework human-centric dell’Industria 5.0. L’analisi si concentra su tre livelli di salienza dell’interfaccia: lista cartacea, lista digitale statica e lista digitale interattiva con evidenziazione dinamica, valutando il loro impatto sull’attenzione visiva, sul carico fisiologico e sulla performance operativa. È stato condotto un esperimento controllato in laboratorio con disegno within-subject, utilizzando un dispositivo di eye-tracking per misurare la distribuzione dell’attenzione visiva, sensori cardiaci per registrare la variabilità della frequenza cardiaca (HRV) come indicatore dello stress autonomico, e una valutazione soggettiva del carico di lavoro tramite il questionario NASA-TLX. Isolando la variabile della salienza dell’interfaccia e controllando la complessità del compito e le condizioni fisiche, la ricerca mira a valutare se le interfacce digitali riducano il carico cognitivo estraneo o introducano frammentazioni attentionali e stress fisiologico. Lo studio adotta un framework multimodale che analizza le regioni AOI (Area of Interest) dello scaffale e della lista di picking, focalizzandosi sulle fissazioni in queste aree. I dati fisiologici sono analizzati tramite metriche HRV come la media degli intervalli RR, la radice quadrata della differenza successiva (RMSSD) e l’analisi in frequenza (Low Frequency/High Frequency). Parallelamente, ogni partecipante ha compilato il questionario NASA-TLX. Le analisi statistiche includono test non parametrici per misure ripetute sui dati HRV e modelli lineari a effetti misti per i dati AOI e NASA-TLX, con confronti post hoc dove necessario. I risultati mostrano che la salienza dell’interfaccia influenza sistematicamente le variazioni di fissazione e le risposte autonomiche, suggerendo l’esistenza di una soglia di salienza oltre la quale l’augmentazione digitale può compromettere, anziché supportare, la performance. Questo studio contribuisce al campo del behavioural operations management introducendo un framework di valutazione cognitivo-fisiologica multimodale per i sistemi di picking. Dal punto di vista manageriale, offre indicazioni per la progettazione di sistemi di guida digitali che bilancino efficienza, sostenibilità cognitiva e benessere dell’operatore.