Design and usability evaluation of a desktop hand-tracked virtual lab for animal procedure training

This thesis reports outcomes from the first development year of a multi-year project to develop a scalable digital training platform for veterinary and biomedical education, motivated by ethical and practical constraints in laboratory animal science and the 3Rs (Replacement, Reduction, Refinement). The long-term goal is a modular simulator combining interactive 3D anatomy exploration with guided training for common procedures (handling, injections, blood sampling, biopsies, and euthanasia-related workflows). In this phase, the platform is a Unity desktop application controlled via markerless hand tracking with an external Ultraleap sensor, enabling accessible headset-free use. The work targets a core prerequisite for educational simulators: interaction usability. The system adopts a modular Task/Step/Condition architecture, profile-based persistence, and automatic logging of objective metrics (completion time, total attempts, and step attempts). To address hand-tracking limitations (occlusions, recognition instability, and reduced depth cues on desktop), the simulator provides multimodal feedback and configurable scaffolding, including object outlining, interaction gating, tool stabilization, needle-tip projection guidance, and localized transparency to support vascular targeting. Usability was evaluated with 20 participants (9 veterinary students and 11 non-specialists) on three procedures (mouse cage transfer, jaw blood collection, intraperitoneal injection). Completion rates were high and interruptions rare. Step-level analysis showed that precision-critical core actions were the main bottlenecks, with more retries and a small number of outliers. Questionnaire responses indicated positive perceived comprehension and educational value, while hand–object interaction remained the main area for improvement. Overall, results support the feasibility of a desktop, hand-tracked virtual laboratory as a foundation for ethically aligned training and provide a roadmap for future work (robustness improvements, VR migration, potential haptics, and later pedagogical validation of learning and skill transfer).

Questa tesi riporta il risultato del primo anno di un progetto pluriennale per sviluppare una piattaforma digitale di training scalabile per la formazione veterinaria e biomedica, motivata dai vincoli etici e pratici della Laboratory Animal Science e dal quadro delle 3R (Replacement, Reduction, Refinement). L'obiettivo finale è un simulatore modulare che integri esplorazione anatomica 3D e addestramento guidato a procedure di laboratorio. In questa fase, la piattaforma è un’applicazione desktop in Unity controllata tramite hand tracking markerless con sensore Ultraleap esterno. Il lavoro si concentra sull’usabilità dell’interazione. Il sistema adotta un’architettura Task/Step/Condition, persistenza per profilo e logging automatico di metriche (tempo di completamento, tentativi totali, tentativi per step). Per mitigare i limiti dell’hand tracking (occlusioni, instabilità e ambiguità di profondità su desktop), il simulatore include feedback multimodale e scaffolding configurabile, tra cui outlining degli oggetti, limitazione delle interazioni, stabilizzazione degli strumenti e guida visiva per il posizionamento dell’ago. L’usabilità è stata valutata con 20 partecipanti (9 studenti di medicina veterinaria e 11 non specialisti) su tre procedure (cambio gabbia, prelievo mandibolare, iniezione intraperitoneale). I tassi di completamento sono risultati elevati e le interruzioni rare. L’analisi a livello di step ha evidenziato come principali colli di bottiglia le azioni core ad alta precisione, con più tentativi e un piccolo numero di outlier. Il questionario indica buona comprensione percepita e utilità educativa, mentre l’interazione mano–oggetto resta l’area principale di miglioramento. Nel complesso, i risultati supportano la fattibilità di un laboratorio virtuale desktop basato su hand tracking come base per una formazione coerente con i principi etici e orientano i prossimi sviluppi (maggiore robustezza, migrazione in VR, possibile integrazione aptica e validazione pedagogica).