Development of an AI assist partner for body integration with robot avatar

This research is framed within Japan’s Moonshot Research and Development Program, which envisions an Industry 5.0 society where humans and intelligent systems co-evolve through cybernetic avatars and shared expertise. The thesis investigates human-AI collaborative control in a body-integrated robotic system for teleoperation tasks. Building upon prior studies on operation prediction sharing and skilled-person modeling, two assistive AI models were developed to support novice users during a pick-and-place task with a robotic avatar. The models, trained using a Deep Learning architecture on multimodal data (visual and sensor inputs), represent distinct manipulation styles: a cautious, steady top-down grasp and a dynamic, lateral grasp. A preliminary experiment with six participants examined the optimal blending ratio between human and AI control (30/70, 50/50, 70/30). The 50/50 ratio was identified as the best trade-off for task performance and user experience, maximizing sense of agency and smoothness while minimizing workload. Subsequently, a final experiment with twelve participants assessed the influence of the two assistive models at the selected ratio. Results showed that AI assistance improved task performance and helped participants successfully complete the task by transferring the manipulation skills of the expert who trained the robots through the deep learning model. Among the two models, the faster, lateralgrasping AI was preferred by most participants due to its intuitive behavior and smoother collaboration. These findings highlight the importance of tailored AI assistance in body-integrated robotic systems and suggest that offering multiple assistive styles can accommodate individual user preferences, enhancing performance and acceptance. Future work will focus on adaptive blending strategies and testing in more complex collaborative scenarios.

Questa ricerca si inserisce nel programma giapponese intitolato Moonshot Research and Development Program, che promuove la visione di una società 5.0, in cui esseri umani e sistemi intelligenti coevolvono attraverso robot e la trasmissione delle competenze umane. La tesi indaga la collaborazione umano-AI in un sistema robotico per compiti di teleoperazione. Basandosi su studi precedenti sulla condivisione delle predizioni dei movimenti e sulla modellazione di azioni di utenti esperti, sono stati sviluppati due modelli di intelligenza artificiale assistiva per supportare utenti principianti durante un compito di pick-and-place con un avatar robotico. I modelli, addestrati utilizzando un’architettura di Deep Learning su dati multimodali (input visivi e sensoriali), rappresentano due stili di manipolazione distinti: una presa lenta e stabile dall’alto e una presa veloce e laterale. Un esperimento preliminare con sei partecipanti ha esaminato il rapporto di fusione ottimale tra il controllo umano e quello AI (30/70, 50/50, 70/30). Il rapporto 50/50 è stato identificato come il miglior compromesso per le prestazioni del compito e l’esperienza dell’utente, massimizzando il "Sense of Agency" (percezione soggettiva di essere l’autore delle azioni) e la fluidità e minimizzando il carico di lavoro psicofisico. Successivamente, un esperimento finale con dodici partecipanti ha valutato l’influenza dei due modelli assistivi al rapporto selezionato. I risultati hanno mostrato che l’assistenza AI ha migliorato le prestazioni nel compito e ha aiutato i partecipanti a completarlo con successo grazie al trasferimento delle competenze dell’utente esperto che aveva addestrato i robot tramite il modello di Deep Learning. Tra i due modelli, l’AI più veloce e con presa laterale è stata preferita dalla maggior parte dei partecipanti per il suo comportamento intuitivo e la collaborazione più fluida. Questi risultati evidenziano l’importanza di un’assistenza AI personalizzata nei sistemi robotici integrati nel corpo e suggeriscono che offrire diversi stili di assistenza può soddisfare le preferenze individuali degli utenti, migliorando le prestazioni. I lavori futuri si concentreranno su strategie di fusione adattiva e sulla sperimentazione in scenari collaborativi più complessi.