Multimodal assistive framework for robot-assistive surgery: integrating augmented reality and haptic guidance on the da Vinci Reaserch Kit

Robot-Assisted Minimally Invasive Surgery provides surgeons with unprecedented dexterity and high-definition stereoscopic vision; however, it still leaves broad horizons for potential software and hardware implementations aimed at alleviating cognitive workload, accelerating operative procedures, and increasingly safeguarding the patient. To address this challenge, this thesis proposes a human-in-the-loop assistive control framework developed for the da Vinci Research Kit. Without compromising the surgeon's decision-making autonomy, the architecture integrates a stereo vision pipeline for 3D localization and obstacle modelling, a minimum-jerk trajectory planner for generating collision-free paths, and a multimodal feedback interface. The latter combines Augmented Reality visual overlays with boundary-oriented haptic guidance applied to the Master Tool Manipulators via an impedance control paradigm. A user study is conducted on a pick-and-place task to evaluate kinematic performance and perceived workload across distinct modalities. Quantitative analysis demonstrates that the multimodal approach significantly maximizes spatial efficiency, reducing safety violations. Although exclusively visual guidance increases execution speed, it remains susceptible to spatial deviations due to operator overconfidence. Conversely, haptic guidance alone induces a conservative and safe navigation strategy, albeit initially slower. Subjective evaluations confirmed high user acceptance: 90.9% of participants reported that multimodal fusion did not generate cognitive overload, validating the collaborative intent of the control architecture. The proposed framework effectively bridges the sensory gap in robotic teleoperation. By dynamically combining visual planning with haptic constraints, the system proves to be not only a highly reliable intraoperative safety net, but also a fundamental propaedeutic tool for accelerating surgical training.

La chirurgia mininvasiva robot-assistita offre ai chirurghi una destrezza senza precedenti e una visione stereoscopica ad alta definizione, ma comunque lascia ancora molti orizzonti percorribili per possibili implementazioni sia dal punto di vista software che hardware che possano alleggerirne il carico cognitivo, velocizzare l’operazione e tutelare il paziente. Per far fronte a questa sfida, la presente tesi propone un framework di controllo assistivo sviluppato per il da Vinci Research Kit. Senza compromettere l'autonomia decisionale del chirurgo, l'architettura integra una pipeline di visione stereoscopica per la localizzazione 3D e la modellazione degli ostacoli, un pianificatore di traiettorie a minimum-jerk per la generazione di percorsi sicuri e un'interfaccia di feedback multimodale. Quest'ultima combina overlay visivi in realtà aumentata con una guida aptica basata sui confini spaziali, applicata ai Master Tool Manipulators tramite controllo in impedenza. È stato condotto uno studio sperimentale su soggetti su un task di pick-and-place per valutare le prestazioni cinematiche e il carico di lavoro attraverso modalità distinte. L'analisi quantitativa dimostra che l'approccio multimodale massimizza significativamente l'efficienza spaziale, abbattendo le violazioni di sicurezza. Sebbene la guida esclusivamente visiva aumenti la velocità di esecuzione, essa rimane suscettibile a deviazioni spaziali dovute a eccessi di confidenza dell'operatore. Al contrario, la sola guida aptica induce una strategia di navigazione conservativa e sicura, ma inizialmente più lenta. Le valutazioni soggettive hanno confermato un'elevata accettazione da parte degli utenti: il 90,9% dei partecipanti ha dichiarato che la fusione multimodale non ha generato sovraccarico cognitivo, validando l'intento collaborativo dell'architettura di controllo. Combinando dinamicamente la pianificazione visiva con i vincoli aptici, il sistema si dimostra non solo un'affidabile rete di sicurezza intraoperatoria, ma anche un fondamentale strumento propedeutico per accelerare il training chirurgico.