Vehicle teleoperation under network delays : comprehensive framework for improved control and safety

Vehicle teleoperation, the remote control of vehicles in real-world environments, stands as a transformative technology with applications ranging from fleet management to autonomous driving support. This doctoral thesis navigates a multifaceted exploration aimed at enhancing the teleoperator's experience, bolstering operation stability, refining feedback to human operators, and fortifying safety in human-controlled remote vehicles. "Operation stability," denoting control-loop stability, is a central theme addressed throughout the research. The research unfolds through five distinct papers, each addressing specific facets of the overarching goal, accompanied by the development of an "Environment Reconstruction" framework dedicated to hazard identification and protection in vehicle teleoperation. Acknowledging the challenges posed by network latency, the initial focus lies on solving the issue of instability induced by delayed feedback during direct vehicle teleoperation. Innovative solutions, including predictive displays and the novel Successive Reference-Pose Tracking (SRPT) strategy, are proposed to address these issues. Instead of transmitting control inputs such as steering commands, SRPT transmits reference poses to be tracked by the remote vehicle. The approach, validated through simulations under variable network delays, emerges as a robust approach, particularly excelling in demanding maneuvers and environments. The thesis then advances into human-in-the-loop performance assessments, showcasing SRPT's contributions to operation stability, safety, and cognitive load reduction. Beyond stability, the thesis delves into addressing challenges related to network disruptions and sudden obstacles. An environment reconstruction framework endows remote vehicles with a degree of autonomy, enabling them to execute emergency maneuvers autonomously in such scenarios, thus enhancing safety. A sensor fusion framework is developed employing image-based and radar-based detection, which increases accuracy and redundancy. Operator feedback is augmented through innovations in steering torque and video feed. The proposed exponential decay model for pivot steering torque specifically targets the improvement of steer feel during low-speed maneuvers. Additionally, a unified steering force feedback model is introduced, capable of seamlessly accommodating both off-center and on-center maneuvers. The video feed is enriched with an intuitive steer indicator, serving a dual purpose. Firstly, it provides the remote operator with a visual indication of the anticipated direction resulting from their steering action. Secondly, it operates as a reference pose generator, significantly enhancing driving confidence, in the context of the SRPT strategy. In summary, the main achievements of this dissertation lie in addressing critical challenges associated with teleoperated mobility. The SRPT strategy improves the teleoperation performance as the remote vehicle follows operator's intended path closely while the operator is in control with the dynamic adaptation of the vehicle behaviour that too in the presence of variable network delay. A unified steering feel for both off-center and on-center maneuver keeps the operator engaged with the task. A safety layer is also present in the vehicle performing emergency stop in case of sudden obstacles. These strategies refine operator experience, tackle network latency-induced instabilities, and lay the groundwork for safer and more efficient teleoperated vehicle systems.

La teleoperazione dei veicoli, ovvero il controllo a distanza di veicoli in ambienti reali, è una tecnologia trasformativa con applicazioni che vanno dalla gestione delle flotte al supporto alla guida autonoma. La presente tesi di dottorato si occupa di un'esplorazione multiforme volta a migliorare l'esperienza del teleoperatore, a rafforzare la stabilità del funzionamento, a perfezionare il feedback agli operatori umani e a rafforzare la sicurezza dei veicoli remoti controllati dall'uomo. La "stabilità operativa", che indica la stabilità dell'anello di controllo, è un tema centrale affrontato in tutta la ricerca. La ricerca si sviluppa attraverso cinque documenti distinti, ognuno dei quali affronta aspetti specifici dell'obiettivo generale, accompagnati dallo sviluppo di un quadro di "ricostruzione dell'ambiente" dedicato all'identificazione e alla protezione dei pericoli nella teleoperazione dei veicoli. Riconoscendo le sfide poste dalla latenza della rete, l'attenzione iniziale è rivolta a risolvere il problema dell'instabilità indotta dal feedback ritardato durante la teleoperazione diretta del veicolo. Per risolvere questi problemi vengono proposte soluzioni innovative, tra cui la visualizzazione predittiva e la nuova strategia Successive Reference-Pose Tracking (SRPT). Invece di trasmettere input di controllo come i comandi di sterzo, SRPT trasmette pose di riferimento che il veicolo remoto deve seguire. L'approccio, convalidato attraverso simulazioni in presenza di ritardi di rete variabili, emerge come un approccio robusto, che eccelle in particolare nelle manovre e negli ambienti più impegnativi. La tesi passa poi alla valutazione delle prestazioni human-in-the-loop, mostrando i contributi di SRPT alla stabilità delle operazioni, alla sicurezza e alla riduzione del carico cognitivo. Oltre alla stabilità, la tesi affronta le sfide legate alle interruzioni della rete e agli ostacoli improvvisi. Un framework per la ricostruzione dell'ambiente conferisce ai veicoli remoti un certo grado di autonomia, consentendo loro di eseguire autonomamente manovre di emergenza in tali scenari, migliorando così la sicurezza. È stata sviluppata una struttura di fusione di sensori che impiega il rilevamento basato su immagini e radar, aumentando la precisione e la ridondanza. Il feedback dell'operatore è aumentato grazie alle innovazioni apportate alla coppia di sterzo e al feed video. Il modello di decadimento esponenziale proposto per la coppia di sterzo del perno mira specificamente a migliorare la sensazione di sterzata durante le manovre a bassa velocità. Inoltre, è stato introdotto un modello unificato di feedback della forza di sterzo, in grado di adattarsi senza problemi alle manovre fuori centro e al centro. Il feed video è arricchito da un indicatore di sterzata intuitivo, che ha un duplice scopo. In primo luogo, fornisce all'operatore remoto un'indicazione visiva della direzione prevista per l'azione di sterzo. In secondo luogo, funziona come generatore di pose di riferimento, aumentando significativamente la fiducia nella guida, nel contesto della strategia SRPT. In sintesi, i principali risultati di questa tesi consistono nell'affrontare le sfide critiche associate alla mobilità teleoperata. La strategia SRPT migliora le prestazioni della teleoperazione, in quanto il veicolo remoto segue fedelmente il percorso previsto dall'operatore, mentre quest'ultimo ha il controllo della situazione grazie all'adattamento dinamico del comportamento del veicolo anche in presenza di un ritardo variabile della rete. La sensazione di sterzata unificata, sia per le manovre decentrate che per quelle in posizione centrale, mantiene l'operatore impegnato nel compito. Il veicolo è inoltre dotato di un livello di sicurezza che consente l'arresto di emergenza in caso di ostacoli improvvisi. Queste strategie migliorano l'esperienza dell'operatore, affrontano le instabilità indotte dalla latenza della rete e gettano le basi per sistemi di veicoli teleoperati più sicuri ed efficienti.