Perception aware quadrotor control for enhanced visual odometry

Traditional control methods often assume perfect state estimation. However, when vision is used for state estimation, incorporating perception objectives within the control loop can significantly improve the overall performance of the system. This thesis investigates a Perception-Aware (PA) control framework coupling perception and action objectives for quadrotor control. After a thorough review of existing PA algorithms, the primary contribution of this thesis is the implementation and comprehensive experimental evaluation of the enhancements that a Perception Aware controller can bring to Visual Inertial Odometry (VIO). The PA controller under study is a feature-based approach that couples planning and control in a single online computational step using Model Predictive Control (MPC). In this thesis, the algorithm is integrated with the PX4 controller within a Robot Operating System (ROS) environment and is systematically compared against a conventional non-perception-aware MPC strategy on a quadrotor equipped with a forward-looking camera. By integrating perception objectives, maximizing the visibility of the feature centroid and minimizing its projected velocity on the camera plane, into the control strategy, the resulting control actions enhance VIO performance. Experimental results demonstrate that the PA framework enhances overall VIO accuracy, even under challenging low-light conditions, ultimately leading to more reliable decision-making based on visual information.

I metodi di controllo tradizionali spesso assumono una stima dello stato perfetta. Tuttavia, quando la visione viene utilizzata per la stima dello stato, integrare obiettivi percettivi all'interno del loop di controllo può migliorare significativamente le prestazioni complessive del sistema. Questa tesi indaga un framework di controllo Perception-Aware (PA) che unisce obiettivi di percezione e di azione per il controllo di un quadrotore. Dopo un'analisi approfondita degli algoritmi PA esistenti, il principale contributo di questa tesi è l'implementazione e la valutazione sperimentale dettagliata dei miglioramenti che un controllore Perception-Aware può apportare alla Visual Inertial Odometry (VIO). Il controllore PA studiato è un approccio basato su feature che unisce pianificazione e controllo in un unico passaggio computazionale online utilizzando il Model Predictive Control (MPC). In questa tesi, l'algoritmo è stato integrato con il controllore PX4 all'interno di un ambiente Robot Operating System (ROS) ed è stato confrontato sistematicamente con una strategia MPC convenzionale non Perception-Aware, su un quadrotore equipaggiato con una telecamera frontale. Integrando obiettivi percettivi, massimizzando la visibilità del centroide delle feature e minimizzando la sua velocità proiettata sul piano dell'immagine, nella strategia di controllo, le azioni risultanti migliorano significativamente le prestazioni della VIO. I risultati sperimentali dimostrano che il framework PA migliora l'accuratezza complessiva della VIO, anche in condizioni di scarsa illuminazione, portando infine a un processo decisionale più affidabile basato sulle informazioni visive.