Towards drones as writable surfaces

In recent years, flying drones expanded rapidly in our society, driven by technological advancements such as improved batteries, sensors (e.g., LiDAR, high-resolution cameras), and artificial intelligence. These innovations enhance the overall performance of drones while also enabling autonomous operations. Given their increasing accessibility to non expert users, the need for intuitive interfaces has emerged. Traditional drone controllers, while offering precision and reliability, often require extensive training. Moreover, they are well-suited only for scenarios where the pilot can physically hold the controller and direct their full attention to its operation. Human-Drone Interaction (HDI) is a multidisciplinary research area that explores Natural User Interfaces (NUIs) as an alternative to traditional controllers for drone operation. NUIs aim to enable more natural and intuitive interactions, allowing users to communicate with drones in a human-like manner, for instance, through gestures or voice commands. Existing systems can be categorized into two main classes: controller-like systems, which provide direct control over drone flight primitives, and semi-autonomous systems, which map individual commands to complex autonomous drone actions. However, Controller like systems require the pilot’s full attention, preventing engagement in other mission related tasks. Conversely, semi-autonomous systems rely on a static mapping between the user input (e.g., a voice command) and the corresponding autonomous actions, where the behavior is predefined and fixed, limiting the system’s adaptability and evolution over time. Recent approaches explore the evolving relationship between humans and drones, placing this relationship at the core of drone system design. For example, some focus on enabling users to shape the drone’s perception through sensory interactions, while others investigate how continuous interaction helps users adapt their behavior and develop a deeper understanding of drone capabilities over time. While these studies provide valuable insights, they are limited to analyzing interaction as it emerges over time, in an ad-hoc experimental setting, without a specific practical application goal. Furthermore, even in these approaches, the drone’s behavior remains predefined and fixed. In this work, we build upon these foundations to design DronWO, an HDI paradigm that bridges the gap between theoretical exploration and real-world applications, providing a stepping stone for a novel approach to HDI. We design DronWO around primitives called entities, which are orthogonal to each other, enabling their dynamic composition to generate new drone behaviors and allowing the system to adapt to various scenarios. Furthermore, we enable the runtime creation of new entities, making the drone an inscribable surface capable of evolving over time. We introduce tokens as user handles for entities. Tokens constitute a middle abstraction layer between the user input (e.g., gesture, voice) and entities, making DronWO independent by the input type. We prototype an HDI system based on the Crazyflie 2.1 nano-drone, providing the semantics of the DronWO model and abstractions, to assist users in tasks like object searching, surveillance monitoring, and photo-taking. We enable interaction through hand gestures and objects shown to the drone’s camera, using object detection and gesture recognition to translate user inputs into tokens, which are then mapped to entities through a tailored mapping procedure. We also allow users to record new trajectories at runtime by guiding the drone manually. In this way, the user can search for a given object or take pictures along a runtime-defined trajectory simply by showing gestures and objects in front of the drone camera, without requiring expert intervention to reprogram the drone as their needs evolve. We evaluate DronWO with 10 voluntary users, assigning each of them a task to complete using both our DronWO prototype and a traditional controller-based drone as a baseline. We demonstrate the effectiveness of DronWO, with all participants successfully completing their assigned tasks, compared to only one in the baseline group. Additionally, we demonstrate better ease of use compared to the baseline, with participants reporting lower mental demand and frustration when using our prototype.

Negli ultimi anni, i droni volanti si sono diffusi rapidamente nella nostra società, grazie ai progressi tecnologici come il miglioramento delle batterie, dei sensori (ad esempio LiDAR, telecamere ad alta risoluzione) e dell’intelligenza artificiale. Queste innovazioni migliorano le prestazioni complessive dei droni, permettendo anche operazioni autonome. Data la crescente accessibilità per utenti non esperti, è emersa la necessità di interfacce intuitive. I controller tradizionali per droni, sebbene offrano precisione e affidabilità, richiedono spesso un’ampia formazione. Inoltre, sono adatti solo a scenari in cui il pilota può tenere fisicamente il controller e concentrarsi completamente sul suo utilizzo. L’Interazione Uomo-Drone (HDI) è un’area di ricerca multidisciplinare che esplora le Interfacce Utente Naturali (NUI) come alternativa ai controller tradizionali per il controllo dei droni. Le NUI mirano a consentire interazioni più naturali e intuitive, permettendo agli utenti di comunicare con i droni in modo simile a come interagirebbero con altre persone, ad esempio tramite gesti o comandi vocali. I sistemi esistenti possono essere suddivisi in due classi principali: i sistemi controller-like, che offrono il controllo diretto sui primitivi di volo del drone, e i sistemi semi-autonomi, che mappano comandi individuali su azioni autonome complesse del drone. Tuttavia, i sistemi controller-like richiedono l’attenzione completa del pilota, impedendo l’impegno in altre attività legate alla missione. Mentre i sistemi semi-autonomi si basano su una mappatura statica tra l’input dell’utente (ad esempio, un comando vocale) e le corrispondenti azioni autonome, dove il comportamento è predefinito e fisso, limitando l’adattabilità e l’evoluzione del sistema nel tempo. Gli approcci recenti esplorano come evolve la relazione tra esseri umani e droni, ponendo questa relazione al centro del design dei sistemi di droni. Ad esempio, alcuni si concentrano sul consentire agli utenti di modellare la percezione del drone tramite interazioni sensoriali, mentre altri esplorano come l’interazione continua porti gli utenti ad adattare il proprio comportamento e sviluppare una comprensione più profonda delle capacità del drone nel tempo. Sebbene questi studi forniscano intuizioni interessanti, sono limitati ad analizzare l’interazione che emerge nel tempo, in un ambiente sperimentale ad-hoc, senza un obiettivo pratico specifico. Inoltre, anche in questi approcci, il comportamento del drone rimane predefinito e fisso. In questo lavoro, siamo partiti da queste basi per progettare DronWO, un paradigma HDI che colma il divario tra esplorazione teorica e applicazioni nel mondo reale, fornendo una base per un nuovo approccio all’HDI. Abbiamo progettato DronWO attorno a primitive chiamate entità, che sono ortogonali tra loro, consentendo la loro composizione dinamica per generare nuovi comportamenti del drone e permettendo al sistema di adattarsi a scenari diversi. Inoltre, DronWO permette la creazione di nuove entità in fase di runtime, rendendo il drone una superficie iscrivibile in grado di evolversi nel tempo. Abbiamo introdotto i tokens come ”handles” per le entità. I token costituiscono uno strato di astrazione intermedio tra l’input dell’utente (ad esempio, gesto, voce) e le entità, rendendo DronWO indipendente dal tipo di input. Abbiamo prototipato un sistema HDI basato sul nano-drone Crazyflie 2.1, fornendo la se mantica del modello e delle astrazioni di DronWO, per assistere gli utenti in attività come la ricerca di oggetti, il monitoraggio di sorveglianza e l’acquisizione di foto. Abbiamo abilitato l’interazione tramite gesti delle mani e oggetti mostrati alla telecamera del drone, utilizzando algoritmi di riconoscimento di oggetti e gesti per tradurre gli input dell’utente in token, che vengono poi mappati in entità attraverso una procedura di mapping dedicata. Abbiamo inoltre permesso agli utenti di registrare nuove traiettorie in tempo reale guidando manualmente il drone. In questo modo, l’utente può cercare un determinato oggetto o scattare foto lungo una traiettoria definita a runtime semplicemente mostrando gesti e oggetti davanti alla telecamera del drone, senza necessità di un intervento esperto per riprogrammare il drone qualora le esigenze dell’utente dovessero cambiare. Abbiamo valutato DronWO con 10 utenti volontari, assegnando a ciascuno un compito da completare utilizzando sia il nostro prototipo sia un drone tradizionale controllato con un joystick come baseline. Abbiamo dimostrato l’efficacia di DronWO, con tutti i partecipanti che hanno completato con successo i loro compiti assegnati, rispetto a un solo partecipante nel gruppo baseline. Inoltre, abbiamo dimostrato una maggiore facilità d’uso rispetto alla baseline, con i partecipanti che hanno riportato una minore richiesta di impegno mentale e un livello di frustrazione inferiore durante l’uso del nostro prototipo.