Using reinforcement learning to tune PID controller of quadcopters

Unmanned Aerial Vehicles (UAVs), and more specifically, quadcopters, must be stable during their flights. Altitude stability is usually achieved using a PID controller built into the flight controller software. Furthermore, the PID controller has gains that need to be adjusted to achieve optimal altitude stabilization during the quadcopter's flight. Therefore, control system engineers need to adjust those gains using extensive modeling of the environment, which might change from one environment and condition to another. As quadcopters penetrate more sectors, from the military to the consumer sectors, they have been put into complex and challenging environments more than ever before. Hence, intelligent self-stabilizing quadcopters are needed to maneuver through those complex environments and situations. Here, we demonstrate that by using online reinforcement learning with minimal background knowledge, the altitude stability of the quadcopter can be achieved using a model-free approach. We found that altitude stabilization can be achieved faster with a small memory footprint using an activation function like Sigmoid. In addition, using this approach will accelerate development by avoiding extensive simulations before applying the PID gains to the quadcopter. Our results demonstrate the possibility of using the trial and error approach of reinforcement learning combined with activation function and background knowledge to achieve faster quadcopter altitude stabilization in different environments and conditions.

Unmanned Arial Vehicles (UAV), I veicoli aerei senza pilota, e più specificamente, i quadricotteri devono essere stabili durante i loro voli. La stabilità dell'altitudine si ottiene solitamente utilizzando un controller PID integrato nel software del controller di volo. Inoltre, il controller PID ha guadagni che devono essere regolati per raggiungere una stabilizzazione dell'altitudine ottimale durante il volo del quadrirotore. A tal fine, gli ingegneri dei sistemi di controllo devono ottimizzare questi vantaggi utilizzando un'ampia modellazione dell'ambiente, che potrebbe cambiare da un ambiente e condizione a un altro. Man mano che i quadricotteri penetrano in più settori, dall'esercito al settore dei consumatori, sono stati inseriti in ambienti complessi e impegnativi più che mai. Quindi, sono necessari quadricotteri intelligenti autostabilizzanti per manovrare attraverso quegli ambienti e situazioni complesse. Qui mostriamo che utilizzando l'apprendimento per rinforzo online con una conoscenza di base minima, la stabilità dell'altitudine del quadrirotore può essere raggiunta utilizzando un approccio senza modello. Abbiamo scoperto che utilizzando una funzione di attivazione come Sigmoid, la stabilizzazione dell'altitudine può essere ottenuta più velocemente con un ingombro di memoria ridotto. Inoltre, l'utilizzo di questo approccio accelererà lo sviluppo evitando simulazioni estese prima di applicare i guadagni PID al quadrirotore. I nostri risultati dimostrano la possibilità di utilizzare l'approccio per tentativi ed errori dell'apprendimento per rinforzo combinato con la funzione di attivazione e la conoscenza di base per ottenere una stabilizzazione dell'altitudine del quadrirotore più rapida in diversi ambienti e condizioni.