Reinforcement learning for bluff body drag reduction

In this work, we exploit the potential of Reinforcement Learning to approach a classic engineering problem in the field of fluid dynamics: drag reduction. We study a bluff body at high Reynolds number through unsteady fluid dynamics simulations. The drag reduction is obtained thanks to a system based on two jets of fluid with variable flow rate over time positioned on the back which blow appropriately against a curved edge, interacting with the vortices of the wake. These additional curved edges marginally alter the geometry and overall dimensions. The flow control strategy of the jets is obtained by a data-driven method thanks to Reinforcement Learning, for which it is necessary to adapt its constituent elements to the physics of the problem and create an effective setup despite the strong deviations from the theoretical model. To achieve the objectives of this project, it is necessary to pay particular attention to the setup of the fluid dynamics simulations, making them accurate, fast and stable despite the time-variable flow rate injection, as well as writing codes in parallel in order to exploit the HPC resources due to the high computational cost. The results show a considerable drag reduction with a consequent saving of total power, understood as the sum of the power spent by the control system and power of the drag force, of 40% compared to the reference bluff body. Finally, the control learned by the neural network and the phenomena involved that allow this power reduction are investigated, focusing the study on the interaction between the jets and the vortices of the wake.

In questo lavoro sfruttiamo le potenzialità del Reinforcement Learning per approciare un problema ingegneristico classico nel campo della fuidodinamica: la riduzione della resistenza. Studiamo un corpo tozzo ad alto numero di Reynolds attraverso simulazioni fluidodinamiche instazionarie. Si ottiene la riduzione della resistenza grazie a un sistema basato su due getti di fluido a portata variabile nel tempo posizionati sul retro che soffiano in modo opportuno a ridosso di un bordo curvo, interagendo con i vortici di scia. Questi bordi curvi aggiuntivi alterano in modo marginale la geometria e gli ingombri totali. Otteniamo la strategia di controllo della portata dei getti con un metodo data-driven grazie al Reinforcement Learning, per il quale è necessario adattare i suoi elementi costitutivi alla fisica del problema e creare un setup efficace nonostante le forti deviazioni dal modello teorico. Per raggiungere gli obiettivi di questo progetto, è necessario porre particolare attenzione al setup delle simulazioni fluidodinamiche, rendendole accurate, veloci e stabili nonostante l'immissione variabile nel tempo di massa, oltre che a dover implemetare codici in parallelo per poter sfruttare le risorse HPC dati gli elevati costi computazionali. I risultati mostrano una notevole riduzione di resistenza con un conseguente risparmio di potenza totale, intesa come somma della potenza spesa dal sistema di controllo e potenza della forza di resistenza, del 40% rispetto al corpo tozzo di riferimento. Infine, investighiamo il controllo appreso dalla rete neurale e i fenomeni in gioco che permettono tale riduzione di potenza, focalizzando lo studio sull'interazione tra i getti e i vortici di scia.