Automated control strategy for the transient response of a turbocharged spark ignition engine using Deep Reinforcement Learning

This work aims to integrate Deep Reinforcement Learning in the calibration development process to derive control strategies for the transient operations of a turbocharged spark ignition engine. An agent learns to perform the control task through repeated trial-and-error interactions with a stochastic environment in order to maximize the reward for the actions performed. This enables reliable and updated predictions of the system without relying on complete engine characterizations or direct human intervention. The simulation is performed in a virtualized closed-loop framework. A simplified engine model, implemented in GT-Suite and representing the environment, communicates selected states to the agent through a MATLAB/Simulink interface. The agent elaborates the information based on the proposed learning algorithm and produces a sequence of actions, represented by the coordinate adjustment of throttle valve position and effective wastegate diameter. The goal of the training process is to regulate and improve the agent’s strategy to reproduce the engine torque maneuvers with the least deviation from a reference torque profile. By performing simultaneous parallel computations, the results obtained are able to assess the effectiveness of the approach and achieve good control performances with relatively high precision and in a reduced amount of time. At the same time, some tracking disparity in the torque profiles highlights the potential for further improvements, to finally provide a powerful tool capable of solving complex control problems in a wide range of real-world driving scenarios.

Questo lavoro si propone di integrare il Deep Reinforcement Learning (Tecnica di Apprendimento per Rinforzo) nel processo di sviluppo dei moderni sistemi di calibrazione, con l’obiettivo di ricavare strategie di controllo ottimizzate per il funzionamento transitorio di un motore turbo ad accensione comandata. Un agente impara a svolgere l’attività di controllo tramite ripetute interazioni, eseguite per tentativi ed errori, con un ambiente dinamico e aleatorio, al fine di massimizzare la ricompensa per le azioni intraprese. Ciò consente di ottenere previsioni affidabili ed aggiornate del sistema, senza la necessità di caratterizzare completamente il motore o di ricorrere all’intervento umano diretto. La simulazione viene eseguita in un contesto virtualizzato, con uno schema ad anello chiuso. Un modello di motore semplificato, implementato in GT-Suite e che costituisce l’ambiente, comunica delle osservazioni all’agente attraverso un’interfaccia MATLAB/Simulink. L’agente elabora le informazioni sulla base dell’algoritmo di apprendimento proposto e produce una serie di azioni, corrispondenti alle opportune regolazioni della posizione della valvola a farfalla e del diametro effettivo della valvola wastegate. L’obiettivo del processo di addestramento è migliorare la strategia dell’agente, al fine di riprodurre l’andamento della coppia del motore con la minima deviazione possibile dal profilo di riferimento. Eseguendo calcoli simultanei in parallelo, i risultati così conseguiti sono in grado di verificare la validità dell’approccio e di ottenere buone prestazioni di controllo con una precisione piuttosto elevata ed in tempi ridotti. Allo stesso tempo, una certa discrepanza nei profili della coppia evidenzia la possibilità di ulteriori miglioramenti, al fine di fornire un potente strumento in grado di risolvere problemi di controllo complessi, in un’ampia gamma di scenari di guida reali.