Open loop planning for Formula 1 race strategy identification

Formula 1(F1) is one of the most competitive categories of motorsport racing, in which single-seater, high-performance cars compete around a closed circuit. In F1 events, participating race cars have to complete a defined number of laps around a closed circuit. The goal for a driver is to finish each race in the best possible placement consistently. In addition to driver skills and car performance, the result in F1 competitions is often also determined by the tire strategy adopted by the team. For this reason, Formula 1 teams invest considerable resources in race outcome simulation and prediction to supply their race engineers with fast predictions of most likely events. In this work, we aim to provide an automated way of identifying tire strategies for F1 races by considering the problem of deciding when to perform a pit-stop and which compound to use as a sequential decision-making problem. In order to provide recommendations in a reasonable time, we, therefore, investigate the application of anytime online planning algorithms to tackle this problem. To cope with the stochastic and continuous nature of the problem, we propose an agent based on an open-loop approach combining both Monte Carlo sampling and a Temporal Difference backup operator. To evaluate the proposed approach, we design a planning environment able to provide a replica of past F1 races, which we base on a lap time simulator. To this end, we discuss the feasibility of designing and implementing a regression-based lap time simulator, using publicly available data of past races. Finally, exploiting the availability of a fairly complete racing simulator, which we modify to be consistent with a planning application, we conduct a thorough evaluation of the proposed planner, as well as various anytime planners from the MCTS literature on a sample of races belonging to the "Turbo Hybrid era" of F1.

La Formula 1 è una delle categorie più competitive nel motorsport, in cui veicoli monoposto ad altissima performance competono su circuiti chiusi. Durante gli eventi di F1, le monoposto devono completare un ammontare di giri attorno ad un circuito nel minor tempo possibile. Alla conclusione dell'evento, l'ordine di arrivo viene utilizzato per assegnare punti a ciascuno dei piloti classificati nelle prime dieci posizioni. Pertanto, l'obiettivo per ogni pilota è quello di concludere la gara con il miglior piazzamento possibile. Il risultato delle gare di F1 non è determinato solo dall'abilità dei piloti e dalla performance delle monoposto, ma anche dalla strategia di gara che viene impiegata dalla squadra. La strategia di gara è costituita dall'ordine delle mescole che vengono montate su una monoposto durante la gara, nonché dal giro a cui vengono montate. La sostituzione delle gomme, chiamata pit-stop, è obbligatoria e deve avvenire almeno una volta per ogni pilota durante la gara. Montare la mescola giusta al momento giusto può permettere di guadagnare un vantaggio significativo sugli avversari o, viceversa, se viene adottata una strategia sbagliata, il tempo perso rispetto ai piloti avversari può essere considerevole. Per questo motivo, le squadre di F1 investono ingenti risorse per simulare le situazioni di gara e ottenere predizioni dei risultati più probabili, in modo da poterle fornire ai propri strateghi nel più breve tempo possibile. Gli strateghi devono spesso reagire a mosse degli avversari e situazioni di gara inaspettate, pertanto il processo di decisione può rivelarsi frenetico e la necessità di prendere decisioni in breve tempo può impedire al gruppo di strategia di considerare tutte le opzioni, o addirittura indurlo all'errore. Considerando i fattori appena citati, crediamo che l'utilizzo di uno strumento per il supporto alle decisioni in grado di fornire suggerimenti sulla strategia di gara molto velocemente possa essere utile a migliorare la qualità e la competitività delle strategie di gara utilizzate dalle squadre. L'obiettivo del nostro lavoro è quindi quello di progettare ed implementare un agente autonomo in grado di identificare le strategie di gara per la F1, considerando il problema della decisione se effettuare un pit-stop e quali gomme montare come un problema di decisione sequenziale. Per offrire raccomandazioni in un tempo ragionevole, concentriamo la nostra ricerca sull'applicazione di algoritmi anytime di planning online per affrontare il problema. Per gestire la natura stocastica e continua del problema, proponiamo un agente basato su un approccio open-loop che combini sia il campionamento Monte Carlo che un operatore di backup di tipo Temporal Difference. Il nostro approccio innovativo si basa sulla modifica dell'algoritmo di MCTS UCT, sfruttando l'operatore di update di Q-Learning al posto dell'update Monte Carlo al fine di ridurre la varianza nella stima della funzione di valore per le coppie stato-azione, che, nel problema di identificazione delle strategie di gara, rappresenta una difficoltà significativa a causa della alta stocasticità del problema e dell'asimmetria nelle ricompense cumulative per le azioni. Inoltre, per ridurre la difficoltà nel modellare lo scenario multi-agente, consideriamo uno scenario a singolo agente in cui i piloti avversari siano controllati dall'ambiente di pianificazione e seguano strategie prefissate, ottenute da articoli di opinione sportiva. Per effettuare una valutazione del nostro approccio utilizziamo un ambiente di planning di nostra progettazione, basato su un simulatore di tempi sul giro ed in grado di offrire una replica di gare F1 avvenute negli anni passati. Analizziamo pertanto la fattibilità di progettazione e realizzazione di un simulatore dei tempi basato su regressione effettuata su dati pubblicamente disponibili delle gare passate, osservandone le criticità. Infine, sfruttando la disponibilità di un simulatore di gara probabilistico e modificandone il comportamento per essere consistente con la nostra applicazione, conduciamo un’attenta valutazione dell’algoritmo proposto, insieme a vari altri planner anytime presenti nella letteratura in ambito MCTS, su di un campione di gare appartenenti all’"era turbo-ibrida" della F1, mostrando che il nostro algoritmo è in grado di superare nella maggior parte delle gare considerate la performance di baseline basate su strategie reali e metodi automatici.