Aging-aware fast charging of lithium-ion batteries with deep reinforcement learning

Lithium-ion battery rapid charging is increasingly essential for portable and electric-mobility applications, yet it often accelerates degradation and reduces lifespan, limiting their widespread adoption. Standard constant current–constant voltage (CC–CV) protocols can violate safety constraints: at low temperatures, the critical anode potential (10mV) is frequently breached, while at high temperatures, thermal thresholds (35°C) are exceeded, increasing the risk of lithium plating and thermal runaway. To address these challenges, this thesis introduces three novel charging classes: CC–AP–CV, CC–CT–CV, and CC–CT–AP–CV, extending CC–CV with real-time control of anode potential (AP) and temperature (CT). An offline reinforcement learning (RL) agent (Decision Mamba) is used within a multi-constraint control framework to optimize high-current charging while minimizing degradation. The RL agent observes cell voltage, current, and temperature to implicitly manage both observable and hidden aging mechanisms through a physics-based battery model, operating in real-time closed loop on embedded hardware to dynamically modulate the charging current and balance battery longevity and performance. The proposed method was rigorously validated through extensive simulation campaigns, generating over 219,000 trajectories across a wide range of initial states of charge and temperatures. Compared to the standard CC–CV protocol, agent-enabled protocols achieved a significant reduction in key degradation drivers. In the degradation-limited scenario, the time spent below the critical 10 mV anode potential was reduced by over 85%, necessarily led to longer charging times, with the duration increasing from ≈1600s in unconstrained cases to ≈3000s when enforcing the degradation limit. In the thermal-limited regime, excursions above 35°C were nearly eliminated, while charging time remained comparable to CC–CV. Results were confirmed through simulation and hardware-in-the-loop tests, confirming close tracking of optimal current profiles and robustness against process variability. Future work will focus on comprehensive experimental validation and integration into real-world Battery Management Systems, with the aim of enabling safe, reliable, and high-performance fast charging.

La ricarica rapida delle batterie agli ioni di litio è sempre più essenziale per le applicazioni portatili e di mobilità elettrica, ma spesso accelera la degradazione e riduce la durata, limitandone la diffusione. I protocolli convenzionali a corrente costante–tensione costante (CC–CV) possono violare i vincoli di sicurezza: a basse temperature viene frequentemente superato il potenziale critico dell’anodo (10mV), mentre ad alte temperature vengono superate le soglie termiche (35°C), aumentando il rischio di placcatura di litio e runaway termico. Per affrontare queste criticità, questa tesi introduce tre nuove classi di ricarica: CC–AP–CV, CC–CT–CV e CC–CT–AP–CV, che estendono il CC–CV con il controllo in tempo reale del potenziale dell’anodo (AP) e della temperatura (CT). Un agente di reinforcement learning (RL) offline (Decision Mamba) viene utilizzato in un framework di controllo multi-vincolo per ottimizzare la ricarica ad alta corrente minimizzando la degradazione. L’agente RL osserva tensione, corrente e temperatura della cella per gestire in modo implicito sia i meccanismi di invecchiamento osservabili che quelli nascosti tramite un modello fisico della batteria, operando in closed loop in tempo reale per modulare dinamicamente la corrente di carica e bilanciare durata e prestazioni della batteria. Il metodo proposto è stato validato tramite campagne di simulazione, generando oltre 219.000 traiettorie su un’ampia gamma di stati iniziali di carica e temperatura. Rispetto al protocollo CC–CV standard, le strategie guidate dall’agente hanno ottenuto una significativa riduzione dei principali fattori di degradazione. Nel primo regime, il tempo trascorso sotto la soglia critica di 10 mV dell’anodo è stato ridotto di oltre l’85%, con un aumento necessario del tempo di carica da ≈1600 s a ≈3000 s. Nel regime limitato termicamente, le escursioni sopra i 35°C sono state quasi completamente eliminate, mantenendo tempi di ricarica comparabili al CC–CV. I risultati sono stati confermati tramite simulazioni e test sperimentali, dimostrando dei profili di corrente ottimali e adattabilità al processo. I futuri sviluppi saranno orientati alla validazione sperimentale e all’integrazione nei Battery Management Systems reali, con l’obiettivo di abilitare una ricarica rapida sicura, affidabile.