Efficient neural network based state of charge estimation for electric vehicles through transfer learning and knowledge distillation

Transportation emissions currently account for 14\% of the world's total greenhouse gases and are projected to increase by two and a half times by 2030. To counter this, the sector must strive for significant emission reductions. Electric Vehicles (EVs) provide a green solution by reducing environmental impact through zero tailpipe emissions and greater energy efficiency. Lithium batteries are essential for EVs; however, accurately measuring their State of Charge (SOC) remains challenging. Advanced algorithms, including those using neural networks, improve SOC estimation, but each technique has its advantages and challenges. This work integrates Bidirectional Long Short-Term Memory (BiLSTM) neural networks with Transfer Learning (TL) and Knowledge Distillation (KD) to develop an accurate SOC estimation model that is data, resource, and time-efficient. Three distinct datasets are used (LG, CALCE, and MADISON) to develop seven pre-trained models using various combinations of these datasets, creating a diverse ensemble of models. The process begins with three distinct source datasets (LG, CALCE, and MADISON) and involves training seven pre-trained models using various combinations of these datasets, creating a diverse ensemble of models, each of which is trained BiLSTM based neural networks trained with Bayesian hyperparameter-optimization. TL is then employed, applying 17 established TL techniques to each pre-trained model, generating a total of 119 models. These models are evaluated on the POLIMI dataset using performance metrics such as Root Mean Squared Error (RMSE), Mean Squared Error (MSE), and Mean Absolute Error (MAE) to identify the most effective models. The study examines two test cases. In the first, where abundant data is available, a comparison is made between a baseline model trained from scratch and the TL models. The results show that the TL model and the model trained from scratch achieve comparable performance, highlighting the efficiency and performance benefits of TL. In the second scenario, the efficacy of TL is assessed with limited data availability, and the TL models demonstrate significantly better performance demonstrating its ability to achieve high performance even with data scarcity. Further, KD is implemented to enhance resource efficiency by transferring knowledge from the best-performing TL models to more compact student models. The performance of these student models is evaluated using the same metrics. These KD models showed slightly higher error metrics, however, they maintained reasonable accuracy while being more resource-efficient. This comprehensive evaluation underscores the advantages of TL and KD in achieving time efficiency, data efficiency, and resource efficiency for SOC estimation.

Le emissioni dei trasporti rappresentano attualmente il 14\% del totale dei gas serra a livello mondiale e si prevede che aumenteranno di due volte e mezzo entro il 2030. Per contrastare questo fenomeno, il settore deve impegnarsi per ottenere riduzioni significative delle emissioni. I veicoli elettrici (EV) forniscono una soluzione ecologica riducendo l’impatto ambientale attraverso l’azzeramento delle emissioni di scarico e una maggiore efficienza energetica. Le batterie al litio sono essenziali per i veicoli elettrici; tuttavia, misurare accuratamente lo stato di carica (SOC) rimane una sfida. Algoritmi avanzati, compresi quelli che utilizzano le reti neurali, migliorano la stima del SOC, ma ogni tecnica presenta vantaggi e sfide. Questo lavoro integra le reti neurali Bidirezionali a memoria a breve termine (BiLSTM) con l'apprendimento del trasferimento e la distillazione della conoscenza per sviluppare un modello di stima SOC accurato che sia efficiente in termini di dati, risorse e tempo. Vengono utilizzati tre set di dati distinti (LG, CALCE e MADISON) per sviluppare sette modelli pre-addestrati utilizzando varie combinazioni di questi set di dati, creando un insieme diversificato di modelli. Il processo inizia con tre distinti set di dati di origine (LG, CALCE e MADISON) e prevede l'addestramento di sette modelli pre-addestrati utilizzando varie combinazioni di questi set di dati, creando un insieme diversificato di modelli, ciascuno dei quali è addestrato. Reti neurali basate su BiLSTM addestrate con metodi bayesiani. ottimizzazione degli iperparametri. Viene quindi utilizzato il Transfer Learning (TL), applicando 17 tecniche TL consolidate a ciascun modello pre-addestrato, generando un totale di 119 modelli. Questi modelli vengono valutati sul set di dati POLIMI utilizzando parametri prestazionali come l'errore quadratico medio (RMSE), l'errore quadratico medio (MSE) e l'errore assoluto medio (MAE) per identificare i modelli più efficaci. Lo studio esamina due casi test. Nella prima, dove sono disponibili dati abbondanti, viene effettuato un confronto tra un modello di base addestrato da zero e i modelli TL. I risultati mostrano che il modello TL e il modello addestrato da zero raggiungono prestazioni comparabili, evidenziando l’efficienza e i vantaggi prestazionali del TL. Nel secondo scenario, l’efficacia del TL viene valutata con una disponibilità di dati limitata, e i modelli TL dimostrano prestazioni significativamente migliori dimostrando la sua capacità di raggiungere prestazioni elevate anche con scarsità di dati. Inoltre, la distillazione della conoscenza (KD) viene implementata per migliorare l’efficienza delle risorse trasferendo la conoscenza dai modelli TL più performanti a modelli studenteschi più compatti. Le prestazioni di questi modelli studenteschi vengono valutate utilizzando gli stessi parametri. Questi modelli KD hanno mostrato parametri di errore leggermente più elevati, tuttavia, hanno mantenuto una precisione ragionevole pur essendo più efficienti in termini di risorse. Questa valutazione completa sottolinea i vantaggi di TL e KD nel raggiungimento di efficienza in termini di tempo, dati ed efficienza delle risorse per la stima del SOC.