Construction of a harmonized Database and training of machine learning models for off-grid demand estimation

Ensuring access to sustainable and modern energy for everyone is one of the 17 United Nations Sustainable Development Goals. To reach it, the development of electrification projects that respect involved communities’ specificities will be pivotal. Notably, to grant a reliable and affordable electricity provision without compromising the financial viability of projects, proper system sizing, which is based on accurate demand estimations, is crucial. However, the absence of historical data, coupled with the unreliability of pre-electrification surveys, makes this process particularly prone to errors. Through the historical analysis of already-electrified communities’ demand, it is possible to determine which are the key factors influencing it; results can then be extended to populations lacking access using a proxy approach based on metrics assessing the multidimensional distance between electrified and not electrified individuals. This study started from a literature review on future demand estimation for communities without electricity access, to derive a list of 77 potential drivers influencing electric appliance ownership, crucial information for demand estimation through bottom-up approaches. An extensive data collection campaign was performed by contacting players in the sector; these data were subsequently harmonized with two open-access sources to build a database. The tool contains information regarding the 77 drivers and 9 variables linked to the ownership and usage of 37 appliances, for a total of 16252 users in Sub-Saharan Africa. The database, which is open access, is intended to be used by practitioners and electrification players to give statistical solidity to their demand estimations. To show the tool’s potentialities, machine learning models, based on logistic regression, were developed to estimate the ownership of 8 key appliances, using the 77 factors as explanatory variables. The models were trained on data coming from ESMAP, the most reliable among the five sources of the database; internally validated, they reached an average accuracy of 71.66%. Validation over the other 2 sources led to a worsening in the performance that was higher for the source which deviated more from the international standards set by ESMAP surveys, thus highlighting the relevance of respecting such standards in data collection linked to electrification studies. The analysis of variables’ importance allowed to reduce the factors list from 77 to 13 elements without compromising the average accuracy. The result can assist future players in the development of short, yet reliable surveys, ensuring an accurate demand estimation while also limiting time and operational costs.

Assicurare l’accesso a un'energia sostenibile e moderna a chiunque è uno dei 17 Obiettivi di Sviluppo Sostenibile delle Nazioni Unite. Per raggiungerlo, sarà essenziale lo sviluppo di progetti di elettrificazione che rispettino le specificità delle comunità interessate. In particolare, allo scopo di garantire una fornitura di qualità ed economicamente sostenibile senza compromettere la redditività finanziaria dei progetti, risulta cruciale il corretto dimensionamento dei sistemi elettrici, il quale si basa innanzitutto su una stima affidabile della domanda. Tuttavia, l’assenza di dati storici, unita all’inaffidabilità dei questionari pre-elettrificazione, rende questo processo particolarmente suscettibile di errori. Tramite l’analisi storica dei consumi di comunità già elettrificate, è possibile individuare quali fattori li determinino; i risultati possono in seguito venire estesi ai soggetti privi di accesso tramite un approccio di prossimità, basato su una metrica che misuri la distanza, tra comunità elettrificate e no, in termini multidimensionali. Questo studio è partito da un’analisi della letteratura scientifica sul tema della stima della futura domanda elettrica di comunità prive di accesso, con l’obiettivo di ricavare una lista di 77 potenziali fattori che influenzano il possesso di apparecchi elettrici, informazione cruciale per la stima della domanda tramite approcci bottom-up. Armonizzando dataset pubblici e altri dati provenienti da un’estesa raccolta effettuata contattando gli attori del settore, è stato costruito un database contenente informazioni sui 77 fattori succitati e 9 variabili legate al possesso e all’utilizzo di 37 apparecchi elettrici, per un totale di 16252 utenti situati in Africa Sub-Sahariana. Il database, ad accesso libero, si propone come uno strumento che ricercatori e attori dell’elettrificazione possono utilizzare per dare solidità statistica alle proprie stime della domanda. A dimostrazione di ciò, sono stati sviluppati una serie di modelli di machine learning, basati sulla regressione logistica, per stimare il possesso di 8 elettrodomestici utilizzando i 77 fattori come variabili predittive. I modelli sono stati allenati su dati provenienti da ESMAP, la più autorevole tra le cinque fonti del database; validati internamente, raggiungono un’accuratezza media del 71.66%. La validazione su altre due fonti ha mostrato un deterioramento della performance, tanto maggiore quanto più la fonte si discostava dagli standard internazionali dei questionari di ESMAP, evidenziando così l’importanza del rispetto di tali standard nella raccolta dati in materia di elettrificazione. L’analisi dell’importanza delle variabili ha permesso di ridurre da 77 a 13 la lista di fattori senza compromettere l’accuratezza media. Il risultato può assistere futuri attori nella definizione di questionari brevi ma affidabili, che garantiscano una precisa stima della domanda contenendo anche i tempi e i costi operativi.