Experimental approach to assess the improvements of improved cook stoves (ICS) for developing countries

In developing countries, the combustion of biomass using traditional methods is the simplest way to fulfil the basic cooking needs and about 2.7 billion people rely on outdated and unsafe equipment for cooking food. The effects of combustion inside homes and the growing need of wood for inefficient stoves represent a critical issue for the development of the most of the population in these countries. Thanks to studies and researches on this issue, some devices, namely Improved Cook Stoves (ICSs), have been introduced through large dissemination programs. They are actually considered as a sort of panacea for the health, environmental and social negative consequences derived by the use of traditional devices. Our study began with a doubt raised by the activities carried on by the UNESCO Chair in Energy for Sustainable Development research group at Politecnico di Milano, regarding the real advance of these technologies and the benefits that they bring on field. For this reason, we decided to investigate the real improvements of such devices, supposed “improved” compared to the traditional ones through a comprehensive review of the scientific and grey literature based on the most recognised procedure for testing stoves: Water Boiling Test (WBT). We identified a number of errors and inaccuracies in many of the studied papers, mainly related to the statistical issues of the WBT, which prevented any kind of robust inference about the real improvements of ICSs. The specific purpose of our thesis was therefore to provide a more accurate and complete experimental approach based on WBT guidelines to assess the ICSs, and to contribute to clarify the doubts concerning the real improvements of such technologies. We resorted to a WBT-based experimental campaign aimed at evaluating the performances of two commercial ICSs and a traditional 3-stone fire stove. We proposed an extension of the number of test replicates and we performed a detailed statistical analysis of the results. This analysis allowed us to verify that eventual inferences on the performance of the two ICSs vary considerably based on the experimental and statistical accuracy. Moreover, not all the measured performance indicators show statistically significant improvements. Our experiments also showed that the testers can influence the performance of a stove and that the minimum number of tests suggested by the WBT protocol is not enough to assess a stove and declare it as “improved”. In conclusion, the results confirm how neglecting intrinsic uncertainties of tests results could lead to misinterpret and report non-comprehensive information about ICSs’ performance.

Nei paesi in via di sviluppo, la combustione di biomassa attraverso l’uso di metodi tradizionali è il modo più semplice per soddisfare i bisogni di cottura di base e circa 2.7 miliardi di persone fanno affidamento su apparecchiature obsolete e insicure. Gli effetti della combustione all’interno delle abitazioni e il crescente bisogno di legna per stufe poco efficienti rappresentano un ostacolo per lo sviluppo di gran parte della popolazione in questi paesi. Grazie a studi e ricerche su questo problema e attraverso grandi programmi di disseminazione, sono state introdotte le stufe migliorate (ICS). Queste ultime sono considerate la panacea per tutti i problemi di salute, ambientali e sociali derivanti dall’uso di metodi tradizionali. Il nostro studio è partito da un dubbio sollevato dalle attività svolte dal gruppo di ricerca UNESCO Chair in Energy for Sustainable Development del Politecnico di Milano, in merito all’effettivo avanzamento di queste tecnologie e quindi ai benefici che queste portano sul campo. Per questo motivo, abbiamo deciso di indagare sui reali miglioramenti di tali apparecchiature, presumibilmente migliorate rispetto a quelle tradizionali, attraverso una completa revisione della letteratura scientifica basata sulla procedura più riconosciuta per testare le stufe: il Water Boiling Test (WBT). Abbiamo individuato una serie di errori e inaccuratezze in molti degli articoli studiati, principalmente legati ai problemi della statistica del WBT, che impedivano qualsiasi tipo di inferenza sui reali miglioramenti delle stufe migliorate. L’obiettivo specifico della nostra tesi è stato quindi quello di fornire un più accurato e completo approccio sperimentale per la valutazione delle ICSs e di contribuire a chiarire i dubbi riguardanti i reali miglioramenti di queste tecnologie. Abbiamo fatto ricorso ad una campagna sperimentale basata sul WBT volta a valutare le prestazioni di due stufe commerciali migliorate e un 3-stone fire. Abbiamo proposto un aumento del numero dei test e abbiamo effettuato un’analisi statistica più dettagliata dei risultati. Questa analisi ci ha permesso di verificare che eventuali inferenze sulle prestazioni delle due stufe migliorate variano considerevolmente in base all’accuratezza sperimentale e statistica. Inoltre, non tutti gli indicatori di performance misurati presentano dei miglioramenti statisticamente significativi. I nostri esperimenti hanno anche mostrato che i tester possono influenzare le performance di una stufa e che il numero minimo di test suggerito dal protocollo del WBT non è sufficiente per valutare le prestazioni di una stufa e dichiararla “migliorata”. Infine, i risultati confermano come trascurare le incertezze intrinseche dei risultati dei test potrebbe portare ad interpretare erroneamente e riportare informazioni non complete sulle prestazioni delle ICSs.