A comprehensive methodology for the alternative selection of energy technologies in rural areas

In the last few years, the number of developing cooperation projects that have been introduced all over the world has increased. Monitoring & Evaluation (M&E) upon projects has a key role in the fulfilment of these projects’ goals and it favours the improvement of future projects and aid programs. Despite the fact that the importance of M&E upon projects is globally recognized and development projects are usually designed to change outcomes (e.g. reduce poverty, improve education, or to raise incomes), project managers and policy makers often focus on the assessment of the direct input and output of projects, overlooking the project’s outcomes. The part of the M&E processes that assesses the changes on the outcomes directly caused by the project is known as impact evaluation. This thesis focuses on the impact evaluation of energy projects in rural areas and it starts from a detailed analysis of the SURE DSS method that the Department for International Development (DFID) has developed in for the same purpose. This thesis proposes an alternative methodology to the SURE DSS that takes advantage of its strengths and it improves its weaknesses. The methodology proposed allows a comprehensive evaluation of the outcomes of the projects by taking into consideration the multidisciplinary aspect and the importance of a long-term perspective. Since the contexts in which energy projects take place are very heterogeneous and each one has its own peculiarities, this thesis proposes a framework that guides the decision-maker in the selection of the most appropriate evaluation criteria for the specific context. This dissertation also offers a decision support system, based on the impact evaluation concept, for the assessment of the most suitable energy solution in rural areas so as to achieve the goals of the project. The decision support system proposed in this thesis is based on the multi-criteria method Analytic Hierarchy Processes and it allows multiple decision-makers to take part in the decision-making process. The methodology proposed in this dissertation has been tested with a real case study in order to verify its validity and its applicability. The results show that the methodology is stable and it efficiently takes into consideration the different interests and priorities expressed by each decision-maker in the selection of the most appropriate alternative.

Negli ultimi anni, il settore della cooperazione allo sviluppo ha implementato numerosi progetti in tutto il mondo al fine di ridurre la povertà e aiutare Paesi in via di sviluppo. Nonostante molti progetti di cooperazione allo sviluppo siano stati portati a termine, la situazione attuale dimostra che i problemi della povertà e dello sviluppo non sono stati risolti. Le cause dell’attuale situazione sono molte, ma un problema ricorrente dei progetti di cooperazione allo sviluppo è la difficoltà nel raggiungere i propri obiettivi. Al fine di soddisfare gli obiettivi del progetto, le operazioni di Monitoraggio e Valutazione (Monitoring & Evaluation) rivestono un ruolo fondamentale poiché forniscono informazioni molto utili per migliorare l’implementazione del progetto stesso e soprattutto per perfezionare i progetti e i programmi di cooperazione futuri. All’interno del Monitoring & Evaluation (M&E) condotto sui progetti, un ruolo chiave è ricoperto dalla valutazione dell’impatto del progetto, ossia lo studio degli effetti (diretti e indiretti, voluti e non voluti) che il progetto ha sulla comunità. Sebbene i progetti di cooperazione allo sviluppo abbiano come obiettivo generale un miglioramento a lungo termine della condizione di sviluppo di una comunità, spesso i responsabili dei progetti e i policy-maker internazionali concentrano il M&E dei progetti sugli input e gli output immediati, trascurando la valutazione dell’impatto del progetto e i suoi effetti a lungo termine. Il primo capitolo di questa tesi analizza l’importanza del M&E nei progetti di cooperazione concentrandosi sulla valutazione dell’impatto dei progetti energetici in ambito rurale. L’importanza dei progetti energetici all’interno dei programmi di cooperazione allo sviluppo è confermata dal forte legame tra energia e sviluppo e, in particolar modo, dal ruolo chiave che l’accesso all’energia riveste nelle attuali politiche di cooperazione allo sviluppo. La decisione di concentrarsi sull’ambito rurale deriva dalla situazione particolarmente critica dell’accesso all’energia in queste aree e dalla mancanza di un metodo di valutazione condiviso e in grado di adattarsi alle diverse caratteristiche di ogni contesto rurale. La valutazione dell’impatto dei progetti sulla comunità è caratterizzata dalla difficoltà nell’attribuzione della causalità (ossia nel definire la relazione tra gli “output” di breve termine e gli “outcomes” di lungo termine) e dalla multidisciplinarietà degli aspetti da considerare per una valutazione completa. Nei progetti energetici soprattutto, i metodi di valutazione spesso si limitano a considerare criteri di tipo tecnico ed economico, trascurando l’aspetto ambientale e lo sviluppo sociale. Questa tesi, al fine di considerare l’aspetto multidisciplinare e a lungo termine della valutazione dell’impatto, propone una valutazione basata sul concetto di “Sustainable Livelihood” (SL). Il concetto di SL, introdotto dal Brundtland Commission on Environmental and Development e in seguito modificato dal Department for International Development (DFID), è un tentativo di miglioramento dei comuni approcci alla riduzione della povertà che considera tutti gli aspetti che limitano, o favoriscono, lo sviluppo sostenibile di una comunità. L’approccio basato sul concetto di SL, suddivide le risorse di una comunità in cinque capitali: naturale, fisico, umano, sociale e finanziario. Il primo metodo che propone l’utilizzo dei cinque capitali come criteri di valutazione è stato proposto dal DFID e prende il nome di SURE DSS (SUstainable Rural Energy Decision Support System). Il SURE DSS è un metodo multi-criterio di supporto alle decisioni con l’obiettivo di identificare la soluzione energetica più adatta per comunità in aree rurali tramite una valutazione degli effetti di ciascun’alternativa sui cinque capitali della comunità. Questo metodo si compone di tre moduli: la stima della condizione attuale delle risorse della comunità, la valutazione dei potenziali impatti di ciascun’alternativa e la selezione dell’alternativa più adatta al contesto. Il metodo SURE DSS è stato innovativo rispetto ai precedenti metodi di supporto alle decisioni poiché ha proposto un metodo di valutazione delle alternative energetiche che considera la multidisciplinarietà degli effetti sulla comunità. Altri effetti positivi del metodo SURE DSS sono: la quantificazione dell’impatto di ciascun’alternativa sui capitali della comunità, la rappresentazione grafica dei compromessi che nascono nella selezione delle alternative, la valutazione di aspetti tecnici e non tecnici dei sistemi energetici e l’inclusione delle priorità della comunità nella procedura di valutazione. I principali difetti risultanti dall’analisi del metodo SURE DSS sono: il coinvolgimento di un solo decisore nel processo decisionale, l’assegnazione dei pesi dei criteri solo ai criteri del livello più alto della gerarchia e la presenza di un set d’indicatori che non dipende dal contesto di applicazione. Il coinvolgimento di un solo decisore rappresenta un limite poiché gli stakeholder che non prendono parte al processo decisionale si possono sentire esclusi non vedendo considerati i propri interessi e le proprie priorità. La possibilità di esprimere giudizi (attraverso l’assegnazione dei pesi) solamente rispetto ad alcuni dei criteri di valutazione, impedisce al decisore di esprimere interamente i propri interessi e le proprie priorità. La presenza d’indicatori definiti a priori del contesto di applicazione riduce l’adattabilità del modello a contesti con condizioni differenti. Nel terzo capitolo, partendo dai vantaggi e dagli svantaggi del metodo SURE DSS, è proposto un metodo alternativo per la valutazione dell’impatto. Tale metodo si compone di due parti: • Una gerarchia per la selezione dei criteri di valutazione • Un modello multi-criterio di supporto alle decisioni per la selezione dell’alternativa tecnologica più appropriata al contesto d’interesse. La gerarchia definita nella prima parte ha l’obiettivo di guidare il valutatore nella selezione dei criteri da considerare al fine di ottenere una valutazione dettagliata e completa dell’impatto del progetto sulla comunità. La gerarchia proposta si compone di quattro livelli: al culmine della gerarchia si trova l’obiettivo generale del progetto; nel secondo livello si trovano i cinque macro-temi della valutazione (criterio naturale, fisico, umano, sociale e finanziario); nel terzo livello, si trovano i sotto-criteri utili per la valutazione del corrispondente criterio del primo livello; nel quarto livello si trovano gli indicatori (quantitativi o qualitativi) rispetto ai quali ciascun’alternativa è valutata. Al fine di rendere il metodo di valutazione completo e adattabile a diversi contesti rurali, gli indicatori (ossia l’ultimo livello della gerarchia) devono essere definiti per ciascun caso in funzione del contesto e delle alternative valutate. Come esposto precedentemente, la gerarchia offerta in questa tesi si propone come una guida per la selezione dei criteri di valutazione, e in particolare degli indicatori, al fine di ottenere una valutazione dell’impatto completa e adatta al caso specifico. La seconda parte della metodologia proposta fornisce un modello di supporto alle decisioni, basato sulla valutazione dell’impatto, per la selezione dell’alternativa tecnologica più adatta al contesto. Da uno studio dei metodi decisionali disponibili, i metodi multi-criterio (Multiple Criteria Decision Method) sono risultati i migliori per quest’applicazione poiché consentono di valutare un’alternativa rispetto a più criteri che non sono massimizzabili contemporaneamente. Si distinguono quindi due categorie di metodi decisionali multi-criterio in funzione del numero di alternative che devono essere considerate: i metodi multi-obiettivo e i metodi multi-attributo. I metodi multi-obiettivo ricercano la migliore soluzione tra infinite soluzioni tramite la massimizzazione di una funzione matematica. Essi sono utilizzati quando sono ammesse soluzioni che variano in un intervallo continuo. I metodi multi-attributo invece valutano la migliore alternativa in un insieme discreto di alternative disponibili. Nel caso dei progetti energetici in aree rurali, essendo difficile definire una funzione matematica in grado di rappresentare l’impatto del progetto, devono essere utilizzati i metodi multi-attributo. All’interno dei metodi decisionali multi-criterio e multi-attributo, ipotizzando che i criteri di valutazione siano indipendenti tra loro, è stato possibile scegliere un metodo decisionale che prevede un’aggregazione lineare dei punteggi di ciascun’alternativa rispetto a ciascun criterio di valutazione. Per ottenere il punteggio finale di ogni alternativa è sufficiente moltiplicare il suo punteggio in ogni criterio per l’importanza assegnata a quel criterio e sommare questi punteggi. Tra i metodi decisionali che prevedono un’aggregazione lineare dei punteggi delle alternative è stato scelto il metodo Analytic Hierarchy Process (AHP) sviluppato dal matematico T. Saaty. Il metodo AHP richiede in ingresso i seguenti dati: • L’obiettivo della valutazione (che si trova al primo livello della gerarchia); • I criteri di valutazione e gli indicatori (che possono essere sia quantitativi sia qualitativi) distribuiti su più livelli in funzione della logica gerarchica; • Le alternative che devono essere valutate e i valori di ciascun’alternativa negli indicatori quantitativi; • Uno o più decisori che esprimono le proprie preferenze riguardo all’importanza di ciascun criterio (espresse tramite il confronto a coppie). Come altri metodi decisionali multi-criterio, il metodo AHP si può suddividere in sei fasi: 1. Scomposizione del problema e la creazione di una gerarchia di valutazione; 2. Assegnazione dei punteggi sulla base di confronti a coppie; 3. Aggregazione dei risultati parziali e il calcolo dei risultati; 4. Test della consistenza dei giudizi espressi; 5. Analisi di sensitività; 6. Discussione e analisi del risultato da parte dei diversi decisori. I principali vantaggi di questo metodo sono: la disposizione dei criteri di valutazione in una struttura gerarchica e l’espressione delle preferenze tramite confronti a coppie. La struttura gerarchica dei criteri di valutazione consente al decisore di aver ben chiara la relazione tra i diversi criteri quando egli esprime le proprie preferenze mentre i confronti a coppie facilitano l’espressione delle preferenze poiché richiedono il confronto di due sole alternative (o criteri) alla volta. Nei confronti a coppie, le preferenze sono espresse in una scala crescente da 1 a 9, dove 1 indica che le due alternative (o criteri) hanno la medesima importanza e il valore 9 indica che la prima alternativa (o criterio) risulta estremamente più importante della seconda. Nonostante presenti alcuni limiti e punti di debolezza, il metodo AHP appare il più adatto per l’utilizzo nel contesto d’interesse di questo lavoro. Grazie alla definizione di una gerarchia completa per la valutazione dell’impatto dei progetti energetici in ambito rurale e l’utilizzo dell’AHP, la metodologia proposta in questa tesi ha introdotto alcuni vantaggi rispetto al modello SURE DSS. In particolare, la gerarchia definita nella sezione 3.1: • Guida il decisore nella selezione dei criteri più appropriati per il caso specifico, evitando che aspetti fondamentali per la valutazione dell’impatto del progetto siano omessi; • Consente l’applicazione del metodo proposto a progetti energetici in qualsiasi contesto rurale, grazie alla selezione degli indicatori in funzione del caso specifico. L’utilizzo del metodo AHP ha introdotto i seguenti miglioramenti: • Più decisori possono partecipare al processo decisionale, favorendo lo sviluppo di una soluzione condivisa; • I decisori possono esprimere le proprie preferenze a tutti i livelli della gerarchia; • L’espressione delle priorità e delle preferenze di ciascun decisore è semplificata dall’introduzione dei confronti a coppie; • Grazie ai vettori priorità di ciascun criterio di valutazione è possibile per quale criterio un’alternativa è migliore (o peggiore) di un'altra. Nel capitolo 4 la metodologia proposta in questo lavoro è applicata a un caso studio con l’obiettivo di selezionare l’alternativa tecnologica più appropriata per il raggiungimento degli obiettivi del progetto valutando l’impatto di ciascun’alternativa sulla comunità. Il progetto che è stato selezionato come caso studio è stato sviluppato dall’organizzazione non-governativa italiana LVIA come risposta al programma “ACP-EC Energy Facility” della Comunità Europea. Il contesto di applicazione di questo progetto sono alcuni distretti rurali dell’Etiopia. Il progetto affronta il problema dell’accesso all’energia nell’ambito rurale promuovendo l’implementazione d’impianti di piccola taglia per la produzione di energia da fonti rinnovabili. L’obiettivo principale del progetto è il miglioramento dell’accesso all’energia della popolazione nelle comunità rurali. Da uno studio di fattibilità condotto da LVIA risulta che le soluzioni tecnologiche implementabili sono due: impianti domestici per la produzione di biogas e impianti idroelettrici di piccola taglia. La metodologia proposta in questa tesi è stata applicata a questo caso studio per valutare quattro alternative: la prima alternativa (NO PROJECT) considera la situazione in cui il progetto non viene implementato ed è utile come termine di paragone per le atre alternative; la seconda alternativa (HP) considera l’implementazione di impianti per la produzione di energia idroelettrica; la terza alternativa (BG) prevede l’installazione di impianti domestici per la produzione di biogas; la quarta alternativa (HP+BG) prevede l’installazione sia di impianti idroelettrici che di impianti per la produzione di biogas. Al fine di valutare l’impatto di ciascun’alternativa sulla comunità, partendo dalla gerarchia definita nella sezione 3.1 sono stati selezionati i criteri di valutazione e gli indicatori più appropriati per il caso studio. In seguito, sono stati ipotizzati quattro decisori ed è stata simulata l’espressione delle preferenze tramite i confronti a coppie, considerando gli interessi e le priorità di ciascun decisore. I risultati ottenuti da ciascun decisore sono stati confrontati e analizzati in dettaglio per evidenziare in che modo gli interessi e le priorità di ciascun decisore hanno influenzato il risultato finale. Il modello è stato implementato in Microsoft Excel e sono state costruite delle rappresentazioni grafiche circa il contributo di ciascun criterio rispetto al risultato finale. La correttezza del modello implementato è stata validata con l’ausilio del software Super Decision. In seguito è stata condotta un’analisi di sensitività del modello al fine di valutarne la stabilità. In conclusione, l’applicazione a un caso reale del metodo proposto mostra come un approccio multi-criterio basato sulla valutazione dell’impatto permetta di scegliere l’alternativa tecnologica che meglio contribuisce al soddisfacimento dei bisogni locali e allo sviluppo della comunità. Questo modello inoltre rappresenta una base per lo sviluppo di una metodologia di valutazione ex-post dell’impatto dei progetti energetici di cooperazione allo sviluppo.