Validation of the TESEO human reliability assessment technique for the analysis of aviation occurrences

The need for accurate and easy to use Human Reliability Assessment techniques has become of paramount importance in the last decades since the increasingly signi cant role that human error related occurrences have played in the aviation fi eld's recent history. The control room operator model TESEO was developed in the 1980s by G.C. Bello and V. Colombari for the Italian company ENI; despite its power plant operations origin, the technique is not as focused on its original fi eld of application as other techniques are. This peculiarity, also favored by an inherent ease of use and rapidity, allows the application of this HRA method to other fi elds, such as the aviation safety one. The FAA has already recognized the possible usefulness of this technique by citing it in its Human Factors Workbench Tools, but a proper validation for aeronautical safety occurrences has not been carried out yet. The aim of this work is to provide a pilot validation of a slightly modi ed version of the TESEO HRA method, in which selected types of occurrences - Aircraft Systems Operation, Communications and Ground Operations related events - taken from the Aviation Safety Reporting System (ASRS) database are analyzed with TESEO, its modi ed version and an already validated technique: HEART (Human Error Assessment And Reduction Technique). The results of the three methods are compared - taking HEART as a reference since it's already validated - in order to determine their correlation, the degree of precision and the general pessimism or optimism of TESEO and its modi ed version. The results showed a good correlation with the reference data and an overall higher precision of TESEO Revised wrt its "original" counterpart (which in turn showed a good precision anyway); the analysis was thus focused on the former technique. The Communications and Ground Operations categories provided encouraging results wrt all validation criteria, while the Operation of Aircraft Systems' one needs further analysis. A full scale validation, with a particular focus on the second table of TESEO, should be the next step for a thorough validation of TESEO Revised; in the mean time the method might fi nd its best application in the Event Risk Classi cation fi eld.

La necessità di disporre di Tecniche di Stima dell'Affidabilità Umana sufficientemente precise e di facile impiego è diventata pressante negli ultimi decenni a causa del sempre maggior rilievo degli errori umani nel determinare una parte rilevante delle occorrenze in campo aeronautico. Il modello di operatore TESEO fu sviluppato da G.C.Bello e V.Colombari negli anni '80 per l'ENI; nonostante ciò, questa tecnica non è così vincolata alle sue origini di tipo industriale come invece sono altre tecniche di HRA nate e confinate in ambiti molto specifici. Questa peculiarità, unita ad una semplicità d'uso e ad una discreta velocità di lavoro, consente in teoria l'applicazione di TESEO in campi diversi da quello di origine, come per esempio quello delle occorrenze in ambito aeronautico. La FAA ha già riconosciuto le potenzialità di questo metodo, includendolo nei Human Factors Workbench Tools, ma una validazione per l'analisi di occorrenze aeronautiche non è stata ancora tentata. Lo scopo del presente lavoro di tesi è di eseguire una validazione pilota di una versione modificata di TESEO (TESEO Revised), in cui occorrenze estratte dal database dell'Aviation Safety Reporting System - suddivise nelle categorie Operazioni dei Sistemi di Bordo, Comunicazioni e Operazioni di Terra - sono analizzate con TESEO, TESEO Revised ed una tecnica già validata: HEART. I risultati ottenuti sono confrontati - considerando HEART come riferimento - per stabilire il grado di correlazione, la precisione e il grado di ottimismo o pessimismo di TESEO e TESEO Revised. I risultati hanno mostrato una buona correlazione con i dati di riferimento ed una maggiore precisione di TESEO Revised rispetto a TESEO (che ha raggiunto una buona precisione a sua volta); l'analisi si è dunque concentrata sulla prima tecnica. Le categorie Comunicazioni e Operazioni di Terra hanno fornito indicazioni incoraggianti rispetto a tutti i criteri di validazione, mentre quella delle Operazioni dei Sistemi di Bordo necessita analisi ulteriori. Una validazione Full Scale, con particolare attenzione rivolta alla seconda tabella di TESEO Revised, potrebbe essere il passo successivo per una definitiva validazione della tecnica; nel frattempo questo metodo potrebbe trovare la sua collocazione migliore nel campo dell'Event Risk Classification.