Application of an AI-based NLP model to ground safety reports for the analysis and classification of runway incursion events

The air transport sector is characterized by a high operational complexity and by a particularly critical level of sensitivity with regard to safety aspects. In addition, European traffic forecasts for the next 20–25 years indicate a doubling compared to pre-pandemic levels, and a growth of such magnitude inevitably entails an increase in the potential risk of events and incidents, making a continuous improvement of safety analysis and management processes necessary. In this context, the present thesis work aims to develop an automatic system for the analysis and classification of airport Ground Safety Reports, with particular reference to Runway Incursion event, which is the most critical safety-related event inside an airport. The objective is to demonstrate the technical feasibility of applying, within the field of Natural Language Processing, artificial intelligence models based on the Transformer architecture, in order to automate a process that is currently performed manually by expert analysts, reducing the time, costs, and subjective variability associated with this type of analysis. The proposed system uses an encoder-only model of the E5 family, integrated with lexical rules and decision thresholds, to automatically extract from the narratives of the reports the main information through the use of embeddings, and to classify it, through a semantic similarity comparison, with labels defining the type of event, the causes, the consequences, and the severity. The results obtained in the present thesis work showed a good consistency with the manual classification logic, particularly for the recognition of the event and the main classes of causes and consequences, confirming the effectiveness of the proposed approach in reproducing the human analytical logic. The main remaining critical issues concern the limited specificity of the labels and the absence of an already labelled dataset for the validation of the results.

Il settore del trasporto aereo è caratterizzato da un’elevata complessità operativa e da un livello di sensibilità particolarmente critico per quanto riguarda gli aspetti di safety. A questo si aggiunge che le previsioni europee di traffico per i prossimi 20-25 anni indicano un raddoppio rispetto ai livelli pre-pandemia, e una crescita di tale portata comporta inevitabilmente un incremento del rischio potenziale di eventi e incidenti, rendendo necessario un miglioramento continuo dei processi di analisi e gestione della sicurezza. In questo contesto si colloca il presente lavoro di tesi, che ha lo scopo di sviluppare un sistema automatico per l’analisi e la classificazione dei Ground Safety Reports aeroportuali, con particolare riferimento all’evento di Runway Incursion, che è in assoluto il più critico degli eventi correlati alla safety in un aeroporto. L’obiettivo è di dimostrare la fattibilità tecnica dell’applicazione, nell’ambito del Natural Language Processing, di modelli di intelligenza artificiale basati sull’architettura Transformer, per automatizzare un processo che oggi viene svolto manualmente da analisti esperti, riducendo tempi, costi e variabilità soggettiva che deriva da questo tipo di analisi. Il sistema proposto utilizza un modello encoder-only della famiglia E5, integrato con regole lessicali e soglie decisionali, per estrarre automaticamente dalle narrative dei report le informazioni principali attraverso l’uso di embedding, e per classificarle, attraverso un confronto di similarità semantica, con etichette che definiscono la tipologia di evento, le cause, le conseguenze e la severità. I risultati ottenuti dal presente lavoro di tesi hanno mostrato una buona coerenza con la logica di classificazione manuale, in particolare per il riconoscimento dell’evento e delle principali classi di cause e conseguenze, confermando l’efficacia dell’approccio proposto nel riprodurre la logica di analisi umana. Le principali criticità che permangono riguardano la specificità limitata delle etichette e l’assenza di un dataset già etichettato per la validazione dei risultati.