Development of an efficient railway inspection method using drone-based photogrammetry

This thesis proposes and validates an efficient inspection methodology for railways based on drone-acquired video and image-based 3D reconstruction. The goal is to detect static obstacles intruding into the train clearance profile (e.g., fallen trees, rocks, or encroaching vegetation) and to provide operators with geometric descriptions that support their removal. The proposed pipeline integrates photogrammetric reconstruction, a MATLAB-based rail detection algorithm using traditional machine vision techniques, a Python script to merge detections with the 3D model, and a MATLAB algorithm for processing point clouds to quantify intrusions. Unlike previous approaches, the method aligns the 3D point cloud, segments it into cross-sections, and fits a train-profile shape to automatically identify and extract intrusion points. Experimental campaigns were conducted on datasets collected in multiple locations (Marcianise, Valmadrera, Alessandria, Valserra) using different drones and cameras, including a DJI Mini 4 Pro, a Vertical Takeoff and Landing (VTOL) drone, a GoPro HERO 13, and a Workswell WIRIS Enterprise. Practical solutions were developed for issues related to model georeferencing, such as extracting GPS information from GoPro footage with ExifTool and managing VTOL onboard data. Results show that the approach reliably detects rails even under shadow conditions and identifies obstacles in quadcopter acquisitions at moderate flight altitudes (7m-24 m). VTOL long-range trials highlighted the need for sufficient spatial resolution, as higher altitudes produced models unsuitable for precise analysis. Tests indicate an approximate threshold of 10 mm/px for drone video resolution to ensure the correct operation of the pipeline.

La tesi propone e valida un metodo di ispezione ferroviaria basato su video acquisiti con droni e ricostruzione 3D da immagini. L’obiettivo è rilevare possibili ostacoli statici che invadano il profilo di ingombro del treno (ad esempio, alberi caduti, rocce o vegetazione sporgente) e fornire agli operatori descrizioni geometriche a supporto della loro rimozione. Il metodo proposto integra la ricostruzione fotogrammetrica, un algoritmo di rilevamento dei binari sviluppato in MATLAB e basato su tecniche tradizionali di visione artificiale, uno script Python per l’integrazione delle rilevazioni con il modello 3D e un algoritmo MATLAB per l’elaborazione della nuvola di punti al fine di quantificare le intrusioni. Rispetto a approcci precedenti, la nuvola di punti 3D viene allineata, segmentata in sezioni trasversali e per ognuna viene sovrapposta una sagoma del profilo di un vagone per identificare ed estrarre automaticamente i punti di intrusione degli ostacoli presenti. Le campagne sperimentali sono state condotte su dataset raccolti in diverse località (Marcianise, Valmadrera, Alessandria, Valserra) utilizzando diversi droni e camere, tra cui il DJI Mini 4 Pro, un drone Vertical Takeoff and Landing (VTOL), la GoPro HERO 13 e la Workswell WIRIS Enterprise. Inoltre, sono state sviluppate soluzioni a problematiche di georeferenziazione del modello, come l’estrazione delle informazioni GPS dai video GoPro tramite ExifTool e la gestione dei dati di bordo del VTOL. I risultati dimostrano che l’approccio proposto rileva i binari in modo affidabile anche in condizioni di ombra e individua ostacoli a quote moderate (7m-24 m). Le prove con il VTOL hanno evidenziato la necessità di una risoluzione spaziale minima, poiché le altitudini elevate hanno prodotto modelli inadatti a analisi precise. I test sperimentali indicano una soglia indicativa di circa 10 mm/px per la risoluzione dei video acquisiti da drone al fine di garantire il corretto funzionamento dell’intera procedura.