Modular adaptive region-growing classifier for wind turbine blade segmentation

Periodic automated inspection of wind turbine blade health represents the new frontier in wind farm maintenance, as even minor surface defects impact significantly aerodynamic efficiency, power output, and blade longevity. The foundation of an automated defect de- tection system is the precise recognition of wind turbine blades within images, a challenge referred to as semantic image segmentation in the field of computer vision, focusing on isolating the blade as the target class. Current state-of-the-art image segmentation algorithms rely on end-to-end learning-based pixel-dense methods to identify object boundaries. The weakness of this approach lies in the huge amount of annotated data that is required to achieve SOTA performance. The heart of this work aims at mitigating the data-reliance bottleneck by reducing the complex pixel-wise image segmentation problem to the trivial task of binary classification. How? By training a Deep Convolutional Neural Network (DCNN) model to classify regions, which are aggregates of pixels that share similar characteristics, rather than pixels. The model evaluates whether each proposed region corresponds to the blade resulting in the final blade segmentation being a mosaic of the regions classified as blade. The methodology revolves around a Modular-Adaptive Region-Growing strategy that synthesizes salient regions in an unsupervised manner. The precision and expressiveness of the identified regions stem from a novel Adaptive Thresholding method, setting thresholds based on individual image traits, and a Region Merging strategy that fuses smaller pieces into more meaningful, coherent segments. The region classification performance is boosted by RegionMix which blends regions from different classes to teach the model to predict the proportion of the new mixed-region overlapping with the blade class. This comprehensive framework allows to achieves 98.01% average Accuracy on a varie- gated test dataset beating any other method, while also showing great generalization by consistently segmenting blades across ten different wind farms.

La periodica ed automatizzata ispezione della stato di salute delle pale eoliche rappresenta la nuova frontiera nella manutenzione dei parchi eolici, poiché anche piccoli difetti superficiali hanno un impatto significativo sull'efficienza aerodinamica, sulla produzione di energia e sulla longevità delle pale. La base di un sistema automatizzato di identificazione dei difetti è il riconoscimento preciso delle pale eoliche nelle immagini, una sfida definita semantic image segmentation. I più avanzati algoritmi di image segmentation si affidano all'apprendimento end-to-end basato su metodi pixel-dense per identificare gli oggetti. La debolezza di questo approccio risiede nella grande quantità di dati richiesti per raggiungere prestazioni soddisfacenti. Il cuore di questo lavoro mira a mitigare la limitazione imposta della dipendenza dai dati riducendo il problema della segmentazione pixel-wise al semplice compito della classificazione binaria. Come? Addestrando una rete neurale a classificare regioni anziché i singoli pixel. La rete decide se ciascuna regione corrisponde alla pala, costruendo così un mosaico di regioni che delineano il risultato della segmentazione. La metodologia si basa su una strategia Modulare-Adattiva di Region-Growing che sintetizza regioni salienti in modo unsupervised. La precisione e l'espressività delle regioni derivano da una nuova tecnica di Thresholding Adattivo, che imposta i thresholds in base alle caratteristiche delle singole immagini, e una strategia di Region-Merging che combina regioni più piccole in segmenti più significativi. Le performance della rete neurale nel classificare le regioni è potenziata da RegionMix. RegionMix crea regioni miste mescolando regioni appartenenti a classi diverse ed insegna alla rete neurale a prevedere la proporzione che si sovrappone con la classe target. Questa innovativa metodologia consente di raggiungere una Accuracy media del 98,01% su un test dataset molto variegato, superando qualsiasi altro metodo, mostrando anche un'ottima generalizzazione ottenendo risultati consistenti anche quando impiegata per riconoscere pale eoliche da immagini provenienti da dieci parchi eolici ben differenti. I più avanzati algoritmi di image segmentation si affidano a metodi di apprendimento end-to-end basati su metodi pixel-dense per identificare i confini degli oggetti. La debolezza di questo approccio risiede nella grande quantità di dati annotati richiesti per raggiungere prestazioni allo stato dell’arte. Il cuore di questo lavoro mira a mitigare la limitazione imposta della dipendenza dai dati riducendo il complesso problema della segmentazione delle immagini pixel per pixel al semplice compito della classificazione binaria. Come? Addestrando una rete neurale convoluzionale profonda a classificare regioni, che sono aggregati di pixel che condividono caratteristiche simili, anziché i singoli pixel. La rete decide se ciascuna regione proposta corrisponde alla pala, costruendo così un mosaico di regioni che delineano il risultato della segmentazione. La metodologia si basa su una strategia Modulare-Adattiva di Region-Growing che sintetizza regioni salienti in modo unsupervised. La precisione e l'espressività delle regioni identificate derivano da una nuova tecnica di Thresholding Adattivo, che imposta le soglie (in inglese thresholds) in base alle caratteristiche delle singole immagini, e una strategia di Region-Merging che combina regioni più piccole in segmenti più significativi e coerenti. Le prestazioni di classificazione delle regioni della rete neurale è potenziata da RegionMix. RegionMix crea regioni miste mescolando regioni appartenenti a classi diverse ed insegna alla rete neurale a prevedere la proporzione che si sovrappone con la classe della pala, anziché semplicemente insegnargli a distinguere in maniera binaria tra sfondo e pala. Questa innovativa metodologia consente di raggiungere una Accuracy media del 98,01% su un test dataset molto variegato, superando qualsiasi altro metodo, mostrando anche un'ottima generalizzazione ottenendo risultati consistenti anche quando impiegata per riconoscere pale eoliche da immagini provenienti da dieci parchi eolici ben differenti.