End-to-end learning for wind turbine blades: from imagery data to defect repair recommendations

Abstract

(English) The European Union's (EU) reliance on external energy sources underscores the urgent need for energy security and affordability, driving the transition to renewable energy with wind power as a key renewable solution. However, wind turbine operation and maintenance still account for 30% of energy production costs, due to their prolonged exposure to harsh environmental conditions. Timely defect detection and repair are critical, as turbines must often be halted during visual inspections and repairs. Streamlining the process from inspection to decision-making is essential to reduce downtime and operational costs.

This thesis presents a comprehensive end-to-end blade assessment system designed to determine defect severity, quantify their impact on energy production, and deliver actionable repair recommendations. By enabling wind turbine owners to act proactively, this system helps minimize operational costs. The framework emphasizes efficient image transmission that preserves quality, followed by the generation of detailed blade assessments to establish a consistent and effective repair strategy.

To this end, this project proposes first segmenting images to isolate blade regions, simplifying subsequent tasks through algorithms tailored for imagery acquired under diverse conditions. These include a Blade U-Net model, which introduces dense conditional-random-field regularization to enhance segmentation accuracy, and advanced post-processing involving iterative refinement through hole-filling and noise reduction via an unsupervised random forest. Two deep discriminant analysis frameworks integrate class separability and probabilistic modeling into robust non-linear architectures to derive precise defect boundaries, handle complex textures, and improve generalization across varied inspection data. Additional contributions include a modular region-growing classifier for efficient segmentation in data-scarce conditions and diffusion-based models with dual-space augmentation to improve generalization and robustness, leading to substantial superior performance than competing techniques. Together, these segmentation methods form the foundation for automated defect detection and diagnostics.

In the second part, to address the challenge of handling large volumes of high-resolution inspection data, this work also presents a novel region-of-interest (ROI) image compression framework. Traditional methods often compromise critical defect information. The proposed framework leverages segmentation outputs to ensure high-fidelity compression in blade regions, employing lossless or high-quality lossy techniques while aggressively compressing non-relevant areas. Key innovations include multi-layer nested latent variable models for lossy coding and parallelized bits-back coding optimized for industrial-scale applications. These advancements achieve state-of-the-art performance while significantly reducing computational costs. By coupling compression with our proposed multi-task defect detection model, this approach supports timely and accurate diagnostics, ensuring minimal disruption to turbine operations.

In summary, this thesis contributes a hierarchy of low-level to high-level algorithms designed to streamline wind turbine maintenance processes. The combination of advanced segmentation and compression enables a fully automated pipeline for blade defect assessment, encompassing defect localization, classification, and repair prioritization, directly improving energy efficiency by reducing downtime, optimizing maintenance schedules, and minimizing repair costs.

(Català) La dependència de la Unió Europea (UE) a fonts d'energia externes subratlla la urgència de garantir la seguretat i assequibilitat energètica, destacant la transició cap a energies renovables com l'energia eòlica com una solució clau. No obstant això, els alts costos del manteniment de turbines eòliques a causa de la seva exposició a condicions adverses, que representen el 30% del cost de producció, limiten la seva eficiència. Les inspeccions i reparacions actuals requereixen detenir les turbines, la qual cosa incrementa el temps d'inactivitat i els costos operatius. És per això que és crucial desenvolupar solucions innovadores que permetin detectar i reparar defectes de manera primerenca.

Aquesta tesi proposa un sistema integral per a avaluar les pales de turbines eòliques, abastant des de la detecció de defectes i la seva gravetat fins a la planificació de reparacions i l'anàlisi del seu impacte en la generació d'energia. El sistema automatitza i optimitza les tasques de manteniment mitjançant tècniques avançades d'anàlisis d'imatges. En particular, se centra en la transmissió eficient d'imatges que preservin la seva qualitat i la generació d'avaluacions detallades per a dissenyar estratègies de reparació consistents i efectives.

És per això que es desenvolupen un conjunt d'algoritmes especialitzats a segmentar imatges de pales capturades sota diverses condicions ambientals, identificant amb precisió les regions d'interès i, així, simplificant les tasques posteriors de compressió i detecció de defectes. Primerament, es presenta el model Blade U-Net, que incorpora una regularització basada en camps aleatoris condicionals densos, així com un postprocessament iteratiu mitjançant l'algoritme de farciment de forats i els boscos aleatoris no supervisats. També s'implementen dos marcs d'anàlisis de discriminant profund per a millorar la separabilitat de les regions, juntament amb el modelatge probabilístic d'arquitectures no lineals per a obtenir límits precisos i robustos de les pales. Finalment, s'integren algoritmes complementaris amb un enfocament de classificació modular per creixement de regions per a condicions d'escassetat de dades i models generatius preentrenats basats en difusió amb augment de dades tant en els espais latents com en els d'imatges. Aquestes eines garanteixen una detecció robusta i generalitzable, fins i tot, per a imatges amb textures complexes i en diferents condicions d'inspecció adverses. A més, demostrem el seu rendiment significativament superior en comparació amb les tècniques existents.

La segona part de la tesi aborda la gestió eficient de grans volums de dades d'alta resolució mitjançant la compressió adaptativa. A diferència dels mètodes tradicionals, que tendeixen a sacrificar detalls crucials, el nostre enfocament aprofita la segmentació per a realitzar una compressió selectiva d'alta fidelitat a les regions d'interès, mentre comprimeix de manera més agressiva les àrees no rellevants. Entre les contribucions principals destaquen models de codificació de variables latents niades i un esquema de codificació bits-back paral·lelitzable, dissenyat específicament per a aplicacions industrials, aconseguint un rendiment d'última generació mentre es redueix substancialment el cost computacional. A més, la integració d'aquest enfocament amb el model multitasca de detecció de defectes permet realitzar diagnòstics més precisos i ràpids, minimitzant l'impacte en les operacions de les turbines i reduint la interrupció de la producció d'energia.

En conjunt, aquesta tesi presenta una jerarquia integral d'algoritmes, des de nivells baixos fins a alts, dissenyats per a agilitzar el diagnòstic i la reparació de turbines eòliques. Aquests desenvolupaments permeten automatitzar la localització, classificació i priorització de defectes en les pales, optimitzant els cronogrames de manteniment i reduint significativament el temps d'inactivitat i els costos operatius.

(Español) La dependencia de la Unión Europea (UE) a fuentes de energía externas subraya la urgencia de garantizar la seguridad y asequibilidad energética, destacando la transición hacia energías renovables como la energía eólica como una solución clave. Sin embargo, los altos costos del mantenimiento de turbinas eólicas debido a su exposición a condiciones adversas, que representan el 30% del costo de producción, limitan su eficiencia. Las inspecciones y reparaciones actuales requieren detener las turbinas, lo que incrementa el tiempo de inactividad y los costos operativos. Por ello, es crucial desarrollar soluciones innovadoras que permitan detectar y reparar defectos de forma temprana.

Esta tesis propone un sistema integral para evaluar las palas de turbinas eólicas, abarcando desde la detección de defectos y su gravedad hasta la planificación de reparaciones y el análisis de su impacto en la generación de energía. El sistema automatiza y optimiza las tareas de mantenimiento mediante técnicas avanzadas de análisis de imágenes. En particular, se centra en la transmisión eficiente de imágenes que preserven su calidad y la generación de evaluaciones detalladas para diseñar estrategias de reparación consistentes y efectivas.

Para ello, se desarrollan un conjunto de algoritmos especializados en segmentar imágenes de palas capturadas bajo diversas condiciones ambientales, identificando con precisión las regiones de interés y simplificando las tareas posteriores de compresión y detección de defectos. Primero, se presenta el modelo Blade U-Net, que incorpora una regularización basada en campos aleatorios condicionales densos, así como un posprocesamiento iterativo mediante el algoritmo de relleno de agujeros y los bosques aleatorios no supervisados. También se implementan dos marcos de análisis de discriminante profundo para mejorar la separabilidad de las regiones, junto con el modelado probabilístico de arquitecturas no lineales para obtener límites precisos y robustos de las palas. Finalmente, se integran algoritmos complementarios con un enfoque de clasificación modular por crecimiento de regiones para condiciones de escasez de datos y modelos generativos preentrenados basados en difusión con aumento de datos tanto en los espacios latentes como en los de imágenes. Estas herramientas garantizan una detección robusta y generalizable, incluso para imágenes con texturas complejas y en diferentes condiciones de inspección adversas. Además, demostramos su rendimiento significativamente superior en comparación con las técnicas existentes.

La segunda parte de la tesis aborda la gestión eficiente de grandes volúmenes de datos de alta resolución mediante la compresión adaptativa. A diferencia de los métodos tradicionales, que tienden a sacrificar detalles cruciales, nuestro enfoque aprovecha la segmentación para realizar una compresión selectiva de alta fidelidad en las regiones de interés, mientras comprime de manera más agresiva las áreas no relevantes. Entre las contribuciones principales destacan modelos de codificación de variables latentes anidadas y un esquema de codificación bits-back paralelizable, diseñado específicamente para aplicaciones industriales, alcanzando un rendimiento de última generación mientras se reduce sustancialmente el costo computacional. Además, la integración de este enfoque con el modelo multitarea de detección de defectos permite realizar diagnósticos más precisos y rápidos, minimizando el impacto en las operaciones de las turbinas y reduciendo la interrupción de la producción de energía.

En conjunto, esta tesis presenta una jerarquía integral de algoritmos, desde niveles bajos hasta altos, diseñados para agilizar el diagnóstico y la reparación de turbinas eólicas. Estos desarrollos permiten automatizar la localización, clasificación y priorización de defectos en las palas, optimizando los cronogramas de mantenimiento y reduciendo significativamente el tiempo de inactividad y los costos operativos.