The surface defect identification problem in the industry: a novel approach with semantic segmentation and generative adversarial networks

Abstract

(English) Surface inspection of coated surfaces in the automotive industry, traditionally has been a manual process in charge of keen eye operators in charge of inspecting the whole car body. However, as might be deducted, manual inspections often lack repetitiveness and reliability, very much desired in a such a strict sector. Computer vision tackled this problem with the first automated defect detection systems, pinpointing the defects in the car body and their size. Nevertheless, as these systems are constrained to just detection, the operator is still in charge of properly labelling the defects to rework them correctly. Additionally, there is a lack of traceability between the process and the defects themselves, taking longer to identify the root causes of faulty paint shop facilities.

In this thesis, we address the multidisciplinary problem of defect identification in specular surfaces, with two main research lines. In the first one, we developed a novel illumination approach based on indirect diffuse lighting, in contrast with the conventional specular reflection. Together with a high resolution camera, we demonstrated an important improvement in terms of defect recognition with respect to the existing defect detection systems. These results are assessed with specialized auditors from the SEAT Martorell factory.

The second research line, oriented to computer vision, explore the possibilities of implementing a deep learning solution for industrial defect identification. We developed a fast and reliable context aggregation model, featuring dilated convolutions and residual connections between opposite layers. This model is then trained following a loss leverage between classification and segmentation, for a smoother training procedure. Additionally, in order to cope the frequent class imbalances in the industrial datasets, we developed a guided-crop image augmentation strategy, based on cropping real defect randomly into non-defective images to generate synthetic new samples. The results state that the combination of this model with this augmentation strategy is able to outperform well-known segmentation models.

Eventually, for data scarcity situations, we resorted to image synthesis methods to generate new fake samples. Models like Pix2pix have proven to be able to generate close to real im- ages, helping the segmentation model to converge faster than with the previous guided-crop image augmentation technique. Later, this generative method will be surpassed by a more sophisticated one, which features spatially-adaptive normalization layers that help to synthe- size images even without an encoder. Overall, it demonstrated good capabilities in multiple industrial datasets.

(Català) L'inspecció superficial de les superfícies recobertes a la indústria automobilística, tradicionalment ha estat un procés manual a càrrec d'operadors amb ull avesat, responsables d'inspeccionar tot el cos del cotxe. No obstant això, com es pot deduir, les inspeccions manuals sovint manquen de repetitivitat i fiabilitat, molt desitjades en un sector tan estricte. La visió per ordinador ha abordat aquest problema amb els primers sistemes automatitzats de detecció de defectes, assenyalant els defectes en el cos del cotxe i la seva mida. Tanmateix, ja que aquests sistemes estan limitats només a la detecció, l'operador encara és responsable d'etiquetar adequadament els defectes per a la seva posterior reparació. A més, hi ha una manca de traçabilitat entre el procés i els propis defectes, el que retarda la identificació de les causes arrel de les instal·lacions defectuoses del taller de pintura.

En aquesta tesi, abordem el problema multidisciplinari de la identificació de defectes en superfícies especulars, amb dues línies de recerca principals. En la primera, hem desenvolupat un nou enfocament d'il·luminació basat en lallum difusa indirecta, en contrast amb la reflexió especular convencional. Juntament amb una càmera d'alta resolució, hem demostrat una millora significativa en la identificació de defectes, en comparació amb els sistemes existents. Aquests resultats han estat avaluats amb auditors especialitzats de la fàbrica de SEAT Martorell.

La segona línia de recerca, orientada a la visió per ordinador, explora les possibilitats d'implementar una solució d'aprenentatge profund per a la identificació de defectes industrials. Hem desenvolupat un model ràpid i fiable d'agregació de context, que presenta convolucions dilatades i connexions residuals entre capes oposades. Aquest model es complementa seguint una combinació de funcions de cost entre classificació i segmentació, per a un entrenament més adequat. A més, per fer front a les freqüents desigualtats de classes en els conjunts de dades industrials, hem desenvolupat una estratègia d'augmentació d'imatges amb un retallat guiat, basada en retallar defectes reals aleatòriament a imatges no defectuoses, per generar noves mostres sintètiques. Els resultats indiquen que la combinació d'aquest model amb aquesta estratègia d'augmentació supera models de segmentació ben coneguts.

Finalment, en situacions de manca de dades, hem recorregut a mètodes de síntesi d'imatges per generar noves mostres falses. Models com Pix2pix han demostrat ser capaços de generar imatges gairebé reals, ajudant al model de segmentació a convergir més ràpidament que amb la tècnica d'augmentació d'imatges amb guia de retallada anterior. Més endavant, aquest mètode generatiu serà superat per un de més sofisticat, que incorpora capes de normalització adaptatives espacialment i ajuda a sintetitzar imatges fins i tot sense un codificador. En general, hem demostrat bones capacitats en múltiples conjunts de dades industrials.

(Español) La inspección superficial de las superficies pintadas en la industria automotriz, tradicionalmente ha sido un proceso manual a cargo de operadores con ojo agudo, responsables de inspeccionar todo el cuerpo del coche. Sin embargo, como se puede deducir, las inspecciones manuales a menudo carecen de repetitividad y fiabilidad, aspectos muy deseados en un sector tan exigente. La visión por computador ha abordado este problema con los primeros sistemas automatizados de detección de defectos, señalando los defectos en la carrocería y su tamaño. Sin embargo, dado que estos sistemas están limitados solo a la detección, el operador aún es responsable de identificar adecuadamente los defectos para su posterior reparación. Además, hay una falta de trazabilidad entre el proceso y los propios defectos, lo que retrasa la identificación de las causas raíz de las instalaciones defectuosas del taller de pintura.

En esta tesis, abordamos el problema multidisciplinario de la identificación de defectos en superficies especulares, con dos líneas de investigación principales. En la primera, hemos desarrollado un nuevo enfoque de iluminación basado en la luz difusa indirecta, en contraste con la reflexión especular convencional. Junto con una cámara de alta resolución, hemos demostrado una mejora significativa en la identificación de defectos, en comparación con los sistemas existentes. Estos resultados han sido evaluados con auditores especializados de la fábrica de SEAT Martorell.

La segunda línea de investigación, orientada a la visión por computadora, explora las posibilidades de implementar una solución de aprendizaje profundo para la identificación de defectos industriales. Hemos desarrollado un modelo rápido y fiable de agregación de contexto, que presenta convoluciones dilatadas y conexiones residuales entre capas opuestas. Este modelo se entrena siguiendo una combinación de funciones de coste entre clasificación y segmentación, para un entrenamiento más progresivo. Además, para hacer frente a las frecuentes desigualdades de clases en los conjuntos de datos industriales, hemos desarrollado una estrategia de aumento de imágenes con recorte guiado, basada en recortar defectos reales al azar en imágenes no defectuosas para generar nuevas muestras sintéticas. Los resultados indican que la combinación de este modelo con esta estrategia de aumentación supera a modelos de segmentación consolidados.

Finalmente, en situaciones de escasez de datos, hemos recurrido a métodos de síntesis de imágenes para generar nuevas muestras artificiales. Modelos como Pix2pix han demostrado ser capaces de generar imágenes casi reales, ayudando al modelo de segmentación a converger más rápidamente que con la técnica anterior de aumento de imágenes con recorte guiado. Más adelante, este método generativo será superado por uno más sofisticado, que incorpora capas de normalización adaptativas espacialmente y ayuda a sintetizar imágenes incluso sin un codificador. En general, hemos demostrado buenas capacidades en múltiples conjuntos de datos industriales.