3D surface shape measurement using stereoscopic camera based structured light systems

Abstract

La mesura estructurada de la llum ens permet obtenir una forma tridimensional de superfície d’un objecte amb una gran precisió. Així, troba aplicacions àmplies en aplicacions industrials. A més, projectant patrons de franja digital a l’objecte mesurat, la llum estructurada garanteix una mesura de superfície flexible. D’ altra banda, la llum estructurada també ens permet mesurar tant objectes especulars com objectes difusors. Per a la mesura d’ objectes especulars, s’ introdueix la deflectometria. Aquí, els patrons de serrells són generats per una pantalla de cristall líquid (LCD). Per a la mesura d’objectes difusors, s’introdueix la profilometria. En aquesta tècnica, els patrons de franja són projectats per un videoprojector.

En aquesta tesi, primer proposem un sistema de deflectometria de mesurament en fase estereoscòpica (SPMD), que conté dues càmeres i un LCD comercial, per complir la mesura d’ objectes especulars. En particular, mitjançant la introducció de la càmera estereoscòpica, s’elimina la ambigüitat normal d’altura-normal sense moure cap component del sistema. A continuació, proposem un algoritme de minimització d’ errors de fase, que es compleix cercant la diferència de fase mínima entre els píxels corresponents de la pantalla LCD i la càmera, per determinar simultàniament la superfície normal i l’ altura. A més, per aconseguir una minimització de fases eficient, utilitzem un mètode d’ encaix polinòmic. Finalment, s’utilitza la integració bidimensional de Fourier per reconstruir la forma de la superfície especular.

A part del mesurament de superfície especular amb deflectometria, també proposem un sistema de profilometria de projecció de serrells estereoscòpics (SFPP) per realitzar el mesurament de la forma de la superfície de l’objecte difusor. En particular, un sistema SFPP utilitza la mateixa càmera estereoscòpica que en la configuració de la deflectometria, però adopta un projector de vídeo per substituir la pantalla LCD per projectar els patrons de franja. Amb la introducció de la càmera estereoscòpica, evitem la complexa calibració del videoprojector, aconseguint així una gran flexibilitat del sistema. Per a la reconstrucció superficial, la triangulació geomètrica s’ implementa realitzant una interpolació de subpíxels 2D, a partir de la qual millorem la precisió de reconstrucció superficial.

Els esmentats dos sistemes només ens permeten mesurar la forma superficial d’ un objecte especular o d’ un difusor, però mostren insuficiències per mesurar un objecte híbrid especular-difusor. En aquest escenari, combinem tots dos sistemes per realitzar el mesurament d’objectes híbrids de difusió especular. Aquí, un sistema híbrid de deflectometria-perfilometria estereoscòpica (SDPH) conté la càmera estereoscòpica, una pantalla LCD i un projector de vídeo. En aquest cas, aquest sistema híbrid supera la inadequació de sistemes lluminosos estructurats de projecció única, ja que no només garanteix la mesura d’objectes especulars o difusors, sinó que també permet la mesura d’objectes híbrids especular-difusors. Per tant, s’ amplia encara més l’ aplicació de la mesura estructurada de la llum.

En resum, demostrem en aquesta tesi tres sistemes de llum estructurats basats en càmeres estereoscòpics per realitzar el mesurament de la forma en superfície tridimensional. Aquests sistemes estereoscòpics revelen un gran potencial, ja que són capaços de mesurar les formes superficials d’objectes especulars, objectes difusors i fins i tot d’objectes híbrids de difusió especulativa amb alta resolució. Els sistemes proposats poden ser beneficiosos en diverses aplicacions industrials, on es requereix un sistema de mesura de forma precisa de superfície amb un esquema fàcil d’ implementar.

La medición de luz estructurada nos permite obtener la forma tridimensional de la superficie de un objeto con alta precisión. Por lo tanto, encuentra amplias aplicaciones en aplicaciones industriales. Además, al proyectar patrones de franjas digitales en el objeto medido, la luz estructurada garantiza una medición de superficie flexible. Por otro lado, la luz estructurada también nos permite medir objetos especulares y objetos difusores. Para la medición de objetos especulares, se introduce la deflectometría. Aquí, los patrones marginales son generados por una pantalla de cristal líquido (LCD). Para la medición de objetos difusores, se introduce la profilometría. En esta técnica, los patrones marginales son proyectados por un video proyector.

En esta tesis, en primer lugar, proponemos un sistema de deflectometría de medición de fase estereoscópica (SPMD), que contiene dos cámaras y una pantalla LCD comercial, para cumplir con la medición del objeto especular. En particular, al introducir la cámara estereoscópica, se elimina la ambigüedad no deseada de altura normal sin mover ningún componente del sistema. Aquí, proponemos un algoritmo de minimización de error de fase, que se cumple buscando la diferencia de fase mínima entre los píxeles correspondientes de la pantalla LCD y la cámara, para determinar simultáneamente la superficie normal y la altura. Además, para lograr una minimización de fase eficiente, utilizamos un método de ajuste polinómico. Finalmente, la integración bidimensional de Fourier se utiliza para reconstruir la forma de la superficie especular.

Además de la medición de superficie especular con deflectometría, también proponemos un sistema de perfilometría de proyección de franja estereoscópica (SFPP) para lograr la medición de la forma de la superficie del objeto difusor. En particular, un sistema SFPP utiliza la misma cámara estereoscópica que en la configuración de deflectometría, pero adopta un proyector de video para reemplazar la pantalla LCD y proyectar los patrones marginales. Al presentar la cámara estereoscópica, evitamos la compleja calibración del proyector de video y, por lo tanto, se logra una gran flexibilidad del sistema. Para la reconstrucción de la superficie, la triangulación geométrica se implementa mediante la realización de una interpolación de subpíxeles 2D, desde la cual mejoramos la precisión de la reconstrucción de la superficie.

Los dos sistemas mencionados anteriormente solo nos permiten medir la forma de la superficie de un objeto especular o difusor, pero muestran insuficiencias para medir un objeto híbrido especular-difusor. Bajo este escenario, combinamos ambos sistemas para realizar la medición de objeto híbrido especular-difusor. Aquí, un sistema híbrido de deflectometría-profilometría estereoscópica (SDPH) contiene la cámara estereoscópica, un LCD y un proyector de video. En este caso, este sistema híbrido supera la insuficiencia de los sistemas de luz estructurada de proyección única, ya que no solo garantiza la medición de objetos especulares o difusores, sino que también permite la medición de objetos híbridos especulares-difusores. Por lo tanto, la aplicación de la medición de luz estructurada se amplía aún más.

En resumen, demostramos en esta tesis tres sistemas de luz estructurada basados en cámaras estereoscópicas para realizar mediciones tridimensionales de la forma de la superficie. Estos sistemas estereoscópicos revelan un gran potencial, ya que son capaces de medir las formas superficiales de objetos especulares, objetos difusores e incluso objetos híbridos de difusor especular con alta resolución. Los sistemas propuestos podrían ser beneficiosos en diversas aplicaciones industriales, donde se requiere un sistema preciso de medición de la forma de la superficie con un esquema fácil de implementar.

Structured light measurement allows us to obtain three-dimensional surface shape of an object with high accuracy. Thus, it finds extensive applications in industrial applications. Moreover, by projecting digital fringe patterns to the measured object, structured light guarantees a flexible surface measurement. On the other hand, structured light also allows us to measure both specular objects and diffuser objects. For specular object measurement, deflectometry is introduced. Here, the fringe patterns are generated by a liquid crystal display (LCD). For diffuser object measurement, profilometry is introduced. In this technique, the fringe patterns are projected by a video projector.

In this thesis, we firstly propose a stereoscopic phase measuring deflectometry (SPMD) system, which contains two cameras and a commercial LCD, to fulfill the specular object measurement. In particular, by introducing the stereoscopic camera, the undesired height-normal ambiguity is eliminated without moving any system component. Here, we propose a phase error minimization algorithm, which is fulfilled by searching the minimum phase difference between the corresponding pixels of the LCD and the camera, to simultaneously determine the surface normal and height. What is more, to accomplish an efficient phase minimization, we use a polynomial fitting method. Finally, two-dimensional Fourier integration is used to reconstruct the specular surface shape.

Apart from the specular surface measurement with deflectometry, we also propose a stereoscopic fringe projection profilometry (SFPP) system to accomplish the diffuser object surface shape measurement. In particular, an SFPP system uses the same stereoscopic camera as in the deflectometry set-up, but it adopts a video projector to replace the LCD to project the fringe patterns. By introducing the stereoscopic camera, we avoid the complex video projector calibration, and thus, a great system flexibility is achieved. For surface reconstruction, geometric triangulation is implemented by performing a 2D sub-pixel interpolation, from which we enhance the surface reconstruction accuracy.

The aforementioned two systems enable us only to measure the surface shape of either a specular or a diffuser object, but they show inadequacies to measure a specular-diffuser hybrid object. Under this scenario, we combine both systems to perform the specular-diffuser hybrid object measurement. Here, a stereoscopic deflectometry-profilometry hybrid (SDPH) system contains the stereoscopic camera, an LCD and a video projector. In this case, this hybrid system overcomes the inadequacy of single projection structured light systems, as it not only ensures to measure specular or diffuser object, but it also allows the measurement of specular-diffuser hybrid objects. Hence, the application of structured light measurement is further broadened.

In summary, we demonstrate in this thesis three stereoscopic camera based structured light systems to perform three-dimensional surface shape measurement. These stereoscopic systems reveal great potential as they are able to measure the surface shapes of specular objects, diffuser objects and even specular-diffuser hybrid objects with high resolution. The proposed systems could be beneficial in various industrial applications, where an accurate surface shape measurement system with an easy implemented scheme is required.