Automated color correction for colorimetric applications using barcodes

Abstract

Color-based sensor devices often offer qualitative solutions, where a material change its color from one color to another, and this is change is observed by a user who performs a manual reading. These materials change their color in response to changes in a certain physical or chemical magnitude. Nowadays, we can find colorimetric indicators with several sensing targets, such as: temperature, humidity, environmental gases, etc. The common approach to quantize these sensors is to place ad hoc electronic components, e.g., a reader device.

With the rise of smartphone technology, the possibility to automatically acquire a digital image of those sensors and then compute a quantitative measure is near. By leveraging this measuring process to the smartphones, we avoid the use of ad hoc electronic components, thus reducing colorimetric application cost. However, there exists a challenge on how-to acquire the images of the colorimetric applications and how-to do it consistently, with the disparity of external factors affecting the measure, such as ambient light conditions or different camera modules.

In this thesis, we tackle the challenges to digitize and quantize colorimetric applications, such as colorimetric indicators. We make a statement to use 2D barcodes, well-known computer vision patterns, as the base technology to overcome those challenges. We focus on four main challenges: (I) to capture barcodes on top of real-world challenging surfaces (bottles, food packages, etc.), which are the usual surface where colorimetric indicators are placed; (II) to define a new 2D barcode to embed colorimetric features in a back-compatible fashion; (III) to achieve image consistency when capturing images with smartphones by reviewing existent methods and proposing a new color correction method, based upon thin-plate splines mappings; and (IV) to demonstrate a specific application use case applied to a colorimetric indicator for sensing CO2 in the range of modified atmosphere packaging, MAP, one of the common food-packaging standards.

Els dispositius de sensat basats en color, normalment ofereixen solucions qualitatives, en aquestes solucions un material canvia el seu color a un altre color, i aquest canvi de color és observat per un usuari que fa una mesura manual. Aquests materials canvien de color en resposta a un canvi en una magnitud física o química. Avui en dia, podem trobar indicadors colorimètrics que amb diferents objectius, per exemple: temperatura, humitat, gasos ambientals, etc. L'opció més comuna per quantitzar aquests sensors és l'ús d'electrònica addicional, és a dir, un lector.

Amb l'augment de la tecnologia dels telèfons intel·ligents, la possibilitat d'automatitzar l'adquisició d'imatges digitals d'aquests sensors i després computar una mesura quantitativa és a prop. Desplaçant aquest procés de mesura als telèfons mòbils, evitem l'ús d'aquesta electrònica addicional, i així, es redueix el cost de l'aplicació colorimètrica. Tanmateix, existeixen reptes sobre com adquirir les imatges de les aplicacions colorimètriques i de com fer-ho de forma consistent, a causa de la disparitat de factors externs que afecten la mesura, com per exemple la llum ambient or les diferents càmeres utilitzades.

En aquesta tesi, encarem els reptes de digitalitzar i quantitzar aplicacions colorimètriques, com els indicadors colorimètrics. Fem una proposició per utilitzar codis de barres en dues dimensions, que són coneguts patrons de visió per computador, com a base de la nostra tecnologia per superar aquests reptes. Ens focalitzem en quatre reptes principals: (I) capturar codis de barres sobre de superfícies del món real (ampolles, safates de menjar, etc.), que són les superfícies on usualment aquests indicadors colorimètrics estan situats; (II) definir un nou codi de barres en dues dimensions per encastar elements colorimètrics de forma retro-compatible; (III) aconseguir consistència en la captura d'imatges quan es capturen amb telèfons mòbils, revisant mètodes de correcció de color existents i proposant un nou mètode basat en transformacions geomètriques que utilitzen splines; i (IV) demostrar l'ús de la tecnologia en un cas específic aplicat a un indicador colorimètric per detectar CO2 en el rang per envasos amb atmosfera modificada, MAP, un dels estàndards en envasos de menjar.