Analysis of background textures in banknotes and identity documents for counterfeit detection

Abstract

Les falsificacions i copies pirata son formes de rob que no han parat de créixer en el darrers anys. Una falsificació es una reproducció no autoritzada d’un objecte autèntic/ genuí. Bitllets i documents d’identitat son dos objectes comuns de falsificació. El primer es usat per grups criminals organitzats per finançar una gran varietat d’activitats il·legals o inclús per desestabilitzar països degut a l’efecte de la inflació. Generalment, per poder operar un negoci il·lícit, els falsificadors creen companyies i comptes bancaris usant documents d’identitat fraudulents. Les activitats il·legals generades per bitllets i documents d’identitat falsificats provoquen danys a negocis, l’economia i a la població en general. Per lluitar contra falsificadors, governs i autoritats en el mon cooperen i desenvolupen mesures de seguretat per protegir els seus documents de seguretat. Moltes de les mesures de seguretat en documents d’identitat també es poden trobar en bitllets. En aquesta dissertació centrem el nostre esforç en detectar les falsificacions de bitllets i documents d’identitat analitzant les mesures de seguretat del fons d’impressió. El fons de documents de seguretat conté patrons de fines línies i dissenys que son difícils de reproduir sense els moderns equips d’impressió dels fabricants. Primer presentem l’estudi més complet fins avui de mesures de seguretat en bitllets i documents d’identitat. Els algorismes i sistemes comparats estan basats en visió per computador i aprenentatge automàtic. Posteriorment presentem el dataset de falsificacions de bitllets i documents d’identitat que hem construït i que s’utilitza durant tota la tesis. A continuació, avaluem i adaptem algorismes en la literatura per l’anàlisi de fons de seguretat. Estudiem el problema des de el punt de vista de robustesa, eficiència computacional i aplicabilitat en un entorn industrial real, proposant idees clau per utilitzar aquests algorismes. Posteriorment, dintre de l’entorn industrial d’aquesta tesis, desenvolupem una completa arquitectura orientada al servei per detectar documents falsificats. L’arquitectura de l’aplicació mòbil i servidor està pensada per ser utilitzada inclús per examinadors de documents falsificats inexperts. Més tard, reformulem el problema de detecció de textures del fons de seguretat com un joc de buscar diferencies, alternant mirades entre el fons falsificat i l’autèntic utilitzant xarxes neuronals recurrents. Finalment, tractem la falta d’exemples falsificats, presentant un nou algorisme basat en detecció d’anomalies.

Las falsificaciones y copias pirata son formas de robo que no han parado de crecer en los últimos años. Una falsificación es una reproducción no autorizada de un objecto autentico/genuino. Billetes y documentos de identidad son dos objetos comunes de falsificación. El primero es usado por grupos criminales organizados para financiar una gran variedad de actividades ilegales o incluso para desestabilizar países debido al efecto de la inflación. Generalmente, para poder operar un negocio ilícito, los falsificadores crean compañías y cuentas bancarias usando documentos de identidad fraudulentos. Las actividades ilegales generadas por billetes y documentos de identidad falsificados provocan daños a negocios, la economía y a la población en general. Para luchar contra falsificadores, gobiernos y autoridades en el mundo cooperan y desarrollan medidas de seguridad para proteger sus documentos de seguridad.Muchas de las medidas de seguridad en documentos de identidad también se encuentran en billetes. En esta disertación centramos nuestro esfuerzo en detectar las falsificaciones de billetes y documentos de identidad analizando las medidas de seguridad del fondo de impresión. El fondo de documentos de seguridad contiene patrones de finas líneas y diseños que son difíciles de reproducir sin los modernos equipos de impresión de los fabricantes. Primero presentamos el estudio más completo hasta la fecha de medidas de seguridad en billetes y documentos de identidad. Los algoritmos y sistemas comparados están basados en visión por computador y aprendizaje automático. Posteriormente presentamos el dataset de falsificaciones de billetes y documentos de identidad que hemos construido y se usa durante toda tesis. A continuación, evaluamos y adaptamos algoritmos en la literatura para el análisis de fondos de seguridad. Estudiamos el problema desde el punto de vista de robustez, eficiencia computacional y aplicabilidad en un entorno industrial real, proponiendo ideas clave para utilizar estos algoritmos. Posteriormente, dentro del entorno industrial de esta tesis, desarrollamos una arquitectura orientada al servicio para detectar documentos falsificados. La arquitectura de la aplicaciónmóvil y servidor está pensada para ser usada incluso por examinadores de documentos falsificados inexpertos. Más tarde, reformulamos el problema de detección de texturas del fondo de seguridad como un juego de buscar diferencias, alternado vistazos entre el fondo falsificado y el auténtico usando redes neuronales recurrentes. Finalmente, tratamos la falta de ejemplos falsificados, presentando un nuevo algoritmo basado en detección de anomalías.

Counterfeiting and piracy are a formof theft that has been steadily growing in recent years. A counterfeit is an unauthorized reproduction of an authentic/genuine object. Banknotes and identity documents are two common objects of counterfeiting. The former is used by organized criminal groups to finance a variety of illegal activities or even to destabilize entire countries due the inflation effect. Generally, in order to run their illicit businesses, counterfeiters establish companies and bank accounts using fraudulent identity documents. The illegal activities generated by counterfeit banknotes and identity documents has a damaging effect on business, the economy and the general population. To fight against counterfeiters, governments and authorities around the globe cooperate and develop security features to protect their security documents. Many of the security features in identity documents can also be found in banknotes. In this dissertation we focus our efforts in detecting the counterfeit banknotes and identity documents by analyzing the security features at the background printing. Background areas on secure documents contain fine-line patterns and designs that are difficult to reproduce without the manufacturers cutting-edge printing equipment. Our objective is to find the loose of resolution between the genuine security document and the printed counterfeit version with a publicly available commercial printer. We first present the most complete survey to date in identity and banknote security features. The compared algorithms and systems are based on computer vision and machine learning. Then we advance to present the banknote and identity counterfeit dataset we have built and use along all this thesis. Afterwards, we evaluate and adapt algorithms in the literature for the security background texture analysis. We study this problem from the point of view of robustness, computational efficiency and applicability into a real and non-controlled industrial scenario, proposing key insights to use these algorithms. Next, within the industrial environment of this thesis, we build a complete service oriented architecture to detect counterfeit documents. The mobile application and the server framework intends to be used even by non-expert document examiners to spot counterfeits. Later, we re-frame the problem of background texture counterfeit detection as a full-reference game of spotting the differences, by alternating glimpses between a counterfeit and a genuine background using recurrent neural networks. Finally, we deal with the lack of counterfeit samples, presenting a novel approach based on anomaly detection.