Towards an image-term co-occurence model for multilingual terminology alignment and cross-language image indexing

Abstract

This thesis addresses the potential that the relation between terms and images in multilingual specialized documentation has for glossary compilation, terminology alignment, and image indexing. It takes advantage of the recurrent use of these two modes of communication (i.e., text and images) in digital documents to build a bimodal co-occurrence model which aims at dynamically compiling glossaries of a wider coverage. The model relies on the developments of content-based image retrieval (CBIR) and text processing techniques. CBIR is used to make two images from different origin match, and text processing supports term recognition, artifact noun classification, and image-term association. The model aligns one image with its denominating term from collateral text, and then aligns this image with another image of the same artifact from a different document, which also enables the alignment of the two equivalent denominating terms. The ultimate goal of the model is to tackle the limitations and drawbacks of current static terminological repositories by generating bimodal, bilingual glossaries that reflect real usage, even when terms and images may originate from noisy corpora.

Esta tesis enfoca la relación entre términos e imágenes en documentación especializada y su potencial para compilación de glosarios, alineación de terminología e indexación de imágenes. Asimismo, esta investigación se vale del frecuente uso de estos dos modos de comunicación (i.e., texto e imágenes) en documentos digitales para construir un modelo de concurrencia bimodal que guíe la compilación de glosarios de más cobertura. El modelo se basa en los desarrollos de técnicas de recuperación de imágenes por contenido (CBIR) y de procesamiento de texto. Las técnicas de CBIR se usan aquí para conectar dos imágenes de distinto origen, mientras que el procesamiento de texto sustenta las tareas de reconocimiento de términos, clasificación de nombres de artefacto y asociación término-imagen. El modelo asocia una imagen con el término del texto circundante que la denomina y luego alinea esta imagen con otra imagen del mismo artefacto pero que se origina en otro documento, lo cual permite también la alineación de los dos términos equivalentes que denominan los artefactos de las imágenes. El objetivo principal del modelo es contribuir a compensar el estatismo, las limitaciones y las desventajas de los repositorios terminológicos actuales mediante la generación de glosarios bimodales bilingües que reflejen el uso real de los términos, incluso cuando éstos y sus imágenes se originen en corpus problemáticos.