Métodos semánticos para la recuperación de información en grandes volúmenes de datos: una Aquitectura Escalable y Eficiente

Abstract

La creciente disponibilidad de datos en diferente dominio de aplicación ha motivado el desarrollo de técnicas de recuperación y descubrimiento de conocimiento en grandes volúmenes de datos. Recientes trabajos muestran que tanto las técnicas de aprendizaje profundo como nuevos métodos de búsqueda aproximada en dominio de datos complejos son campos de investigación importantes, donde tanto la eficiencia como la escalabilidad de los algoritmos son factores críticos. Para resolver el problema de escalabilidad se han propuesto muchos enfoques. En problemas de gran escala con datos en altas dimensiones, una solución de búsqueda aproximada con un análisis teórico solido se muestra más adecuado que una solución exacta con un modelo teórico débil. Algoritmos de búsqueda aproximada basados en hashing son propuestos para consultar en conjuntos de datos alta dimensiones debido a su velocidad de recuperación y bajo costo de almacenamiento. Por otro lado, en problemas donde se tiene grandes volúmenes de datos etiquetados las técnicas de aprendizaje profundo, como las redes convolucionales, se muestran más adecuadas conforme el número de ejemplos por clases crece.Estudios recientes, promueven el uso de la Red Neuronal Convolutiva (CNN) con técnicas de hashing para mejorar la precisión de la búsqueda de los k-vecinos más cercanos- KNN. Sin embargo, aun hay retos que resolver para encontrar una solución práctica y eficiente para indexar características CNN, tales como la necesidad de un proceso de entrenamiento intenso para lograr resultados de consulta precisos y la dependencia crítica de los parámetros. Con el fin de superar estos problemas, se propone un nuevo método de búsqueda por similitud, Deep frActal based Hashing (DAsH), para calcular los mejores valores de parámetros para una proyección óptima en un subespacio, explorando las correlaciones entre los atributos de las características CNN usando la teoría fractal. Además, inspirado por recientes avances en redes CNN, utilizamos no solo activaciones de capas inferiores que son más generales, sino también el conocimiento previo de los datos semánticos sobre la última capa CNN para mejorar la precisión de la búsqueda. Así, nuestro método produce una mejor representación del espacio de datos con un coste computacional menor para una mejor precisión. Esta mejora significativa en velocidad y precisión nos permite evaluar este esquema en conjuntos de datos reales y sintéticos.