A cloud pub/sub architecture to integrate google big query with elasticsearch using cloud functions

Abstract

En los últimos años, la necesidad de análisis sobre grandes volúmenes de datos se ha vuelto cada vez más importante. Esto llega a ser sumamente útil en la toma de decisiones estratégicas sobre diferentes aplicaciones. De esta manera, se deben diseñar mecanismos apropiados para realizar el tratamiento de datos y su integración con diferentes plataformas para aprovechar las ventajas que éstas nos brindan. En el presente trabajo, se muestra una arquitectura que trabaja sobre servicios cloud para realizar una migración de datos almacenados en Big Query a un motor de analítica como Elasticsearch y aprovechar su potencial en operaciones de consulta, inserción y despliegue de visualizaciones. Esto se logra por medio del uso de Cloud Functions y Pub/Sub. La integración de estas plataformas mediante la arquitectura propuesta, mostró una efectividad del 100% al trasladar los datos de una a otra, manteniendo una tasa de inserción de 4,138.30 documentos por segundo, demostrando su robustez, eficiencia y versatilidad al realizar la migración de datos.