Migración de sistema de pipeline de datos de un ambiente On Premise a servicios basados en Cloud Computing

Abstract

La empresa RBI lleva a cabo un proceso de Extracción, Transformación y Carga de datos (ETL, por sus siglas en inglés) en sus servidores locales para administrar y analizar datos relacionados con ventas, inventario y clientes. No obstante, la infraestructura local está empezando a mostrar limitaciones en términos de escalabilidad, rendimiento, integración y costos operativos. En respuesta a estos desafíos, se busca encontrar un marco de trabajo para realizar la migración de sus procesos ETL a servicios de la nube de manera eficiente. Esta migración se justifica por la incapacidad de la infraestructura local para escalar eficientemente ante el aumento constante de datos y los requerimientos de una mayor rapidez en el procesamiento de la información. La lenta ejecución del actual proceso ETL afecta la toma de decisiones oportunas, así como la adaptación a cambios en el mercado, mientras que los costos operativos son considerables. La integración con diversos servicios de monitoreo y manejo de errores es muy limitada y conlleva al manejo ineficiente de situaciones críticas; finalmente, no se tiene un control total del proceso ETL, y en consecuencia la carga de datos podría ser errada. La migración a la nube promete beneficios notables: una elasticidad que permitirá recursos de procesamiento automáticos según demanda lo que aseguraría un rendimiento óptimo incluso en los picos de actividad, un mayor control y personalización en los scripts del proceso ETL, un aumento en la gama de servicios de integración para el monitoreo de errores, así como herramientas avanzadas de análisis como el aprendizaje automático y la inteligencia artificial, las que podrían ser incluidas en el futuro.

The company RBI carries out an Extraction, Transformation, and Loading (ETL) process of data on its on-premises servers to manage and analyze sales, inventory, and customer-related data. However, the local infrastructure is beginning to exhibit limitations in terms of scalability, performance, integration, and operational costs. In response to these challenges, there is a quest to find a framework for efficiently migrating their ETL processes to cloud services. This migration is justified by the local infrastructure's inability to efficiently scale in the face of the constant growth of data and the need for faster processing. The slow execution of the current ETL process impacts timely decision-making and adaptation to market changes, while operational costs are substantial. The integration with various monitoring and error-handling services is severely limited, leading to inefficient handling of critical situations. Ultimately, there is not complete control over the ETL process, potentially resulting in erroneous data loading. Cloud migration promises notable benefits. Elasticity would enable automatic processing resources based on demand, ensuring optimal performance even during peak activity. Greater control and customization in ETL process scripts. A broader range of integration services for error monitoring. Furthermore, advanced analysis tools such as machine learning and artificial intelligence are options for future use.