Look-up in Google Scholar
Title: Preprocesamiento de datos mediante herramientas de Big Data
OCDE field: http://purl.org/pe-repo/ocde/ford#2.02.04
Issue Date: 2023
Institution: Universidad Nacional de San Antonio Abad del Cusco
Abstract: El preprocesamiento de datos en entornos de Big Data es una etapa crucial para garantizar la calidad y la utilidad de los datos antes de que sean utilizados en análisis o aplicaciones. En este proceso existen desafíos por resolver, como, por ejemplo, campos sin formato, fechas con diferentes formatos, valores nulos, ruido, identificación de características relevantes. Superar estos problemas es fundamental para aprovechar al máximo el potencial de los datos y lograr análisis precisos y significativos. El objetivo principal de este trabajo es obtener conjuntos de datos limpios, libre de ruido que puedan considerarse correctos y útiles para el procesamiento de datos. Dado un dataset y eligiendo una herramienta como Apache Spark para el preprocesamiento de Big Data en un caso de uso, mediante los algoritmos existentes en esta librería se procede a limpiar, transformar, seleccionar características, manejo de valores atípicos, manejo de valores faltantes, normalización y estandarización, conversión de tipos de datos, reducción de ruido, muestreo de datos, para finalmente obtener como resultado datos preprocesados. También fueron aplicadas pruebas unitarias e integrales para cuantificar la calidad de datos de forma automática, preprocesando los datos en cada etapa. Se realizó casos de uso con datasets; COVID-19, sismos y diabetes, para demostrar la generación de datos de limpios mediante técnicas de preprocesamiento específicamente en Apache Spark. Como resultado ilustramos tareas de análisis y visualización.
Discipline: Ingeniería Informática y de Sistemas
Grade or title grantor: Universidad Nacional de San Antonio Abad del Cusco. Facultad de Ingeniería Eléctrica, Electrónica, Informática y Mecánica
Grade or title: Ingeniero Informático y de Sistemas
Juror: Carbajal Luna, Julio Cesar; Baca Cardenas, Lino Aquiles; Medrano Valencia, Ivan Cesar; Palma Ttito, Luis Beltran
Register date: 20-Nov-2023



This item is licensed under a Creative Commons License Creative Commons