Look-up in Google Scholar
Full metadata record
Ormeño Ayala, Yeshica Isela
Loayza Blanco, Cady Indira
2023-11-20T20:59:36Z
2023-11-20T20:59:36Z
2023
253T20230503
http://hdl.handle.net/20.500.12918/7930
El preprocesamiento de datos en entornos de Big Data es una etapa crucial para garantizar la calidad y la utilidad de los datos antes de que sean utilizados en análisis o aplicaciones. En este proceso existen desafíos por resolver, como, por ejemplo, campos sin formato, fechas con diferentes formatos, valores nulos, ruido, identificación de características relevantes. Superar estos problemas es fundamental para aprovechar al máximo el potencial de los datos y lograr análisis precisos y significativos. El objetivo principal de este trabajo es obtener conjuntos de datos limpios, libre de ruido que puedan considerarse correctos y útiles para el procesamiento de datos. Dado un dataset y eligiendo una herramienta como Apache Spark para el preprocesamiento de Big Data en un caso de uso, mediante los algoritmos existentes en esta librería se procede a limpiar, transformar, seleccionar características, manejo de valores atípicos, manejo de valores faltantes, normalización y estandarización, conversión de tipos de datos, reducción de ruido, muestreo de datos, para finalmente obtener como resultado datos preprocesados. También fueron aplicadas pruebas unitarias e integrales para cuantificar la calidad de datos de forma automática, preprocesando los datos en cada etapa. Se realizó casos de uso con datasets; COVID-19, sismos y diabetes, para demostrar la generación de datos de limpios mediante técnicas de preprocesamiento específicamente en Apache Spark. Como resultado ilustramos tareas de análisis y visualización. (es_PE)
CONCYTEC
application/pdf (en_US)
spa (es_PE)
Universidad Nacional de San Antonio Abad del Cusco (es_PE)
info:eu-repo/semantics/openAccess (en_US)
http://creativecommons.org/licenses/by-nc-nd/4.0/ (*)
Big Data (es_PE)
Apache spark (es_PE)
Preprocesamiento (es_PE)
Aprendizaje automático (es_PE)
Preprocesamiento de datos mediante herramientas de Big Data (es_PE)
info:eu-repo/semantics/bachelorThesis
Universidad Nacional de San Antonio Abad del Cusco. Facultad de Ingeniería Eléctrica, Electrónica, Informática y Mecánica
Ingeniería Informática y de Sistemas
Ingeniero Informático y de Sistemas
PE
http://purl.org/pe-repo/ocde/ford#2.02.04
http://purl.org/pe-repo/renati/nivel#tituloProfesional
25002834
https://orcid.org/0000-0002-5497-6928
43120865
612296
Carbajal Luna, Julio Cesar
Baca Cardenas, Lino Aquiles
Medrano Valencia, Ivan Cesar
Palma Ttito, Luis Beltran
http://purl.org/pe-repo/renati/type#tesis
Pública



This item is licensed under a Creative Commons License Creative Commons