Transformer based model for coherence evaluation of scientific abstracts: Second Fine -Tuned Bert

Abstract

La evaluación de la coherencia es un problema relacionado al área del procesamiento del lenguaje natural, cuya complejidad radica principalmente en el análisis de la semántica y contexto de las palabras del texto. Afortunadamente, la arquitectura Bidirectional Encoder Representation from Transformers (BERT) puede capturar las variables antes mencionadas y representarlas como embeddings para realizar Fine-tunings. El presente estudio propone un modelo Second Fine-Tuned basado en BERT para detectar oraciones inconsistentes (evaluación de la coherencia) en abstracts científicos escritos en español/inglés. Para ello se han propuesto 2 métodos formales para la generación de abstracts incoherentes: Random Manipulation (RM) y K-means Random Manipulation (KRM). Se realizaron 6 experimentos; demostrando que realizar el Second Fine-Tuned mejora la detección de oraciones inconsistentes con un accuracy del 71%. Esto sucede incluso si los nuevos datos de reentrenamiento son de diferente idioma o de diferente dominio. También se demostró que utilizar varios métodos para la generación de abstracts incoherentes y mezclarlos al realizar Second FineTuned no ofrece mejores resultados que utilizar un único método.