Understanding stance classification of BERT models: an attention-based mechanism

Abstract

BERT produces state-of-the-art solutions for many natural language processing tasks at the cost of interpretability. As works discuss the value of BERT’s attention weights to this purpose, we contribute with an attention-based interpretability framework to identify the most influential words for stance classification using BERT-based models. Unlike related work, we develop a broader level of interpretability focused on the overall model behavior instead of single instances. We aggregate tokens’ attentions into words’ attention weights that are more meaningful and can be semantically related to the domain. We propose attention metrics to assess words’ influence in the correct classification of stances. We use three case studies related to COVID-19 to assess the proposed framework in a broad experimental setting encompassing six datasets and four BERT pre-trained models for Portuguese and English languages, resulting in sixteen stance classification models. Through establishing five different research questions, we obtained valuable insights on the usefulness of attention weights to interpret stance classification that allowed us to generalize our findings. Our results are independent of a particular pre-trained BERT model and comparable to those obtained using an alternative baseline method. High attention scores improve the probability of finding words that positively impact the model performance and influence the correct classification (up to 82% of identified influential words contribute to correct predictions). The influential words represent the domain and can be used to identify how the model leverages the arguments expressed to predict a stance.

BERT ofrece soluciones líderes en tareas de procesamiento de lenguaje natural, pero carece de interpretabilidad. Para abordar esto, presentamos un marco de interpretabilidad basado en atención para la clasificación de polarización usando modelos BERT. A diferencia de otros trabajos, nos enfocamos en comprender el comportamiento general del modelo en lugar de instancias individuales, agregando las atenciones de tokens en pesos de atención de palabras más significativos. Evaluamos nuestro enfoque en seis conjuntos de datos y cuatro modelos BERT pre-entrenados para portugués e inglés, generando dieciséis modelos de clasificación de posturas. Mediante cinco preguntas de investigación, obtenemos información valiosa sobre la utilidad de los pesos de atención para interpretar la clasificación de polarización, independientemente del modelo BERT específico. Nuestros resultados son comparables con métodos alternativos y muestran que altas puntuaciones de atención mejoran la predicción correcta, con hasta el 82% de palabras influyentes identificadas contribuyendo a predicciones correctas, lo que permite entender cómo el modelo utiliza los argumentos para predecir un grupo polarizado.