A Comparative Analysis of eXplainable Artificial Intelligence Methods for Skin Lesion Classification

Abstract

Deep Learning ha mostrado resultados sobresalientes en tareas de visión por computadora, y el área de la salud no es la excepción. Deep Learning (DL) puede ayudar a los dermatólogos en el diagnóstico temprano de cáncer de piel, ayudando a salvar muchas vidas. Sin embargo, no existe una forma sencilla de mapear el proceso de toma de decisiones de los modelos DL. Para las predicciones de cáncer de piel, no es suficiente tener una buena precisión, es necesario comprender el comportamiento del modelo para implementarlo clínicamente y obtener predicciones confiables. En este trabajo, identificamos desiderátums para explicaciones en modelos de lesiones de piel y presentamos un estudio sobre cómo se utiliza actualmente la Inteligencia Artificial explicable (XAI) para las lesiones cutáneas. Además, analizamos siete métodos (cuatro basados en atribución de píxeles y tres en conceptos de alto nivel): Grad-CAM, Score-CAM, LIME, SHAP, ACE, ICE, CME para dos redes neuronales profundas, Inception-v4 y ResNet-50, entrenadas en el Archivo de Colaboración Internacional de Imágenes de la Piel (ISIC). Nuestros resultados indican que, aunque estas técnicas muestran de forma efectiva lo que busca el modelo para realizar su predicción, las explicaciones obtenidas no son lo suficientemente completas para obtener transparencia en estos modelos.

Deep Learning has shown outstanding results in computer vision tasks, and healthcare is no exception. Deep Learning (DL) can assist dermatologists in early skin cancer diagnosis, saving many lives. However, there is no straightforward way to map out the decisionmaking process of DL models. For skin cancer predictions, it is not enough to have good accuracy. Understanding the model’s behavior is needed to implement it clinically and get reliable predictions. We identify desiderata for explanations in skin-lesion models and present a study about how eXplainable Artificial Intelligence (XAI) is currently used for skin lesions. We analyzed seven methods (four based on pixel-attribution and three highlevel concepts): Grad-CAM, Score-CAM, LIME, SHAP, ACE, ICE, CME for two deep neural networks, Inception-v4 and ResNet-50, trained on the International Skin Imaging Collaboration Archive (ISIC). Our findings indicate that while these techniques effectively show what the model is looking to predict, the obtained explanations need to be completed more to get transparency into the skin-lesion models.

Deep Learning tem mostrado excelentes resultados em tarefas de visão computacional, e a área de saúde não é exceção. Deep Learning pode auxiliar os dermatologistas no diagnóstico precoce de câncer de pele, o que pode salvar muitas vidas. No entanto, não há uma maneira direta de mapear o processo de tomada de decisão dos modelos DL. Para previsões de câncer de pele, não basta ter uma boa precisão; é necessário entender o comportamento do modelo para implementá-lo clinicamente e obter previsões confiáveis. Neste trabalho, identificamos desideratos para explicações em modelos de lesões de pele e apresentamos um estudo sobre como a eXplainable Artificial Intelligence está sendo usada atualmente para lesões de pele. Analisamos sete métodos (quatro baseados em atribuição de pixels e três baseados em conceitos de alto nível): Grad-CAM, Score-CAM, LIME, SHAP, ACE, ICE, CME para duas redes neurais profundas, Inception-v4 e ResNet-50, treinadas no International Skin Imaging Collaboration Archive (ISIC). Nossos resultados indicam que, embora essas técnicas mostrem efetivamente o que o modelo está procurando para fazer sua previsão, as explicações obtidas não são completas o suficiente para obter transparência nos modelos de lesão de pele.