Detección automática personalizada de la intensidad del dolor de expresiones faciales en video usando multitask learning

Abstract

Los métodos de Aprendizaje Profundo han logrado resultados impresionantes en varias tareas complejas como la estimación del dolor a partir de expresiones faciales en videos (secuencias de frames). La estimación de dolor es difícil de medir, debido a que es subjetiva y a las características propias de cada persona. Sin embargo, su estimaci´on es importante para procesos de evaluación clínica. Este trabajo de investigación propone la estimación de la intensidad del dolor automático a través de dos etapas: 1) mediante un enfoque de frame-level usando Convolutional Neural Network, (CNN) con Transferencia de Aprendizaje de un modelo preentrenado de rostros con un módulo de Atención Espacial y modelos secuenciales usando Recurrent Neural Network (RNN) para obtener una estimación más precisa del dolor; 2) estimación de la medida del dolor usando Visual Analog Score (VAS) y las otras escalas de dolor mediante Multitask Learning (MTL) personalizado con frame-level obtenido de la primera etapa con características personales de un individuo; lo que nos permite lograr resultados importantes de dolor por sequence-level. El uso del enfoque de MTL para personalizar las estimaciones mediante la realización de múltiples tareas en grupos de personas similares junto a semejantes tareas, proporciona mejoras importantes en el rendimiento de la predicción del VAS. La mejora en la precisión es notable con respecto a los modelos no personalizados obteniendo 2.25 usando la métrica MAE y 0.47 en ICC usando el modelo denominado PSPI+PF Personalized Multitask. Por otro lado tenemos los datos obtenidos de la base de datos reales para entrenar, el cual es de 2.17 usando la m´etrica MAE y 0.51 de ICC según el modelo PSPI (GT) Personalized Multitask.