Diseño y validación de un Examen Clínico Objetivo Estructurado (ECOE) para evaluación de competencias comunicacionales de médicos residentes

Abstract

Objetivo: Desarrollar y validar un “Examen Clínico Objetivo Estructurado (ECOE) para la evaluación de competencias comunicacionales en médicos residentes del programa de especialización de la FAMED-UPCH”. Método: Se diseñó un ECOE para evaluar las habilidades de comunicación. Este ECOE utilizó la escala española CICAA (Conectar, Identificar, Comprender, Acordar y Ayudar) para calificar el desempeño de los médicos residentes. Mediante un comité de expertos en comunicación se determinó la validez de contenido de esta escala. Para determinar la sensibilidad al cambio se aplicó el ECOE a 25 médicos residentes antes y después de un curso de entrenamiento en habilidades de comunicación. Para la validez discriminativa y confiabilidad de la escala CICAA se elaboraron 02 videos: “Comunicación efectiva” y “Comunicación no efectiva”. Análisis estadístico: Para la validez de contenido de la escala CICAA se utilizó en índice de validez de contenido. Se utilizó el Wilcoxon signed-rank test para la sensibilidad al cambio; t student para comparar las medias de las calificaciones para la validez discriminativa; el Alfa de Cronbach para la consistencia interna; los índices Kappa de Fleiss y de Cohen para la confiabilidad inter evaluador e intra evaluador respectivamente. Se consideró un valor de p<0,05 como estadísticamente significativo (IC:95%). Resultados: Con las observaciones del comité de expertos se obtuvo la “Escala CICAA modificada”. Las medias de las calificaciones realizadas por 23 evaluadores de los videos con y sin “Comunicación efectiva” fueron 19,45±8,08 (IC 95%:15,87–23,03) y 41,31±6,28 (IC 95%:38,53–44,10), respectivamente (p<0,001). La media de las diferencias de las calificaciones después y antes del entrenamiento fue de 10,64 (IC 95%:6,69-14,58) (p<0,001). La consistencia interna fue de 0.94. se obtuvo acuerdo inter evaluador excelente (k>0,75), bueno (0,75-0,40), pobre (<0,40) en 1, 12 y 16 ítems respectivamente. Conclusiones: El ECOE elaborado es válido para determinar sensibilidad al cambio. La escala CICAA modificada mostró adecuada validez discriminante y consistencia interna. Se obtuvo pobre acuerdo en casi la mitad de los ítems de la escala CICAA.

Objective: To develop and validate an Objective Structured Clinical Exam (OSCE) for the evaluation of communication skills in resident physicians of the FAMED-UPCH specialization program. Method: An OSCE of a station was designed to assess communication skills. This OSCE used the Spanish CICAA scale (Connecting Identifying, Understanding Reaching Agreements and Helping to Act) to rate the performance of resident physicians. The content validity of this scale was determined by a committee of communication experts. To determine the sensitivity to change, the OSCE was applied to 25 resident physicians before and after a training course in communication skills. For the discriminative validity and reliability of the CICAA scale, two videos were made showing clinical encounters: “Effective communication” and “Ineffective communication”. Statistical analysis: For the content validity of the CICAA scale, the content validity index was used. The Wilcoxon signed-rank test was used for sensitivity to change; T-student to compare the means of the scores for discriminative validity; Cronbach's Alpha for internal consistency; Fleiss and Cohen's Kappa indices for inter-rater and intra-rater reliability, respectively. A value of p <0.05 was considered statistically significant (CI: 95%). Results: With the observations of the expert committee, the "Modified CICAA Scale" was obtained. The means of the ratings made by 23 evaluators of the videos with and without “effective communication” were 19.45 ± 8.08 (95% CI: 15.87–23.03) and 41.31 ± 6.28 (95% CI: 38.53–44.10), respectively (p <0.001). The mean differences in scores after and before training was 10.64 (95% CI: 6.69-14.58) (p <0.001). The internal consistency was 0.94. Excellent (k> 0.75), good (0.75-0.40), poor (<0.40) inter-rater agreement was obtained in 1, 12 and 16 items respectively. Conclusions: The ECOE prepared is valid to determine sensitivity to change. The modified CICAA scale showed adequate discriminant validity and internal consistency. Poor agreement was obtained on almost half of the items on the CICAA scale.