Artículo original,Revista de la Facultad de Odontología de la Universidad de Cuenca . Vol. 3, No. 1, pp. 9-17, enero-junio 2025



Fecha de recepción:

25 de noviembre de 2024


Fecha de aceptación:

10 de enero de 2025


Fecha de publicación:

31 de enero de 2025


Cómo citar:

Román Prado NY, Pacají Ruiz PR. Proceso de calibración de examinadores en diagnóstico de caries dental en la Clínica Odontológica III, en la carrera de odontología de la ULEAM, periodo 2023-2. Rev la Fac Odontol la Univ Cuenca. 2025;3(1): 9-17


Autor de correspondencia:

Nayeli Yamileth Román Prado


Correo electrónico:

e1316714839@live.uleam.edu.ec


e-ISSN: 2960-8325

ISSN: 1390-0889

Proceso de calibración de examinadores en diagnóstico de caries dental en la Clínica Odontológica III, en la carrera de odontología de la ULEAM, periodo 2023-2

Calibration process for examiners in the diagnosis of den- tal caries in the III dental clinic of the ULEAM dentistry program, period 2023-2

DOI: https://doi.org/10.18537/fouc.v03.n01.a01


Nayeli Yamileth Román Prado1 https://orcid.org/0009-0003-8901-8011 Paola Rosana Pacají Ruiz1 https://orcid.org/0000-0002-4194-9867

1. Universidad Laica Eloy Alfaro de Manabí, Manta–Ecuador


Resumen

La caries es un problema de salud pública que, si no se controla, puede generar un importante impacto económico y social. Objetivo: Reportar el nivel de concordancia intra e interexaminador de los estu- diantes que participaron del proceso de calibración para el diagnóstico de caries dental en la clínica odontológica III. Materiales y métodos: Estudio observacional descriptivo transversal retrospectivo a través de los registros del formulario 003 de los estudiantes de noveno paralelo B de la carrera de Odontología que cursaban Clínica Odontológica III. Con el propósito de reportar el nivel de concordancia interexaminador. En cuanto a los datos del repositorio, reflejan la participación de doce examinadores divididos en tres grupos, cada uno con cuatro exami- nadores. Para obtener el nivel de concordancia intraexaminador, la segunda práctica fue emitida siete días después; y los resultados de los examinadores fueron comparados con sí mismos. El diagnóstico de caries dental en esta investigación se realizó mediante la aplicación del índice CPO–D (dientes cariados, perdidos por caries, y obturados en dentición permanente). Resultados: Se obtuvo un índice kappa Cohen de 0,49 en relación con el nivel de coincidencia interexaminador y un índice kappa Cohen de 0,66 en la segunda sesión en correlación al nivel de coincidencia intraexaminador. Conclusión: La confiabilidad interexaminador en un rango kappa Cohen de 0,41 a 0,60 confirman la calibración alcanzada de grado moderada en la primera sesión;

mientras que la confiabilidad intraexaminador, en un rango kappa Cohen de 0,61–0,80, define el nivel concordancia en un grado sustancial.

Palabras clave: Caries dental; calibración; índice.


Abstract

Caries is a public health problem that, if left uncon- trolled, can have a significant economic and social impact. Objective: To report the level of intra and interexaminer agreement of students who partici- pated in the calibration process for the diagnosis of dental caries at Dental Clinic III. Materials and methods: A retrospective, cross-sectional, descrip- tive observational study was conducted using Form 003 records from ninth-year parallel B students of the dentistry program who were enrolled at Dental Clinic III. The purpose was to report the level of in- terexaminer agreement. The data in the repository reflect the participation of twelve examiners divi- ded into three groups, each with four examiners. To obtain the level of intraexaminer agreement, the second practice test was issued seven days later; and the examiners' results were compared with their own results. Dental caries diagnosis in this study was performed by applying the CPO-D index (decayed teeth, teeth lost due to caries, and filled teeth in permanent dentition). Results: A Cohen's kappa index of 0,49 was obtained in relation to the level of interexaminer agreement and a Cohen's kappa index of 0,66 in the second session in corre- lation with the level of intraexaminer agreement. Conclusion: Interexaminer reliability in the range of Cohen's kappa of 0,41 to 0,60 confirms the mode- rate calibration achieved in the first session; while intraexaminer reliability, in the range of Cohen's kappa of 0,61-0,80, defines the level of agreement to a sustantial degree.

Keyword: Dental caries; calibration; index.

Introducción

Se estima que 3 500 millones de personas en todo el mundo padecen enfermedades bucodentales, siendo la caries dental no tratada en dientes per- manentes como la enfermedad más común a nivel global1. La caries se origina por la fermentación de carbohidratos y por bacterias, lo que causa la pro- ducción de subproductos ácidos que desminerali- zan el esmalte dental2.

En Ecuador, existe una alta incidencia de enferme- dades bucales que representan un problema de salud pública, originado por el limitado acceso a atención sanitaria, la falta de sensibilización sobre salud bucal y los elevados costos no remunerados por el sistema de salud3. De acuerdo con los valo- res estadísticos generados en consulta externa en centros públicos de salud en Ecuador, durante el 2020 hasta el 2024 se reporta un total de 632 802 atenciones diagnosticadas como caries de la den- tina, en donde 223 022 corresponden a hombres y 409 780 a mujeres; por otro lado, 101 272 atenciones diagnosticadas como caries limitada en esmalte, de las cuales 36 570 representan a hombres y 64 702 a mujeres4.

Como consecuencia, la prevalencia de caries dental implica altos costos de tratamiento que afecta a hombres y mujeres de todas las edades5. Por lo tanto, se requieren esfuerzos constantes para me- jorar la educación en salud bucal, facilitar el acceso a servicios dentales y promover estilos de vida salu- dables y así reducir su incidencia6.

El diagnóstico preciso de la caries dental es crucial para entender la carga de la enfermedad, identi- ficar factores de riesgo y evaluar la efectividad de las intervenciones preventivas, lo que proporciona información valiosa sobre su epidemiología7. Los métodos de diagnóstico convencionales como: el manejo de instrumentos de exploración, la tran- siluminación o magnificación y método visual táctil permiten un diagnóstico rápido y conciso para las patologías dentales8.

En la investigación en cuestión, se utilizó una combinación de técnicas visuales y un kit de ex- ploración dental. La inspección visual permite observar los signos clínicos evidentes de la caries,

como manchas blancas, cavidades o cambios en la estructura dental9. Mientras que los instrumentos de exploración facilitan un examen más detallado y así detectar lesiones no visibles10.

Las consecuencias de un mal diagnóstico son: tratamientos deficientes, complicaciones graves e irreversibles, falta de confiabilidad por parte del paciente, pérdidas económicas, errores en los datos de una investigación11. Un diagnóstico calibrado asegura que diferentes profesionales de la salud dental puedan llegar a conclusiones similares al examinar un mismo caso12. No obstante, los niveles de concordancia en el diagnóstico y evolución de esta patología varían entre examinadores, debido a la subjetividad del observador13.

Por tal motivo, contrasta su limitada capacidad para evaluar con precisión la reproducibilidad en contex- tos de baja prevalencia de caries. La calibración no proporciona una evaluación precisa de la reprodu- cibilidad12. Una forma más confiable para evaluar la concordancia entre evaluadores es la estadística kappa Cohen14. Por lo que el objetivo de esta inves- tigación fue reportar el nivel de concordancia intra e interexaminador de los estudiantes que participaron del proceso de calibración para el diagnóstico de la caries dental en la Clínica Odontológica III.


Métodos y materiales

Los datos fueron analizados mediante el programa IBM SPSS Statistics 25 (Statistical Package of Social Sciences) para el cálculo del índice kappa Cohen. Su interfaz se consolidó en describir la práctica de cali- bración de los estudiantes del noveno ciclo paralelo B del proyecto de investigación realizado en la carre- ra de odontología de la ULEAM, periodo 2023-2.


Criterios de inclusión

  1. Registros realizados por los estudiantes que cursaron el noveno ciclo paralelo B de la Clínica Odontológica III en el periodo 2023–2.

  2. Registros de los examinadores que reflejen dos

    sesiones prácticas.

  3. No haber participado en un proceso de calibra- ción de examinadores previamente.


Criterios de exclusión

  1. Registros realizados por los estudiantes que cursaron el noveno ciclo paralelo A de la clínica odontológica III en el periodo 2023–2.

  2. Registros de los examinadores que reflejen una

    sesión práctica.

  3. Registros que no pertenezcan a la Clínica Odontológica III en el periodo 2023–2.

La actividad se dividió en cuatro etapas:

  1. Primera etapa: se basó en la capacitación teórica y socialización de los instrumentos de recolección de datos como la historia clínica 003 modificada. Aquí se mostraron varias presenta- ciones de PowerPoint sobre los indicadores epi- demiológicos de salud oral haciendo énfasis en el índice CPO–D (dientes cariados, perdidos por caries y obturados en dentición permanente).

  2. Segunda etapa: se estableció la capacitación práctica donde los doce estudiantes fueron di- vididos en tres grupos de cuatro participantes y cumplieron los roles de examinadores, pacientes y registradores de las historias clínicas. La prácti- ca de calibración no contó con un capacitador ex- perimentado, por tanto, en cada grupo se esco- gió a un estudiante como examinador estándar. OMS15 indica que “cuando solo interviene un examinador y no se dispone de un capacitador experimentado, el examinador deberá practicar primero el examen en un grupo de 10 sujetos que presentan una amplia gama de niveles de enfermedad”. Durante la práctica se pidió a los respectivos estudiantes realizar la recolección de los datos diagnósticos entre sí mismos de forma ordenada y coherente siguiendo los criterios anteriormente presentados. En secuencia se informaron las directrices que se utilizaría en la práctica de calibración15.

  3. Tercera etapa: estuvo dedicada al ejercicio clínico, cuyo objetivo fue permitir a los examina- dores definir los criterios expuestos. La práctica se realizó dentro de las clínicas de la carrera de

    odontología, se utilizó un equipo de diagnós- tico estéril compuesto por explorador dental, espejo bucal y sonda periodontal. Además de una serie de historias clínicas, así como un lápiz de doble punta de colores azul y rojo. Los examinadores evaluaron 28 dientes por paciente que corresponden a 7 dientes por cuadrante. El diagnóstico se inició con una ex- ploración táctil utilizando un explorador dental para palpar las superficies dentales en busca de lesiones cariosas. Posteriormente, se realizó una inspección visual con espejo bucal y luz adecua- da para identificar las cavidades y las manchas características de las caries16. Siguiendo las in- dicaciones del docente a cargo, la investigación se centró únicamente en dientes cariados, sanos u obturados. Para facilitar la identificación, se empleó un sistema de codificación cromática en el odontograma: el color rojo se asignó a dientes con caries, mientras que el color azul se utilizó para representar a dientes sanos u obturados17.

    Reproducibilidad interexaminador: la primera sesión fue realizada el 4 de septiembre del 2023, donde el examinador estándar comparó sus hallazgos con los de los demás examinadores del equipo15.

    Reproducibilidad intraexaminador: la segunda sesión se realizó el 11 de septiembre del 2023, donde se repitió el ejercicio de la primera sesión, considerando a los mismos grupos de parti- cipantes y las mismas recomendaciones. Los resultados de cada examinador se compararon con los datos obtenidos en la primera sesión15.

  4. Cuarta etapa: se registraron los resultados de las historias clínicas en el programa IBM SPSS Statistics 25, donde las etiquetas asignadas fueron: 1 para diente cariado y 0 para diente no cariado. Se resaltó que los datos personales de los participantes fueron anonimizados, por consideraciones éticas. Esta última etapa fue destinada a la discusión final de los resultados; el análisis del grado de concordancia interexami- nador e intraexaminador se obtiene a través de la siguiente escala propuesta por Landis y Koch en 197718, como se observa en la Tabla 1.

    Tabla 1. Escala de interpretación del valor de kappa


    Valor estadístico de kappa

    Grado de concordancia

    <0,20

    Escaso

    0,21–0,40

    Leve

    0,41–0,60

    Moderado

    0,61 –0,80

    Sustancial

    0,81–1,00

    Casi perfecto


    Resultados

    La Tabla 2 muestra la distribución del primer grupo con un número total de 84 dientes diagnosticados; cada resultado en el ejercicio de calibración fue relacionado con los datos del examinador estándar (examinador 1), mientras que las Tablas 3 y 4 reflejan la distribución del segundo y tercer grupo con un número total de 112 dientes diagnosticados; en el grupo 2 cada examinador fue comparado frente al examinador estándar (examinador 5), mientras que en el grupo 3 fueron comparados con el examinador 9.

    La Tabla 5 muestra la reproducibilidad interexa- minador del ejercicio de la primera sesión, con un promedio de 0,49 determinando el nivel de concor- dancia interexaminador.

    Grupo 1

    Reproducibilidad interexaminador

    Examinador

    Kappa ponderado

    Error estándar asintótico

    N.º de casos válidos

    1




    2

    0,539

    0,091

    84

    3

    0,496

    0,096

    84

    4

    0,544

    0,092

    84

    Tabla 2. Reproducibilidad interexaminador obteni- das por los examinadores correspondientes al grupo 1

    Nota: Esta tabla muestra los datos obtenidos en la primera sesión de calibración del primer grupo.

<0,20; Leve, entre 0,21–0,40; Moderado, 0,41–0,60;

Sustancial, 0,61–0,80; Casi perfecto, si 0,81–1,00.

Tabla 4. Reproducibilidad interexaminador obteni- das por los examinadores correspondientes al grupo 3


Grupo 3

Reproducibilidad Interexaminador

Examinador

Kappa ponderado

Error estándar asintótico

N.º de casos válidos

9




10

0,735

0,079

112

11

0,563

0,097

112

12

0,413

0,088

112

Nota: Esta tabla muestra los datos obtenidos en la primera sesión de calibración del tercer grupo.

0,61–0,80; Casi perfecto, si 0,81–1,00.


Examinador

Kappa Cohen ponderado

1


2

0,539

3

0,496

4

0,544

5


6

0,542

7

0,279

8

0,388

9


10

0,735

11

0,563

12

0,413

Promedio

0,499888889

Tabla 5. Reproducibilidad interexaminador obteni- das por los examinadores

Nota. Esta tabla muestra la reproducibilidad interexaminadores de los tres grupos.

<0,20; Leve, entre 0,21–0,40; Moderado, 0,41–0,60;

Sustancial, 0,61– 0,80; Casi perfecto, si 0,81–1,00.


Discusión

“La calibración de los examinadores es un elemento clave en la organización y ejecución de encuestas sobre salud bucal”19. Este proceso implica realizar exámenes en las mismas personas por el mismo exa- minador en distintos momentos, con el objetivo de minimizar las diferencias en la interpretación de los diagnósticos15. Así mismo, la prueba kappa Cohen ofrece una evaluación más precisa del desacuerdo entre los examinadores en los procesos de calibra- ción, ya que mide el acuerdo ajustado, teniendo en cuenta la posibilidad de un acuerdo aleatorio15.

En la Universidad Científica del Sur en su estudio demostraron un rango de concordancia buena y un valor kappa Cohen de 0,78920. Por otro lado, en la Universidad Nacional de la Plata determinaron un nivel de confiabilidad intraexaminador de 0,80 y 0,85 en un rango kappa de 0,71 a 0,92, datos que otorga un nivel de confiabilidad casi perfecto21. Por último, en la Pontificia Universidad Javeriana publi- caron que durante su investigación participaron un total de 9 examinadores y 18 pacientes; los valores kappa de reproductividad interexaminador reflejó un promedio de 0,72 e intraexaminador de 0,74, re- sultados que concluyen a una calibración exitosa22. Aquellos estudios fueron guía en el presente estu- dio, construyendo una base sólida para justificar la investigación, respaldar las hipótesis y objetivos con una evidencia previa.

Es importante mencionar que el presente estudio, forma parte de una investigación formativa cuyo enfoque se centró en el proceso de aprendiza- je y desarrollo de los estudiantes de la Clínica Odontológica III en el diagnóstico de caries dental, lo que fomentó su reflexión crítica y mejora conti- nua23. Además, el presente estudio evaluó la con- fiabilidad de diagnóstico de caries dental mediante el análisis del índice de kappa Cohen, donde se de- mostró que la confiabilidad interexaminador en un rango kappa Cohen de 0,41 a 0,60 confirma un nivel de concordancia moderado en la primera sesión. A su vez, la confiabilidad intraexaminador en un rango kappa Cohen de 0,61–0,80 alcanzada es sus- tancial de concordancia en la segunda sesión15.

Con base en esto, se anticipa que este reporte sobre la metodología de diagnóstico de caries dental impulse la creación de más programas de entre- namiento en este campo; de esta forma, se plantea evaluar cómo la incorporación de nuevas estrate- gias de enseñanza influye en la capacidad de los profesionales para obtener resultados consistentes en sus diagnósticos.

Sin embargo, el ejercicio presentó algunas limita- ciones, como la falta de un entrenador experimen- tado que esté capacitado conforme a la metodolo- gía recomendada por la OMS para las encuestas de salud bucodental y contribuya a la formación del ejercicio de calibración15.

Conclusiones

La evaluación interexaminador proporciona un rango de coincidencia moderada, por lo que el en- trenamiento en el diagnóstico de caries a través del índice CPO–D es reproducible y aceptable en los es- tudiantes de odontología de noveno paralelo B de la ULEAM, periodo 2023–2. El nivel de concordancia intraexaminador fue sustancial según el índice kappa Cohen, por lo que estos registros a través del índice CPO–D demuestran que la capacidad, el conocimiento y la confiablidad de los participantes mejoran con el tiempo.


Declaración de conflicto de interés

Los y las autores/as declaran no tener ningún con-

flicto de interés.


Referencias

  1. Organización Mundial de la Salud. Salud. 2022 [citado el 14 de septiembre de 2024]. p. 1–1 Salud bucodental. Disponible en: https://www. who.int/es/news-room/fact-sheets/detail/ oral-health

  2. Atkinson FS, Khan JH, Brand-Miller JC, Eberhard

    J. The impact of carbohydrate quality on dental plaque ph: Does the glycemic index of starchy foods matter for dental health? Nutrients [Internet]. 2021 Ago 1 [citado el 5 de julio de 2024];13(8). Disponible en: https://www.mdpi. com/2072-6643/13/8/2711

  3. Parise-Vasco JM, Zambrano–Achig P, Viteri- García A, Armas-Vega A. Estado de la salud bucal en el Ecuador. Odontología Sanmarquina [Internet]. 2020 Jul 8 [citado el 19 de agosto de 2024];23(3):327–31. Disponible en: https://www. researchgate.net/publication/343623891_ Estado_de_la_salud_bucal_en_el_Ecuador

  4. Ministerio de Salud Pública. Producción Estadística de Salud [Internet]. 2024 [citado el 19 de septiembre de 2024]. Disponible en: https://app.powerbi.com/view?r=eyJrIjoiZ- Dk3YTljYzQtNWUwNi00M2ZkLTllY2ItYjIz- MGVmOWI4MDQzIiwidCI6ImQxMDMxZj- JkLWI0MzAtNDMwOS04ZGFhLThhMDdmYz- JiODE2ZCIsImMiOjR9

  5. Ladera Castañeda MI, Medina Sotelo CG. Oral health in Latin America: A view from public policies. Salud, Ciencia y Tecnología [Internet]. 2023 Mar 24 [citado el 6 de septiembre de 2024];3:340. Disponible en: https://sct.agedi- tor.ar/index.php/sct/article/view/217

  6. Cianetti S, Valenti C, Orso M, Lomurno G, Nardone M, Lomurno AP, et al. Systematic Review of the Literature on Dental Caries and Periodontal Disease in Socio-Economically Disadvantaged Individuals. Int J Environ Res Public Health [Internet]. 2021 Nov 24 [citado el 9 de septiembre de 2024];18(23):12360. Disponible en: https://www.mdpi. com/1660-4601/18/23/12360

  7. Macias YG, Briones Solórzano KY, García Loor JV. Caries dental, higiene bucal y nece- sidades de tratamientos a beneficiarios del Proyecto Sonrisas Felices [Internet]. Portoviejo; 2019 [citado el 21 de septiembre de 2024]. Disponible en: https://revista.sangregorio.edu. ec/index.php/REVISTASANGREGORIO/article/ view/767

  8. Van Gorp G, Maes A, Lambrechts M, Jacobs R, Declerck D. Is use of CBCT without proper training justified in paediatric dental trau- matology? An exploratory study. BMC Oral Health [Internet]. 2023 Dec 1 [citado el 11 de septiembre de 2024];23(1). Disponible en: https://bmcoralhealth.biomedcentral.com/ articles/10.1186/s12903-023-03013-y

  9. Macey R, Walsh T, Riley P, Glenny AM, Worthington HV, O’Malley L, et al. Visual or visual-tactile examination to detect and inform the diagnosis of enamel caries. Cochrane Database of Systematic Reviews. 2021 Jun 14;2021(12).

  10. Ntovas P, Loubrinis N, Maniatakos P, Rahiotis C. Evaluation of dental explorer and visual inspec- tion for the detection of residual caries among Greek dentists. J Conserv Dent [Internet]. 2018 [citado el 24 de octubre de 2024];21(3):311. Disponible en: https://pmc.ncbi.nlm.nih.gov/ articles/PMC5977782/

  11. Veenman F, van Dijk A, Arredondo A, Medina- Gomez C, Wolvius E, Rivadeneira F, Àlvarez G, Blanc V, Kragt L. Oral microbiota of adoles- cents with dental caries: A systematic review. Arch Oral Biol. 2024;161:105933. doi:10.1016/j. archoralbio.2024.105933.

  12. Rechmann P, Jue B, Santo W, Rechmann BMT, Featherstone JDB. Calibration of dentists for Caries Management by Risk Assessment Research in a Practice-Based Research Network

    - CAMBRA PBRN. BMC Oral Health. 2018 Dec

    4;18(1):2.

  13. Usha C, Dhanavel C, Neelamurthy PS, Sai KC, Raja SV, Vigneshwari S, et al. Evaluation of Reliability and Validity of Occlusal Caries Detection by Direct Visual, Indirect Visual and Fluorescence Camera Using ICDAS II (Codes 0, 1, and 2): An In Vivo Study. Int J Clin Pediatr Dent [Internet]. 2023 Mar 21 [citado el 15 de octubre de 2024];16(1):74–8. Disponible en: https://www.ijcpd.com/doi/pdf/10.5005/ jp-journals-10005-2513

  14. Ortega C. Investigación de mercado. 2024 [citado el 8 de agosto de 2024]. Kappa de Cohen: Qué es, usos y cómo calcularlo. Disponible en: https://www.questionpro.com/ blog/es/kappa-de-cohen/

  15. Organización Mundial de la Salud. Oral Health Surveys Basic Methods 5th Edition [Internet]. 2013 Dec [citado el 21 de octubre de 2024]. Disponible en: https://www.who.int/ publications/i/item/9789241548649

  16. Anaise JZ. Measurement of dental caries experience‐modification of the DMFT index. Community Dent Oral Epidemiol. 1984 Feb 29;12(1):43–6.

  17. Salas A, Manuel W, Optar P, Grado EL, De

    A. Universidad Nacional Federico Villarreal [Internet]. 2018 [citado el 20 de octubre de 2024]. Disponible en: file:///C:/Users/Admin/ Downloads/UNFV_ALFARO_SALAS_WILLIAM_ MANUEL_MAESTRIA_2018.pdf

  18. Cerda LJ, Villarroel Del PL. Evaluación de la concordancia inter-observador en investiga- ción pediátrica: Coeficiente de Kappa. Rev Chil Pediatr [Internet]. 2008 Feb [citado el 15 de octubre de 2024];79(1). Disponible en: https:// www.scielo.cl/scielo.php?script=sci_arttex- t&pid=S0370-41062008000100008

  19. Peres MA, Traebert J, Marcenes W. Palavras- chave Índice CPO-D; Cárie Dentária; Avaliação. Vol. 17.

  20. Hinostroza-Izaguirre MC, Mungi-Castañeda

    S. Nivel de concordancia en el diagnóstico de caries dental evaluada con los índices OMS e ICDAS II en pacientes con discapacidad visual.

    Rev Cient Odontológica. 2019 Jun 30;7(1):78–88.

  21. Iriquín A, Mendes SM, Rancich CA, Rimoldi LE, Mazzeo LM, Oviedo Arévalo M, et al. Determinación de la confiabilidad de los regis- tros ICDAS II entre los integrantes de un trabajo de investigación.

  22. Martignon Biermann S, Castiblanco Rubio GA, Cortés A, Marín Gallón LM, Gómez Ramírez SI, Gómez González OL, et al. Reporte de una me- todología de calibración de examinadores en el uso del Sistema Internacional de Detección y Valoración de Caries (ICDAS). Universitas Odontologica. 2015 Dec 30;34(73).

  23. Campos Olazabal PJ. La importancia de la investigación formativa como estrategia de aprendizaje. Educare Et Comunicare: Rev Investig de la Fac de Humanidades. 2020 Jul 30;8(1):88–94.