Diseño de un instrumento para evaluar pensamiento crítico en educación superior mediado por inteligencia artificial

Katherine Sandoval Perdomo; Luis Gibran Juárez Hernández

doi:10.30827/relieve.v32i1.36950

Autores/as

Katherine Sandoval Perdomo University of the Americas https://orcid.org/0009-0004-2200-9935
Luis Gibran Juárez Hernández Autonomous University of Chihuahua https://orcid.org/0000-0003-0658-6818

DOI:

https://doi.org/10.30827/relieve.v32i1.36950

Palabras clave:

pensamiento crítico, inteligencia artificial generativa, educación superior, validación de instrumento, evaluación educativa

Resumen

El pensamiento crítico (PC) constituye una competencia clave en la educación superior, especialmente en contextos marcados por la incorporación creciente de herramientas de inteligencia artificial generativa (IAG) en procesos de enseñanza y aprendizaje. Si bien existen diversos instrumentos para su evaluación, la mayoría no considera explícitamente el uso de IAG ni está contextualizada al ámbito latinoamericano. Por lo anterior, el objetivo del presente estudio fue diseñar y validar un instrumento para evaluar el PC en estudiantes universitarios que utilizan IAG. El proceso de construcción del instrumento incluyó una revisión de antecedentes teóricos e instrumentales. La validación se desarrolló por revisión de expertos y juicio de expertos. Finalmente, un pilotaje con 81 estudiantes de educación superior. El instrumento quedó conformado por 48 ítems distribuidos en seis dimensiones. La revisión por expertos permitió determinar la validez de facie, estableciendo la pertenencia y relevancia general de los ítems. El juicio de expertos aportó evidencia de validez de contenido con valores satisfactorios en todos los ítems (V de Aiken > 0,80; Li > 0,50). El pilotaje evidenció una confiabilidad excelente (alfa de Cronbach = 0,981; omega de McDonald = 0,982). Los resultados obtenidos posicionan a este instrumento como el primero diseñado específicamente para evaluar habilidades cognitivas del PC en contextos de uso de IAG en educación superior latinoamericana. La evidencia inicial sobre sus propiedades métricas es favorable; no obstante, futuros estudios deberían abordar su estructura interna mediante análisis factorial y ampliar la evidencia de validez en muestras y contextos más diversos de la región.

Descargas

Los datos de descargas todavía no están disponibles.

Biografía del autor/a

Katherine Sandoval Perdomo, University of the Americas

Doctorante en Socioformación y Sociedad del Conocimiento del Centro Universitario CIFE. Magíster Scientiarum en Matemática Aplicada y Licenciada en Educación, mención Matemática y Física, por la Universidad del Zulia. Durante sus estudios de licenciatura obtuvo la máxima calificación académica de su promoción, reconocimiento otorgado por la Universidad del Zulia. Actualmente se desempeña como académica transversal en la Universidad de las Américas. Sus líneas de investigación se centran en la incorporación de tecnologías en la enseñanza de la matemática, así como en el diseño y validación de instrumentos de evaluación educativa.

Contribución del autor (KSP): Conceptualización, recursos, curación de datos, análisis formal, validación, investigación, redacción de borrador original, metodología.

Declaración de conflicto de intereses (KSP): La autora declara que no existe ningún conflicto de intereses relacionado con la elaboración y publicación de este trabajo.

Luis Gibran Juárez Hernández, Autonomous University of Chihuahua

Doctor en Ciencias Biológicas y de la Salud por la Universidad Autónoma Metropolitana. Medalla al Mérito Universitario por Estudios de Doctorado. Profesor investigador en el doctorado en Socioformación y Sociedad del Conocimiento del Centro Universitario CIFE y profesor en la maestría en Formación e Innovación para Profesionales de la Salud de la Facultad de Medicina y Ciencias Biomédicas de la Universidad Autónoma de Chihuahua. Miembro del Sistema Nacional de Investigadoras e Investigadores de México. Sus líneas de investigación son el diagnóstico ecológico, diseño y evaluación de instrumentos de evaluación, desarrollo sostenible.

Contribución del autor (LGJH): curación de datos, análisis formal, supervisión, visualización, revisión y edición.

Declaración de conflicto de intereses (LGJH): El autor declara que no existe ningún conflicto de intereses relacionado con la elaboración y publicación de este trabajo.

Citas

Ato, M., López-García, J. J., y Benavente, A. (2013). Un sistema de clasificación de los diseños de investigación en psicología. Anales de Psicología/Annals of Psychology, 29(3), 1038-1059. https://dx.doi.org/10.6018/analesps.29.3.178511 DOI: https://doi.org/10.6018/analesps.29.3.178511

Betancourth, S., Zambrano, C., y Ceballos, A. (2021). Escala de pensamiento crítico adaptada en estudiantes universitarios de Colombia, México y Chile. Revista de Educación, (25), 157-174. https://fh.mdp.edu.ar/revistas/index.php/r_educ/article/view/5836

Bravo, M. J., Galiana, L., Rodrigo, M. F., Navarro-Pérez, J. J., y Oliver, A. (2020). An adaptation of the critical thinking disposition scale in Spanish youth. Thinking Skills and Creativity, 38, 100748. https://doi.org/10.1016/j.tsc.2020.100748 DOI: https://doi.org/10.1016/j.tsc.2020.100748

Carpenter, S. (2018). Ten steps in scale development and reporting: A guide for researchers. Communication Methods and Measures, 12(1), 25-44. https://doi.org/10.1080/19312458.2017.1396583 DOI: https://doi.org/10.1080/19312458.2017.1396583

Carrillo-Sierra, S. M., Rivera-Porras, D. A., Forgiony-Santos, J. O., Bonilla-Cruz, N. J., y Montanchez-Torres, M. L. (2018). Propiedades psicométricas del cuestionario de inclusión educativa (CIE) en contextos escolares colombianos. http://hdl.handle.net/20.500.12442/2169

Carvajal, A., Centeno, C., Watson, R., Martínez, M., y Sanz Rubiales, A. (2011). ¿Cómo validar un instrumento de medida de la salud? Anales del Sistema Sanitario de Navarra, 34(1), 63-72. https://doi.org/10.4321/S1137-66272011000100007 DOI: https://doi.org/10.4321/S1137-66272011000100007

CIFE. (2018a). Cuestionario de satisfacción con el instrumento. Centro Universitario CIFE.

CIFE. (2018b). Escala jueces expertos. Centro Universitario CIFE.

Cortina, J. M. (1993). What is coefficient alpha? An examination of theory and applications. Journal of Applied Psychology, 78(1), 98–104. https://doi.org/10.1037/0021-9010.78.1.98 DOI: https://doi.org/10.1037//0021-9010.78.1.98

DeVellis, R. F. (2017). Scale development: Theory and applications (4.ª ed.). Sage Publications.

D'Souza, M. S., Labrague, L. J., Karkada, S. N., Parahoo, K., y Venkatesaperumal, R. (2020). Testing a diabetes ketoacidosis simulation in critical care nursing: A randomized control trial. Clinical Epidemiology and Global Health, 8(4), 998-1005. https://doi.org/10.1016/j.cegh.2020.03.011 DOI: https://doi.org/10.1016/j.cegh.2020.03.011

Ennis, R., y Weir, E. (1985). The Ennis-Weir critical thinking essay test: An instrument for teaching and testing. Midwest Publications.

Escobar-Pérez, J., y Cuervo-Martínez, Á. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en Medición, 6(1), 27-36. https://www.humanas.unal.edu.co/lab_psicometria/application/files/9416/0463/3548/Vol_6._Articulo3_Juicio_de_expertos_27-36.pdf

Facione, P. A. (1990). Critical thinking: A statement of expert consensus for purposes of educational assessment and instruction (The Delphi Report). https://eric.ed.gov/?id=ED315423

Facione, P. A. (2011). Critical thinking: What it is and why it counts. Insight Assessment, 2007(1), 1–23.

Facione, P. A. (2015). Critical thinking: What it is and why it counts. Insight assessment https://doi.org/ISBN 13: 978-1-891557-07-1.

Fernández-Rivas, S., y Saiz-Sánchez, C. (2012). Validación y propiedades psicométricas de la prueba de pensamiento crítico PENCRISAL. Revista Electrónica de Metodología Aplicada, 17(1), 18-34. https://hdl.handle.net/10366/157532

Gerlich, M. (2025). AI tools in society: Impacts on cognitive offloading and the future of critical thinking. Societies, 15(1), 6. https://doi.org/10.3390/soc15010006 DOI: https://doi.org/10.3390/soc15010006

Halpern, D. F. (2013). The Halpern critical thinking assessment: A response to the reviewers. Inquiry: Critical Thinking Across the Disciplines, 28(3), 28-39. https://doi.org/10.5840/inquiryct201328317 DOI: https://doi.org/10.5840/inquiryct201328317

Hassan, K. E., y Madhum, G. (2007). Validating the Watson Glaser Critical Thinking Appraisal. Higher Education, 54, 361-383. https://doi.org/10.1007/s10734-006-9002-z DOI: https://doi.org/10.1007/s10734-006-9002-z

Juárez-Hernández, L. G., Tobón, S. & Cano-Jerónimo, A. (2017). Caracterización y selección de expertos para la evaluación de un instrumento de investigación. Ponencia presentada en Congreso Internacional de Evaluación del Desempeño (VALORA), Cuernavaca, México.

Juárez-Hernández, L. G. & Tobón, S. (2018). Análisis de los elementos implícitos en la validación de contenido de un instrumento de investigación. Revista Espacios, 39(53), 23-30. https://www.revistaespacios.com/cited2017/cited2017-23.html

Kalkbrenner, M. (2024). Choosing between Cronbach's coefficient alpha, McDonald's coefficient omega, and coefficient H: Confidence intervals and the advantages and drawbacks of interpretive guidelines. Measurement and Evaluation in Counseling and Development. https://doi.org/10.1080/07481756.2023.2283637 DOI: https://doi.org/10.1080/07481756.2023.2283637

Merino-Soto, C., y Livia-Segovia, J. (2009). Intervalos de confianza asimétricos para el índice de validez de contenido: Un programa Visual Basic para la V de Aiken. Anales de Psicología, 25(1), 169-171. http://www.redalyc.org/articulo.oa?id=16711594019

Montero, I., y León, O. G. (2007). A guide for naming research studies in psychology. International Journal of Clinical and Health Psychology, 7(3), 847-862.

Muñiz, J., y Fonseca-Pedrero, E. (2019). Diez pasos para la construcción de un test. Psicothema, 31(1), 7-16. https://doi.org/10.7334/psicothema2018.291 DOI: https://doi.org/10.7334/psicothema2018.291

Mussoto, V. A. (2020). Diseño de un instrumento para evaluar el pensamiento crítico en la educación superior (Tesis de maestría). Pontificia Universidad Católica de Chile. https://repositorio.uc.cl/handle/11534/50062

Nielsen, T., Martínez-García, I., y Alastor, E. (2022). Exploring first semester changes in domain-specific critical thinking. Frontiers in Education, 7, 884635. https://doi.org/10.3389/feduc.2022.884635 DOI: https://doi.org/10.3389/feduc.2022.884635

Ossa-Cornejo, C. J., Palma-Luengo, M. R., Lagos-San Martín, N. G., Quintana-Abello, I. M., y Díaz-Larenas, C. H. (2017). Análisis de instrumentos de medición del pensamiento crítico. Ciencias Psicológicas, 11(1), 19-28. https://doi.org/10.22235/cp.v11i2.1343 DOI: https://doi.org/10.22235/cp.v11i2.1343

Palma-Luengo, M., Ossa-Cornejo, C., Ahumada-Gutiérrez, H., Moreno-Osorio, L., y Miranda-Jaña, C. (2021). Adaptación y validación del test Tareas de Pensamiento Crítico en estudiantes universitarios. REXE. Revista de Estudios y Experiencias en Educación, 20(42), 199-212. https://doi.org/10.21703/rexe.20212042palma12 DOI: https://doi.org/10.21703/rexe.20212042palma12

Payan-Carreira, R., Sacau-Fontenla, A., Rebelo, H., Sebastião, L., y Pnevmatikos, D. (2022). Development and validation of a critical thinking assessment-scale short form. Education Sciences, 12(12), 938. https://doi.org/10.3390/educsci12120938 DOI: https://doi.org/10.3390/educsci12120938

Penfield, R. D., y Giacobbi, P. R. (2004). Applying a score confidence interval to Aiken's item content-relevance index. Measurement in Physical Education and Exercise Science, 8(4), 213-225. https://doi.org/10.1207/s15327841mpee0804_3 DOI: https://doi.org/10.1207/s15327841mpee0804_3

Quinn, S., Hogan, M., Dwyer, C., Finn, P., y Fogarty, E. (2020). Development and validation of the student-educator negotiated critical thinking dispositions scale (SENCTDS). Thinking Skills and Creativity, 38, 100710. https://doi.org/10.1016/j.tsc.2020.100710 DOI: https://doi.org/10.1016/j.tsc.2020.100710

Rahiman, H. U., y Kodikal, R. (2024). Revolutionizing education: Artificial intelligence empowered learning in higher education. Cogent Education, 11(1), 2293431. https://doi.org/10.1080/2331186X.2023.2293431 DOI: https://doi.org/10.1080/2331186X.2023.2293431

Rodríguez-Sánchez, M. del R. (2025). Evaluar el pensamiento crítico en la era de la IA: construcción y validación de una escala de disposiciones en contextos educativos mediados por IAG. Revista Electrónica sobre Tecnología, Educación y Sociedad, 12(24). https://www.ctes.org.mx/index.php/ctes/article/view/876

Rudolph, J., bin Mohamed Ismail, M. F., y Popenici, S. (2024). Higher education's generative artificial intelligence paradox: The meaning of chatbot mania. Journal of University Teaching and Learning Practice, 21(6), 14-48. https://doi.org/10.53761/54fs5e77 DOI: https://doi.org/10.53761/54fs5e77

Saúde, S., Barros, J. P., y Almeida, I. (2024). Impacts of generative artificial intelligence in higher education: Research trends and students' perceptions. Social Sciences, 13(8), 410. https://doi.org/10.3390/socsci13080410 DOI: https://doi.org/10.3390/socsci13080410

Shin, H., Park, C. G., y Kim, H. (2015). Validation of Yoon's critical thinking disposition instrument. Asian Nursing Research, 9(4), 342-348. https://doi.org/10.1016/j.anr.2015.10.004 DOI: https://doi.org/10.1016/j.anr.2015.10.004

Sijtsma, K. (2009). On the use, the misuse, and the very limited usefulness of Cronbach's alpha. Psychometrika, 74(1), 107–120. https://doi.org/10.1007/s11336-008-9101-0 DOI: https://doi.org/10.1007/s11336-008-9101-0

Taber, K. S. (2018). The use of Cronbach's alpha when developing and reporting research instruments in science education. Research in Science Education, 48, 1273-1296. https://doi.org/10.1007/s11165-016-9602-2 DOI: https://doi.org/10.1007/s11165-016-9602-2

Verburgh, A., François, S., Elen, J., y Janssen, R. (2013). The assessment of critical thinking critically assessed in higher education: A validation study of the CCTT and the HCTA. Education Research International, 2013, 198920. https://doi.org/10.1155/2013/198920 DOI: https://doi.org/10.1155/2013/198920

Diseño de un instrumento para evaluar pensamiento crítico en educación superior mediado por inteligencia artificial

Autores/as

DOI:

Palabras clave:

Resumen

Descargas

Biografía del autor/a

Katherine Sandoval Perdomo, University of the Americas

Luis Gibran Juárez Hernández, Autonomous University of Chihuahua

Citas

Descargas

Archivos adicionales

Publicado

Cómo citar

Número

Sección

Licencia

RELIEVE. Revista Electrónica de Investigación y Evaluación Educativa