Diseño y validación de un instrumento para analizar el sistema de evaluación de las guías docentes universitarias en la formación inicial del profesorado (IASEG)
DOI:
https://doi.org/10.30827/profesorado.v24i2.15040Palavras-chave:
competencias docentes, educación superior, evaluación educativa, evaluación formativa, técnica delphiResumo
Resumen:
La evaluación formativa ha sido considerada como un elemento altamente coherente en el diseño de programas docentes universitarios basados en competencias. A partir de esta concepción formativa de la evaluación, el objetivo de este estudio se ha centrado en alcanzar un consenso de expertos para crear y validar un instrumento que permita valorar la eficacia de los sistemas de evaluación, presentes en las guías universitarias de la formación inicial del profesorado, para detectar el grado de adquisición de competencias docentes. Se utilizó para ello el método Delphi. Inicialmente, a partir de una exhaustiva revisión bibliográfica y de un ciclo de juicios de expertos, se identificaron las dimensiones y elementos constitutivos de los sistemas de evaluación, creándose un primer instrumento para el análisis de los mismos. Posteriormente, el instrumento se envió en dos rondas al grupo de expertos, mediante el que se llegó a consensos óptimos sobre el nivel de eficacia de los distintos elementos de los sistemas de evaluación para valorar competencias docentes. Finalmente, se efectuó una prueba piloto en la que tres evaluadores analizaron una muestra de guías docentes aplicando el instrumento. El grado de acuerdo entre expertos para la delimitación de los ítems y dimensiones, la compactibilidad hallada durante el análisis Delphi y la concordancia de evaluadores en la prueba piloto, arrojaron datos que permitieron concluir la validez del instrumento diseñado.
Downloads
Referências
Astigarraga, E. (s.f.) El método Delphi. Material del Curso de Prospectiva y Estrategia Empresarial. Universidad de Deusto. Facultad de Ciencias Económicas y Empresariales. Recuperado de http://www.prospectiva.eu/zaharra/Metodo_delphi.pdf
Aramburuzara, P., Hernández-Castilla, R. y Ángel-Uribe, I. C. (2013). Modelos y tendencias de la formación docente universitaria. Profesorado. Revista de Curriculum y Formación del Profesorado, vol 17(3), 345-357. Recuperado de: http://www.ugr.es/local/recfpro/rev173COL9.pdf
Biggs, J. (2005). Calidad del aprendizaje universitario. Madrid: Narcea.
Bolívar, A. (2008). Ciudadanía y competencias básicas. Sevilla: Fundación ECOEM.
Bravo, M. y Arrieta, J. (2005). El Método Delphi. Su implementación en una estrategia didáctica para la enseñanza de las demostraciones geométricas. Revista Iberoamericana de Educación, 35(3). Recuperado de http://www.rieoei.org/inv_edu38.htm
Buscà, F., Pintor, P., Martínez-Mínguez, L. y Peire, T. (2010). Sistemas y procedimientos de Evaluación Formativa en docencia universitaria: Resultados de 34 casos aplicados durante el curso académico 2007-2008. Estudios sobre Educación, 18, 255-276.
Cabero, J. & Barroso, J. (2013). La utilización del juicio de experto para la evaluación de TIC: el coeficiente de competencia experta. Bordón Revista de Pedagogía, vol. 65 (2), 25-38.
Casanova, M. A. (1995). Manual de evaluación educativa. Madrid: La Muralla.
Castejón, J., Capllonch, M., González, N. y López-Pastor, V. M. (2009). Técnicas e instrumentos de evaluación formativa y compartida para la docencia universitaria. En V. M. López-Pastor (Coord.), Evaluación formativa y compartida en educación superior (pp. 65-91). Madrid, España: Narcea.
Chivite, M, Asún S. & Romero, M. R. (Coords.) (2011). Actas del “VI Congreso Internacional de Evaluación Formativa y Compartida en Docencia Universitaria”. Zaragoza: Universidad de Zaragoza.
Cruz, M. (2006). El Método Delphi en las Investigaciones Educacionales. Material del Proyecto Ramal Estadística para la Educación, Cuba. Recuperado de file:///D:/Desktop/Miguel%20Cruz%20(Libro)%20Delphi.pdf
Expósito, J., Olmedo, E. & Fernández, A. (2004). Patrones metodológicos en la investigación española sobre evaluación de programas educativos. RELIEVE, 10(2), 185-209. Recuperado de http://www.uv.es/RELIEVE/v10n2/RELIEVEv10n2_2.htm
García, M. P. & Morillas, L. R. (2011). La planificación de evaluación de competencias en Educación Superior. REIFOP, 14(1), 113-124. Recuperado de http//www.aufop.com
García-Bellido, R., Jornet, J. M. & González-Such, J. (2012). Una aproximación conceptual para el diseño de instrumentos de evaluación de la competencia aprender a aprender en los profesionales de la educación. Revista Iberoamericana de Evaluación Educativa, 5(1). Recuperado de http://www.rinace.net/riee/numeros/vol5-num1_e/art14.pdf
Gibbs, G. (2003). Uso estratégico de la evaluación en el aprendizaje. En S. Brown & A. Glasner, Evaluar en la universidad. Problemas y nuevos enfoques (pp. 61-70). Madrid, España: Narcea.
Gijbels, D., Watering, G. van de & Dochy, F. (2005).Integrating assessment tasks in a problem-based learning environement. Assessment and evaluation in higher education, 30, 73-86.
Goby, V. P. & Nickerson, C. (2014). Accreditation and assessment of learning in the UAE. Quality Assurance in Education, 22(3), 212-225.
González-Fernández, N. (2007) (Coord.). Desarrollo y evaluación de competencias a través del portafolio del estudiante. Santander: Universidad de Cantabria.
Grau, S. & Gómez, C. (2010). La evaluación, un proceso de cambio para el aprendizaje. En S. Grau & C. Gómez (Coords.), Evaluación de los aprendizajes en el Espacio Europeo de Educación Superior (pp. 17-32). Alcoy, España: Marfil.
Hamodi, C., López-Pastor, V. L; López-Pastor, A. T. (2015). Medios, técnicas e instrumentos de evaluación formativa y compartida en Educación Superior. Perfiles Educativos, 147(37), 146-161. Recuperado de http://www.iisue.unam.mx/perfiles/perfiles_articulo.php?clave=2015-147-146-161
Hall, K. & Burke, W. (2003). Making formative assessment work - Effective practice in the primary classroom. Maidenhead, UK: Open University Press.
Hebles, M., Dos Santos, M. A., Yaniz, C. y Villardon-Gállego, L. (2017). Diseño y validación de la escala de evaluación de los aprendizajes (EEA). Profesorado. Revista de Curriculum y Formación del Profesorado, nº extraordinario, 107-126.
Ibarra, M. S. & Rodríguez, G. (2010). Aproximación al discurso dominante sobre la evaluación del aprendizaje en la universidad. Revista de Educación, 351, 385-407.
Inciarte, A. & Cánquiz, L. (2001). Informe de investigaciones educativas, 15 (1-2), 1-16.
Kaftan, J.; Buck, G. & Haack, A. (2006). Using Formative Assessments to Individualize Instruction and Promote Learning. Middle School Journal, 37(4), 44-49.
Keeney, S., Hasson, F. & McKenna, H. P. (2006). Views on the ground: teaching and clinical assessors' views on vocational training for health care assistants in Ireland. Journal of Clinical Nursing, 53(2) 205-212.
Landeta, J. (2002). El método Delphi: una técnica de previsión del futuro. Barcelona: Ariel.
Landis J. R. & Koch G. G. (1977). The Measurement of Observer Agreement for Categorical Data. Biometrics, 33, 159-174.
López-Pastor, V. M. (Coord). (2009). Evaluación formativa y compartida. Madrid: Narcea.
López-Pastor, V. M. (2012). Evaluación formativa y compartida en la universidad: clarificación de conceptos y propuestas de intervención desde la Red Interuniversitaria de Evaluación Formativa. Psychology, Society & Education, 4(1), 117-130. Recuperado de http://www.psye.org/articulos.php?id=86
López, M. C.; Pérez-García, M. P. y Rodríguez, M. J. (2015). Concepciones del profesorado universitario sobre la formación en el marco del espacio europeo de educación superior. Revista de Investigación Educativa, 33(1), 179-194. doi: http://dx.doi.org/10.6018/rie.33.1.189811
Lorente, E. & Kirk, D. (2013). Alternative democratic assessment in PETE: an action-research study exploring risks, challenges and solutions. Sport, Education and Society, 18(1), 77-96. Recuperado de http://dx.doi.org/10.1080/13573322.2012.713859
Lorente, E., Montilla, M. & Romero, M. (2013). Grado de definición y coherencia de los programas de expresión corporal en las titulaciones universitarias de educación física. Revista de evaluación educativa, 2(1). Recuperado de http://revalue.mx/revista/index.php/revalue/article/view/47/113
Luna, P., Infante, A. Y Martínez, F. J. (2005). Los Delphi como fundamento metodológico predictivo para la investigación en Sistemas de Información y Tecnologías de la Información (IS/IT). Pixel-Bit. Revista de Medios y Educación, 26, 89-112.
Martínez, M. (2005). Instrumentos de diagnóstico. GestioPolis.com [en línea]. Recuperado de http://www.gestiopolis.com/recursos4/docs/ger/instrudiag.htm
Mateo, J. (2000). La evaluación educativa, su práctica y otras metáforas. Barcelona: ICE- Horsori. Recuperado de https://web.ua.es/es/ice/documentos/recursos/materiales/la-evaluacion-educativa.pdf
Medina, A.; Domínguez, M. C. y Sánchez, C. (2013). Evaluación de las competencias de los estudiantes: modelos y técnicas para la valoración. Revista de Investigación Educativa, 31(1), 239-255. doi: http://dx.doi.org/10.6018/rie.31.1.157601
Medland, E. (2016). Assessment in higher education: drivers, barriers and directions for change in the UK. Assessment & Evaluation in Higher Education, 41(1), 81-96.
Muñoz, J. M., Ríos de Deus, M. P. & Abalde, E. (2002). Evaluación Docente vs. Evaluación de la Calidad. Revista Electrónica de Investigación y Evaluación Educativa, 8(2). Recuperado de http://www.uv.es/RELIEVE/v8n2/RELIEVEv8n2_4.htm
Muñoz-San Roque, I., Martín-Alonso, J. F., Prieto-Navarro, L. & Urosa-Sanz, B. (2016). Autopercepción del nivel de desarrollo de la competencia de aprender a aprender en el contexto universitario: propuesta de un instrumento de evaluación. Revista de Investigación Educativa, 34(2), 369-383. doi: http://dx.doi.org/10.6018/rie.34.2.235881
Nunziatti, G. (1990). Pour construire un dispositif d’évaluation formatrice. (Dossier du formateur). Cahiers pédagogiques, 280, 47-64.
Onwuegbuzie, A. J., Bustamante, R. M. & Nelson, J. A. (2010). Mixed Research as a tool for developing quantitative instruments. Journal Mixed Methods Research, 4(1), 56-78. doi: 10.1177/1558689809355805
Oñate, N., Ramos, L. & Díaz, A. (1988). Utilización del Método Delphi en la pronosticación: Una experiencia inicial. Economía Planificada, 3 (4), 9-48.
Orden, A. de la, Asensio, I., Carballo, R., Fernández-Díaz, J., Fuentes, A., García- Ramos, J. M. & Guardia, S. (1997). Desarrollo y validación de un modelo de calidad universitaria como base para su evaluación. RELIEVE, 3(1). Recuperado de http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_2.htm
Partington, P. & Brown, G. (2013). Quality assessment, staff development and cultural change. Quality Assurance in Education, 5(4), 208-217.
Pérez, R. (2016). ¿Quo vadis, evaluación? Reflexiones pedagógicas en torno a un tema tan manido como relevante. Revista de Investigación Educativa, 34(1), 13-30. doi: http://dx.doi.org/10.6018/rie.34.1.239381
Rodríguez, G., Ibarra, M. S. & García, E. (2013). Autoevaluación, evaluación entre iguales y coevaluación: conceptualización y práctica en las universidades españolas. Revista de Investigación en Educación, 11(2), 198-210. Recuperado de http://webs.uvigo.es/reined/
Rodríguez-Gómez, G. Ibarra-Sáiz, M. S.; Gallego-Noche, B., Gómez-Ruiz, M. A. & Quesada-Serra, V. (2012). La voz del estudiante en la evaluación del aprendizaje: un camino por recorrer en la universidad. RELIEVE, 18(2), 2. doi: 10.7203/relieve.18.2.1985.
Rojo, V. Á., García, M. G., Muñoz, I. A., López, J. C., Arbizu, R. D. F., Noche, B. G.,... González, S. G. (2009). Evaluación del diseño de las "guías FORCOM de autoevaluación de competencias docentes‟ para el espacio europeo de educación superior (EEES). Revista de Docencia Universitaria, 4.
Romero, M. R., Fraile, A., López-Pastor, V. M. & Castejón, J. (2014). Relación entre sistemas de evaluación formativa, rendimiento académico y carga de trabajo del profesor y del alumno en la docencia universitaria. Infancia y aprendizaje, 37(2), 310-341. Recuperado de http://dx.doi.org/10.1080/02103702.2014.918818doi:10.1080/02103702.2014.918818
Sánchez-Santamaría, J. (2011). Evaluación de los aprendizajes universitarios: una comparación sobre sus posibilidades y limitaciones en el Espacio Europeo de Educación Superior. Revista de Formación e Innovación Educativa Universitaria, 4(1), 40-54. Recuperado de http://refiedu.webs.uvigo.es/Refiedu/Vol4_1/REFIEDU_4_1_4.pdf
Santos, M. L., Martínez, F. & López-Pastor, V. M. (Coords.) (2009). La innovación docente en el EEES. Almería: Universidad de Almería.
Shavelson, R. J. (2010). Assessing Student Learning Responsibly: From History to an Audacious Proposal. Change: The Magazine of Higher Learning, 39(1), 26-33.
Segers, M. & Dochy F. (2001). New assessment forms in problem-based learning: the value-added of the students' perspective. Studies in higher education, 26, 327-339
Sitlington, H. B. & Coetzer, A. J. (2015). Using the Delphi technique to support curriculum development. Education & Training, 57 (3), 306-321.
Skulmoski, G. J.; Hartman, F. T.; Krahn, J. (2007). The Delphi method for graduate research. Journal of Information Technology Education, 6, 1-21.
Tójar, J. C. (2006). Investigación cualitativa: comprender y actuar. Madrid: La Muralla.
Torrance, H. (2012). Formative assessment at the crossroads: conformative, deformative and transformative assessment. Oxford Review of Education, 38(3), 323-342. doi: 10.1080/03054985.2012.689693.
Tortosa, M. T. & Álvarez, J. D. (Coords.). (2009). Investigaciones colaborativas en el ámbito universitario: Propuestas para el cambio. Alicante: Universidad de Alicante.
Trevitt, C.; Breman, E. & Stocks, C. (2012). Assessment and learning: is it time to rethink student activities and academic roles? Revista de Investigación Educativa, 30 (2), 253-267. doi:http://dx.doi.org/10.6018/rie.30.2.153441
Trillo, F. & Porto, M. (1999). La percepción de los estudiantes sobre su evaluación en la universidad. Un estudio en la Facultad de Ciencias de Educación. Revista de Innovación Educativa, 9, 55-75.
Varela, M., Díaz, García, L. R. (2012). Metodología de investigación en educación médica. Descripción y usos del método Delphi en investigaciones del área de la salud. Departamento de Investigación en Educación Médica. Secretaría de Educación Médica. Facultad de Medicina, UNAM. México D.F., México.
Vázquez, F. D., Feria, A., Moriel L. & Tijerina, L (2005). La validez de la evaluación de los programas de educación superior. Requisito para su internacionalización. Revista Iberoamericana de Educación (Sección de los lectores), 35(6). Recuperado de http://rieoei.org/evaluacion15.htm
Villa, A., Campo, L., Arranz, S., Villa, O. y García, A. (2013). Valoración del profesorado de magisterio sobre el aprendizaje basado en competencias implantado. Profesorado. Revista de curriculum y formación del profesorado, vol 17(3), 36-55. Recuperado de http://www.ugr.es/local/recfpro/rev173ART5.pdf
Yániz, C. (2006). Planificar la enseñanza universitaria para el desarrollo de competencias. Educatio Siglo XXI, 24, 17-34.
Yáñez, R. & Cuadra, R. (2008). La técnica Delphi y la investigación en los servicios de salud. Ciencia y enfermería, XIV(1), 9-15. Recuperado de http://www.scielo.cl/scielo.php?Script=sci_arttext&pid=S0717-95532008000100002
Zabalza, M. Á. (2001). Evaluación de los aprendizajes en la universidad. En A. García-Valcárcel (Ed.), Didáctica Universitaria (pp. 261-291). Madrid, España: La Muralla.
Zabalza, M. Á. (2008). Innovación en la Enseñanza Universitaria: el proceso de convergencia hacia un Espacio Europeo de Educación Superior. Educação, 31(3), 199-209.
