Validación de una rúbrica para la evaluación de trabajos fin de máster
DOI:
https://doi.org/10.30827/profesorado.v24i2.15151Palabras clave:
competencias, educación superior, evaluación, rúbrica, Trabajo Fin de Máster, validezResumen
Las rúbricas se han convertido en un instrumento de evaluación de competencias apropiado para valorar el proceso y los resultados de aprendizaje en el contexto de la educación superior, así como para orientar el trabajo de los estudiantes. En este trabajo se presenta una rúbrica para evaluar el Trabajo Fin de Máster (TFM) de los estudiantes y el proceso de validación de la misma. La rúbrica se compone de 4 dimensiones: aspectos formales, contenido y metodología, resultados y conclusiones, y relevancia de las aportaciones para la mejora educativa. Se ha aplicado a 34 TFM que han recibido un total de 136 valoraciones por parte de los docentes. Los resultados muestran un grado de fiabilidad excelente en base a la concordancia inter-jueces en la puntuación final de la rúbrica (CCI = 0,80), si bien la concordancia en las categorías cualitativas de evaluación es más baja (valores Kappa menores a 0,40). Se garantiza su validez de contenido a través del juicio de expertos y la validez criterial mediante correlación Pearson con la variable externa “nota media del alumnado en el máster exceptuando el TFM” que aporta un valor de 0,58. Así pues, la rúbrica que se propone resulta ser un instrumento de evaluación riguroso cuyo uso podría transferirse a otros contextos similares.
Descargas
Citas
Aguaded, I. (2020). Los procesos de selección académica del manuscrito por una revista científica. Recuperado de https://comunicarautores.com/2020/02/17/los-procesos-de-seleccion-academica-del-manuscrito-por-una-revista-cientifica/
Bailey, J.R. (2014). Crossing the Rubric-Con. Journal of Management Education, 38 (3), 313-318. doi: 10.1177/1052562913515657
Blanco, A. (2008). Las rúbricas: un instrumento útil para la evaluación de competencias. En L. Prieto (Coord.) La enseñanza universitaria centrada en el aprendizaje. (pp. 171-188). Barcelona, España: Octaedro.
Cano, E. (2015). Las rúbricas como instrumento de evaluación de competencias en educación superior: ¿Uso o abuso?. Profesorado. Revista de curriculum y formación de profesorado, 19 (2), 265-280. Recuperado de https://recyt.fecyt.es/index.php/profesorado/article/view/40925/23289
Carrió, C., Soler, M. y Aymerich, M. (2015). Análisis de la Validez de Contenido de un Cuestionario de Evaluación del Aprendizaje Basado en Problemas: Un Enfoque Cualitativo. Formación universitaria, 8(1), 13-22. doi: 10.4067/S0718-50062015000100003
Castro, M. (2010). ¿Qué sabemos de la medida de las competencias?. Características y problemas psicométricos en la evaluación de competencias. Bordon, 63(1), 109-113. Recuperado de https://recyt.fecyt.es/index.php/BORDON/article/view/28908/15413
Cebrián, M. (2007). Buenas prácticas en el uso de e-portafolios y e-rúbrica. En A. Cid, M. Raposo, M. y A. Pérez (Coords.), El practicum: buenas prácticas en el Espacio Europeo de Educación Superior (pp.67-87). Madrid, España: Tórculo Edicións.
Cebrián, M. (2014). Evaluación formativa con e-rúbrica: aproximación al estado del arte. Revista de Docencia Universitaria, 12(1), 15-2.
Cebrián, M. y Monedero, J.J. (2014). Evolución en el diseño y funcionalidad de las rúbricas: desde las rúbricas “cuadradas” a las erúbricas federadas. Revista de Docencia Universitaria, 12 (1), 81-98.
Cicchetti, D. V. (1994). Guidelines, Criteria, and Rules of Thumb for Evaluating Normed and Standardized Assessment Instruments in Psychology. Psychological Assessment, 6(4), 284-290.
Chica, E. (2011). Una propuesta de evaluación para el trabajo en grupo mediante rúbrica. Escuela Abierta, 14, 67-81.
Dawson, P. (2017). Assessment rubrics: towards clearer and more replicable design, research and practice. Assessment & Evaluation in Higher Education, 42(3), 347-360. doi: 10.1080/02602938.2015.1111294
Del Pozo, J. Á. (2012). Competencias profesionales: Herramientas de evaluación: el portafolios, la rúbrica y las pruebas situacionales (Vol. 9). Madrid, España: Narcea Ediciones.
Díaz-Barriga, F. y De la Cruz, G. (2011). Rúbricas en la evaluación de competencias y aprendizaje complejo. Alcances y restricciones en educación superior. En K. Bujan, I. Rekelde, y P. Aramendi, (Coords.), La evaluación de competencias en la Educación Superior. Las rúbricas como instrumento de evaluación (pp. 9-12). Sevilla, España: MAD.
Expósito, M., Nicolau, D. y Tomas, J.V. (2017). La evaluación por competencias en los grados. Desarrollo de una experiencia en el Grado en Administración y Dirección de Empresas mediante el uso y validación de rúbrica. Revista Complutense de Educación. 28(4), 1155-1171. doi:10.5209/RCED.51618
Fleiss, J. L., Levin, B. y Paik, M. C. (2003). Statistical Methods for Rates and Proportions. Hoboken, New Jersey: John Wiley & Sons.
Fraile, J., Pardo, R. y Panadero, E. (2017). Cómo emplear las rúbricas para implementar una verdadera evaluación formativa?. Revista Complutense de Educación 28(4), 1321-1334. doi: https://doi.org/10.5209/RCED.51915
Gairín, I. (2009). Guía para la evaluación de competencias en el Area de Ciencias Sociales. Barcelona, España: Agéncia per a la Qualitat del Sistema Universitari de Catalunya.
García, M., Belmonte, B. y Nicolásac, G. (2017). Opinión del alumnado sobre el empleo de rúbricas en la universidad. Estudios Pedagógicos, 2, 93-113. Recuperado de http://hdl.handle.net/10230/21151
García, M. J., Terrón, Mª J. y Blanco, Y. (2009). Desarrollo de recursos docentes para la evaluación de competencias genéricas. XV Jornadas de Enseñanza Universitaria de la Informática (JENUI). UPC. Recuperado de http://hdl.handle.net/2099/7902
García Sanz, M.P. (2014). La evaluación de competencias en Educación Superior mediante rúbricas: un caso práctico. Revista electrónica interuniversitaria de formación del profesorado, 17(1), 87-106. doi: https://doi.org/10.6018/reifop.17.1.198861
Goodrich, H. (2000). Using Rubrics to Promote Thinking and Learning. Recuperado de http://www.ascd.org/publications/educational_leadership/feb00/vol57/num05/Using_Rubrics_to_Promote_Thinking_and_Learning.aspx.
I-Capó, A.J. Guerrero, C. Miró, J. y Egea, A. (2012). Elaboración de una rúbrica para la evaluación de los TFG y TFM de Informática de la Universitat de les Illes Balears. Actas Simposio-taller JENUI 2012. Ciudad Real, 10-13 de julio, pp. 17-24.
Kohn, A. (2006). The trouble with rubrics. The English Journal, 95(4), 12-15.
Madariaga, I. y Lekue, P. (2019) Evaluación mediante una rúbrica de las guías docentes de másteres universitarios de arte de la Universidad del País Vasco (UPV/EHU). La valoración de expertos internos y externos. Observar, 13, 26-38. Recuperado de https://www.observar.eu/ojs/index.php/Observar/article/view/101
Marcelo, C., Yot, C., Mayor, C., Sánchez, M. y Murillo, P. (2014). Las actividades de aprendizaje en la enseñanza universitaria: ¿hacia un aprendizaje autónomo de los alumnos? Revista de Educación, 363, 334-359. doi: 10.4438/1988-592X-RE-2012-363-191
Mateo, J. y Martínez, F. (2008). Mediación y evaluación educativa. Madrid: La Muralla.
Moskal, B. y Leydens, J.A. (2000). Scoring Rubric Development: Validity and Reliability, Practical Assessment, Research, and Evaluation, 7 (10). doi: 10.7275/q7rm-gg74
Muñiz, J., y Fonseca-Pedrero, E. (2019). Diez pasos para la construcción de un test, Psicothema, 31(1), 7-16 doi: 10.7334/psicothema2018.291
Panadero, E. y Jonsson, A. (2013). The use of scoring rubrics for formative assessment purposes revisited: A review. Educational Research Review, 9, 129–144. doi: 10.1016/j.edurev.2013.01.002
Panadero, E., y Romero, M. (2014). To rubric or not to rubric? The effects of self-assessment on self-regulation, performance and self-efficacy. Assessment in Education: Principles, Policy & Practice, 21(2), 133-148. doi: 10.1016/j.stueduc.2013.04.001
Popham, W. (1997). What’swrong – and what’sright – withrubrics? Recuperado de: http://www.ascd.org/publications/educational-leadership/oct97/vol55/num02/What%27s-Wrong%E2%80%94and-What%27s-Right%E2%80%94with-Rubrics.aspx
Raposo, M. y Sarceda, M.C. (2010). El trabajo en las aulas con perspectiva europea: medios y recursos para el aprendizaje autónomo. Enseñanza & Teaching: Revista interuniversitaria de didáctica, 28(2), 45-60.
Reddy, M. y Andrade, H. (2010). A review of rubric use in higher education. Assessment & Evaluation in Higher Education, 35(4), 435-448. doi: 10.1080/02602930902862859
Rekalde, I., y Buján, K. (2014). Las eRúbricas ante la evaluación de competencias transversales en Educación Superior. Revista Complutense de Educación, 25(2), 355-374. Doi: 10.5209/rev_RCED.2014.v25.n2.41594
Rochelle, E., Tractenberg, R.E., Kevin, T, y FitGerarld, K.T. (2012). A Mastery Rubric for the design and evaluation of an institucional curriculum in the responsible conduct of research. Assessment and Evaluation In Higher Education, 37(8), 1003-10021. doi: 10.1080/02602938.2011.596923
Rust, C. (2007). Towards a scholarship of assessment. Assessment and Evaluation in Higher Education, 32(2), 229-237. doi: 10.1080/02602930600805192
Sadler, P. M. (2009). Indeterminacy in the use of present criteria for assessment and grading in higher education. Assessment & Evaluation in Higher Education, 34,159-179. doi: 10.1080/02602930801956059
Sánchez-Elvira, A., Luque-Pulgar, E., García-Cedeño, F.C., López-González, M.A., Fernández-Sánchez M.V., y De Santiago-Alba C. (2010). Del diseño a la evaluación en competencias. Análisis empírico e intervención mediante rúbricas. Proyecto EA 2009-0102. Madrid, España: MEC.
Urrutia, M., Barrios, S., Gutiérrez, M. y Mayorga, M. (2014). Optimal method for content validity. Revista cubana de educación médica superior, 3, 547-558.
Valverde, J. y Ciudad, A. (2014). El uso de e-rúbricas para la evaluación de competencias en estudiantes universitarios. Estudio sobre fiabilidad del instrumento. Revista de Docencia Universitaria, 12(1), 49-79. doi: 10.4995/redu.2014.6415
Vázquez-Cano, E., Martín-Monje, E. y Fernández-Álvarez, M. (2014). El rol de las e-rúbricas en la evaluación de materiales digitales para la enseñanza de lenguas en entornos virtuales de aprendizaje. Revista de Docencia Universitaria, 12 (1), 135-157. doi: 10.4995/redu.2014.6414
Velasco, L.C. y Tójar, J.C. (2018). Uso de rúbricas en educación superior y evaluación de competencias. Profesorado. Revista de Currículum y Formación de Profesorado, 22(3), 183-208. Recuperado de https://revistaseug.ugr.es/index.php/profesorado/article/view/7998/6946
Velasco, R., Pérez, M., Díaz, A.J., Jordano, M.A. Márquez, C., Soria, E. Sanchidrián, J.L., Bonilla, R., Romero, D., Muñoz, I., Salas, L., Sánchez,
B., Mata, J., Carrillo, A. y García Ríos, J.M. (2018). La rúbrica como elemento de evaluación: aplicación y análisis en disciplinas humanísticas. Revista de innovación y buenas prácticas docentes, 18-22. Recuperado de https://www.uco.es/ucopress/ojs/index.php/ripadoc/article/view/11665/10643
Villa, A. y Poblete, M. (2011). Evaluación de competencias genéricas: principios, oportunidades y limitaciones. Bordón, 63, 147-170. Recuperado de https://recyt.fecyt.es/index.php/BORDON/article/view/28910
Villasís-Keever M.. A., Márquez-González, H., Zurita-Cruz, J.N., Miranda-Novales, G., y Escamilla-Núñez, A. (2018). El protocolo de investigación VII. Validez y confiabilidad de las mediciones. Revista Alergia México., 65(4), 414-421. Recuperado de http://www.scielo.org.mx/pdf/ram/v65n4/2448-9190-ram-65-04-414.pdf
Zazueta, M.A. y Herrera, L.F. (2008). Rúbrica o matriz de valoración, herramienta de evaluación formativa y sumativa. Recuperado de http://www.quadernsdigitals.net/index.php?accionMenu=hemeroteca.VisualizaArticuloIU.visualiza&articulo_id=10816
