Design and validation of a Scale Designed to Gather Student Perceptions of the Culture of Assessment as Learning
DOI:
https://doi.org/10.30827/relieve.v28i2.25195Keywords:
learning processes, assessment, student-teacher relationship, instrumentAbstract
Overseeing educational transformation demands a rethink of pedagogical practice according to a more in-depth understanding of learning and assessment as a single formative process. The aim of the present article is to describe the elaboration and validation an instrument that seeks to investigate student perceptions of the culture of assessment as learning. The study is exploratory and descriptive in nature and comprises 505 primary and secondary school students from the region of La Araucanía, Chile. Content validity of the instrument was examined by an expert panel. Further, reliability was determined according to Cronbach’s Alpha coefficient and MacDonald’s Omega indicator, whilst construct analysis included the development of exploratory and confirmatory factor analysis and structural equation models. Findings revealed a scale made up of three factors: culture of self-assessment, culture of collaboration and technological culture of learning. The instrument meets requisites for statistical rigour required for its application in the school system. It can be concluded that this instrument contributes to the discussion on the integration of assessment and learning as a single construct. The instrument also contributes redefining assessment practices by providing a reference that encourages self-assessment and reflection on the profound learning opportunities that are provided by schools in the 21st century.
Downloads
References
Aravena, F., y Escare, K. y Ramírez, J. (2019). La participación democrática y la voz de los estudiantes: ¿Qué pueden hacer los líderes escolares? LÍDERES EDUCATIVOS, Centro de Liderazgo para la Mejora Escolar. https://www.lidereseducativos.cl/wp-content/uploads/2019/06/NT2_L1_F.A._LA-PARTICIPACION-DEMOCRATICA-Y-LA-VOZ-DE-LOS-ESTUDIANTES_26-06-19.pdf
Barba-Martín. R. y Hortigüela-Alcalá, D. (2022). Si la evaluación es aprendizaje, he de formar parte de la misma. Razones que justifican la implicación del alumnado. Revista Iberoamericana de Evaluación Educativa, 15(1), 9-22. https://doi.org/10.15366/riee2022.15.1.001
Blanchard, M. y Muzás, M. (2020). Cómo trabajar proyectos de aprendizaje en Educación Infantil. Narcea.
Becerra, D., Lopez, I., Gómez P., Fernández, F., y Barbera, E. (2020). EduZinc: A tool for the creation and assessment of student learning activities in complex open, online and flexible learning environments. Distance Education, 41(1), 86–105. https://doi.org/10.1080/01587919.2020.1724769
Bro, R. & Smilde, A. (2014). Principal component analysis. Analytical methods, 6(9), 2812-2831. https://doi.org/10.1039/C3AY41907J
Casado-Berrocal, Ó., Pérez-Pueyo, Á. y Casado-Berrocal, P. (2017). La autorregulación en educación primaria: una propuesta para favorecer la autonomía del alumno. En V. López-Pastor y A. Pérez-Pueyo (Coords.), Buenas prácticas docentes (pp. 208-237). Universidad de León. https://buleria.unileon.es/bitstream/handle/10612/7057/cap.%2012.pdf?sequence=1&isAllowed=y
Coll, C., Fauré, J. y Arriazu, R. (2022). Posicionamiento del alumnado de Educación Primaria y Secundaria ante la personalización del aprendizaje: construcción y validación de una escala. Revista de Educación, 395, 265-290. https://doi.org/10.4438/1988-592X-RE-2022-395-514
Comisión Internacional sobre los Futuros de la Educación (2021). Reimaginar juntos nuestros futuros: un nuevo contrato social para la educación. Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura, UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000379381_spa
Ding, C. & Hershberger, S. (2002). Assessing content validity and content equivalence using structural equation modeling. Structural Equation Modeling: A Multidisciplinary Journal, 9(2), 283-297. https://doi.org/10.1207/S15328007SEM0902_7
Escobar-Pérez, J. y Cuervo-Martínez, Á. (2008). Validez De Contenido Y Juicio De Expertos: Una Aproximación a Su Utilización. Avances en Medición, 6(1), 27–36. https://doi.org/10.32870/ap.v9n2.993
Elmore, R. (2010). Mejorando la escuela desde la sala de clases. Fundación Chile. http://psicopedagogia.weebly.com/uploads/6/8/2/3/6823046/libro_elmore.pdf
Ferreiro, F. & Domínguez, D. (2020). Design learning and practice applied in functional diversity contexts: An open-method based approach. Arte, Individuo y Sociedad, 33(1), 259–281. https://doi.org/10.5209/ARIS.68151
Fullan, M. y Langworthy, M. (2014). Una Rica Veta: cómo las nuevas pedagogías logran el aprendizaje en profundidad. Pearson.
Fullan, M., Quinn, J. & McEachen, J. (2018). Deep Learning. Engage the World Change the World. Corwin.
Fullan, M. (2021). Los impulsores correctos para el éxito de todo el sistema. Centre for Strategic Education. https://michaelfullan.ca/wp-content/uploads/2021/03/21_Right-Drivers-Spanish-comp.pdf
Fondo de las Naciones Unidas para la Infancia, UNICEF (2013). Superando el adultocentrismo. Autor. https://www.imageneseducativas.com/wp-content/uploads/2019/02/Superando-el-Adultocentrismo.pdf
García-Chitiva, M. y Suárez-Guerrero, C. (2019). Estado de la investigación sobre la colaboración en Entornos Virtuales de Aprendizaje. Revista de Medios y Educación, (56), 169-191. https://doi.org/10.12795/pixelbit.2019.i56.09
Gómez, Á. (2019). Ser docente en tiempos de incertidumbre y perplejidad. Márgenes, Revista de Educación de La Universidad de Málaga, 0, 3–17. https://doi.org/10.24310/mgnmar.v0i0.6497
González, R., Otondo, M. y Aravena, A. (2018). Escala de medición del impacto de la retroalimentación en el aprendizaje. Revista Espacios, 39(49), 1-35. http://www.revistaespacios.com/a18v39n49/a18v39n49p35.pdf
González-Cabañes, E., García, T., Álvarez-García, D., Fernández, E., & Rodríguez, C. (2022). Validation of the Shortened Version of the Metacognitive Awareness Inventory in Spanish Uiversity Students. Psicothema, 34(3), 454–462. https://doi.org/10.7334/psicothema2022.75
González-Palacio, E., Chaverra-Fernández, B., Bustamante-Castaño, S. y Toro-Suaza, C. (2021). Diseño y validación de un cuestionario sobre las concepciones y percepción de los estudiantes sobre la evaluación en Educación Física. Retos, 40, 317–325. https://doi.org/10.47197/retos.v1i40.80914
Hattie, J. (2017). Aprendizaje visible para profesores. Paraninfo.
Hattie, J. y Yates, G. (2018). El aprendizaje visible y el estudio de sus procesos. Paraninfo.
Holgado-Tello, F., Chacón-Moscoso, S., Barbero-García, I. & Vila-Abad, E. (2010). Polychoric versus Pearson correlations in exploratory and confirmatory factor analysis of ordinal variables. Quality & Quantity, 44(1), 153-166. https://doi.org/10.1007/s11135-008-9190-y
Holzinger, K. & Swineford, F. (1937). The bi-factor method. Psychometrika, 2(1), 41-54. https://doi.org/10.1007/BF02287965
Ibáñez, A. (2021). Tecnología con propósito para una ciudadanía global. Revista Padres y Maestros, (386), 55-61. https://doi.org/10.14422/pym.i386.y2021.009
Jara, N., Cáceres, D., León, V. y Villagra, C. (2022). Transitar hacia la evaluación como aprendizaje. Revista de Educación Mendive, 20(4), 1219-1236. https://mendive.upr.edu.cu/index.php/MendiveUPR/article/view/3037
Kyriazos, T. (2018). Applied psychometrics: sample size and sample power considerations in factor analysis (EFA, CFA) and SEM in general. Psychology, 9(08), 2207-2230. https://doi.org/10.4236/psych.2018.98126
Le, H., Schmidt, F., Harter, J. & Lauver, K. (2010). The problem of empirical redundancy of constructs in organizational research: An empirical investigation. Organizational Behavior and Human Decision Processes, 112(2), 112-125. https://doi.org/10.1016/j.obhdp.2010.02.003
López-Pastor, V. (2017). Evaluación formativa y compartida: evaluar para aprender y la implicación del alumnado en los procesos de evaluación y aprendizaje. En V. López-Pastor y A. Pérez-Pueyo (Coords.), Buenas prácticas docentes (pp. 34-68). Universidad de León. https://buleria.unileon.es/handle/10612/5999
Mehta, J. y Fine, S. (2019). In Search of Deeper Learning: The Quest to Remake the American High School. Harvard University Press.
McDonald, R. (1999). Test theory: A unified treatment. Erlbaum.
Moreno-Olivos, T. (2021). Cambiar la evaluación: Un imperativo en tiempos de incertidumbre. Alteridad Revista de Educación, 16(2), 223-234. https://doi.org/10.17163/alt.v16n2.2021.05
Muriel, L., Gómez, L. y Londoño-Vásquez, D. (2020). La riqueza de la evaluación en la escuela, un tesoro no oculto. Praxis & Saber, 11(25), 111–130. https://doi.org/10.19053/22160159.v11.n25.2020.9359
Pascual-Arias, C; García-Herranz, S. y López-Pastor, V. (2019). What do preschool students want? The role of formative and shared assessment in their right to decide. Culture and Education, 31(4), 865-880, https://doi.org/10.1080/11356405.2019.1656486
Prats, M., Sanmartí, N. y Oró, I. (2020). Evaluar para aprender con el apoyo de herramientas y recursos digitales. Aloma, 38(2), 9–20. https://doi.org/10.51698/aloma.2020.38.2.9-20
Quero, M. (2010). Confiabilidad y coeficiente Alpha de Cronbach. Telos, 12(2), 248-252. https://www.redalyc.org/pdf/993/99315569010.pdf
Quinn, J., Mceachen, J., Fullan, M., Gardner, M., y Grummy, M. (2021). Sumergirse en el aprendizaje profundo. Morata.
Reise, S. (2012). The rediscovery of bifactor measurement models. Multivariate behavioral research, 47(5), 667-696. https://doi.org/10.1080/00273171.2012.715555
Rincón-Gallardo, S. (2019). Liberar el Aprendizaje el cambio educativo como movimiento social. Grano de Sal.
Rincón-Gallardo, S. (2020a). De-schooling Well-being: Toward a Learning-Oriented Definition. ECNU Review of Education, 3(3), 452–469. https://doi.org/10.1177/2096531120935472
Rincón-Gallardo, S. (2020b). ¿Dónde está ahora la esperanza? Aprendizaje y trazos a futuro para la investigación educativa en México. Revista Latinoamericana de Estudios Educativos, 50(2), 31–54. https://doi.org/10.48102/rlee.2020.50.2.58
Ríos-Muñoz, D. y Herrera-Araya, D. (2021). Contribución de la evaluación educativa para la formación democrática y transformadora de estudiantes. Educare, 25(3), 1–15. http://doi.org/10.15359/ree.25-3.40
Robinson, K. y Aronica, L. (2015). Escuelas creativas. La revolución que está transformando la educación. Penguin Random House.
Sala, A., Punie, Y., Garkov, V. & Cabrera, M. (2020). Life-Comp: The European Framework for Personal, Social and Learning to Learn Key Competence. Publications Office of the European Union. https://doi.org/10.2760/302967
Santos-Guerra, M. (2017). Evaluar con el corazón. Homo Sapiens.
Sanmartí, N. (2020). Evaluar y aprender: un único proceso. Octaedro.
Thurstone, L. (1935). The Vectors of the Mind. University of Chicago Press.
Torshizi, M. y Bahman, M. (2019). I explain, therefore I learn: Improving students’ assessment literacy and deep T learning by teaching. Studies in Educational Evaluation, 61, 66-73. https://doi.org/10.1016/j.stueduc.2019.03.002
Tucker, L. & Lewis, C. (1973). A reliability coefficient for maximum likelihood factor analysis. Psychometrika, 38(1), 1-10. https://doi.org/10.1007/BF02291170
Vega, H., Rozo, H., y Dávila, J. (2021). Evaluation strategies mediated by ICT: A literature review. Educare, 25(2), 1–22. https://doi.org/10.15359/ree.25-2.16
Ventura-León, J. y Caycho-Rodríguez, T. (2017). El coeficiente Omega: un método alternativo para la estimación de la confiabilidad. Revista Latinoamericana de Ciencias Sociales, niñez y juventud, 15(1), 625-627. https://www.redalyc.org/pdf/773/77349627039.pdf
Villagra, C., Mellado, M., Leiva, M. y Sepúlveda, S. (2022). Prácticas evaluativas en la formación inicial de docentes: un estudio self study colaborativo. Revista Sophia Austral, 28, 1-23. https://doi.org/10.22352/SAUSTRAL20222803
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2022 RELIEVE-Revista Electr´ónica de Investigación y Evaluación Educativa
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
The authors grant non-exclusive rights of exploitation of works published to RELIEVE and consent to be distributed under the Creative Commons Attribution-Noncommercial Use 4.0 International License (CC-BY-NC 4.0), which allows third parties to use the published material whenever the authorship of the work and the source of publication is mentioned, and it is used for non-commercial purposes.
The authors can reach other additional and independent contractual agreements, for the non-exclusive distribution of the version of the work published in this journal (for example, by including it in an institutional repository or publishing it in a book), as long as it is clearly stated that the Original source of publication is this magazine.
Authors are encouraged to disseminate their work after it has been published, through the internet (for example, in institutional archives online or on its website) which can generate interesting exchanges and increase work appointments.
The fact of sending your paper to RELIEVE implies that you accept these conditions.
