Internal validation of the English test of the EvAU in the Community of Madrid
DOI:
https://doi.org/10.30827/portalin.vi41.26977Keywords:
validity, external testing, access to university, foreign language, English language.Abstract
The assessment of linguistic competence for access to university in Spain was modified in 2009 and is currently a social and academic topic of interest. The aim of this study is to analyze the internal validity of the foreign language proficiency assessment test for university entrance. It is a non-experimental cross-sectional study with descriptive character. The foreign language test for English was used with 4,243 university applicants in June 2021. The results provide information about the technical quality of the English foreign language test. It can be seen that the true/false questions could pose technical difficulties since they are the easiest tasks, as well as the vocabulary questions, which, in contrast, would prove to be the most complex. Also, the disparity in results for questions requiring written expression suggests that analytical and objective assessment tools should be considered, even if reliability is adequate. The results suggest that both the tasks and the assessment of all language skills need to be reconsidered.
Downloads
Download data is not yet available.
References
Alderson, J. C., Clapham, C. & Wall, D. (1995). Language test construction and evaluation. Cambridge University Press.
Amengual Pizarro, M. (2004). Análisis de la fiabilidad en las puntuaciones holísticas en ítems abiertos. Tesis doctoral, Universidad Complutense de Madrid.
Amengual Pizarro, M. (2005). Posibles sesgos en los resultados del examen de selectividad. En H. Herrero Soler & J. García Laborda (Eds.). Estudios y criterios para una selectividad de calidad en el examen de inglés (pp. 121-148). Editorial de la Universidad Politécnica de Valencia.
Amengual Pizarro, M. (2006). Análisis de la prueba de inglés de selectividad de la Universitat de les Illes Balears. Ibérica, 11, 29-59.
Amengual-Pizarro, M. & Méndez García, M. C. (2012). Implementing the oral English task in the Spanish university admission examination: An international perspective of the language. Revista de Educación, 357, 105-127.
Bachman, L. F. (1990). Fundamental considerations in language testing. Oxford University Press.
Bachman, L. F. & Palmer, A. S. (1996). Language testing in practice: Designing and developing useful language tests. Oxford University Press.
Bond, T. (2004). Validity and assessment: A Rasch mesasurement perspective. Metodología de las Ciencias del Comportamiento, 5, 179-194.
Brown, H. D. (1994). Principles of language learning and teaching. Prentice Hall.
Bueno, M. C. & Luque, G. (2012). Competencias en lengua extranjera exigibles en la Prueba de Acceso a la Universidad: Una propuesta para la evaluación de los aspectos orales. Revista de Educación, 357, 81-104.
Carr-Hill, R., Rolleston, C., Schendel, R. & Waddington, H. (2018). The effectiveness of school-based decision making in improving educational outcomes: A systematic review. Journal of Development Effectiveness, 10(1), 61-94. https://doi.org/10.1080/19439342.2018.1440250.
Council of Europe. (2001). Common European framework of reference for language learning, teaching and assessment. Cambridge University Press.
CRUE (2022). Propuesta de prueba de acceso a la Universidad a partir del curso 2023-2024. Ministerio de Educación y Formación Profesional. https://www.educacionyfp.gob.es/en/dam/jcr:fe46dfb9-07a5-4482-8ebb-e070f157de77/presentaci-n-simplificada-evau.pdf.
Díez Bedmar, M. B. (2011). The English exam in the university entrance examination: An overview of studies. Revista Canaria de Estudios Ingleses, 63, 101-112.
Fernández Álvarez, M. (2007). Propuesta metodológica para la creación de un nuevo examen de inglés en las pruebas de acceso a la universidad. Tesis doctoral, Universidad de Granada.
Fernández Álvarez, M., García Laborda, J. & Magal-Royo, T. (2022). Underrepresentation of the construct in Spanish standardized foreign language exams: A computer assisted exam proposal, Porta Linguarum, Monograph IV, 27-45. https://doi.org/10.30827/portalin.vi.21393.
Fulcher, G. (1997). An English language placement test: Issues in reliability and validity. Language Testing, 14(2), 113-139.
García Laborda, J. (2010). ¿Necesitan las universidades españolas una prueba de acceso informatizada? El caso de la definición del constructo y la previsión del efecto en la enseñanza para idiomas extranjeros. Revista de Orientación y Psicopedagogía, 21(1), 71-80.
García Laborda, J. (2013). Reacciones iniciales de los profesores a la preparación de la prueba informatizada de acceso a la universidad. Lenguaje y Textos, 38, 133-140.
García Laborda, J. & Gimeno Sanz, A. (2008). Adaptación del examen de inglés de las pruebas de acceso a la universidad a un entorno informático: Estudio sobre la tipología de preguntas. Proceedings of the XXV Congreso Nacional de Lingüística Aplicada (pp. 723-730). Servicio de publicaciones de la Universidad de Murcia.
García Laborda, J. & Martín-Monje, E. (2013). Item and test construct definition for the new Spanish Baccalaureate final evaluation: A proposal. International Journal of English Studies, 13(2), 69-88. https://doi.org/10.6018/ijes.13.2.185921.
García Laborda, J., Gimeno Sanz, A. & de Siqueira, J. M. (2011). Experimentación de las soluciones tecnológicas del proyecto PAULEX para optimizar la prueba de inglés del examen de acceso a la universidad en España. Educaçao Temática Digital, 12(2), 1-11.
Hughes, A. (2003). Testing for language teachers. Cambridge University Press.
Hughes, S. P. & Madrid, D. (2020) The effects of CLIL on content knowledge in monolingual contexts. The Language Learning Journal, 48(1), 48-59. https://doi.org/10.1080/09571736.2019.1671483.
Linacre, J. M. (2019). WINSTEPS rasch measurement computer program [version 4.4.0]. Winsteps.
Real Decreto 1105/2014, de 26 de diciembre, por el que se establece el currículo básico de la Educación Secundaria Obligatoria y del Bachillerato. Boletín Oficial del Estado, 3, de 3 enero de 2015, pp. 169-546.
Real Decreto-ley 5/2016, de 9 de diciembre, de medidas urgentes para la ampliación del calendario de implantación de la Ley Orgánica 8/2013, de 9 de diciembre, para la mejora de la calidad educativa. Boletín Oficial del Estado, 298, de 10 de noviembre de 2016, pp. 86168-86174.
Real Decreto 310/2016, de 29 de julio, por el que se regulan las evaluaciones finales de Educación Secundaria Obligatoria y de Bachillerato. Boletín Oficial del Estado, 183, de 30 de julio de 2016, pp. 53049-53065.
Revelle, W. (2020). psych: Procedures for Personality and Psychological Research. Northwestern University.
Ródenas, J. A. (2018). El impacto de la enseñanza bilingüe en el alumnado de Educación Primaria: análisis del rendimiento académico y de los intereses por las áreas curriculares. Ensayos, Revista de la Facultad de Educación de Albacete, 33(2), 1-13. https://doi.org/10.18239/ensayos.v33i2.1532.
Ruiz-Lázaro, J. (2022). Acceso a la universidad en España. Análisis comparativo de las pruebas comunes por comunidades autónomas [Tesis doctoral, Universidad Complutense de Madrid] https://eprints.ucm.es/id/eprint/70697/.
Ruiz-Lázaro, J., & González Barbera, C. (2017). Análisis de la Prueba de Lengua Castellana y Literatura que da acceso a la universidad. Comparación entre las comunidades autónomas. Bordón, 69(3), 175-195. https://doi.org/10.13042/Bordon.2017. 50927.
Ruiz-Lázaro, J., González Barbera, C., & Gaviria Soto, J.L. (2021). Las pruebas de inglés para acceder a la Universidad. Una comparación entre Comunidades Autónomas. Educación XX1, 24(1), 233-270. http://doi.org/10.5944/educXX1.26746.
Sevilla-Pavón, A., Gimeno-Sanz, A., & García Laborda, J. (2017). Actitudes docentes hacia los ejercicios de la Prueba de Acceso a la Universidad informatizada. Educaçao e Pesquisa: Revista da Faculdade de Educação da Universidade de São Paulo, 43(4), 1179-1200. https://doi.org/10.1590/S1517-9702201612149283.
Sistema Integrado de Información Universitaria (2022). Estadísticas de las Pruebas de Acceso a la Universidad. Ministerio de Educación, Cultura y Deporte.
Amengual Pizarro, M. (2004). Análisis de la fiabilidad en las puntuaciones holísticas en ítems abiertos. Tesis doctoral, Universidad Complutense de Madrid.
Amengual Pizarro, M. (2005). Posibles sesgos en los resultados del examen de selectividad. En H. Herrero Soler & J. García Laborda (Eds.). Estudios y criterios para una selectividad de calidad en el examen de inglés (pp. 121-148). Editorial de la Universidad Politécnica de Valencia.
Amengual Pizarro, M. (2006). Análisis de la prueba de inglés de selectividad de la Universitat de les Illes Balears. Ibérica, 11, 29-59.
Amengual-Pizarro, M. & Méndez García, M. C. (2012). Implementing the oral English task in the Spanish university admission examination: An international perspective of the language. Revista de Educación, 357, 105-127.
Bachman, L. F. (1990). Fundamental considerations in language testing. Oxford University Press.
Bachman, L. F. & Palmer, A. S. (1996). Language testing in practice: Designing and developing useful language tests. Oxford University Press.
Bond, T. (2004). Validity and assessment: A Rasch mesasurement perspective. Metodología de las Ciencias del Comportamiento, 5, 179-194.
Brown, H. D. (1994). Principles of language learning and teaching. Prentice Hall.
Bueno, M. C. & Luque, G. (2012). Competencias en lengua extranjera exigibles en la Prueba de Acceso a la Universidad: Una propuesta para la evaluación de los aspectos orales. Revista de Educación, 357, 81-104.
Carr-Hill, R., Rolleston, C., Schendel, R. & Waddington, H. (2018). The effectiveness of school-based decision making in improving educational outcomes: A systematic review. Journal of Development Effectiveness, 10(1), 61-94. https://doi.org/10.1080/19439342.2018.1440250.
Council of Europe. (2001). Common European framework of reference for language learning, teaching and assessment. Cambridge University Press.
CRUE (2022). Propuesta de prueba de acceso a la Universidad a partir del curso 2023-2024. Ministerio de Educación y Formación Profesional. https://www.educacionyfp.gob.es/en/dam/jcr:fe46dfb9-07a5-4482-8ebb-e070f157de77/presentaci-n-simplificada-evau.pdf.
Díez Bedmar, M. B. (2011). The English exam in the university entrance examination: An overview of studies. Revista Canaria de Estudios Ingleses, 63, 101-112.
Fernández Álvarez, M. (2007). Propuesta metodológica para la creación de un nuevo examen de inglés en las pruebas de acceso a la universidad. Tesis doctoral, Universidad de Granada.
Fernández Álvarez, M., García Laborda, J. & Magal-Royo, T. (2022). Underrepresentation of the construct in Spanish standardized foreign language exams: A computer assisted exam proposal, Porta Linguarum, Monograph IV, 27-45. https://doi.org/10.30827/portalin.vi.21393.
Fulcher, G. (1997). An English language placement test: Issues in reliability and validity. Language Testing, 14(2), 113-139.
García Laborda, J. (2010). ¿Necesitan las universidades españolas una prueba de acceso informatizada? El caso de la definición del constructo y la previsión del efecto en la enseñanza para idiomas extranjeros. Revista de Orientación y Psicopedagogía, 21(1), 71-80.
García Laborda, J. (2013). Reacciones iniciales de los profesores a la preparación de la prueba informatizada de acceso a la universidad. Lenguaje y Textos, 38, 133-140.
García Laborda, J. & Gimeno Sanz, A. (2008). Adaptación del examen de inglés de las pruebas de acceso a la universidad a un entorno informático: Estudio sobre la tipología de preguntas. Proceedings of the XXV Congreso Nacional de Lingüística Aplicada (pp. 723-730). Servicio de publicaciones de la Universidad de Murcia.
García Laborda, J. & Martín-Monje, E. (2013). Item and test construct definition for the new Spanish Baccalaureate final evaluation: A proposal. International Journal of English Studies, 13(2), 69-88. https://doi.org/10.6018/ijes.13.2.185921.
García Laborda, J., Gimeno Sanz, A. & de Siqueira, J. M. (2011). Experimentación de las soluciones tecnológicas del proyecto PAULEX para optimizar la prueba de inglés del examen de acceso a la universidad en España. Educaçao Temática Digital, 12(2), 1-11.
Hughes, A. (2003). Testing for language teachers. Cambridge University Press.
Hughes, S. P. & Madrid, D. (2020) The effects of CLIL on content knowledge in monolingual contexts. The Language Learning Journal, 48(1), 48-59. https://doi.org/10.1080/09571736.2019.1671483.
Linacre, J. M. (2019). WINSTEPS rasch measurement computer program [version 4.4.0]. Winsteps.
Real Decreto 1105/2014, de 26 de diciembre, por el que se establece el currículo básico de la Educación Secundaria Obligatoria y del Bachillerato. Boletín Oficial del Estado, 3, de 3 enero de 2015, pp. 169-546.
Real Decreto-ley 5/2016, de 9 de diciembre, de medidas urgentes para la ampliación del calendario de implantación de la Ley Orgánica 8/2013, de 9 de diciembre, para la mejora de la calidad educativa. Boletín Oficial del Estado, 298, de 10 de noviembre de 2016, pp. 86168-86174.
Real Decreto 310/2016, de 29 de julio, por el que se regulan las evaluaciones finales de Educación Secundaria Obligatoria y de Bachillerato. Boletín Oficial del Estado, 183, de 30 de julio de 2016, pp. 53049-53065.
Revelle, W. (2020). psych: Procedures for Personality and Psychological Research. Northwestern University.
Ródenas, J. A. (2018). El impacto de la enseñanza bilingüe en el alumnado de Educación Primaria: análisis del rendimiento académico y de los intereses por las áreas curriculares. Ensayos, Revista de la Facultad de Educación de Albacete, 33(2), 1-13. https://doi.org/10.18239/ensayos.v33i2.1532.
Ruiz-Lázaro, J. (2022). Acceso a la universidad en España. Análisis comparativo de las pruebas comunes por comunidades autónomas [Tesis doctoral, Universidad Complutense de Madrid] https://eprints.ucm.es/id/eprint/70697/.
Ruiz-Lázaro, J., & González Barbera, C. (2017). Análisis de la Prueba de Lengua Castellana y Literatura que da acceso a la universidad. Comparación entre las comunidades autónomas. Bordón, 69(3), 175-195. https://doi.org/10.13042/Bordon.2017. 50927.
Ruiz-Lázaro, J., González Barbera, C., & Gaviria Soto, J.L. (2021). Las pruebas de inglés para acceder a la Universidad. Una comparación entre Comunidades Autónomas. Educación XX1, 24(1), 233-270. http://doi.org/10.5944/educXX1.26746.
Sevilla-Pavón, A., Gimeno-Sanz, A., & García Laborda, J. (2017). Actitudes docentes hacia los ejercicios de la Prueba de Acceso a la Universidad informatizada. Educaçao e Pesquisa: Revista da Faculdade de Educação da Universidade de São Paulo, 43(4), 1179-1200. https://doi.org/10.1590/S1517-9702201612149283.
Sistema Integrado de Información Universitaria (2022). Estadísticas de las Pruebas de Acceso a la Universidad. Ministerio de Educación, Cultura y Deporte.
Downloads
Published
2024-01-31
How to Cite
Fernández Álvarez, M., Ruiz-Lázaro, J., & García Laborda, J. (2024). Internal validation of the English test of the EvAU in the Community of Madrid . Porta Linguarum An International Journal of Foreign Language Teaching and Learning, (41), 173–188. https://doi.org/10.30827/portalin.vi41.26977
Issue
Section
Articles
License
The authors who publish in this journal agree to the following terms:
- The authors retain copyright and guarantee to the journal the right to be the first to publish the work as well as licensed under a Creative Commons Attribution License that allows others to share the work with an acknowledgement of the authorship of the work and the initial publication in this journal.
- Authors may separately enter into additional agreements for non-exclusive distribution of the version of the work published in the journal (e.g., placing it in an institutional repository or publishing it in a book), with acknowledgement of its initial publication in this journal.
- Authors are allowed and encouraged to disseminate their work electronically (e.g., in institutional repositories or on their own website) before and during the submission process, as this can lead to productive exchanges as well as earlier and greater citation of published work (see The Effect of Open Access).
