Prediction of the difficulty level in a standardized reading comprehension test: contributions from cognitive psychology and psychometrics

Authors

  • Armel Brizuela Universidad de Costa Rica
  • Eiliana Montero-Rojas Universidad de Costa Rica

DOI:

https://doi.org/10.7203/relieve.19.2.3143

Keywords:

Cognitive psychology, language processing, reading comprehension, Item Response Theory, Linear Logistic Test Model, Task Analysis, Item difficulty level.

Abstract

This research seeks to identify possible predictors of the difficulty level of reading comprehension items used in a standardized psychometric test for university admission. Several potential predictors of difficulty were proposed, namely, propositional density, negations, grammatical structure, vocabulary difficulty, presence of enhancement elements (words highlighted typographically), item abstraction level and degree of similarity between correct option and relevant text to resolve the item. By Linear Logistic Test Model (Fisher, 1973) it was found that the number of propositions, the syntactic structure, and fundamentally, the presence of difficult words contributed to the prediction of the item difficulty level.

Downloads

Download data is not yet available.

Author Biographies

Armel Brizuela, Universidad de Costa Rica

Filólogo y especialista en métodos de investigación cuantitativa en el campo de la psicología. Labora como investigador en el Programa Permanente de la Prueba de Aptitud Académica y en el Programa de Pruebas Específicas para Ingreso a Carrera (adscritos al Instituto de Investigaciones Psicológicas de la Universidad de Costa Rica).

Eiliana Montero-Rojas, Universidad de Costa Rica

Doctora en Medición y Evaluación Educativa de la Universidad Estatal de Florida, USA, y bachiller en Estadística de la Universidad de Costa Rica (UCR). Catedrática de la UCR desde 1993, se desempeña como docente e investigadora en la Escuela de Estadística, en el Instituto de Investigaciones Psicológicas y en diversos programas de posgrado. Autora o coautora de más de 30 publicaciones científicas. Sus áreas de trabajo incluyen modelos mixtos (multinivel) y modelos de ecuaciones estructurales, evaluación de impacto, modelos de medición, especialmente IRT y Rasch, y validación de instrumentos e indicadores. Su experiencia en consultorías incluye a las siguientes organizaciones: ETS (Educational Testing Service) de Estados Unidos, Fundación Jacobs (Suiza), INCAE Business School, UNAIDS, Universidad de Chile, Escuela Andaluza de Economía Social, Programa Estado de la Educación de Costa Rica, Ministerio de Educación de Costa Rica y Ministerio de Educación de Nicaragua. La American Statistical Association de Estados Unidos le otorgó la distinción “Educational Ambassador 2010-2011”

Published

2013-12-24

How to Cite

Brizuela, A., & Montero-Rojas, E. (2013). Prediction of the difficulty level in a standardized reading comprehension test: contributions from cognitive psychology and psychometrics. RELIEVE – Electronic Journal of Educational Research and Evaluation, 19(2). https://doi.org/10.7203/relieve.19.2.3143

Issue

Section

Research Articles