El constructo aprender a aprender (AaA) está presente en la literatura científica desde los años 80 del siglo pasado. Tanto la literatura sobre aprendizaje estratégico (Weinstein, 1988), basada en la psicología cognitiva/teoría del procesamiento de la información, como la literatura sobre aprendizaje autorregulado (Pintrich, 2004; Zimmerman, Schunk & DiBenedetto, 2017), fundamentada en la teoría socio-cognitiva (Caena, 2019; Panadero, 2017), preconizaban su relevancia. Las dos líneas han acabado convergiendo (Weinstein & Acee, 2018), integrándose la concepción del aprendiz estratégico con la del aprendiz autorregulado. Pero, aunque el uso del término aprender a aprender es habitual en la literatura, no ha sido hasta los pronunciamientos de la Comisión Europea, cuando se ha comenzado a hablar de “competencia aprender a aprender”.

La Comisión incluyó AaA como una competencia clave para los sistemas educativos de los países miembros (CE, 2006). Esta competencia incluye motivación, confianza y habilidad para persistir en el aprendizaje; organización y gestión del tiempo y manejo de habilidades para aprender; conciencia del propio proceso de aprendizaje y sobreponerse a las dificultades; trabajar bien en grupo y aplicar lo aprendido en la vida privada y profesional.

En 2018 la Comisión la reformuló, denominándola competencia personal, social y de aprendizaje (CE, 2018), incorporando a la anterior propuesta elementos importantes de lo personal y lo social: resolución de conflictos, empatía, gestión del estrés, resiliencia, actitudes positivas respecto al bienestar personal y social y frente al aprendizaje a lo largo de la vida, integridad, etc.

La adquisición efectiva de esta competencia es fundamental, tanto para adaptarse a los cambios de la sociedad del conocimiento (Säfström, 2018) y afrontar el reto de la empleabilidad, como para el propio desarrollo personal y social. Especialmente en la Educación Superior el trabajo del estudiante se entiende como un ejercicio autónomo y autorregulado (Almerich et al., 2018; Lluch Molins & Portillo Vidiella, 2018; Fraile et al., 2020). Pudiera pensarse que el alumnado universitario afronta los estudios superiores con un manejo eficaz de esta competencia, pero los datos disponibles no lo refrendan (Viejo & Ortega-Ruiz, 2018; Zhu & Schumacher, 2016).

En este contexto cobra sentido la investigación que estamos desarrollando [“Diseño operativo de la competencia ‘aprender a aprender’ para los grados universitarios, Instrumentos de evaluación y propuestas para la enseñanza”. Investigación financiada por el Ministerio de Economía, Industria y Competitividad. Código EDU2017-83284-R.]: el tema de esta competencia es complejo y no hay suficiente claridad ni en el constructo, ni en su evaluación, ni en cómo trabajarla en la universidad, nuestro contexto. Por eso, en nuestro proyecto abordamos tanto cuestiones teóricas fundamentales como la enseñanza y evaluación, y el objetivo general de este trabajo es la elaboración y validación de validación de constructo de un cuestionario para su evaluación. Este objetivo general se concreta en los siguientes objetivos específicos:

1. Establecer la fiabilidad del cuestionario, en las dimensiones y subdimensiones

2. Determinar la evidencia basada en la estructura interna del cuestionario.

El modelo de la competencia AaA

Disponemos de un modelo, elaborado por este equipo investigador, que ha servido de base para la construcción del cuestionario. Su proceso de elaboración se recoge en Gargallo et al. (2020). Nuestra pretensión era elaborar un modelo rigurosamente fundamentado y comprensivo que aglutinase las diversas dimensiones de la competencia, sirviendo para cualquier etapa educativa.

Una vez construido, el modelo fue sometido a juicio de seis expertos en aprendizaje, todos ellos profesores universitarios e investigadores. Los expertos debían valorar la pertinencia de la definición de la competencia AaA elaborada por el equipo investigador. Así mismo, en qué medida cada una de las dimensiones propuestas y su descripción eran un elemento representativo de la competencia y cubrían los elementos fundamentales recogidos en la definición de la competencia. Por último, debían valorar en qué medida cada una de las subdimensiones de la competencia, tal como habían sido formuladas por los investigadores, eran un elemento representativo relevante de las áreas incluidas en las cinco dimensiones y en qué medida cubrían los elementos fundamentales incluidos en la descripción de cada dimensión. A partir de esta valoración se realizaron en el modelo los ajustes precisos, quedando el mismo como sigue:

En la Figura 1 se incluyen las cinco dimensiones integrantes y su descripción y, en la Figura 2, las veinte subdimensiones establecidas. Las tres primeras dimensiones (cognitiva, metacognitiva y afectiva-motivacional) derivan de la teoría sobre aprendizaje estratégico y aprendizaje autorregulado, que fundamentan la formulación de la competencia. La cuarta dimensión, social-relacional, proviene del enfoque sociocultural/constructivista (Caena, 2019), y recoge la relevancia del aprendizaje con otros sujetos.

Figura 1
Dimensiones de la competencia AaA

Al modelo se incorporó una quinta dimensión, ética, no contemplada en los existentes. Un aprendiz competente no puede desestimar los componentes éticos involucrados en el aprendizaje, tanto los referidos a la ética en el proceso de aprender como a la ética en el proceso de usar lo aprendido para la propia mejora y la de los demás.

La evaluación de la competencia y la investigación sobre el tema

No se puede articular un buen diseño curricular sin disponer de procedimientos e instrumentos de evaluación coherentes.

Un problema para ello es la complejidad del constructo, ya que AaA es una metacompetencia que incorpora competencias ya de por sí complejas, como la resolución de problemas, la gestión de la información, el trabajo en equipo, etc. Ello hace necesario una aproximación integradora, que utilice diversos instrumentos de evaluación, cuantitativos y cualitativos, para evidenciar su logro. Las competencias se manifiestan en resultados de aprendizaje y estos se pueden aquilatar en las propias tareas que se desarrollan para su logro. Un enfoque de tareas auténticas de enseñanza y de evaluación, eminentemente ecológico, parece pertinente para el trabajo cotidiano del profesorado, con una aproximación de tipo alineado (alineamiento constructivo) (Ruge et al., 2019), tal como planteó Biggs (2005), en que competencias, resultados de aprendizaje, procedimientos de enseñanza y evaluación se organizan/cooperan para lograr el aprendizaje profundo del estudiante. Ello permite una aproximación muy funcional al tema de la enseñanza/evaluación, que facilita el trabajo del profesorado, pudiendo utilizarse las tareas y métodos para enseñar la competencia (trabajo cooperativo, trabajos individuales, proyectos, exposiciones públicas, debates, solución de problemas, estudio de casos, etc.) como procedimientos de evaluación. Sirven, para ello, instrumentos de registro sistemático -registros de observación, rúbricas, escalas de diferencial semántico, etc.-, el análisis de las producciones de los alumnos –portafolios, trabajos individuales y de grupo-, las preguntas de reflexión metacognitiva –para que el alumnado reflexione sobre el proceso seguido al aprender-, etc.

Así y todo, es imprescindible disponer de algún instrumento estandarizado que permita obtener datos relevantes, complementarios de los recogidos por otros procedimientos. Tal instrumento permitiría valorar el logro de la competencia, pudiendo usarse para diagnóstico y evaluación de posibles programas formativos, y también obtener datos poblacionales para su contraste mediante estudios descriptivos/comparativos, explicativos, predictivos, etc.

Hay trabajos previos españoles y europeos. De entre los españoles, se pueden destacar los de Jornet Meliá et al. (2012), que presentan una propuesta metodológica para implementar la evaluación de AaA.

Una de las autoras, García Bellido (2015), elaboró y validó un instrumento de evaluación en su tesis doctoral. El problema es que el cuestionario se centra exclusivamente en la evaluación de AaA en profesionales de la educación. La autora establece, para estos sujetos, tres dimensiones/subcompetencias a evaluar: Comprensión de lenguajes científicos disciplinares, Conocimiento y uso de recursos para la mejora profesional y Actitudes hacia el desarrollo profesional y la mejora. Es un cuestionario cuidadosamente elaborado, que exige la realización de tareas para valorar la competencia, pero presenta una dificultad de base, no justificar suficientemente por qué esas tres dimensiones son las que integran la competencia.

Para población estudiantil universitaria, disponemos de dos estudios españoles, de diseño de instrumentos estandarizados:

El de Villardón-Gallego et al. (2013), que diseñó un cuestionario de 18 ítems, integrados en cuatro dimensiones: autogestión del aprendizaje, construcción del conocimiento, conocimiento personal como aprendiz . transferencia del conocimiento, para evaluar la competencia en estudiantes universitarios. El proceso de validación fue riguroso, con análisis factorial confirmatorio y buenos indicadores estadísticos, pero la visión de la competencia de los autores es limitada, siendo muy difícil realizar un buen diagnóstico con un cuestionario tan breve. Hay demasiadas variables relevantes olvidadas (afectivo-motivacionales, sociales, etc.).

Algo similar ocurre con el trabajo de Muñoz-San Roque et al. (2016), que elaboraron un cuestionario de 9 ítems organizados en tres dimensiones: gestión del proceso de aprendizaje, autoevaluación del proceso y autoconocimiento como aprendiz. También en este caso quedaron fuera de la consideración del cuestionario demasiadas variables fundamentales en el constructo AaA.

Figura 2
Dimensiones y subdimensiones del modelo

En Europa se han realizado varios estudios relevantes. La Universidad de Helsinki desarrolló el proyecto LEARN (Life as Learning), en cuyo seno Hautamäki et al. (2002), implementaron un trabajo para elaborar un instrumento de evaluación, bien fundamentado, para alumnado de primaria y secundaria. El instrumento incluye tres componentes: Creencias relacionadas con el contexto, Creencias en relación con uno mismo y Competencias de aprendizaje) y varias dimensiones.

Otro trabajo importante es el desarrollado por la Red CRELL (Centre for Research on Education and Lifelong Learning), de la Comisión Europea. Hoskins & Fredriksson (2008) coordinaron un grupo de expertos de países europeos para elaborar un instrumento de evaluación de la competencia en la Unión. Se basaron en trabajos previos, como el de Hautamäki et al. (2002), el de Deakin Crick et al. (2013) (Inventario de Aprendizaje Permanente Efectivo), el de Elshout-Mohr et al. (2004) (Prueba de competencias transversales), y el de Moreno (2002) (Prueba para evaluar la Metacognición).

La prueba diseñada incluía tres dimensiones, Afectiva, Cognitiva . Metacognitiva, con varias subdimensiones, y fue diseñada para alumnado no universitario.

Con ella se realizaron ensayos en ocho países europeos utilizando una amplia muestra de estudiantes de 14 años, pero los datos obtenidos mostraron la necesidad de posteriores desarrollos en las tres dimensiones del instrumento.

En conclusión, hasta este momento no se dispone de un instrumento europeo común y existe clara conciencia de la necesidad de profundizar en el análisis teórico de la competencia y en su evaluación (Moreno e al., 2008).

Por todo ello, desde nuestro punto de vista, es ineludible diseñar y validar un instrumento de evaluación de la competencia en estudiantes universitarios, dado que los disponibles no son lo suficientemente comprensivos para llevar a cabo una evaluación de calidad.

Método

Diseño

Se ha hecho uso de un diseño de validación de pruebas (Bandalos, 2018), descrito en la parte de procedimiento.

Participantes

La muestra estuvo configurada por 1237 estudiantes de tres universidades de la ciudad de Valencia, las dos públicas: la Universidad de Valencia Estudio General (UVEG) (34.27% de la muestra) y la Universidad Politécnica de Valencia (UPV) (33.71%), y una privada: la Universidad Católica de Valencia (UCV) (32.01%) (Tabla 1).

Tabla 1
Muestra

	UVEG (CC. Salud)	UPV (Ingenierías)	UCV (CC. Educación)	Total
CURSOS	N	N	N
1º	105	115	124	344
2º	101	128	79	308
3º	135	85	102	322
4º	83	89	91	263
Total	424	417	396	1237

Se usó un muestreo no probabilístico intencional, seleccionándose de cada universidad alumnado de una de sus grandes áreas de conocimiento: Ciencias de la Salud (UVEG), Ingenierías y Arquitecturas (UPV), y Educación (UCV). Se pretendía lograr una muestra lo suficientemente variada y representativa de grandes ámbitos/áreas de conocimiento diferentes, cada uno de una de estas tres universidades. Dada la trayectoria de investigación de nuestro grupo, que viene trabajando con esas áreas en las tres universidades en diferentes proyectos de investigación, era factible conseguir una muestra suficiente de las mismas. La muestra prevista era de 1500 sujetos, pudiéndose lograr, la final las respuestas de 1370. De estos se eliminaron los sujetos que no habían respondido a todos los ítems, siendo la muestra final de 1237.

De ellos 344 eran alumnos de 1º (27.80%), 308 de 2º (24.89%), 322 de 3º (26.03%) y 263 de 4º (21.26%). 391 eran varones (31.60%) y 843 mujeres (68.14%). Pertenecían a tres facultades y tres titulaciones de Ciencias de la Salud (UVEG), a una facultad y cuatro titulaciones de Ciencias de la Educación (UCV) y a nueve facultades y veintiuna titulaciones de Ingeniería y Arquitectura y otras titulaciones politécnicas (UPV).

Procedimiento

Para el diseño del cuestionario, el equipo investigador realizó una revisión sistemática de las publicaciones existentes sobre la competencia, prestando especial atención a su evaluación y a los instrumentos existentes en la literatura, como se recoge en el apartado de la introducción. Partiendo de este trabajo, el equipo elaboró un modelo teórico, que pretendía ser comprensivo e integrador. A partir del modelo teórico (Figura 2) se diseñó la estructura del cuestionario. El equipo investigador diseñó ítems para cada subdimensión, con un total de 226.

Para la evidencia de la validez de contenido, el cuestionario fue sometido al análisis y evaluación de 7 jueces expertos en metodología de investigación, en evaluación y en aprendizaje (Bandalos, 2018), todos ellos profesores universitarios. Los expertos dispusieron de un documento con la definición de la competencia elaborada por el equipo investigador y de la estructura del constructo teórico en que se basaba el cuestionario. Este documento incluía, también, el repertorio de ítems de cada una de las subdimensiones y dimensiones de la competencia. A partir de ahí evaluaron la validez de contenido de los ítems y de sus agrupamientos en dimensiones, su inteligibilidad, univocidad y ubicación, con una escala de 1 a 5.

Fueron desestimados los ítems con media menor de 4 puntos, reduciéndose los ítems de 226 a 210, y aquellos en que los jueces presentaban discrepancias en la valoración (prueba de concordancia de Kendall), reduciéndose los ítems de 210 a 198.

Antes de pasar el cuestionario a los alumnos de la muestra se testeó la inteligibilidad de los ítems con un grupo de Pedagogía de la Universidad de Valencia, realizándose algunos ajustes de redacción.

Reducido el cuestionario a 198 ítems, como se ha dicho antes, los alumnos seleccionados contestaron el instrumento haciendo uso de una aplicación web en una sesión de clase. Previamente dieron su consentimiento informado. La participación fue voluntaria y los alumnos cumplimentaron el cuestionario incluyendo datos demográficos, pero no de identificación personal. Consultado el Comité Ético de Investigación en Humanos de la UVEG, se confirmó la no necesidad de autorización para este estudio.

Posteriormente, a partir del análisis de los ítems se seleccionaron los más apropiados para cada una de las dimensiones y subdimensiones del cuestionario (Abad et al., 2011), reduciéndose éste a 85 ítems.

Análisis de datos

Se realizó Análisis Factorial Confirmatorio (AFC) mediante el programa lavaan (Rosseel, 2012), al disponer de un modelo teórico que se pretende refrendar y tenerse una idea clara de qué ítems integran cada subdimensión/dimensión del cuestionario (Lloret-Segura et al., 2014). Las estimaciones del modelo para la validación de la dimensionalidad de la escala se realizaron mediante el método de estimación de mínimos cuadrados diagonalmente ponderados (DWLS) dada la métrica de los ítems y las dimensiones (Finney & DiStefano, 2013).

Para evaluar el ajuste del modelo se ha utilizado la χ., teniendo en cuenta que este indicador es sensible al tamaño de la muestra, al número de indicadores del modelo o a la intersección de ambos (Hair et al., 2010). Además, diversos autores (Hair et al., 2010; Kline, 2015) recomiendan la utilización de otros indicadores para la evaluación del ajuste, junto con los umbrales de aceptación. En nuestro caso, se ha seleccionado el RMSEA, considerándose buen ajuste un valor igual o menor de .05, junto con su intervalo de confianza al 90% y su probabilidad; el índice de ajuste comparativo (CFI), considerando buen ajuste valores iguales o superiores a .95; y el residuo cuadrático medio (SRMR), en que valores iguales o menores de .05 indican un buen ajuste del modelo y aceptable entre .05 y .08 (Hu & Bentler, 1999).

Para valorar la fiabilidad de las dimensiones se ha utilizado la ω de McDonald (1999), el coeficiente alfa de Cronbach y el coeficiente alfa estratificado (α_es, Rajaratnam et al., 1965).

Resultados

Los resultados se presentan en dos subapartados: primero se validan las cinco dimensiones/escalas del constructo AaA, y luego la estructura general del constructo, a partir de las cinco dimensiones.

Validación de las dimensiones

Para validar cada una de las cinco dimensiones/escalas se ha utilizado análisis factorial confirmatorio con modelo jerárquico.

En relación con la dimensióncognitiva, se ha planteado un modelo jerárquico, estando compuesta la subdimensión/subescala de primer nivel gestión de la información por ocho subdimensiones/subescalas de segundo nivel y las habilidades de comunicación por dos subdimensiones/subescalas de segundo nivel (Figura 3). Manejo TIC y pensamiento crítico y creativo constituyen las otras dos subdimensiones de la dimensión cognitiva.

El modelo planteado muestra un buen ajuste (Tabla 2), en casi todos sus indicadores. La χ2 es significativa, si bien hay que considerar lo comentado anteriormente sobre su significatividad. Tanto el RMSEA como el CFI muestran un ajuste excelente, y el SRMR se encuentra cerca del umbral propuesto del .05, y menor de .08 (Hu & Bentler, 1999).

Figura 3
Modelo jerárquico de la dimensión cognitiva

En cuanto al modelo de medida (Figura 3), en el conjunto todas las saturaciones son significativas (p <.01) y adecuadas, siendo en su mayoría superiores a .50 (Hair et al., 2010). La excepción son tres cargas -ítem 14, ítem 18 y comunicación lengua extranjera-, cuyo valor superior a .40 es aceptable (Bandalos & Finney, 2018). Así, las cargas son pertinentes en todas las subdimensiones y, en su caso, en las subescalas de segundo nivel, así como en la dimensión cognitiva.

Tabla 2
Indicadores de ajuste de las dimensiones de aprender a aprender

Dimensiones o escalas		2			RMSEA
	2	g.l.	p	RMSEA	Int 90%	Pclose	CFI	SRMR
Cognitiva	1564.417	482	.000	.043	(.040-.045)	1.000	.954	.053
Metacognitiva	63.122	50	.101	.015	(.000-.025)	1.000	.997	.030
Afectiva y motivacional	288.564	98	.000	.040	(.034-.045)	.999	.966	.047
Social-relacional	71.461	84	.833	.000	(.000-.010)	1.000	1.000	.032
Ética	14.491	24	.935	.000	(.000-.006)	1.000	1.000	.023

En cuanto a los índices de fiabilidad (Figura 4), el α de Cronbach o α estratificado y la ω de McDonald son iguales o superiores a .70 en casi la totalidad de las subdimensiones de primer y segundo nivel. Hay cuatro excepciones en la subdimensión gestión de la información, aunque los valores obtenidos son aceptables (Hair et al., 2010). Hay que destacar que los valores de estos índices son muy parejos en todos los casos, lo que señala la solidez de la escala. Los índices de fiabilidad de las subdimensiones gestión de la información y habilidades de comunicación, y de la dimensión cognitiva, son excelentes, entre .85 a .91. Todo ello representa una consistencia interna apropiada en la estructura de la dimensión cognitiva planteada.

Consecuentemente, el modelo de medida planteado es satisfactorio y los ítems diseñados representan adecuadamente la estructura jerárquica de la dimensión cognitiva.

La dimensión metacognitiva la componen cuatro subdimensiones: conocimiento de los objetivos, criterios de evaluación y estrategias; planificación, organización y gestión; autoevaluación, control, autorregulación; y resolución de problemas.

El modelo planteado muestra un excelente ajuste en todos los indicadores (Tabla 2). La χ. no es significativa, y los otros tres indicadores –RMSEA, CFI y SRMR- se ajustan a los umbrales establecidos.

Figura 4
Índices de fiabilidad de la dimensión cognitiva

Considerando el modelo de medida (Figura 5), en el conjunto del modelo todas las saturaciones son significativas (p <.01) y adecuadas, superiores a .50 (Hair et al., 2010). Asimismo, las cargas de tres de las cuatro subdimensiones -conocimiento de los objetivos y criterios…; autoevaluación, control…; y resolución de problemas- a la dimensión son adecuadas. La carga de la subdimensión planificación, organización… es ligeramente menor de .50, pero su valor (.48) es aceptable (Bandalos & Finney, 2018). En conjunto, las cargas factoriales son adecuadas en relación con la estructura del modelo planteado.

Los índices de fiabilidad (Figura 6) en las subdimensiones conocimiento de los objetivos… y planificación, organización… son buenos, siendo mayores de .70 -α de Cronbach y ω de McDonald-. En las subdimensiones autoevaluación, control… y resolución de problemas los índices son aceptables (Hair et al., 2010). Los índices α estratificado y ω de McDonald, son excelentes. Hay que destacar que sus valores son muy parejos en todos los casos, lo que señala la solidez de la escala. Por lo tanto, la consistencia interna de la escala es apropiada en la estructura de la dimensión metacognitiva planteada.

Figura 5
Modelo jerárquico de la dimensión metacognitiva

Figura 6
Índices de fiabilidad de la dimensión metacognitiva

Consecuentemente, el modelo de medida planteado es satisfactorio y los ítems diseñados representan adecuadamente la estructura jerárquica de la dimensión metacognitiva.

La dimensión afectiva y motivacional la componen seis subdimensiones: motivación intrínseca; tolerancia frente a la frustración/resiliencia; atribuciones internas; autoconcepto, autoestima, autoeficacia; bienestar físico y emocional; y control de la ansiedad.

El modelo planteado muestra un excelente ajuste en casi todos los indicadores (Tabla 2). La χ. es significativa, aunque se ha de considerar lo comentado anteriormente sobre la significatividad de este índice. Los otros tres indicadores –RMSEA, CFI y SRMR- muestran un ajuste excelente en función de los umbrales previamente presentados.

Atendiendo al modelo de medida (Figura 7), las saturaciones en el conjunto del modelo son todas significativas (p <.01) y adecuadas, superiores a .50 (Hair et al., 2010). Son adecuadas las cargas de las subdimensiones, mayores de .50, menos en control de la ansiedad, cuya carga es baja (.29), aunque cerca del umbral del .30, que puede considerarse aceptable (Bandalos & Finney, 2018). Así, de forma global las cargas factoriales son adecuadas en relación con la estructura del modelo planteado.

Figura 7
Modelo jerárquico de la dimensión afectiva y motivacional

Los índices de fiabilidad (Figura 8) en las subdimensiones motivación intrínseca, autoconcepto, autoestima y autoeficacia, bienestar físico y emocional y control de la ansiedad –tanto α de Cronbach como la ω de McDonald- son buenos, mayores de .70. En las subdimensiones tolerancia frente a la frustración y atribuciones internas estos índices son aceptables (Hair et al., 2010). En la dimensión afectiva y motivacional ambos índices son excelentes. Además, los valores de los índices considerados son muy parejos en todos los casos, lo que señala la solidez de la escala. Por lo tanto, la consistencia interna de la escala es apropiada en la estructura de la dimensión afectiva y motivacional planteada.

Consecuentemente, el modelo de medida planteado es satisfactorio y los ítems diseñados representan adecuadamente la estructura jerárquica de la dimensión afectiva y motivacional.

Figura 8
Índices de fiabilidad de la dimensión afectiva y motivacional

En la dimensión social-relacional se ha planteado un modelo jerárquico, estando compuesta la misma por cuatro subdimensiones de primer nivel: valores sociales, actitudes de cooperación y solidaridad, control de las condiciones ambientales y trabajo en equipo, y esta última por dos subdimensiones/subescalas de segundo nivel (Figura 9).

El modelo planteado muestra un ajuste excelente (Tabla 2), en todos sus indicadores. La χ. no es significativa y los otros indicadores considerados –RMSEA, CFI y SRMR- se ajustan a los umbrales establecidos.

En cuanto al modelo de medida (Figura 9), todas las saturaciones son significativas (p <.01) y adecuadas, superiores a .50 (Hair et al., 2010). De este modo, las cargas son pertinentes en todas las subdimensiones de primer y segundo nivel, así como en la dimensión social-relacional.

Figura 9
Modelo jerárquico de la dimensión social-relacional

En cuanto a los índices de fiabilidad (Figura 10), son iguales o superiores a .70 en los tres índices utilizados -α de Cronbach, α estratificado y ω de McDonald- en todas las subdimensiones que componen la dimensión. Asimismo, los valores de esos tres índices son muy parejos en todos los casos, lo que señala la solidez de la escala. Se ha de apuntar que los índices de fiabilidad de las subdimensiones trabajo en equipo y de la dimensión social-relacional son excelentes, .84 y .90. Todo ello representa una consistencia interna apropiada en la estructura de la dimensión social-relacional planteada.

Consecuentemente, el modelo de medida planteado es satisfactorio y los ítems diseñados representan adecuadamente la estructura jerárquica de la dimensión social-relacional.

Figura 10
Índices de fiabilidad de la dimensión social-relacional

Respecto a la dimensión ética, la componen tres subdimensiones: responsabilidad social en el aprendizaje; valores, honestidad y respeto; y respeto a los códigos éticos y deontológicos.

El modelo planteado muestra un excelente ajuste en todos los indicadores (Tabla 2). La χ. no es significativa y los otros indicadores considerados –RMSEA, CFI y SRMR- se ajustan a los umbrales establecidos.

En cuanto al modelo de medida (Figura 11), todas las saturaciones son significativas (p <.01) y adecuadas, superiores a .50 (Hair et al., 2010), siendo pertinentes en relación con la estructura del modelo planteado.

Respecto a los índices de fiabilidad (Figura 12), en las tres subdimensiones los índices –tanto α de Cronbach como la ω de McDonald- son buenos, siendo mayores de .70. En la dimensión ética ambos índices son excelentes. Hay que destacar que los valores de los índices considerados son muy parejos en todos los casos, lo que señala la solidez de la escala. Así, la consistencia interna de la escala es apropiada en la estructura de la dimensión ética planteada.

Consecuentemente, el modelo de medida planteado es satisfactorio y los ítems diseñados representan adecuadamente la estructura jerárquica de la dimensión ética.

En cuanto al modelo de medida (Figura 11), todas las saturaciones son significativas (p <.01) y adecuadas, superiores a .50 (Hair et al., 2010), siendo pertinentes en relación con la estructura del modelo planteado.

Respecto a los índices de fiabilidad en las tres subdimensiones (Figura 12), tanto α de Cronbach como la ω de McDonald, son buenos, siendo mayores de .70. En la dimensión ética ambos índices son excelentes. Hay que destacar que los valores de los índices considerados son muy parejos en todos los casos, lo que señala la solidez de la escala. Así, la consistencia interna de la escala es apropiada en la estructura de la dimensión ética planteada.

Consecuentemente, el modelo de medida planteado es satisfactorio y los ítems diseñados representan adecuadamente la estructura jerárquica de la dimensión ética.

Figura 11
Modelo jerárquico de la dimensión ética

Figura 12
Índices de fiabilidad de la dimensión ética

Validación del constructo aprender a aprender

Una vez validadas las dimensiones que componen el constructo AaA en este subapartado se presenta de forma conjunta la validación del constructo a partir de las cinco dimensiones.

Para ello, se ha establecido un modelo de análisis factorial confirmatorio (Figura 13), en el que el constructo AaA está constituido por las cinco dimensiones –cognitiva; metacognitiva; afectiva y motivacional; social-relacional; y ética. Previamente, para vertebrar las dimensiones se ha optado por establecer parcelas de ítems, tomadas como la media de diversos ítems que evalúan un constructo (Brown, 2015).

El modelo planteado muestra un excelente ajuste en todos los indicadores (Tabla 3). La χ. no es significativa, y los otros indicadores considerados –RMSEA, CFI y SRMR- se ajustan a los umbrales previamente establecidos.

En cuanto al modelo de medida (Figura 13), todas las saturaciones son significativas (p <.01) y adecuadas, siendo superiores a .50 (Hair et al., 2010). Para un mejor ajuste se ha precisado la correlación entre la dimensión social-relacional y ética. Las cargas factoriales son adecuadas en relación con la estructura del modelo planteado.

Los índices de fiabilidad, α de Cronbach y ω de McDonald, son excelentes, con un valor de .87 y de .85, siendo la consistencia interna apropiada.

Consecuentemente, el modelo de medida planteado es satisfactorio y las cinco dimensiones representan apropiadamente el constructo aprender a aprender.

Tabla 3
Indicadores de ajuste del constructo de aprender a aprender

** 2RMSEA
2	g.l.	p	RMSEA	Int 90%	Pclose	CFI	SRMR
2.659	4	.616	.000	(.000-.036)	.994	1.000	.021

Figura 13
Modelo del constructo aprender a aprender

Discusión y conclusiones

El objetivo general de este trabajo era elaborar y validar un cuestionario de evaluación de la competencia AaA, sólido y bien estructurado, que permitiera recoger información lo más completa posible, mejorando los disponibles. Creemos que este objetivo se ha conseguido, al igual que los objetivos específicos que lo desarrollaban.

El producto final es un instrumento con cinco dimensiones/escalas (cognitiva, metacognitiva, afectivo-motivacional, social-relacional y ética), veintiuna subdimensiones/subescalas y 85 ítems (Tabla 4), más completo que los anteriormente disponibles.

El cuestionario validado permite recoger información suficiente de las dimensiones y subdimensiones del modelo, que incorpora los elementos esenciales de la competencia (Autor et al., 2020), incluyendo los no considerados en instrumentos previos (Villardón-Gallego et al., 2013; Muñoz-San Roque et al, 2016).

Además, es un cuestionario diseñado para evaluar la competencia en estudiantes universitarios, a diferencia de los de García Bellido (2015), Häutamaki et al. (2002) y Hoskins & Fredriksson (2008), validados en otras poblaciones.

Los instrumentos diseñados en el marco europeo lo han sido para población no universitaria. Así, dentro del proyecto LEARN, ya aludido, Hautamäki et al. (2002), validaron un cuestionario para alumnado de primaria y secundaria, que incluía tres componentes: Creencias relacionadas con el contexto, Creencias en relación con uno mismo y Competencias de aprendizaje) y varias dimensiones. Y, dentro del trabajo de la Red CRELL, a la que también hicimos mención, Hoskins & Fredriksson (2008, junto con expertos de países europeos elaboraron un cuestionario, que pretendía ser “el cuestionario” para la Unión Europea. Incluía tres dimensiones, Afectiva, Cognitiva . Metacognitiva, con varias subdimensiones, y fue diseñado para alumnado no universitario. Como dijimos, se utilizó una muestra importante de estudiantes de 14 años, pero los datos obtenidos no satisficieron a los investigadores, que concluyeron afirmando que era necesario realizar estudios posteriores para mejorar el instrumento. Que sepamos, no se han llevado a cabo.

El cuestionario de García Bellido (2015) se diseñó para evaluar la competencia específicamente en profesionales de la educación, incluyendo dimensiones diferentes de las que habitualmente se consideran en los modelos de la competencia.

Para población universitaria Villardón-Gallego et al. (2013) elaboraron un instrumento de sólo 18 ítems, que evaluaban cuatro dimensiones: autogestión del aprendizaje, construcción del conocimiento, conocimiento personal como aprendiz . transferencia del conocimiento. Los autores validaron el instrumento con una muestra de 487 estudiantes de cinco facultades de la Universidad de Deusto, mediante análisis factorial confirmatorio, como nosotros, pero la visión de la competencia que aporta es muy limitada, ya que hay muchas variables relevantes en los modelos más reconocidos, que no se contemplan (por ejemplo, afectivo-motivacionales y sociales). Es parecido lo que ocurre con el instrumento elaborado por Muñoz-San Roque et al. (2016), validado con una muestra de 458 sujetos de universidades públicas y privadas de la Comunidad de Madrid -los autores no especifican cuántas ni cuáles-, haciendo uso, también de AFC. El cuestionario sólo incluye 9 ítems, organizados en tres dimensiones: gestión del proceso de aprendizaje, autoevaluación del proceso y autoconocimiento como aprendiz, que presenta el mismo problema que el anterior, ya que deja fuera variables sumamente relevantes de la competencia.

Lo más habitual ha sido incluir en los instrumentos de evaluación las dimensiones cognitiva y metacognitiva, y, en algunas ocasiones, la afectiva. En nuestro caso, la dimensión afectiva se constituyó como una dimensión relevante, y se añadieron las dimensiones social-relacional y ética, cuya fundamentación se recogió en la introducción. La dimensión social aparece en algunos modelos (Stringher, 2014), pero no en los cuestionarios que hemos analizado. Y la ética es una dimensión no contemplada hasta que se incluyó en el modelo del equipo investigador.

El cuestionario goza de una adecuada validez de constructo, contrastada por la valoración de los jueces y por el análisis factorial confirmatorio realizado. Es cierto que las soluciones factoriales para las cinco escalas/dimensiones no son probablemente las más parsimónicas desde el punto de vista estrictamente metodológico, habida cuenta de que son muchos los factores encontrados en el caso de la dimensión cognitiva –once subdimensiones de segundo nivel- y además hay varias subdimensiones con un número reducido de ítems; en concreto las subdimensiones de segundo nivel “atención en clase” y “establecimiento de conexiones”, dentro de la subdimensión gestión de la información, en la dimensión cognitiva, y las subdimensiones “tolerancia frente a la frustración” y “atribuciones internas”, dentro de la afectiva. Sin embargo, tienen valores de consistencia interna adecuados, son elementos relevantes del constructo, siendo oportuno mantenerlos para una evaluación lo más integral posible, por lo que se optó por conservarlos.

Al ser un cuestionario con formato de autoinforme presenta limitaciones, como su carácter generalista, no suficientemente contextualizado, en que los ítems se refieren a situaciones no tan precisadas como en otros instrumentos de evaluación, que exigen la realización de tareas. Es, también, una evaluación expost-facto, referida a lo que el sujeto recupera sobre su modo de funcionar y aprender, no siendo un procedimiento tan potente como cuando se realiza una medida directa en el mismo momento en que se realiza la tarea. Y, por fin, está la posibilidad de que el sujeto no conteste con la suficiente sinceridad, sino que lo haga en línea de deseabilidad social.

Hemos de hacer referencia, también, a otra limitación del trabajo: la muestra no es estadísticamente representativa, al utilizar un muestreo intencional no probabilístico; sin embargo, hay una amplia variedad de titulaciones de las que proviene el alumnado, lo que atenúa esa limitación. En cualquier caso, sería conveniente en el futuro contrastar el modelo con muestras más amplias, si fuera posible representativas de la población, para contrastar los resultados.

A pesar de eso, seguimos defendiendo la pertinencia de instrumentos como éste, que, elaborados con el rigor necesario exigible a las pruebas estandarizadas, también presentan ventajas, como una fácil aplicación en un periodo de tiempo relativamente breve, para obtener información rica y abundante de muestras amplias de población. Esto permitirá la realización de estudios comparativos, entre diferentes muestras, la implementación de estudios descriptivos, predictivos y explicativos, en la medida en que los resultados del instrumento se exploten para analizar diferencias entre poblaciones diversas, atendiendo a titulaciones, cursos, edad, género, etc. Y también en la medida en que se recojan datos de otras variables, como rendimiento académico, estilos de aprendizaje, enfoques de aprendizaje, estrategias de aprendizaje, etc.

Así mismo, es una herramienta que puede servir a profesores e investigadores para realizar un diagnóstico de las habilidades, estrategias y capacidades incluidas en la competencia AaA, de cara a desarrollar programas formativos para mejorar las que se precise, y también como medida de pretest y postest en la aplicación de tales programas (Gargallo, Campos & Almerich, 2016).

Tabla 4
Estructura del cuestionario

DIMENSIONES/ ESCALAS	SUBDIMENSIONES/SUBESCALAS DE PRIMER NIVEL	SUBDIMENSIONES/SUBESCALAS DE SEGUNDO NIVEL
1. COGNITIVA (ítems 1 a 33) 33 ítems	1. Gestión eficaz de la información (ítems 1 a 19)	1.1. Búsqueda y selección de información (ítems 1, 2 y 3)
		1.2.Atención en clase. Toma de apuntes (ítems 4 y 5)
		1.3.Establecimiento de conexiones entre lo que se aprende y lo aprendido (ítems 6 y 7)
		1.4.Elaboración y organización de la información (ítems 8, 9 y 10)
		1.5.Memorización comprensiva (ítems 11. 12 y 13)
		1.6.Recuperación de la información (ítems 14, 15 y 16)
		1.7.Organización de la información para su recuperación en exámenes y trabajos (ítems 17, 18 y 19)
	2. Habilidades de comunicación (ítems 20 a 26)	2.1.Habilidades de expresión/ comunicación oral (ítems 20, 21 y 22)
		2.2.Comunicación en lenguas extranjeras (ítems 23, 24, 25 y 26)
	3. Manejo de TICS (ítems 27, 28 y 29)
	4. Pensamiento crítico y creativo (ítems 30, 31, 32 y 33)
2. METACOGNITIVA (ítems 34 a 45) 12 ítems	5. Conocimiento de objetivos, criterios de evaluación y estrategias necesarias (ítems 34, 35 y 36)
	6. Planificación, organización y gestión del tiempo (ítems 37, 38 y 39)
	7. Autoevaluación, control, autorregulación (ítems 40, 41 y 42)
	8. Resolución de problemas (ítems 43, 44 y 45)
3. AFECTIVA Y MOTIVACIONAL (ítems 46 a 58) 16 ítems	9. Motivación intrínseca (ítems 46, 47 y 48)
	10. Tolerancia frente a la frustración. Resiliencia (ítems 49 y 50)
	11. Atribuciones internas (ítems 51 y 52)
	12. Autoconcepto, autoestima, autoeficacia (ítems 53, 54 y 55)
	13. Bienestar físico y emocional (ítems 56, 57 y 58)
	14. Ansiedad (ítems 59, 60 y 61)
4. SOCIAL/ RELACIONAL (ítems 62 a 76) 15 ítems	15. Valores sociales (ítems 62, 63 y 64)
	16. Actitudes de cooperación y solidaridad; relaciones interpersonales (ítems 65, 66 y 67)
	17. Trabajo en equipo (ítems 68 a 73)	17.1. Trabajo y ayuda con compañeros (ítems 68, 69 y 70)
		17.2. Trabajo en equipo. Implicación personal (ítems 71, 72 y 73)
	18. Control de las condiciones ambientales (ítems 74, 75 y 76)
5. ÉTICA (ítems 77 a 85) 9 ítems	19. Responsabilidad social en el aprendizaje (ítems 77, 78 y 79)
	20. Valores. Honestidad y respeto (ítems 80, 81 y 82)
	21. Respeto a los códigos éticos y deontológicos (ítems 83, 84 y 85)

Referencias

Abad, F.J., Olea, J., Ponsoda, V., & García, C. (2011). Medición en Ciencias Sociales y de la Salud. Síntesis.

Almerich, G., Díaz-García, I., Cebrián Cifuentes, S., & Suárez-Rodríguez, J. (2018). Estructura dimensional de las competencias del siglo XXI en alumnado universitario de educación. RELIEVE, 24 (1). art. 5. https://doi.org/10.7203/relieve.24.1.12548

Bandalos, D.L. (2018). Measurement Theory and Applications for the Social Sciences. The Guilford Press.

Bandalos, D. L., & Finney, S. J. (2018). Factor analysis: Exploratory and confirmatory. En G. R. Hancock, L. M. Stapleton, y R. O. Mueller (Ed.), The reviewer’s guide to quantitative methods in the social sciences (Second edition, pp. 98-122). Routledge. https://doi.org/10.4324/9781315755649-8

Biggs, J. (2005). Calidad del aprendizaje universitario. Narcea.

Brown, T. (2015). Confirmatory factor analysis for applied research (Second Edition). The Guilford Press.

CE. (2006). Recomendación del Parlamento Europeo y del Consejo de 18 de diciembre de 2006 sobre competencias clave para el aprendizaje permanente. Recuperado el 29 de julio de 2020 de https://goo.gl/6ayK8K

CE. (2018). Anexo de la Propuesta de Recomendación del Consejo relativa a las competencias clave para el aprendizaje permanente. Recuperado el 29 de julio de 2020 de https://goo.gl/YD9pDw

Caena, F. (2019). Developing a European Framework for the Personal, Social & Learning lo Learn Key Competence. Luxemboug: Publicatons Office of the European Union. https://bit.ly/2vBzK8A

Deakin Crick, R., Haigney, D., Huang, S., Coburn, T., & Goldspink, C.H. (2013) Learning power in the workplace: the effective lifelong learning inventory and its reliability and validity and implications for learning and development. The International Journal of Human Resource Management, 24(11), 2255-2272. https://www.tandfonline.com/doi/abs/10.1080/09585192.2012.725075

Elshout-Mohr, M., Meijer, J., Oostdam, R., & van Gelderen, A. (2004). CCST: A Test for CrossCurricular Skills. Amsterdam: SCO – Kohnstamm Institution, University of Amsterdam.

Finney, S. J., & DiStefano, C. (2013). Nonnormal and categorical data in structural equation modeling. En G. R. Hancock & R. O. Mueller (Eds.), Quantitative methods in education and the behavioral sciences: Issues, research, and teaching. Structural equation modeling: A second course (pp. 439–492). IAP Information Age Publishing.

Fraile, J., Gil-Izquierdo, M., Zamorano-Sande, D., & Sánchez-Iglesias, I. (2020). Autorregulación del aprendizaje y procesos de evaluación formativa en los trabajos de grupo. RELIEVE, 26(1), art. M5. http://doi.org/10.7203/relieve.26.1.17402

García Bellido, M. R. (2015). Diseño y validación de un instrumento para evaluar la competencia “aprender a aprender” en profesionales de la educación. Tesis doctoral. Universidad de Valencia.

Gargallo, B., Campos, C., & Almerich, G. (2016) Learning to learn at university. The effects of an instrumental subject on learning strategies and academic achievement. Cultura y Educación, 28 (4), 771-810. https://doi.org/11356405.2016.1230293

Gargallo López, B., Pérez-Pérez, C., García-García, F.J., Giménez Beut, J.A., y Portillo Poblador, N. (2020). La competencia aprender a aprender en la universidad: propuesta de modelo teórico. Educación XX1, 23(1), 19-44, https://www.readcube.com/articles/10.5944/educxx1.23367

Hair, J. F., Black, W. C., Babin, B. J., & Anderson, R. E. (2010). Multivariate Data Analysis (Seventh edition). Upper Saddle River.

Hautamäki, J., Arinen, P., Eronen, S., Hautamäki, A., Kupianien, S., Lindblom, B., Niemivirta, M., Pakaslahti, L., Rantanen, P., & Scheinin, P. (2002). Assessing Lear-ning-to-Learn: A Framework. Helsinki: Centre for Educational Assessment, Helsinki University/National Board of Education.

Hoskins, B. & Fredriksson, U. (2008). Learning to learn: what is it and can it be measured? Comisión Europea: Joint Research Centre, Institute for the Protection and Security of the Citizen. Centre for Research on Lifelong Learning (CRELL). https://goo.gl/sSijfY

Hu, L. T., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural equation modeling: a multidisciplinary journal, 6(1), 1-55. https://doi.org/10.1080/10705519909540118

Jornet Meliá, J.J., García-Bellido, R., & González-Such, J. (2012). Evaluar la competencia aprender a aprender: una propuesta metodológica. Profesorado. Revista de currículum y formación del profesorado, 16 (1), 103-123.

Kline, R. B. (2015). Principles and Practice of Structural Equation Modeling (Fourth Edition). Guilford.

Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A., & Tomás-Marco, I. (2014). El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada Anales de Psicología, 30 (3), 1151-1169. https://doi.org/10.6018/analesps.30.3.199361

Lluch Molins, L., & Portillo Vidiella, M.C. (2018). La competencia de aprender a aprender en el marco de la educación superior. Revista Iberoamericana de Educación, 78 (2), 59-76. https://doi.org/10.35362/rie7823183

McDonald, R. P. (1999). Test theory: A unified treatment. Lawrence Erlbaum Associates, Inc.

Moreno, A. (2002). La evaluación de las habilidades metacognitivas. In A. Marchesi & E. Martín (Eds.), Evaluación de la educación secundaria. Fundación Santa María.

Moreno, A., Cercadillo, L., & Martínez, M. (2008). Learn European Project. Pre-Pilot Study National Report. Ministerio de Educación.

Muñoz-San Roque, I., Martín-Alonso, J. F., Prieto-Navarro, L., & Urosa-Sanz, B. (2016). Autopercepción del nivel de desarrollo de la competencia de aprender a aprender en el contexto universitario: propuesta de un instrumento de evaluación. Revista de Investigación Educativa, 34(2), 369-383. https://doi.org/10.6018/rie.34.2.235881

Panadero, E. (2017). A Review of Self-regulated Learning: Six Models and Four Directions for Research. Frontiers in Psychology, 8, 422. https://doi.org/10.3389/fpsyg.2017.00422

Pintrich, P. R. (2004). A conceptual framework for assessing motivation and self-regulated learning in college students. Educational Psychology Review, 16(4), 385-407. https://doi.org/10.1007/s10648-004-0006-x

Rajaratnam, N., Cronbach, L. J., & Gleser, G. C. (1965). Generalizability of stratified-parallel tests. Psychometrika, 30(1), 39–56. https://doi.org/10.1007/BF02289746

Rosseel, Y. (2012). Lavaan: An R Package for Structural Equation Modeling. Journal of statistical software, 48 (2), 1–36. https://doi.org/10.18637/jss.v048.i02

Ruge, G., Tokede, O., & Tivendale, L. (2019). Implementing constructive alignment in higher education – cross-institutional perspectives from Australia. Higher Education Research & Development, 38 (4), 833-848. https://doi.org/10.1080/07294360.2019.1586842

Säfström, C. A. (2018). Liveable life, educational theory and the imperative of constant change. European Educational Research Journal, 17(5), 621-630. https://doi.org /10.1177/1474904118784480

Stringher, C. (2014). What is learning to learn? A learning to learn process and output model. En R. Deakin Crick, C. Stringher y K. Ren, Learning to learn (9-32). Londres y Nueva York: Routledge.

Viejo, C., & Ortega-Ruiz, R. (2018). Competencias para la investigación: el trabajo de fin de Máster y su potencialidad formativa. Revista de innovación y buenas prácticas docentes, 5, 46-56. https://doi.org/10.21071/ripadoc.v5i.10970

Villardón-Gallego, L., Yániz, C., Achurra, C., Iraurgi, I., & Aguilar, M.C. (2013). Learning competence in university: development and structural validation of a scale to measure. Psicodidáctica, 18 (2), 357-374. https://doi.org /10.1387/RevPsicodidact.6470

Weinstein, C. E. (1988). Assessment and training of student learning strategies. En R. R. Schmeck (Ed.), Learning strategies and learning styles (pp. 291-316). Plenum Press. https://doi.org/10.1007/978-1-4899-2118-5_11

Weinstein, C.E., & Acee, T.W. (2018). Study and learning strategies. En R.F. Flippo y Bean T.W. Handbook of College Reading and Study Strategy Research. (pp. 227-240). Routledge. https://doi.org/10.4324/9781315629810-17

Zhu, J., & Schumacher, D.J. (2016). Learning to Learn and Teaching to Learn. MedEdPublish. doi: https://doi.org/10.15694/mep.2016.000063

Zimmerman, B.J., Schunk, D.H., & DiBenedetto, M.K. (2017). The role of self-efficacy and related beliefs in self-regulation of learning and performance. En A. J. Elliot, C.S. Dweck & D.S. Yeager (Eds.), Handbook of competence and motivation (Second Edition, pp. 313-333). Guilford Press.

Notas de autor

bernardo.gargallo@uv.es

Enlace alternativo

https://revistaseug.ugr.es/index.php/RELIEVE/article/view/20760 (html)