La enseñanza de la competencia Aprender a Aprender en grados universitarios (Pedagogía y Educación social)

The teaching of the Learning to Learn competence in university degrees (Pedagogy and Social Education)

O ensino da competência Aprender a Aprender em cursos universitários (Pedagogia e Educação Social)

在大学学位课程中教授“学会学习”能力(教育学与社会教育)

تعليم مهارة "التعلم للتعلم" في التخصصات الجامعية (علم التربية والتعليم الاجتماعي)

Bernardo Gargallo-López 1
Universidad de Valencia, España
Fran J. García-García 2
Universidad de Valencia, España
Irene Verde-Peleato 3
Universidad de Valencia, España
Gonzalo Almerich- Cerveró 4
Universidad de Valencia, España

La enseñanza de la competencia Aprender a Aprender en grados universitarios (Pedagogía y Educación social)

RELIEVE. Revista Electrónica de Investigación y Evaluación Educativa, vol. 30, núm. 2, 2024

Universidad de Granada

Recepción: 19 Noviembre 2023

Aprobación: 02 Junio 2024

Publicación: 30 Diciembre 2024

Financiamiento

Fuente: MCIN/AEI /10.13039/501100011033 y por FEDER Una manera de hacer Europa

Nº de contrato: PID2021-123523NB-I00

Resumen: La competencia Aprender a Aprender (AaA) fue propuesta por la Unión Europea (2006 y 2018) como competencia clave para el aprendizaje a lo largo de la vida. Esta competencia se enseña en la formación preuniversitaria pero hay estudios que confirman que el alumnado universitario adolece de un adecuado dominio de ella. En este trabajo se ha aplicado un programa educativo para enseñar la competencia en una materia de los grados de Pedagogía y Educación Social de la Universidad de Valencia. El objetivo era incrementar el nivel de manejo de la competencia del alumnado. Se usó un diseño cuasiexperimental pretest-postest con una muestra de 116 sujetos pertenecientes a 3 grupos experimentales y se recogieron también datos cualitativos. Se diseñó y aplicó un programa formativo integrado en la dinámica docente de la materia con cinco sesiones de alrededor de una hora en que se trabajaron procesos y habilidades integradas en la competencia: cognitivas, metacognitivas y éticas. Fueron utilizados como instrumentos de medida el cuestionario CECAPEU y una rúbrica desarrollada ad hoc. Contrastando datos pretest-postest se encontraron mejoras estadísticamente significativas en puntuaciones de las dimensiones cognitiva, metacognitiva y ética del cuestionario, y de la rúbrica relacionadas con los contenidos del programa, en las tres dimensiones trabajadas. El alumnado participante valoró también positivamente el programa. Los resultados, positivos, confirman la eficacia del programa y animan a seguir en esta dirección, con programas integrados en las materias y con instrumentos de evaluación que incluyen la evaluación del uso de esta competencia en tareas auténticas.

Palabras clave: aprender a aprender, educación basada en competencias, educación superior, programas educativos.

Abstract: The Learning to Learn competence was proposed by the European Union (2006 and 2018) as a key competence for lifelong learning. Although it has been thought that learning to learn in pre-university training, there are studies that confirm that university students lack an adequate management of competence. In this work, an educational intervention program was applied to teach this competence in a subject of the degrees of Pedagogy and Social Education at the University of Valencia. The objective was to increase the level of management of this competence by the students. A pretest-posttest quasi-experimental design was used with a sample of 116 subjects belonging to 3 experimental groups and qualitative data were also collected. A training program integrated into the teaching dynamics of the subject was designed and applied with five sessions of around one hour in which processes and skills integrated into the competence were worked on: cognitive, metacognitive and ethical. The QELtLCUS questionnaire and a rubric developed ad hoc were used as measurement instruments. Contrasting data pretest-posttest, significant improvements were found in the scores of the questionnaire, in cognitive, metacognitive and ethical dimensions, and of the rubric related to the contents of the program, in the three dimensions worked on. The participating students valued also positively the program. The positive results confirm the effectiveness of the program and encourage us to continue in this way, with programs integrated into the subjects and using assessment instruments that include the assessment of the use of this competence in real tasks.

Keywords: learning to learn, competency based education, higher education, educational programmes..

Resumo: A competência Aprender a Aprender (AaA) foi proposta pela União Europeia (2006 e 2018) como competência-chave para a aprendizagem ao longo da vida. Esta competência é ensinada no ensino pré-universitário, mas há estudos que confirmam que os estudantes universitários não a dominam adequadamente. Neste trabalho, foi aplicado um programa educativo para ensinar a competência numa disciplina dos cursos de Pedagogia e Educação Social da Universidade de Valência. O objetivo era aumentar o nível de gestão da competência dos alunos. Foi utilizado um modelo quase-experimental pré-teste-pós-teste com uma amostra de 116 sujeitos pertencentes a 3 grupos experimentais e foram também recolhidos dados qualitativos. Foi concebido e aplicado um programa de formação, integrado na dinâmica docente da disciplina, com cinco sessões de cerca de uma hora, nas quais foram trabalhados processos e capacidades integradas na competência: cognitivas, metacognitivas e éticas. O questionário CECAPEU e uma rubrica desenvolvida ad hoc foram utilizados como instrumentos de medição. Contrastando dados pré-teste-pós-teste, foram encontradas melhorias estatisticamente significativas em pontuações das dimensões cognitiva, metacognitiva e ética do questionário, e da rubrica relacionadas com os conteúdos do programa, nas três dimensões trabalhadas. Os estudantes participantes também avaliaram positivamente o programa. Os resultados, positivos, confirmam a eficácia do programa e encorajam a seguir nesta direção, com programas integrados nas disciplinas e com instrumentos de avaliação que incluem a avaliação da utilização desta competência em tarefas autênticas.

Palavras-chave: aprender a aprender, educação baseada em competências, ensino superior, programas educativos.

摘要: “学会学习”(Aprender a Aprender, AaA)能力是欧洲联盟(20062018年)提出的终身学习关键能力之一。尽管该能力在中小学阶段的教育中已有所涉及,但研究表明,许多大学生在这一方面的掌握仍然不足。本研究在瓦伦西亚大学教育学和社会教育学位课程中实施了一项教学计划,旨在提高学生对这一关键能力的掌握水平。研究采用了准实验设计,包括前测-后测的对比分析,研究样本为来自三个实验组的116名学生,同时还收集了定性数据。教学计划整合于课程教学中,分为五个时长约一小时的培训单元,主要涵盖“学会学习”能力的核心内容:认知、元认知和伦理技能。测量工具包括CECAPEU问卷和专为研究开发的评价量表。数据分析表明,实验组学生在认知、元认知和伦理三个维度的问卷得分,以及评价量表中与教学计划相关的内容得分均有显著性统计提升。参与学生对教学计划的效果给予了积极评价。研究结果验证了该教学计划的有效性,并强调通过将此类计划整合到课程教学中,以及使用包括实际任务能力评估在内的多元评估工具,有助于进一步推动学生对这一关键能力的掌握。

關鍵詞: 学会学习, 基于能力的教育, 高等教育, 教育计划.

ملخص: للتعلم " (AaA) تم اقتراحها من قبل الاتحاد الأوروبي (2018 و2006) كمهارة أساسية للتعلم مدى الحياة. تُدرس هذه المهارة في مرحلة ما قبل الجامعة، إلا أن الدراسات تشير إلى أن الطلاب الجامعيين يعانون من نقص في إتقانها بالشكل المناسب. في هذا العمل، تم تطبيق برنامج تعليمي لتدريس هذه المهارة ضمن إحدى المواد في تخصصي التربية والتعليم الاجتماعي في جامعة فالنسيا . كان الهدف من الدراسة تعزيز مستوى إتقان الطلاب لمهارة "التعلم للتعلم". تم اعتماد تصميم شبه تجريبي من نوع Pretest-Postest شمل عينة مكونة من 116 طالبًا ينتمون إلى 3 مجموعات تجريبية، مع جمع بيانات نوعية لدعم التحليل. تم تصميم برنامج تدريبي ودمجه في العملية التعليمية للمادة، وتضمن خمس جلسات مدة كل منها حوالي ساعة، تم خلالها العمل على العمليات والمهارات المرتبطة بالمهارة، وهي: المهارات المعرفية، الماوراء معرفية (الميتامعرفية)، والأخلاقية. استخدمت أدوات قياس شملت استبيان CECAPEU وروبرك (Rubric) تم تطويرها خصيصًا لهذا الغرض. عند مقارنة بيانات Pretest-Postest ، لوحظت تحسينات ذات دلالة إحصائية في درجات الأبعاد الثلاثة: المعرفية، الماوراء معرفية، والأخلاقية، سواء في الاستبيان أو الروبرك، وكلها متصلة بمحتوى البرنامج، مما يشير إلى نجاح البرنامج في تحسين هذه الأبعاد لدى الطلاب . قيّم الطلاب المشاركون البرنامج بشكل إيجابي. تؤكد النتائج الإيجابية فعالية البرنامج وتشجع على الاستمرار في هذا النهج، من خلال تطوير برامج مدمجة في المواد الدراسية واستخدام أدوات تقييم تشمل قياس استخدام هذه المهارة في المهام الواقعية .

الكلمات المفتاحية: التعلم للتعلم, التعليم القائم على الكفاءات, التعليم العالي, البرامج التعليمية..

Introducción

De “aprender a aprender” (AaA) se viene escribiendo desde la década de 1980. Es un concepto fundamentado en la psicología cognitiva/teoría del procesamiento de la información (estrategias de aprendizaje/aprendizaje estratégico), y en el enfoque sociocognitivo (aprendizaje autorregulado) (Pintrich, 2004; Weinstein, Husman & Dierking, 2000; Zimmerman, 2000). AaA no es un término tautológico: a aprender también se aprende y, para afirmar que alguien ha aprendido a aprender, es necesario que se maneje, con buen desempeño, en estrategias cognitivas, metacognitivas y afectivo-motivacionales.

El constructo AaA se apoyaba al inicio en estas tres dimensiones clásicas (Weinsten, 1988; Weinstein & Mayer, 1985). Posteriormente se añadió una cuarta, la dimensión socio-relacional, anclado en el enfoque sociocognitivo (Hadwin, Wozney & Pontin, 2005; Järvelä et al., 2019; Zimmerman, 2000).

En 2006 se empezó a hablar de “competencia aprender a aprender”, porque la Unión Europea formuló AaA como una de las competencias clave para el sistema educativo (CE, 2006), interpretándola como un conjunto de conocimientos, habilidades y actitudes, que formaban parte de tres dimensiones, cognitiva, metacognitiva, afectiva, haciendo alguna mención a aspectos socio-relacionales.

Posteriormente la CE la reformuló, ampliando el objeto, como “Competencia Personal, Social y de Aprendizaje”(CE, 2018), que incluía un repertorio más amplio de componentes, no recogidos en la anterior propuesta: no es solo aprender a aprender sino también ser competente personal y socialmente. Por eso se incluyen elementos que tienen que ver con el desarrollo personal y social (Caena, 2019; Sala et al. 2020).

El tema ha interesado a los investigadores -a nivel de clarificación teórica, elaboración de modelos de la competencia y evaluación-. La enseñanza ha sido mucho menos trabajada. Cabe señalar, entre otros, los textos de Caena (2019), Caena y Stringher (2020), Hautamäki et al. (2002), Hoskins y Fredriksson (2008), Muñoz-San Roque et al. (2016), Pirrie y Thoutenhoofd (2013), Sala et al. (2020), Stringher (2014), Thoutenhoofd y Pirrie (2015), Villardón-Gallego et al. (2013). Algunos de estos trabajos se han desarrollado en sintonía con las directrices de la UE, para facilitar su incardinación en el sistema educativo, porque la Unión pretende que el alumnado domine la competencia al acabar la escolarización obligatoria, lo que más deseo que realidad.

La competencia AaA es una metacompetencia, ya que integra competencias sumamente relevantes, como la gestión de la información, el trabajo en equipo, la planificación y gestión del aprendizaje, etc. Para una incorporación real y efectiva en los sistemas educativos es fundamental disponer de un modelo teórico acordado por la comunidad científica. A partir de las formulaciones de la CE se han desarrollado en Europa algunos trabajos relevantes, como el de Hoskins and Fredriksson (2008), que coordinaron el trabajo de la red CRELL (Centre of Educational Research for Lifelong Learning, EU), para tratar de consensuar un modelo teórico y un protocolo de evaluación.

Los resultados de la red CRELL no lograron consensuar un indicador europeo común, quedando el tema abierto.

A partir de los trabajos previos el grupo GIPU-EA (https://gipu.blogs.uv.es/) elaboró un modelo teórico que pretendía ser comprehensivo e integrador de los diversos componentes de AaA, el modelo MApA-CEMAS (Gargallo et al., 2021), que incluye cinco dimensiones (Cognitiva, Metacognitiva, Afectiva-Motivacional, Social-Relacional, y Ética) y diversas subdimensiones, recogidas en la Tabla 2 (Gargallo et al., 2020). Las tres primeras derivan de la teoría del aprendizaje estratégico y autorregulado, y la cuarta de la teoría del aprendizaje autorregulado cuando esta se asentó más firmemente en el enfoque sociocognitivo, del que siempre fue deudora. La quinta es una aportación del equipo investigador y se basa en la más reciente formulación de la competencia que realizó la CE y en otras investigaciones (Grace et al., 2017; Kass & Faden, 2018). No puede interpretarse que un aprendiz es competente en AaA dejando de lado los componentes éticos involucrados en el aprendizaje y en la propia mejora y en la de los demás.

Dada su relevancia, defendemos que es necesario trabajar de manera sistemática el aprendizaje y la enseñanza de la competencia en los grados universitarios, puesto que su alumnado, especialmente en los primeros cursos, no la maneja suficientemente (EI-ESU, 2012) y en la universidad es imprescindible un alto nivel de autonomía en la gestión del propio aprendizaje (Lluch Molins & Portillo Vidiella, 2018). Los datos de algunos estudios van en esta dirección (Cameron & Rideout, 2020; Furtado Rosa & Machado Tinoco, 2016; Morón-Monge & García-Carmona, 2022; Viejo and Ortega-Ruiz, 2018).

Para la enseñanza del aprendizaje estratégico y autorregulado se han desarrollado diversas propuestas en la universidad, que sirven también para trabajar componentes de la competencia:

1. Programas específicos de intervención, en que se trabajan elementos relevantes del AaA fuera de las materias. Hay mucha literatura referida a programas aplicados en primaria y secundaria y alguna en la universidad: Rosàrio et al. (2007), Wolters et al. (2023).

2. Asignaturas/talleres de libre asistencia del alumnado, que permiten trabajar estrategias y otros componentes de la competencia.

3. Asignaturas obligatorias de tipo instrumental: generalmente en el primer curso del grado, se enseñan conocimientos, estrategias, habilidades y actitudes que se consideran necesarias para el buen aprendizaje en la universidad.

4. Enseñanza insertada en el currículum de las materias, mediante programas de intervención: los profesores, en sus asignaturas, enseñan a los alumnos a aprender a aprender la materia.

Las cuatro opciones son plausibles, pero la cuarta parece la más pertinente, por funcional y porque puede consolidarse como un elemento más del currículum formativo.

Se trata de que los profesores, en sus materias, enseñen la competencia trabajando sus diversos componentes: estrategias para manejar la información, habilidades comunicativas, resolución de problemas, trabajo en equipo, etc. Para ello es crítico realizar un buen diseño para trabajar la competencia en la titulación del grado de que se trate.

Todavía, dentro de esta última opción, que es la que nosotros defendemos, hay dos posibilidades:

Una primera consistiría en trabajar “de arriba abajo”, de la teoría a la práctica docente, partiendo del modelo teórico de la competencia, de la consideración de sus dimensiones y subdimensiones, seleccionando los componentes relevantes para su trabajo en la materia y en la clase, y concretando métodos y tareas para su enseñanza/evaluación.

Una segundaseguiría el camino inverso, “de abajo arriba”, de los hechos, de la práctica docente, a la teoría. Se trataría de que el profesorado analizase qué se está trabajando en las materias en relación con la competencia y cómo, prestando atención a los métodos de enseñanza y evaluación -portafolios, preguntas, casos, problemas, simulaciones, trabajos de grupo, metodología expositiva, ensayos, etc.-, y clarificando qué componentes de la competencia se están trabajando ya de alguna manera, para hacerlo ahora de modo explícito y formalizado.

Para facilitar esta orientación defendemos una aproximación de tipo alineado (“alineamiento constructivo”) (Biggs, 2005), en que compe­tencias, objetivos, contenidos, resultados de aprendizaje y procedi­mientos de enseñanza y evaluación se alinean para cooperar de cara a conseguir un aprendizaje de calidad (Ibarra-Sáiz et al. 2023). Así se logra una aproximación muy funcional, que hace más fácil el trabajo de los profesores para la enseñanza y evaluación de la competencia.

Esta es nuestra opción, para trabajar la competencia en una materia de 1º (Teoría de la Educación) de los grados de Pedagogía y Educación Social de la Universidad de Valencia, eligiendo el portafolios como metodología de enseñanza, aprendizaje y evaluación, que se viene utilizando en la materia, para trabajar en él las dimensiones de la competencia especialmente relevantes, que luego describiremos.

A partir de todas estas consideraciones previas, el objetivo general de este trabajo es incrementar el nivel de manejo de la competencia AaA en el alumnado de la materia aludida en dos titulaciones del ámbito educativo, mediante un programa formativo desarrollado y aplicado en la misma, haciendo uso para ello del portafolios del alumno.

Este objetivo general se concreta en los siguientes objetivos específicos, referidos a procesos y habilidades involucrados en el aprendizaje mediante portafolios. Se busca mejorar:

1. Las habilidades de gestión de la información

2. El pensamiento crítico.

3. Las habilidades de expresión escrita.

4. El sistema de citación y referenciación bibliográfica.

5. Las habilidades metacognitivas

6. El compromiso ético/deontológico.

Las hipótesis son las que siguen:

1. Se incrementará el nivel de manejo de la competencia, mejorando los procesos y habilidades correspondientes a las funciones entrenadas en el programa.

2. La percepción del alumnado sobre la bondad del programa será positiva.

Método

Diseño

Se ha utilizado un diseño de métodos mixtos con metodología cuantitativa y cualitativa, más concretamente un diseño secuencial explicativo (Creswell & Plano Clark, 2018). En este diseño la fase cuantitativa es la primera y se corresponde con un diseño quasi-experimental con tres grupos de comparación no equivalentes con pretest y postest (Reichardt, 2019). En la fase cualitativa, que sigue a la fase cuantitativa, se ha empleado un diseño de investigación cualitativo general (Patton, 2015).

Participantes

La muestra de la parte cuantitativa estuvo formada por 116 sujetos pertenecientes a 3 grupos de 1º de dos grados de la Facultad de Filosofía y Ciencias de la Educación de la Universidad de Valencia, Pedagogía (grupos A -40 alumnos- y B -37 alumnos-), y Educación Social (grupo C -39 alumnos-), 104 mujeres (89.65%) y 12 varones (10.35%). La media de edad del alumnado era de 19.47 años y la desviación estándar de 1.976. Un profesor (A) impartía la materia en el grupo A y otro profesor (B) en los grupos B y C.

La muestra de la parte cualitativa integró siete alumnos de los dos grupos de Pedagogía. Los criterios de selección: debían ser de ambos grupos (A y B) en proporción a la matrícula (4 del grupo A y 3 del B), mujeres y hombres, proporcionalmente (6 mujeres y 1 varón); y de cada clase había que seleccionar al menos un alumno con ejecución alta, otro con ejecución media y otro con ejecución baja en la asignatura (3 alumnos con ejecución alta, 2 con media y 2 con baja). No se seleccionó alumnado del grupo C para no hacer el grupo demasiado numeroso.

Instrumentos

Para la parcela cuantitativa se utilizaron dos instrumentos de evaluación: el cuestionario CECAPEU y una rúbrica.

El cuestionario CECAPEU (Gargallo et al., 2021), está conformado por 85 ítems con escala tipo Likert de cinco grados, que recogen información de las cinco dimensiones y subdimensiones del modelo teórico. La estructura y datos de fiabilidad están en la Tabla 2.

La validez de contenido se efectuó mediante evaluación de siete jueces expertos y la de constructo mediante análisis factorial confirmatorio (CFA) (Gargallo et al., 2021). Los siete jueces elegidos eran expertos en metodología de investigación, en evaluación y en aprendizaje (Bandalos, 2018), siendo todos profesores universitarios. Se les hizo entrega de un documento con la definición de la competencia y con la estructura del constructo teórico en que se basaba el cuestionario, elaborado por el equipo investigador. En el mismo documentó se incluyó el repertorio de ítems de cada una de las subdimensiones y dimensiones de la competencia. A partir de esa documentación los jueces valoraron la validez de contenido de los ítems y de sus agrupamientos en dimensiones, su inteligibilidad, univocidad y ubicación, con una escala de 1 a 5. Se desestimaron los ítems con media menor de 4 puntos y aquellos en que los jueces presentaban discrepancias en la valoración (haciendo uso de la prueba de concordancia de Kendall).

Los índices de ajuste del CFA se incluyen en la Tabla 1. El modelo planteado muestra un buen ajuste en casi todos sus indicadores, considerando las cinco dimensiones. La χ2 es significativa en las dimensiones Cognitiva y Afectivo y motivacional, pero la literatura ha avisado de esta circunstancia (Hair et al., 2010) por diversas razones (este indicador es sensible al tamaño de la muestra, al número de indicadores del modelo o a la intersección de ambos). Además, diversos autores (Hair et al., 2010; Kline, 2015) recomiendan la utilización de otros indicadores para la evaluación del ajuste como son la raíz del error cuadrático medio de aproximación (RMSEA), el índice de ajuste comparativo (CFI) y el residuo cuadrático medio (SRMR). Tanto el RMSEA como el CFI muestran un ajuste excelente, pues se encuentran en todas las dimensiones por debajo .05 en el índice RMSEA y por encima de .95 en el índice CFI. En cuanto al índice SRMR también muestran un ajuste excelente, con excepción de la dimensión Cognitiva que se encuentra cerca del umbral propuesto del .05, y menor de .08 (Hu & Bentler, 1999).

Tabla 1.
Indicadores de ajuste de las dimensiones de aprender a aprender
Dimensiones o escalasc2RMSEA
c2g.l.pRMSEAInt 90%PcloseCFISRMR
Cognitiva1564.417482.000.043(.040-.045)1.000.954.053
Metacognitiva63.12250.101.015(.000-.025)1.000.997.030
Afectiva y motivacional288.56498.000.040(.034-.045).999.966.047
Social-relacional71.46184.833.000(.000-.010)1.0001.000.032
Ética14.49124.935.000(.000-.006)1.0001.000.023

Tabla 2.
Estructura y datos de fiabilidad
Estructura y datos de fiabilidad

También se hizo uso de una Rúbrica elaborada ad hoc para evaluar el nivel de dominio de los elementos de la competencia trabajados en el programa, mediante una escala de evaluación de tres grados (bajo 1; medio 2; y nivel alto 3) (Tabla 3).

Tabla 3.
Dimensiones y subdimensiones evaluadas
Dimensiones y subdimensiones evaluadas

Se incluyen, a continuación, ejemplos de la rúbrica para las dos subdimensiones de la dimensión metacognitiva y los criterios utilizados para la valoración.

Tabla 4.
Ejemplos
Ejemplos

Tabla 4. Ejemplos

Para la parcela cualitativa se llevó a cabo un grupo focal en que el alumnado participante debatió sobre varias cuestiones (Sim & Waterfield, 2019). La que nos interesa para este trabajo es la siguiente:

1. ¿Qué valoración te merecen las actividades formativas desarrolladas en Teoría de la Educación para trabajar la competencia aprender a aprender? ¿Te han servido? ¿Crees que se podrían hacer otras cosas para trabajar la competencia en las asignaturas del grado?

Procedimiento de intervención y de recogida de datos

Queremos precisar que se solicitó autorización al Comité de Ética de la Universidad de Valencia, que especificó que no se precisaba esta para la recogida y tratamiento de los datos de este tipo de investigaciones, Sin embargo, se tuvieron en cuenta las directrices de este comité en lo que respecta a investigación con personas: los alumnos fueron informados del objetivo y proceso de la investigación y, antes de cumplimentar el cuestionario, dieron su consentimiento informado para el uso de los datos. La participación fue voluntaria y los estudiantes rellenaron el instrumento incluyendo datos demográficos, pero no de identificación personal.

Los dos profesores, A y B, aplicaron el mismo programa formativo para enseñar la competencia AaA en el mismo periodo.

Los datos del cuestionario CECAPEU se recogieron mediante el aula virtual. Los alumnos contestaron el cuestionario a comienzos de noviembre -pretest-, junto con una primera entrega del portafolios. Se desarrollaron cinco sesiones de intervención de alrededor de una hora, dentro de las sesiones de clase, y, a mediados de diciembre, lo contestaron de nuevo -postest-, junto con la segunda entrega del portafolios.

Los profesores evaluaron los portafolios del alumnado haciendo uso de la rúbrica elaborada al efecto, en pretest y postest. Para paliar las diferencias de criterio del profesorado, esos dos profesores y una tercera, que impartía docencia en la misma materia a otros grupos, evaluaron los portafolios de los alumnos, tomándose la media de sus puntuaciones.

En la época final de la docencia de la materia, en diciembre, se realizó el grupo de discusión. La sesión se grabó, con autorización de los participantes, se transcribió y se analizaron los resultados.

Análisis de datos

En la parcela cuantitativa, se realizaron pruebas de diferencia de significación de medias utilizando la prueba de Wilcoxon para muestras relacionadas, al no ser la distribución normal y dada la métrica de la rúbrica, mediante SPSS 28.0, incluyendo tamaño del efecto.

En cuanto a la estrategia del análisis de datos se ha optado por aplicar en cada grupo la prueba de Wilcoxon para muestras relacionadas dado que se trata de tres grupos de comparación que reciben un tratamiento (Reichardt, 2019). La estrategia del análisis adoptada está determinada por el objetivo del estudio: comprobar si el programa formativo produce un efecto en ciertas dimensiones del aprender a aprender. Por lo tanto, no se trata de determinar si existen diferencias entre los grupos en el postest, sino de conocer el cambio producido por el programa del prestest al postest. Asimismo, se ha optado por el análisis de los tres grupos por separado -dado que los tres reciben un tratamiento-, ya que se ha comprobado que no eran equivalentes ni en el pretest ni en el postest en algunas dimensiones. Por lo tanto, ante la falta de equivalencia de los tres grupos es más apropiado considerarlos en el análisis de forma separada. Por último, se ha de considerar que si en los tres grupos se produce una diferencia entre el pretest y el postest en una dimensión determinada se incrementa la generalidad de los resultados.

En lo que concierne al tamaño del efecto se ha utilizado la η2, calculada a partir del valor de la z de la prueba de Wilcoxon (Fritz et al., 2012). En cuanto a los umbrales del tamaño del efecto del índice η2 que se han considerado son .01-.059 bajo; .06-.0139 mediano; >= .14 grande (Fritz et al., 2012).

En la parcela cualitativa se transcribieron y procesaron, para este artículo, los datos recogidos en la grabación de la sesión del grupo focal en lo referente a la valoración del programa de intervención y a las sugerencias del alumnado. La estrategia de análisis elegida pasó por elegir dos jueces expertos para tal fin, de cara a contrastar dos miradas diferentes en la interpretación del texto. Estos jueces sometieron el documento a análisis de contenido para delimitar categorías de análisis, frecuencias de las respuestas y su interpretación, utilizando un procedimiento inductivo-deductivo de concreción de categorías. Para el procesamiento de los datos se elaboraron matrices textuales de análisis que permitieran recoger la información relevante que aportaban los alumnos.

El programa formativo

El programa se desarrolló durante cinco sesiones de una hora, incardinadas en las sesiones de clase, que eran de dos horas y media, entre noviembre y diciembre de 2022.

La materia Teoría de la Educación es básica, de primer cuatrimestre, abordando temas fundamentales para la formación de pedagogos y educadores sociales.

A lo largo del cuatrimestre los alumnos realizan dos entregas de portafolios, elemento metodológico fundamental en la enseñanza/aprendizaje de la materia, que reúne evidencias del aprendizaje del alumno. Las entregas son evaluadas por el profesor que oferta feedback a los alumnos para que puedan mejorarlo. El portafolios incluye:

- Respuestas a las cuestiones planteadas para los temas, una vez han sido discutidas en clase.

- Informes de las actividades prácticas realizadas en clase.

- Informe de un trabajo de investigación realizado en grupo.

- Preguntas de reflexión metacognitiva.

- Autoevaluación del alumno y Coevaluación del trabajo de grupo a partir de rúbricas públicas de evaluación.

Los objetivos perseguidos con el programa y con las sesiones formativas eran mejorar los procesos y habilidades correspondientes a los componentes de la competencia involucrados en el aprendizaje mediante portafolios.

Los contenidos trabajados en las sesiones del programa fueron:

- Habilidades de manejo de la información

- Pensamiento crítico

- Habilidades de expresión escrita

- Citación de referencias bibliográficas.

- Habilidades metacognitivas,

- Aspectos éticos/deontológicos.

En la mayoría de las sesiones, la dinámica seguida consistió en trabajar con entregas del alumnado, anónimas, del curso anterior, dos en cada caso, una de baja calidad de ejecución y otra de buena calidad, que fueron analizadas por parejas, para evaluar su calidad. Posteriormente se llevó a cabo una puesta en común con el asesoramiento del profesor, para elaborar modelos de bondad de ejecución, que se subían al aula virtual para que sirvieran al alumnado en su trabajo cotidiano.

1ª sesión: Análisis de buenas y malas ejecuciones de preguntas de clase.

2ª sesión: Búsqueda y selección de información.

3ª sesión. Redacción del texto. Aspectos formales y uso del procesador de textos.

4ª sesión: Comprensión, interiorización, pensamiento crítico y creativo.

5ª sesión. Evidencias de habilidades metacognitivas y de uso de criterios éticos.

En la Tabla 5 se recogen los elementos fundamentales de las sesiones. Queremos remarcar que, en las sesiones, aparte de trabajarse contenidos específicos de la sesión, se trabajaron los contenidos señalados arriba.

Resultados

Resultados cuantitativos

Del cuestionario CECAPEU

Se realizó la prueba de Wilcoxon para muestras relacionadas, con estimación del tamaño del efecto, como se comentó, para analizar si se daba diferencia significativa de medias entre pretest y postest en los grupos (A, B y C). Recordamos que, en el programa, se trabajó la dimensión cognitiva -habilidades de gestión de la información-, la metacognitiva y la ética.

Tabla 5.
Descripción de las sesiones
SesionesObjetivosContenidos específicosActividadesMaterialesCriterios de calidad, de buena ejecuciónProductoEntregable
1ª sesión. Concretar e interiorizar criterios generales de análisis de textos escritos por el alumnado sobre contenidos de la materia.Criterios de análisis de textos escritos.- Presentación de dos ejemplos de ejecuciones de alumnado del curso pasado, uno de alto nivel de ejecución y otro de bajo nivel. - Análisis crítico de los textos en parejas, respondiendo a dos cuestiones: ¿Qué está bien y qué está mal? ¿Por qué? - Puesta en común en gran grupo de clase.Textos escritos de dos alumnos del curso anterior. - El texto está bien presentado y bien formateado. - Con buena redacción. Sin errores ortográficos, ni gramaticales, ni expresiones inadecuadas. - Es claro e inteligible. - Usa un lenguaje adecuado a los cánones científicos, no puramente coloquial. El vocabulario es técnico y preciso. - En el texto se responde a la tarea o a la cuestión planteada. - Está fundamentado en referencias bibliográficas y las incluye - Aporta una buena síntesis de las ideas clave. - Incluye análisis crítico. - Es creativo. Aporta ideas novedosas relevantes.Documento, elaborado entre el alumnado y el profesor, con criterios de calidad de ejecución, que se sube al aula virtual.Documento con la valoración del alumnado de los dos textos presentados, que se sube al aula virtual como tarea.
2ª sesión.Concretar e interiorizar criterios de calidad de la búsqueda y selección de información.Lugares donde conseguir información de calidad. Criterios de búsqueda y selección de información.- Diálogo con el alumnado: ¿Dónde conseguís la información? ¿Cómo? ¿Qué hacéis para saber si es adecuada? - A partir del diálogo se concretan sitios adecuados y criterios de búsqueda y selección. - Realización en clase de un taller de búsqueda de información en fuentes de calidad, usando filtros. Ejecución individual.Documento con criterios de calidad de búsqueda de información. Textos de alumnado de cursos anteriores.- Información publicada en vehículos serios y fiables (libros de buenas editoriales, artículos de buenas revistas, blogs de calidad -los que fundamentan lo que dicen, con referencias, estudios, etc.). - Uso de las bases de datos especializadas - Uso ajustado de tesauros - Con autorías identificables. - Con información atingente al tema de que se trate. - Que el discurso de la fuente sea riguroso, fundamentando las afirmaciones. - Que recoja diferentes puntos de vista fundamentados… - Que el texto incluya revisiones de la literatura para ampliar.Documento, elaborado entre el alumnado y el profesor, con criterios de calidad de ejecución, que se sube al aula virtual.Documento con un pantallazo de la búsqueda que se sube al aula virtual como tarea.
3ª sesión. Concretar e interiorizar criterios de calidad en lo referente a los aspectos formales y al procesamiento de los textos.Criterios de calidad de los aspectos formales de los textos y del uso del procesador de textos.- Entrega al alumnado de un documento con los criterios formales de ejecución. - Análisis, por parejas, de dos textos, uno con buen nivel de ejecución y otro con mal nivel de ejecución. - Puesta en común en gran grupo. - Realización en clase de un taller de formateo, sobre un texto que se entrega sin formato.Documento con criterios de calidad de redacción del texto en aspectos formales Textos de alumnado de cursos anteriores. Texto para formateo. - Organización del escrito: portada con el formato que se exija o un formato adecuado, si no se prescribe ninguno por el profesor (incluir asignatura, título del trabajo, datos personales, etc. que permitan una correcta identificación del trabajo y del autor) - Índice. - Paginación. - Formateo del texto: sangrías, justificado completo, espaciado interlineal, tipo de letra (Times New Roman u otra) - Mantener el mismo tipo de letra, a no ser que haya razones para lo contrario. - Mismo color de las letras del texto, que en principio ha de ser negro. Documento, elaborado por el profesor, con criterios de calidad de ejecución, que se sube al aula virtual.Documento con un texto que ha formateado cada alumno, que se sube al aula virtual.
4ª sesión Concretar e interiorizar criterios de calidad en relación con la comprensión, interiorización, pensamiento crítico y creativo.Criterios de calidad en relación con la comprensión, interiorización, pensamiento crítico y creativo.- Entrega al alumnado de un documento con los criterios que muestran comprensión, interiorización, pensamiento crítico y creativo. - Análisis, por parejas, de dos textos, uno con buen nivel de ejecución y otro con mal nivel de ejecución. - Puesta en común en gran grupo. Documento con criterios de calidad referidos a la comprensión, interiorización, pensamiento crítico y creativo. Textos de alumnado de cursos anteriores.- Buscar y seleccionar adecuadamente la información, que tiene que proceder de diversas fuentes, usando los criterios explicitados en la segunda sesión del programa. - Leer los textos que contienen la información seleccionada. Contrastar, comprender, integrar. - Redactar, haciendo primero un borrador. - Parafrasear, no limitándose a copiar, integrando la información, haciéndola propia. - Aportar, si es posible, una vez interiorizado el tema a partir de la contrastación de las diversas fuentes, pensamiento propio, que puede ser crítico -valorando críticamente esa información recogida y elaborada- y/o creativo, yendo más allá de lo recogido de otros y aportando ideas nuevas de cosecha propia. - Releer siempre lo escrito, mejorándolo. Ponerse en lugar del lector para valorar si se va a entender adecuadamente.Documento, elaborado por el profesor, con criterios de calidad de ejecución, que se sube al aula virtual.Documento con un texto elaborado por cada alumno procurando respetar estos criterios, que se sube al aula virtual como tarea.
5ª sesión Concretar e interiorizar criterios de calidad en relación con el manejo de habilidades metacognitivas y el uso de criterios éticos.Criterios de calidad para evaluar el manejo de habilidades metacognitivas. Criterios de calidad para evaluar los aspectos éticos.- Entrega al alumnado de un documento con los criterios que muestran buen manejo de habilidades metacognitivas (autoevaluación) y de otro documento con criterios que permiten valorar el respeto a los aspectos éticos. - Análisis, por parejas, de dos tareas de autoevaluación, una bien realizada y otra mal realizada. - Análisis, por parejas, de un texto con un buen nivel de ejecución, que muestra compromiso ético por el rigor, el esfuerzo, la ausencia de copia, etc. - Puesta en común en gran grupo. Documento con criterios de calidad referidos al manejo de las habilidades metacognitivas (autoevaluación). Documento con criterios de calidad referidas al compromiso ético. Textos de alumnado de cursos anteriores.Criterios de calidad para valorar la autoevaluación: - La autoevaluación es “autoevaluación”, no evaluación o valoración de la asignatura, de su metodología o del profesor. - El alumno valora críticamente el trabajo que ha realizado para llevar a cabo la entrega. - Da cuenta de su esfuerzo y compromiso al realizar las tareas. - Realiza una valoración de lo que ha aprendido y de lo que no ha aprendido. - Analiza las dificultades que ha hallado en su trabajo - Realiza propuestas de mejora para siguientes entregas o trabajos. Criterios de calidad para valorar el compromiso ético: - El trabajo se ha entregado en el plazo fijado. - Es un texto bien elaborado a nivel formal (presentación, ortografía, formateo del texto…) - Es un texto bien elaborado a nivel de contenidos (integración de conceptos, discurso coherente, sin errores conceptuales, etc.). - Es un texto que refleja trabajo serio y concienzudo. - El autor no se ha limitado a copiar de otra fuente o fuentes (copiar y pegar), sino que ha elaborado un discurso propio a partir de las fuentes de información utilizadas. - Se han citado las fuentes utilizadas. Documentos, elaborados por el profesor, con criterios de calidad de ejecución, que se suben al aula virtual.Documentos con un texto elaborado por cada alumno, uno de autoevaluación (habilidades metacognitivas), ajustándose a los criterios señalados y otro que se ajuste a los criterios éticos aportados. Se suben al aula virtual como tareas

Tabla 6.
Diferencia de medias en CECAPEU
ABC
MediaDTZSignη2MediaDTZSignη2MediaDTZSignη2
1. Búsqueda y selección de informaciónPre3.730.58-0.348.728.0033.790.52-0.315.753.0033.210.69-0.469.639.006
Post3.740.503.840.553.270.74
2. Atención en clase. Toma de apuntesPre3.640.65-1.422.155.0513.780.75-0.913.361.0233.640.70-2.055.040.108
Post3.760.813.690.853.920.80
3. Establecimiento de conexiones entre lo que se aprende y lo aprendidoPre4.030.58-0.374.709.0034.200.64-0.344.731.0034.100.68-0.329.742.003
Post4.000.644.180.754.040.74
4. Elaboración y organización de la informaciónPre4.180.67-0.723.47.0134.080.60-2.533.011.1734.110.55-2.180.029.122
Post4.230.674.370.604.300.60
5. Memorización comprensivaPre4.040.72-0.598.55.0093.950.80-0.403.687.0043.990.74-0.550.582.008
Post4.090.583.990.873.940.70
6. Recuperación de la informaciónPre4.010.63-1.919.055.0924.130.45-0.697.486.0133.910.47-1.648.099.070
Post4.170.474.190.543.970.71
7. Organización de la información para su recuperación en exámenes y trabajosPre3.580.83-2.048.041.1053.490.81-1.091.275.0323.330.82-2.696.007.186
Post3.810.723.640.763.680.70
8. Habilidades de expresión/comunicación oralPre3.510.92-0.631.528.0103.471.01-1.109.268.0333.411.04-0.231.817.001
Post3.590.733.570.923.421.02
9. Comunicación en lenguas extranjerasPre3.140.92-2.91.004.2123.300.87-1.579.114.0672.591.10-3.368.001.291
Post3.420.853.450.912.961.01
10. Manejo de TICSPre3.570.84-2.719.007.1853.691.02-1.139.255.0353.380.89-2.945.003.222
Post3.870.733.870.723.720.77
11. Pensamiento crítico y creativoPre3.810.60-1.276.202.0413.800.69-1.157.247.0363.710.64-2.487.013.159
Post3.710.513.890.613.900.61

Se realizó la prueba de Wilcoxon para muestras relacionadas, con estimación del tamaño del efecto, como se comentó, para analizar si se daba diferencia significativa de medias entre pretest y postest en los grupos (A, B y C). Recordamos que, en el programa, se trabajó la dimensión cognitiva -habilidades de gestión de la información-, la metacognitiva y la ética.

Se dieron diferencias estadísticamente significativas en la dimensión Cognitiva y en los tres grupos (A, p<.05; B p= .05 y C, p<.01), con mejora en el postest, en el grupo A con tamaño del efecto medio, en el grupo B bajo y en el grupo C alto.

También hubo diferencias estadísticamente significativas en la dimensión Metacognitiva, en el grupo B (p<.05) y en el C (p<.05), con tamaño del efecto medio.

No hubo diferencias estadísticamente significativas en la dimensión Afectivo-motivacional ni tampoco en la Social-relacional.

En la dimensión Ética solo la hubo en el grupo C (p=.05), con tamaño del efecto medio.

Los resultados guardan bastante coherencia con lo esperado, dado que en el programa se trabajaron solo elementos de la dimensión cognitiva, metacognitiva y ética.

Para concretar más los efectos del programa se comentan, brevemente los resultados de los subdimensiones.

En la dimensión Cognitiva hubo diferencias estadísticamente significativas en Elaboración y organización de la información en los grupos B (p<.05) y C (p<.05), en el B con tamaño del efecto grande y en el C pequeño. No la hubo en el grupo A, que mejoró en el postest. También la hubo en Recuperación de la información en dos de los tres grupos: A (p=.05), B (p<.05), con tamaño del efecto medio en ambos. El grupo C también mejoró, sin diferencia significativa. Lo mismo ocurrió en Organización de la información para su recuperación, en los grupos A (p<.05) y C (p<.01), con tamaño del efecto medio y grande respectivamente. No la hubo en el grupo B, mejorando la media en el postest. También en Comunicación en lenguas extranjeras en los grupos A (p<.01) y C (p<.01), con tamaño del efecto grande. Mejoró el grupo B, sin diferencias significativas. En Manejo de TIC las hubo en los grupos A (p<.01) y C (p<.01), con tamaño del efecto grande. También mejoró el grupo B, sin diferencia estadísticamente significativa. Por fin, en Pensamiento crítico hubo diferencias estadísticamente significativas en el grupo C (p<.05), con tamaño del efecto grande. No la hubo en los otros dos grupos, mejorando la media en el B.

Resumiendo: en el grupo A mejoraron las medias en nueve de los once subdimensiones, en cuatro con diferencias estadísticamente significativas; en el grupo B también en nueve de las once, teniendo en dos diferencias estadísticamente significativas, y en el C en diez de las once, en cinco con diferencias estadísticamente significativas.

En la dimensión Metacognitiva se dieron diferencias en Planificación, organización y gestión en los grupos B (p<.05) y C (p<.05), con tamaño del efecto medio. En el grupo A también se dio mejora, sin diferencias estadísticamente significativas. Hubo también mejora en los tres grupos en Autoevaluación, y en los grupos B y C en Resolución de problemas, no significativas. En Conocimiento de objetivos hubo mejora en el grupo B, no significativa.

En el caso de la dimensión Ética hubo diferencias estadísticamente significativas en Responsabilidad social en el grupo C (p<.01), con tamaño del efecto grande y ligera mejora en el grupo B, sin diferencia estadísticamente significativa. También en Valores hubo mejoras en los grupos B y C, sin diferencia estadísticamente significativa y en Respeto a los códigos éticos, en este caso en los tres grupos, también sin diferencias estadísticamente significativas.

De la Rúbrica

Se realizó la prueba de Wilcoxon para muestras relacionadas, con estimación del tamaño del efecto, para analizar las posibles diferencias pretest-postest en los grupos. En este instrumento se recoge noticia de las subdimensiones trabajadas en el programa de intervención, concretada en ítems de valoración recogidos en la tabla. Solo se aportan resultados de Autoevaluación en el grupo A. Ello se debe a que en los grupos B y C no se pudieron recoger datos de Autoevaluación en la primera entrega del portafolios, aunque sí en el postest.

Tabla 7.
Diferencia de medias en Rúbrica
Diferencia de medias en Rúbrica

En la dimensión Cognitiva se dieron diferencias estadísticamente significativas en los tres grupos, en los cinco ítems de la subdimensión de Gestión de la información, (Búsqueda, Elaboración, Organización, Comprensión, Errores conceptuales) y en cinco de los nueve de la subdimensión Habilidades de expresión escrita y aspectos formales (Presentación, Manejo de TICs, Comunicación escrita, Citación y Parafraseado, e Inclusión de componentes), en esta última subdimensión en los grupos A y B, pero no en el C. El tamaño del efecto fue grande en todos los casos. En Sistema de citación y en Referencias bibliográficas las hubo, con tamaño del efecto grande, en el B y el C, pero no en el A, que también mejoró. En Ortografía hubo en el A, con tamaño del efecto grande, pero no en el B y el C, mejorando la puntuación en el B y manteniéndose en el C. No las hubo en Cumplimiento de plazos. Sí las hubo en el único ítem de la dimensión Pensamiento crítico (p<.001), con tamaño del efecto grande

Así pues, hubo mejoras estadísticamente significativas, en los tres grupos, en doce de los quince ítems de la dimensión Cognitiva. En el B las hubo en dos más.

En la dimensión Metacognitiva hubo diferencias estadísticamente significativas en Planificación -ítem de Planificación-, en los grupos B y C (p<.001 en ambos grupos), con tamaño del efecto grande. No la hubo en el A, pero la puntuación también mejoró estando cerca del valor de significación. Hubo también diferencia significativa en la subdimensión de Autoevaluación, evaluada por el ítem de Autoevaluación (p<.001), con un tamaño del efecto grande, en el grupo A.

En la dimensión Ética se dieron diferencias estadísticamente significativas en los tres grupos en el único ítem que la evalúa: Honestidad. Valores (p<.001), con tamaño del efecto grande.

A título de síntesis:

En el grupo A mejoraron los resultados en la dimensión Metacognitiva (subdimensión Planificación), en la Cognitiva (en las tres subdimensiones, Gestión, habilidades de expresión y Pensamiento crítico, y en doce los quince ítems) y también el ítem de la dimensión Ética (de la subdimensión Honestidad. Valores). Por tanto, en catorce de los dieciocho ítems.

En el grupo B mejoraron los resultados en la dimensión Metacognitiva (subdimensión Planificación), en la Cognitiva (en las tres subdimensiones, Gestión, habilidades de expresión y Pensamiento crítico, y en catorce los quince ítems) y también el ítem de la dimensión Ética (de la subdimensión Honestidad. Valores). Por tanto, en dieciséis de los dieciocho ítems.

En el grupo C se dieron mejoras estadísticamente significativas en las tres subdimensiones de la dimensión Cognitiva (Gestión, Habilidades de expresión y Pensamiento crítico) y en once de sus catorce ítems. También mejoraron los resultados en la dimensión Metacognitiva (subdimensión Planificación), y en el ítem de la dimensión Ética (subdimensión Honestidad. Valores) y con tamaño del efecto grande. Por tanto, se dieron mejoras en dieciséis de los dieciocho ítems totales.

Resultados cualitativos del grupo focal

Como se dijo antes, los datos obtenidos mediante la grabación de la sesión fueron sometidos a análisis de contenido por dos jueces expertos para delimitar categorías de análisis, frecuencias de las respuestas y su interpretación, utilizando un sistema inductivo-deductivo de concreción de categorías. Se elaboraron matrices textuales de análisis para recoger la información relevante que aportaban los alumnos. Dados los límites espaciales de este texto no incluiremos estas, sino un breve resumen de las aportaciones del alumnado referidas a la última cuestión, la que se ocupaba de la bondad del programa, incluyendo textos literales (Hemos denominado A1, A2, etc. al alumnado del que hemos recogido manifestaciones verbales textuales).

Los alumnos realizaron una valoración positiva del programa, especialmente porque se presentaban buenos y malos ejemplos de tareas resueltas por otros alumnos del curso anterior y porque tenían la oportunidad de valorarlas con otro compañero y, entre los dos, de aportar claves de valoración. También reportaron que el posterior debate grupal en grupo de clase con las aportaciones del profesorado y la síntesis final de criterios de calidad de la ejecución les ayudaba a mejorar sus propias ejecuciones (A5: “A raíz de lo que has dicho de los textos que tú nos dabas, que estaba uno correcto y otro incorrecto. Al explicarlo como que a lo mejor tú puedes entenderlo, pero si tú lo visualizas, lo corriges encima con otra compañera que puedes comentarlo y que luego en clase también se dice, yo creo que una manera de mejorar ese punto haciéndolo, que es lo que hemos comentado antes. Aprender a aprender también es que tú estás haciendo o practicando para que se te quede mejor. Y luego puedo utilizarlo posteriormente”.

A1: “… Yo estoy de acuerdo con lo que dice _____, con el hecho de que lo hayan explicado como aquí hemos hecho y luego que se incorpore ese conocimiento, porque ahí cometiste el error o tenías una duda, y podías preguntar en clase… a tu compañero o al profesor. Entonces eso ayudaba a que uno como alumno, sepa solucionarlo en ese momento y pueda desarrollar mejor la habilidad que está adquiriendo…”. A7: “Sí, la corrección del método de interlineado y todo eso con el Word a mí me es complicado porque estaba acostumbrada a otra plataforma y a raíz de una actividad que hicimos en clase, durante estas sesiones, me di cuenta de cómo podía modificarlo y me acuerdo de que hablé contigo y me resolviste las dudas y justo en esa clase, aprendí. Me sirvió bastante”. A4: “A mí también me ha servido muchísimo tanto para buscar mejor la información como para presentarlo porque con las actividades es como que al ver los errores de los demás, se me hace más fácil. Ver mis errores, aunque esté bastante tiempo, es difícil, pero coger un texto de otra persona, digo, esto y esto está mal, me ayuda luego para mejorar”).

En el grupo B también se hubo de valorar algunos de los trabajos con la rúbrica utilizada en la investigación, tarea exigente, pero muy positiva por lo que se aprendía con ella (A3: “Yo quería compartir la opinión con _____, destacando el trabajo de la rúbrica que hicimos en tu clase … Fue un trabajo muy chulo donde teníamos que hacer un texto, contestar dos preguntas, dos actividades y con una rúbrica con los objetivos, con muchísimo nivel recibíamos un trabajo al azar de uno de nuestros compañeros, y teníamos que evaluarlo. Y fue muy interesante porque, al aplicar la rúbrica, aprendimos muchísimo y vimos que podíamos hacerlo mucho mejor. Así que nosotros, con los métodos que nos ha enseñado, hemos cambiado bastante”)

Discusión y conclusiones

El objetivo general era incrementar el nivel de la competencia AaA en el alumnado de los tres grupos, mediante el programa formativo, mejorando los procesos y habilidades involucrados en el aprendizaje mediante portafolios que se iban a entrenar. Se esperaba, así se hipotetizó, que tal mejora se produciría en los tres grupos.

En el CECAPEU se dieron diferencias estadísticamente significativas en los tres grupos de pretest a postest en las puntuaciones medias de la dimensión Cognitiva, como esperábamos, dado que en el programa se puso en ella un énfasis especial, entrenándose una parte importante de las habilidades que la integran. Como se recogió en el apartado anterior, en el A hubo mejoras en nueve de las once subdimensiones, cuatro estadísticamente significativas. En el B en nueve, dos estadísticamente significativas y en el C en diez de las once, cinco estadísticamente significativas.

En la Rúbrica se dieron diferencias estadísticamente significativas en los tres grupos, en los cinco ítems de la subdimensión Gestión de la información. También las hubo en cinco de los nueve de la subdimensión: “Habilidades de expresión escrita y aspectos formales”. Hubo diferencia significativa en el único ítem de la subdimensión: “Pensamiento crítico en los tres grupos”.

Se verificó, pues, la hipótesis, dadas las mejoras obtenidas.

En la dimensión Metacognitiva se dieron diferencias en el CECAPEU en Planificación, organización y gestión, en los grupos B y C, tal como recogimos en el apartado anterior. En el grupo A también se dio mejora, que no fue estadísticamente significativa. Los tres grupos mejoraron en Autoevaluación, y los grupos B y C en Resolución de problemas, sin mejora significativa. Lo mismo ocurrió en Conocimiento de objetivos en el grupo B.

En la Rúbrica se dieron diferencias estadísticamente significativas en el ítem de Planificación (grupos B y C). No la hubo en el A, pero la puntuación también mejoró y la diferencia estuvo cerca del valor de significación. También se dio diferencia estadísticamente significativa en la subdimensión de Autoevaluación, evaluada por el ítem de Autoevaluación (p<.001) en el grupo A.

En el caso de la dimensión Metacognitiva la hipótesis se cumplió en parte, con mejoras, pero no en todas las subdimensiones -sí se dio en las trabajadas en el programa-, pero no en todos los grupos.

En la dimensión Ética del CECAPEU hubo diferencias estadísticamente significativas en Responsabilidad social en el grupo C (p<.01) y ligera mejora en el grupo B, sin diferencias significativas. También en Valores hubo mejoras en los grupos B y C, no estadísticamente significativas y en Respeto a los códigos éticos, en este caso en los tres grupos, no estadísticamente significativas.

En la Rúbrica hubo diferencias altamente estadísticamente significativas en los tres grupos (p<.001), en Honestidad, Valores y Responsabilidad social en el aprendizaje, con mejora en el postest y tamaño del efecto grande.

Con estos datos se puede afirmar que el programa formativo desarrollado ha sido eficaz para trabajar el aprendizaje de la competencia. Así pues, la primera hipótesis se confirmó en la línea esperada.

Por otra parte, los resultados de la valoración del alumnado participante en el grupo de discusión con respecto a la bondad del programa fueron también positivos, lo que confirmaría la segunda hipótesis.

No hemos encontrado en la literatura datos de programas en que se hable específicamente de la enseñanza de la “competencia” AaA, sí de programas que pretenden mejorar el aprender a aprender, las estrategias de aprendizaje y/o el aprendizaje autorregulado. Mencionaremos algunos, sin ánimo de ser exhaustivos.

En el programa de Rosário et al. (2007) (´Cartas de Gervasio`), alumnos de dos titulaciones de 1º de la Universidad de Oviedo fueron entrenados en estrategias cognitivas, metacognitivas y de apoyo, durante seis sesiones de una hora, fuera de las clases ordinarias. Utilizando autoinformes constataron mejora del conocimiento declarativo de estrategias, no estadísticamente significativas. Una replicación del mismo programa (Hernández Pina et al., 2008) con alumnado de tercer curso de Pedagogía de la Universidad de Murcia tuvo resultados parecidos.

Otro programa, muy conocido, es el de Mckeachie, Pintrich, y Lin (1985) (‘Learning to learn`), un curso introductorio para alumnos de Psicología de la Universidad de Michigan, que incluye instrucción en psicología cognitiva y también en estrategias cognitivas, metacognitivas y motivacionales. Al acabar su aplicación hubo mejoras importantes en un autoinforme sobre estrategias y su uso y mejoras modestas en calificaciones. Hofer, Yu y Pintrich (1998) replicaron el curso con alumnado de primer y segundo curso de Psicología usando el MSLQ para la evaluación. Se dieron diferencias estadísticamente significativas en las siete estrategias cognitivas y en cuatro de las seis estrategias motivacionales que evalúa el test. Una aplicación posterior del mismo programa (Hofer & Yu, 2003) sobre estudiantes de primero y segundo, obtuvo buenos resultados en mejora de estrategias de aprendizaje, evaluadas mediante autoinforme.

Wolters et al. (2023) aplicaron un programa de aprender a aprender (aprendizaje autorregulado), con entrenamiento en estrategias, sobre una muestra de 331 estudiantes voluntarios en el grupo experimental y 446 en el grupo de control, en una universidad pública norteamericana durante un semestre. Los alumnos fueron entrenados por estudiantes de doctorado. La evaluación se realizó con un cuestionario de autoinforme. Se encontraron mejoras estadísticamente significativas en los sujetos experimentales frente a los de control en autoeficacia, manejo del tiempo, metacognición, motivación y manejo del entorno, no en las calificaciones.

El programa de Nückles et al. (2009) es ligeramente diferente, utilizando la escritura de protocolos de aprendizaje (prompts) para potenciar el aprendizaje autorregulado, con preguntas que conducen el proceso reflexivo de los estudiantes al resolver tareas académicas. Los alumnos deben elaborar sus propios protocolos para conducir su aprendizaje. Los resultados reflejaron mejoras en estrategias cognitivas y metacognitivas.

Los programas referidos hasta el momento son programas extracurriculares, siendo de mayor o menor duración y más o menos sofisticados en función del contexto de aplicación.

Como ya comentamos, nuestra opción preferida es la aplicación de programas curriculares, integrados en la docencia de las materias. Un ejemplo de este tipo de programas, mucho menos corrientes, es el de Norton y Crowley (1995), en que se entrenó a alumnos de primero en habilidades de estudio y estrategias de aprendizaje, como parte del currículum de psicología (en el Liverpool Institute of Higher Education). Los alumnos elaboraron una concepción de aprendizaje más sofisticada y mejoraron sus habilidades y estrategias y su rendimiento académico.

A partir de los resultados obtenidos por estos programas y de sus formatos enfatizar tres aspectos de nuestro programa:

Primero, que las mejoras se producen no solo en el cuestionario CECAPEU -un cuestionario con formato de autoinforme-, sino también en la Rúbrica de evaluación, con mayor intensidad. Con esta rúbrica se evalúa el desempeño real del estudiante en la ejecución de las tareas, en este caso del portafolios (tareas auténticas y evaluación auténtica). Se trata, en este sentido, de un programa original que va más allá de lo que es habitual en este tipo de programas, que se suelen limitar, en la evaluación, a autoinformes del alumnado.

Segundo, que se trata de un programa formativo insertado en la docencia, en el currículum ordinario, lo que lo dota de mayor funcionalidad. Con ello se visibiliza y explicita la enseñanza de la competencia, incluyéndola en los contenidos curriculares para su enseñanza, aprendizaje y evaluación.

Tercero, que se trata del mismo programa formativo, pero aplicado por dos profesores diferentes en tres grupos distintos, de dos titulaciones de la misma universidad, lo que permite augurar ulteriores aplicaciones exitosas, como ha ocurrido en este. Es cierto que, en otros grupos de otras titulaciones, se deberán realizar adaptaciones en función de los contenidos de las materias y de los métodos que se utilicen, pero los elementos sustanciales del programa pueden servir para trabajar las habilidades que se potenciaron en esta intervención. En materias que utilicen el portafolios y que pretendan trabajar esas mismas habilidades el programa puede servir prácticamente tal como se ha aplicado aquí.

Para terminar, somos conscientes de algunas limitaciones que tiene este trabajo: una primera es la muestra, no representativa, no demasiado numerosa y limitada a dos titulaciones de Educación, y la segunda lo es el tipo de diseño, ya que lo ideal sería contar con grupos de control equivalentes de las mismas materias y de los mismos grados, algo que no fue posible de llevar a cabo en el trabajo realizado hasta el momento, pero tenemos el propósito de lograrlo en la continuación de este proyecto, que acabará en breve su primer año. Sugerencias para la continuidad de la investigación son, pues, el aumento del tamaño de la muestra, incrementando el número de grupos experimentales y la inclusión de grupos de control en los diversos programas de intervención educativa de enseñanza de la competencia, que se están desarrollando en el proyecto.

Agradecimientos

Se agradece al Ministerio de Ciencia e Innovación la ayuda recibida y a la Facultad de Filosofía y Ciencias de la Educación de la Universidad de Valencia por su colaboración para el Desarrollo de la investigación.

Fuentes de financiación: Proyecto “La competencia aprender a aprender en la universidad, su diseño y desarrollo curricular. Un modelo de intervención y su aplicación en los grados universitarios”. PID2021-123523NB-I00, financiado por el MCIN/AEI /10.13039/501100011033 y por FEDER Una manera de hacer Europa. https://www.aei.gob.es/sites/default/files/convocatory_info/2022-06/PRP-PID2021-Texto%2BAnexos_fda.pdf

Referencias

Bandalos, D.L. (2018). Measurement Theory and Applications for the Social Sciences. The Guilford Press.

Biggs, J. (2005). Calidad del aprendizaje universitario. Narcea.

Caena, F. (2019). Developing a European Framework for the Personal, Social & Learning lo Learn Key Competence. Publications Office of the European Union. https://bit.ly/2vBzK8A

Caena, F., & Stringher, C. (2020). Towards a New Conceptualization of Learning to Learn. Aula Abierta, 49(3), 207–216. https://doi.org/10.17811/rifie.49.3.2020.199-216

Cameron, R. B., & Rideout, C. A. (2020). It’s been a challenge finding new ways to learn: first-year students’ perceptions of adapting to learning in a university environment. Studies in Higher Education, 42(11), 2153-2169. https://doi.org/10.1080/03075079.2020.1783525

CE (2006). Recommendation of the European Parliament and of the Council of 18 December 2006 on key competences for lifelong learning. https://bit.ly/37R4bb5.

CE (2018). Recomendación del Consejo de 22 de mayo de 2018 relativa a las competencias clave para el aprendizaje permanente. https://links.uv.es/fX3sQ0O

Creswell, J. W. & Plano Clark, V. L. (2018). Designing and conducting mixed methods research (3rd ed.). SAGE Publications.

EI-ESU. (2012). Bologna with student eyes 2012. http://www.esu-online.org/asset/News/6068/BWSE2012-online1.pdf

Fritz, C. O., Morris, P. E., & Richler, J. J. (2012). Effect size estimates: current use, calculations, and interpretation. Journal of experimental psychology: General, 141(1), 2-18. https://doi.org/10.1037/a0024338.

Furtado Rosa, A., & Machado Tinoco Feito Rosas, A. M. (2016). Learning to learn the Nursing Consultation: Comprehensive Analysis in the Perspective of the Student. International Archives of Medicine,9(388), 1-9. https://doi.org/10.3823/2259.

Gargallo López, B., García-García, F. J., López-Francés, I., Jiménez Rodríguez, M. Á., & Moreno Navarro, S. (2020). | The learning to learn competence: An assessment of a theoretical model. Revista Española de Pedagogía, 78 (276), 187-211. doi: https://doi.org/10.22550/REP78-2-2020-05

Gargallo-López, B., Suárez-Rodríguez, J.M., Pérez-Pérez, C., Almerich Cerveró, G., & Garcia-Garcia, F.J. (2021). El cuestionario CECAPEU. Un instrumento para evaluar la competencia aprender a aprender en estudiantes universitarios. RELIEVE, 27(1), art. 1. http://doi.org/10.30827/relieve.v27i1.20760

Grace, S., Innes, E., Patton N., & Stockhausen, L. (2017). Ethical experiential learning in medical, nursing and allied health education: A narrative view. Nurse Education today,51, 23-33. https://doi.org/10.1016/j.nedt.2016.12.024

Hadwin, A. F., Wozney, L., & Pontin, O. (2005). Scaffolding the appropriation of self-regulatory activity: A socio-cultural analysis of changes in teacher-student discourse about a graduate student portfolio. Instructional Science, 33(5-6), 413–450. https://doi.org/10.1007/s11251-005-1274-7

Hair, J. F., Black, W. C., Babin, B. J., & Anderson, R. E. (2010). Multivariate Data Analysis (Seventh edition). Upper Saddle River. https://doi.org/10.1007/s11251-005-1274-7

Hautamäki, J., Arinen, P., Eronen, S., Hautamäki, A., Kupianien, S., Lindblom, B., Niemivirta, M., Pakaslahti, L., Rantanen, P., & Scheinin, P. (2002). Assessing Lear-ning-to-Learn: A Framework. Helsinki: Centre for Educational Assessment, Helsinki University/National Board of Education.

Hernández Pina, F., Rosário, P., & Cuesta, J. D. (2008). Impacto de un programa de autorregulación del aprendizaje en estudiantes de grado. Revista de Educación, 353, 571–588.

Hofer, B. K., & Yu, S. L. (2003). Teaching self-regulated learning through a “Learning to Learn” course. Teaching of Psychology, 30, 30–33. https://doi.org/10.1207/S15328023TOP3001_05

Hofer, B. K., Yu, S. L., & Pintrich, P. R. (1998). Teaching college students to be selfregulated learners. In D. H. Schunk, & B. J. Zimmerman (Eds.), Self-regulated learning: From teaching to self-reflective practice (pp. 57–83). Guilford.

Hoskins, B., & Fredriksson, U. (2008). Learning to learn: what is it and can it be measured. European Commission: Joint Research Centre, Institute for the Protection and Security of the Citizen. Centre for Research on Lifelong Learning (CRELL).

Hu, L. T., & Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural equation modeling: a multidisciplinary journal, 6(1), 1-55. https://doi.org/10.1080/10705519909540118

Ibarra-Sáiz, M.S., Lukas-Mujika, J.F., Ponce-González, N., & Rodríguez-Gómez, G. (2023). Percepción del profesorado universitario sobre la calidad de las tareas de evaluación de los resultados de aprendizaje. RELIEVE, 29(1), art. 1. https://doi.org/10.30827/relieve.v29i1.27404

Järvelä, S., Järvenoja, H. & Malmberg, J. (2019). Capturing the dynamic and cyclical nature of regulation: Methodological Progress in understanding socially shared regulation in learning. Intern. J. Comput.-Support. Collab. Learn,14, 425–441. https://doi.org/10.1007/s11412-019-09313-2

Kass, M., & Faden, R. R. (2018). Ethics and learning health care: the essentials roles of engagement, transparency, and accountability. Learning Health Systems, 2(4), 1-3. https://doi.org/10.1002/lrh2.10066.

Kline, R. B. (2015). Principles and practice of structural equation modeling (Fourth ed.). Guilford Press.

Lluch Molins, L. & Portillo Vidiella, M. C. (2018). La competencia de aprender a aprender en el marco de la educación superior. Revista Iberoamericana de Educación, 78(2), 59-76. https://doi.org/10.35362/rie7823183

Mckeachie, W. J., Pintrich, P. R., & Lin, Y. G. (1985). Teaching learning strategies. Educational Psychologist, 20, 153–160. Https://doi.org/10.1207/s15326985ep2003_5

Morón-Monge, H. & García-Carmona, A. (2022). Developing prospective primary teachers’ learning-to-learn competence through experimental activities, International Journal of Science Education, 44(12), 2015-2034. https://doi.org/10.1080/09500693.2022.2108929

Muñoz-San Roque, I., Martín-Alonso, J. F., Prieto-Navarro, L., & Urosa-Sanz, B. (2016). Autopercepción del nivel de desarrollo de la competencia de aprender a aprender en el contexto universitario: propuesta de un instrumento de evaluación. Revista de Investigación Educativa, 34(2), 369-383. https://doi.org/10.6018/rie.34.2.235881

Norton, L. S., & Crowley, C. M. (1995). Can students be helped to learn? An evaluation of an approaches to learning programme for first year degree students. Higher Education, 29, 307–328. https://doi.org/10.1007/BF01384496

Nückles, M., Hübner, S., & Renkl, A. (2009). Enhancing self-regulated learning by writing learning protocols. Learning and Instruction, 19, 259–271. https://doi.org/10.1016/j.learninstruc.2008.05.002

Patton, M.Q. (2015). Qualitative Evaluation and Research Methods. Sage.

Pintrich, P. R. (2004). A conceptual framework for assessing motivation and self-regulated learning in college students. Educational Psychology Review, 16(4), 385-407. https://doi.org/10.1007/s10648-004-0006-x

Pirrie, A., & Thoutenhoofd, E.D. (2013). Learning to learn in the European Reference Framework for lifelong learning. Oxford Review of Education, 39(5), 609-626. https://doi.org/10.1080/03054985.2013.840280

Reichardt, C.S. (2019). Quasi-Experimentation. A guide to design an analysis. The Guilford Press.

Rosário, P., Mourão, R., Núñez, J. C., González-Pienda, J., Solano, P., & Valle, A. (2007). Eficacia de un programa instruccional para la mejora de procesos y estrategias de aprendizaje en la enseñanza superior. Psicothema, 19, 422–427.

Sala, A., Punie, Y., Garkov, V. & Cabrera Giraldez, M. (2020). LifeComp: The European Framework for Personal, Social and Learning to Learn Key Competence. Publications Office of the European Union. https//doi.org/10.2760/302967.

Sim, J. & Waaterfield, J. (2019). Focus groups methodology: some ethical challenges. Qual Quant, 53. https://doi.org/10.1007/s11135-019-00914-5

Stringher, C. (2014). What is learning to learn? A learning to learn process and output model. In R. Deakin Crick, C. Stringher, & K. Ren (Eds.), Learning to learn (pp. 9-32). Routledge. https://doi.org/10.4324/9780203078044-2

Thoutenhoofd, E.D., & Pirrie, A. (2015). From self-regulation to learning to learn: observations on the construction of self and learning. British Educational Research Journal, 41(1), 72-84. https://doi.org/10.1002/berj.3128

Viejo. C. & Ortega-Ruiz. R. (2018). Competencias para la investigación: el trabajo de fin de Máster y su potencialidad formativa. Revista de innovación y buenas prácticas docentes. 5. 46-56. https://doi.org/10.21071/ripadoc.v5i.10970

Villardón-Gallego, L., Yániz, C., Achurra, C., Iraurgi, I. & Aguilar, M. C. (2013). Learning competence in university: development and structural validation of a scale to measure. Psicodidáctica, 18(2), 357-374. https://doi.org/10.1387/RevPsicodidact.6470

Weinstein, C.E. (1988): Assessment and training of student learning strategies. In R.R. Schmeck, Learning strategies and learning styles (pp. 291-316). Plenum Press. https://doi.org/10.1007/978-1-4899-2118-5_11

Weinstein, C.E., J. Husman, & D. Dierking (2002). Self-Regulation Interventions with a focus on learning strategies”. In M. Boekaerts, P.R. Pintrich and M. Zeinder, Handbook of Self-regulation (pp. 727-747). Academic Press. https://doi.org/10.1016/B978-012109890-2/50051-2

Weinstein, C.E. & Mayer, R.E. (1985): The teaching of learning strategies. In M.C. Wittrock (Ed.), Handbook of research on teaching (pp. 315-327). MacMillan.

Wolters. Ch. A., Laconelli. R., Peri. J., Hensley. L.G. & Kim. M. (2023). Improving self-regulated learning and academic engagement: Evaluating a college learning to learn course. Learning and Individual Differences. 103. https://doi.org/10.1016/j.lindif.2023.102282

Zimmerman, B. J. (2000). Attaining self-regulation: a social cognitive perspective. In M. Boekaerts, P. R. Pintrich & M. Zeidner (Eds.), Handbook of Self-Regulation (pp. 13-39). Academic Press. https://doi.org/10.1016/B978-012109890-2/50031-7

Notas de autor

1 Bernando Gargallo López (bernardo.gargallo@uv.es). Es catedrático de Teoría de la Educación en la Universidad de Valencia. Primer Premio Nacional de Investigación Educativa en 2000 y en 2002. Su línea de investigación actual y los proyectos competitivos que ha dirigido se centran en la enseñanza y el aprendizaje en la universidad. Dirige el grupo GIPU-EA. Ha participado en 16 investigaciones subvencionadas, de las que ha dirigido 11. Es evaluador de proyectos de investigación de la agencia nacional y de agencias autonómicas.

Contribución del autor: (BGL) Obtención de financiación, Dirección del proyecto, Conceptualización, Investigación, Trabajo de campo/aplicación del programa formativo, Redacción del borrador original.

Declaración de conflicto de intereses: BGL declara que no hay conflictos de intereses al redactar el artículo.

2 Fran J. García García (Francisco.Javier.Garcia-Garcia@uv.es). Profesor Ayudante Dr. en el Departamento de Teoría de la Educación, Universitat de València, España. Su trabajo trata sobre las dificultades y procesos de aprendizaje, y sus últimas publicaciones ofrecen métodos colaborativos para resolver problemas de aprendizaje asíncrono en línea con estudiantes universitarios.

Contribución del autor: (FJGG) investigación, trabajo de campo, aplicación del programa formativo, revisión del texto y traducción al inglés.

Declaración de conflicto de intereses: FJGG no reporta ningún conflicto de intereses.

3 Irene Verde Peleato (irene.verde@uv.es). Profesora Permanente Laboral del Departamento de Teoría de la Educación de la Universitat de València. Diplomada en Magisterio; Licenciada en Pedagogía. Máster en Español como lengua extranjera (University of Southern California, USA). Doctora en Pedagogía por la Universitat de València. Trayectoria investigadora en temáticas de educación intercultural-bilingüe, estrategias de aprendizaje, cooperación al desarrollo y creatividad en educación.

Contribución del autor: (IVP) investigación/trabajo de campo/aplicación del programa formativo, revisión del texto y traducción al inglés.

Declaración de conflicto de intereses: IVP declara no tener conflictos de intereses al redactar el artículo.

4 Gonzalo Almerich Cerveró (gonzalo.almerich@uv.es). Profesor titular del Departamento de Métodos de Investigación en Educación en la Universidad de Valencia. Doctor en Ciencias de la Educación. Su trayectoria investigadora se centra en la integración de las tecnologías de la información y de la comunicación (TIC) en educación, las competencias del siglo XXI, los procesos de aprendizaje del alumnado, la medición educativa y la metodología de la investigación educativa. Premio Nacional de Investigación Educativa del Ministerio de Educación y Ciencia en 2004 con una investigación sobre el tema de la integración de las TIC en la educación.

Contribución del autor: (GAC) Tratamiento de los datos, Revisión del texto.

Declaración de conflicto de intereses: GAC declara que no existen conflictos de intereses al redactar el artículo.

bernardo.gargallo@uv.es

Enlace alternativo

HTML generado a partir de XML-JATS por