Esta obra está bajo una Licencia Creative Commons Atribución-NoComercial 4.0 Internacional.
Recepción: 10 Mayo 2022
Aprobación: 30 Octubre 2022
Publicación: 22 Diciembre 2022
DOI: https://doi.org/10.30827/relieve.v28i2.24604
Financiamiento
Fuente: Financiado por el Ministerio de Ciencia e Innovación/Agencia Estatal de Investigación 10.13039/501100011033
Beneficiario: PID2020-113505RB-I00
Resumen: El efecto de la formación continua del profesorado sobre la mejora de la calidad educativa es un indicador a tener en cuenta en el despliegue de políticas de desarrollo profesional. En este sentido, estudiar los factores condicionantes de mayor impacto sobre la probabilidad de que un docente tenga éxito en el proceso de transferencia y conocer el efecto de dicha asociación proporciona una información relevante. El objetivo de este artículo es analizar las asociaciones existentes entre los factores condicionantes y la probabilidad de que se produzca la transferencia al puesto de trabajo de los programas formativos destinados al profesorado de enseñanzas no universitarias. La investigación se ha diseñado como no experimental, con carácter exploratorio y en el que se emplea un instrumento tipo encuesta para la recogida de datos de carácter transversal. Han participado 4769 docentes, siendo el muestreo no probabilístico por conveniencia siguiendo el criterio de accesibilidad y disponibilidad de los sujetos. Los datos obtenidos han permitido identificar las variables predictivas de la probabilidad de transferir los productos de la formación permanente y proponer un modelo de regresión logística que estime dicha probabilidad en función a las puntuaciones de los factores condicionantes.
Palabras clave: Formación Permanente, Transferencia de la Formación, Eficacia de la Formación, Desarrollo Profesional, Profesorado.
Abstract: The effects of in-service teacher training on the improvement of educational quality should be considered when rolling out professional development policies. To this end, important information can be gathered by examining the most relevant conditioning factors regarding the likelihood that teachers will successfully transfer learning into teaching practice. Knowledge of the effects of such transfer would also be useful. The aim of the present article is to analyse the existing associations between conditioning factors and the likelihood of transferring knowledge acquired via professional teacher training in non-university education classrooms. The present research was non-experimental and exploratory in nature, employing a survey in order to collect cross-sectional data. A total of 4769 teachers participated. A non-probabilistic convenience sample was recruited due to the accessibility and availability of participants. Obtained data enabled identification of predictive variables pertaining to the likelihood of transferring the knowledge attained through lifelong learning. A logistic regression model was developed to estimate transfer likelihood based on outcomes pertaining to the conditioning factors.
Keywords: Ongoing Training, Training Transfer, Training Effectiveness, Professional Development, Teachers.
Resumo: O efeito da formação contínua dos professores na melhoria da qualidade educativa é um indicador a ter em conta na implementação de políticas de desenvolvimento profissional. Neste sentido, estudar os fatores condicionantes com maior impacto na probabilidade de sucesso de um professor no processo de transferência e conhecer o efeito desta associação proporciona informações relevantes. O objetivo deste artigo é analisar as associações existentes entre os fatores condicionantes e a probabilidade de transferência para o local de trabalho dos programas de formação destinados a professores de ensino não universitário. A investigação foi concebida como não experimental, com caráter exploratório e utilizando um instrumento de tipo inquérito para a recolha de dados transversais. Participaram 4769 professores, sendo a amostragem não-probabilística por conveniência seguindo o critério de acessibilidade e disponibilidade dos sujeitos. Os dados obtidos permitiram identificar as variáveis preditivas da probabilidade de transferência dos produtos da aprendizagem ao longo da vida e propor um modelo de regressão logística que estime esta probabilidade em função das pontuações dos fatores condicionantes.
Palavras-chave: Aprendizagem ao longo da vida, Transferência da Formação, Eficácia da Formação, Desenvolvimento Profissional, Professores.
摘要: 为了提高教学质量而对教师进行的持续培训是职业发展政策部署时需要考虑在内的一项重要指标。因此，研究对教师培训迁移成功概率有重大影响的条件因素以及了解因素间的关联效果都可以为该课题提供宝贵的信息。本篇文章的主要目的既是分析条件因素间存在的关联，也是分析针对非大学教育阶段教师培训计划的职位迁移概率。该研究为非实验性的探索性研究，在研究中使用问卷类工具收集横截面数据。共有4769名教师参与，样本为非概率抽样，抽样过程中遵循对象的可及性和可用性标准。获得的数据允许我们确定了终身学习产品迁移概率的预测变量，同时也帮助我们提出了一个可以根据条件因素分值预估迁移概率的逻辑回归模型
關鍵詞: 终身学习, 培训迁移, 培训效率, 职业发展, 教师.
La adquisición y aplicación de nuevas habilidades, destrezas y actitudes por parte del profesorado representa uno de los factores a tener en cuenta para tratar de responder a las continuas adaptaciones a las que tiene que hacer frente el sector educativo, tanto en el plano operacional como en el de las infraestructuras (Escudero-Muñoz et al., 2018). Dicha relevancia es perceptible a través de los esfuerzos realizados por las Administraciones Educativas, o las organizaciones privadas del sector de la educación, para ofertar planes de desarrollo profesional del docente (DPD) que resulten eficaces para dotar al profesorado de una formación continua capaz de responder a los objetivos estratégicos asociados, entre otros, a la mejora de la calidad de la educación, al ejercicio eficiente de las funciones de liderazgo, la mejora del entorno de trabajo o la respuesta ágil a los cambios normativos, metodológicos y tecnológicos (Aparicio-Molina et al., 2020; Darling-Hammond et al., 2017; Yurtseven et al., 2020).
A pesar de la cantidad de argumentos a favor del uso de planes de DPD como vehículo para desplegar iniciativas para implementar las decisiones tomadas en materia de política educativa, el desarrollo de estrategias para el diseño, el estudio de la eficacia y la evaluación de dichos planes sigue siendo una cuestión abierta (Erdas et al., 2019; Kelley et al., 2020; McChesney & Aldridge, 2018; Popova et al., 2021; Sims & Fletcher-Wood, 2021). Así, mientras que en Darling-Hammond et al. (2017) se indica que entre las características comunes presentes en los ejemplos de éxito de planes de DPD se encuentran: la incorporación de dinámicas de aprendizaje activo; la utilización de un modelo de aprendizaje colaborativo; aportan ejemplos prácticos de éxito; articulan mecanismos de asesoría y apoyo; contemplan los procesos de retroalimentación y reflexión; se distribuyen a lo largo de un tiempo de desarrollo adecuado para las acciones de aprendizaje, práctica y reflexión, el trabajo de Sims & Fletcher-Wood (2021) plantea serias dudas sobre los criterios empleados para identificar dichas características comunes y proponen una visión centrada en investigar las relaciones entre la investigación básica sobre el proceso de adquisición de destrezas y la información obtenida tras la realización de un proceso riguroso de evaluación de los planes de DPD.
En un contexto general, Mizell (2010) señala que el concepto de desarrollo profesional se identifica con las diferentes acciones formativas (formales o informales) que realiza un profesional con la finalidad de mejorar su desempeño laboral y que la variedad de dichas acciones puede ir desde una mera conversación con un compañero hasta la participación en congresos, cursos o seminarios diseñados ad hoc para una formación específica. Con el fin de centrar nuestros objetivos, en este trabajo se considerará la componente formal de los planes de desarrollo profesional, a la que identificaremos por el término formación continua o permanente. Asimismo, trataremos de determinar los factores limitantes de la transferencia que permitan prever la probabilidad de éxito en el proceso de transferencia y en qué medida hay relación entre ambos factores al transferir la formación al entorno laboral.
La evaluación de los planes de desarrollo profesional
Una de las cuestiones que ha sido extensamente estudiada en la literatura referente al desarrollo profesional ha sido la relativa a la eficacia de las acciones desarrolladas en el marco de los programas formativos, los modelos para su evaluación y los factores que influyen en la misma (Alsalamah & Callinan, 2021; Heydari et al., 2019; Kirkpatrick & Kirkpatrick, 2006; Vizeshfar et al., 2018).
Figura 1.
Modelo de cuatro niveles de Kirkpatrick para la evaluación de la formación
El modelo presentado en Kirkpatrick & Kirkpatrick (2006) para la evaluación de programas de formación propone una secuencia ordenada de cuatro niveles de evaluación (ver Figura 1): reacción, aprendizaje, comportamiento y resultados. En el nivel inferior, la evaluación se centra en el conjunto de reacciones de los participantes hacia el diseño y desarrollo del plan formativo y constituye una información relevante sobre la satisfacción de los usuarios con la formación realizada. La información obtenida en el nivel inferior es importante para interpretar los resultados del nivel de aprendizaje, donde se pretende evaluar hasta qué punto los usuarios de la formación han adquiridos los conocimientos, actitudes o habilidades desarrollados durante los procesos formativos. Para el proceso evaluativo planteado en el nivel de comportamiento, en el que se evalúa hasta qué punto el plan formativo ha modificado la forma en la que el participante ejerce su función en el puesto de trabajo, es fundamental el disponer de los resultados del nivel de aprendizaje. Por último, el nivel de resultados, donde se establece la evaluación de la eficacia de la formación en términos de su funcionalidad para alcanzar los objetivos fijados por la organización, interpreta sus resultados en base al análisis de la evaluación realizada en el nivel de comportamiento.
La generalización subyacente a los diferentes niveles del modelo de evaluación de Kirkpatrick (Figura 1) provocan que a medida que nos desplazamos en sentido ascendente dentro del modelo, el objeto de la evaluación esté sometido a un menor número de restricciones, lo que provoca un aumento en el grado de libertad asociado a las factores que afectan a dichos procesos y, en consecuencia, tal y como se demuestra en los estudios empíricos del uso del modelo (Alexandraki et al., 2021; Jones et al., 2018; Mahmoodi et al., 2019; Makumbe et al., 2018), derivan en una mayor complejidad de los procesos de evaluación.
Desde un punto de vista simplificado, la eficacia de un plan de formación viene condicionada por los procesos que permiten, por un lado, la adquisición de los aprendizajes durante el periodo formativo y, por otro, los procesos de generalización en los que el participante incorpora dichos aprendizajes al desarrollo de sus funciones en el puesto de trabajo (Tracey et al., 2001). Asumiendo que la eficacia de la formación se relaciona con el retorno que se obtiene una vez se implementan los productos de la formación en un contexto profesional, el proceso de generalización juega un papel crucial como elemento precursor para poder realizar la evaluación de la eficacia (Baldwin et al., 2017; Botke et al., 2018; Brion, 2020; Ford et al., 2018).
La transferencia de la formación del profesorado
Tal y como se desprende de la discusión anterior, el proceso de evaluación de la transferencia de la formación permanente, entendida como el grado en el que los participantes incorporan y mantienen en el tiempo los aprendizajes, actitudes y habilidades desarrolladas en el contexto formativo a las dinámicas propias de su puesto de trabajo (Baldwin & Ford, 1988), se encuentra ubicado en el nivel de comportamiento del modelo de evaluación de Kirckpratrick y proporciona una información relevante a la toma de decisiones ya que puede interpretarse, asumiendo que la capacidad de la formación para transformar las organizaciones depende de la medida en la que los participantes incorporen los productos a su puesto de trabajo, como una cota superior para la evaluación de la eficacia de los planes formativos.
De forma general, la transferencia representa un proceso complejo al contar, por una parte, con una importante cantidad de factores que lo condicionan (Baldwin et al., 2017; Cano, 2016; Ford et al., 2018; Jackson et al., 2019; Richter & Kauffeld, 2020; Roig-Ester et al., 2021) y, por otra, debido a su evolución dependiente del tiempo (Blume et al., 2019).
En el marco contextual de la educación, la propuesta de factores que condicionan la transferencia, realizada en Pamies-Berenguer et al. (2022), configura un modelo formado por ocho factores (ver Figura 2) que permite identificar fuentes que regulan el proceso de transferencia. Sin embargo, la asociación de dichos factores con el resultado del proceso de transferencia sigue siendo una cuestión por resolver.
Figura 2.
Los ocho factores condicionantes de la transferencia de la formación permanente del profesorado no universitario identificado en Pamies-Berenguer et al. (2022)
Determinar los factores de mayor impacto sobre la probabilidad de que un participante tenga éxito en el proceso de transferencia y conocer el efecto de dicha asociación permitiría a la fase de diseño de la formación incorporar acciones que incidan en dichos factores con la finalidad de mejorar los resultados de transferencia y, en consecuencia, ampliar el horizonte de éxito del programa formativo.
Objetivos de la investigación
Asumiendo el modelo factorial de ocho factores descrito en Pamies-Berenguer et al. (2022), la investigación se desarrolló con el objetivo principal de analizar las asociaciones existentes entre los factores condicionantes y la probabilidad de que se produzca la transferencia al entorno laboral de la formación desarrollada por el profesorado de enseñanzas no universitarias participantes en el estudio, para lo que se formularon los siguientes problemas de investigación:
1. ¿Es posible identificar factores condicionantes de la transferencia que permitan predecir la probabilidad de éxito en el proceso de transferencia?
2. En el caso de identificar el grupo de factores de la pregunta anterior ¿cómo es la asociación entre dichos factores y la probabilidad de transferir la formación al puesto de trabajo?
Por lo tanto el objetivo principal de este trabajo es determinar en qué medida la formación recibida influye en la la toma de decisiones tanto en el plano estratégico para el desarrollo de políticas educativas de DPD como en el plano operacional para el diseño de planes de formación continua del profesorado.
Método
Enfoque metodológico
El diseño del trabajo de investigación es transversal basado en el tipo encuesta, no experimental y de carácter exploratorio, donde se persigue la interpretación y el análisis de datos y variables de forma objetiva y contextualizado en la realidad de interés subyacente (Cubo et al., 2018).
Variables
Para dar respuesta a los problemas de investigación planteados, se han considerado, por un lado, las variables dependientes determinadas por las puntuaciones factoriales de los factores que configuran el modelo base: Diseño y desarrollo de la formación (F1), Autoeficacia (F2), Fomento de la formación por los órganos del centro (F3), Feedback de los estudiantes y familias (F4), Recursos del entorno (F5), Resistencia al cambio en el centro (F6), Seguimiento de la institución formadora (F7) .Locus de control externo (F8), medidas mediante sus respectivas puntuaciones factoriales y, por otro, la probabilidad de transferencia de los aprendizajes de formación al aula (Tr).
Muestra y muestreo
La muestra estuvo compuesta por un total de 4769 docentes de enseñanzas no universitarias de la Región de Murcia (España) que fueron seleccionados, usando un muestreo por conveniencia, entre la población de docentes que realizaron alguna actividad formativa dentro de los Planes Regionales de Formación del profesorado de los cursos 2018/2019 y 2019/2020. La población estaba formada por un total de 28801 docentes, por lo que nuestra muestra se correspondió a un 16.56 % de la población total. En términos demográficos, la muestra estuvo formada por un 77.4 % de mujeres y un 22.6 % de hombres, con una experiencia media de 16.17 y una desviación típica de 9.11 años en el sector de la educación no universitaria. En la Tabla 1 se presentan los datos de tipo descriptivo referentes a las variables sociodemográficas (edad, etapa educativa en la que se imparte docencia y tipo de centro de trabajo).
Datos descriptivos de la muestra
Nota: N = 4769.
Instrumentos de obtención de información
El cuestionario utilizado contó con las siguientes secciones:
Sección de bienvenida: en esta sección se recogió la información sobre el objetivo de la investigación, los compromisos asumidos por los investigadores y los participantes, la adopción de las recomendaciones propuestas por el Comité de Ética de la Universidad de Murcia y del carácter anónimo de los datos almacenados y del tratamiento que recibirían en el transcurso de la investigación.
Sección de datos sociodemográficos: esta sección contemplaba las cuestiones empleadas para la descripción de la muestra en la que se solicitaban, entre otras variables: edad, sexo, años de experiencia, etapa educativa en la que se impartía docencia y tipo de centro de trabajo (público, concertado, privado) en el que ejercía sus funciones.
Sección del cuestionario de transferencia: en esta sección se secuenciaron los 43 ítems del cuestionario de transferencia de la formación continua del profesorado no universitario, cuyo constructo resultó validado en Pamies-Berenguer et al. (2022).
Sección de estimación de la transferencia: En esta sección se les preguntó a los participantes sobre la puesta en práctica de los aprendizajes, habilidades o actitudes desarrollados durante la fase de formación en función a las oportunidades de aplicación desde que concluyeron la formación. La sección contó con la siguiente pregunta asociada a la variable dependiente de estudio:
Estimación del porcentaje de ocasiones en las que ha tenido la oportunidad de aplicar los aprendizajes realizados en la formación.
Medida en la siguiente escala ordinal:
0 % - 20 % 20 % - 40 % 40 % - 60 % 60 % - 80 % 80 % - 100 %
Una vez concluido el periodo de recogida de datos, se recibieron un total de 4769 encuestas, que tras un análisis exploratorio de los datos resultaron aptas para realizar los análisis estadísticos.
Los análisis de consistencia interna realizados mediante el estadístico Alpha de Cronbach evidencian una buena consistencia interna entre las respuestas a los ítems que conforman cada uno de los factores considerados (F1 .95; F2 .94; F3 .94; F4 .85; F5 .88; F6 .89; F7 .93; F8 .83).
Trabajo de campo
El estudio fue aprobado por la Secretaría General de la Consejería de Educación y Cultura de la Comunidad Autónoma de la Región de Murcia y realizado tras la firma de un convenio colaborador. Se puso a disposición de la población de docentes objeto de estudio un cuestionario que se distribuyó utilizando dos métodos: envío masivo de un correo electrónico, para los participantes en actividades formativas ya concluidas, y se enlazó a los cuestionarios oficiales de evaluación utilizados por la entidad encargada de la formación continua del profesorado (CPR Región de Murcia) que se realizan transcurridos dos meses desde la finalización de la actividad formativa.
Análisis de datos
Se realizó un análisis descriptivo de las puntuaciones factoriales, asociadas al modelo factorial de referencia para la investigación, utilizando como estadísticos de análisis la media, la desviación típica (DT), la mediana y los percentiles (5 y 95). Además, se analizó la variable dependiente 2, porcentaje de situaciones en la que el individuo puso en práctica los aprendizajes de la formación (ver Tabla 2), asignando un estado de transferencia positivo en todos aquellos casos en los que dicho porcentaje superara el 60%. La decisión de considerar el límite del 60% se adoptó con el fin de mitigar los efectos asociados al sesgo positivo producido por la evaluación subjetiva. Los valores de la variable primigenia (Tabla 2) muestran dicho sesgo hacia los valores superiores al 40 % (2.864 casos), apoyando la decisión tomada.
Datos descriptivos de la variable dependiente 2 en la que se mide el porcentaje de situaciones en las que el participante puso en práctica los aprendizajes derivados de la formación
Con los datos de las puntuaciones factoriales y la variable de estado se ajustó un modelo logístico para la probabilidad de transferir los aprendizajes de la formación. El ajuste se realizó aplicando un método descendente para la determinación de las variables predictivas y una validación cruzada, para la que se dividió la muestra original en dos grupos de datos: un grupo de datos para el proceso de estimación (GDE) y un grupo de datos para el de confirmación (GDC) de forma aleatoria y en proporción 1:1, con residuo asignado al grupo GDC, utilizados para realizar la estimación del modelo logístico multidimensional y la evaluación de las asociaciones entre las puntuaciones factoriales y la probabilidad de transferencia.
La evaluación del modelo propuesto como predictor de la transferencia se realizó empleando el análisis de la matriz de confusión asociada a las salidas del modelo predictivo para los individuos de la muestra GDC y sus estados reales. Se calcularon las medidas de sensibilidad, precisión y de exactitud.
Como paquete informático para el análisis de datos se utilizó el software R (R Core Team, 2021) en su versión 4.0.5 (31/03/2021), que se ejecutó sobre el sistema operativo macOS Sierra versión 10.12.6 instalado en una computadora iMac con procesador Intel Core i7 de 2.8 GHz. Durante el proceso de análisis se utilizaron los siguientes paquetes: car (Fox & Weisberg, 2019), caret (Kuhn, 2021), dplyr (Wickham et al., 2021) y mlogit(Croissant, 2020).
Resultados
El análisis de los resultados se realizará atendiendo a los objetivos prefijados para la investigación. En primer lugar, se analizarán los resultados relacionados con la identificación de los factores condicionantes que permitan estimar la probabilidad de transferencia (ajuste del modelo logístico por eliminación descendente y análisis de los odds ratio). Se continuará con el estudio de los parámetros del modelo logístico identificado, concluyendo el con el estudio de la bondad de ajuste que permitirá disponer de un modelo evaluado de estimación de la probabilidad de transferencia.
Análisis de las puntuaciones factoriales
Durante el proceso de análisis de datos se tomó la decisión de considerar una transferencia de la formación al puesto de trabajo positiva siempre que el individuo declarara que puso en acción los aprendizajes derivados de la formación en un porcentaje superior al 60% de los casos en los que se identificó una situación de aplicación. La Tabla 3 muestra la distribución de las puntuaciones factoriales de la muestra en términos generales y diferenciados según los individuos que presentan transferencia positiva o no. Los estadísticos descriptivos muestran ciertas diferencias entre las medias de las puntuaciones factoriales entre los casos que transfieren la formación y los que no. Estas diferencias fueron confirmadas, a un nivel de significación del .05, por la aplicación del test U de Mann Whitney. En este sentido, los datos arrojan la suficiente evidencia estadística como para afirmar, a un nivel de significación del .05, que las puntuaciones factoriales, de la muestra de individuos considerados como ejemplos de transferencia al aula, difieren de las asociadas a los individuos que se consideraron como que no transfieren la formación. Analizando los resultados descriptivos, se observa que las puntuaciones asociadas al factor “Fomento de la formación por los órganos del centro” resultaron inferiores en el conjunto de individuos considerados como ejemplos de éxito de la transferencia, presentando el resto de factores la diferencia opuesta.
Datos descriptivos de las puntuaciones factoriales, el estado de transferencia. Pruebas U de Mann-Whitney para la diferencia en las puntuaciones factoriales entre los estados de transferencia asignados
Nota: DT= Desviación Típica. P valores calculados para la prueba U de Mann-Whitney
Nota: DT= Desviación Típica. P valores calculados para la prueba U de Mann-Whitney
Regresión logística
A la vista de los resultados obtenidos en las comparaciones de las puntuaciones factoriales, se realiza un ajuste de regresión logística multidimensional que permita explorar la asociación entre las puntuaciones factoriales y la probabilidad de que se presente la transferencia al puesto de trabajo de la formación.
Con el fin de realizar la estimación del modelo logístico y de evaluar su capacidad de predicción de la transferencia de la formación en función de las puntuaciones factoriales, se utilizó el grupo GDE de datos muestrales formado por 2294 individuos en la fase de estimación del modelo y el grupo GDC, formado por 2475 individuos, en la fase de evaluación del modelo predictivo.
La Tabla 4 recoge los datos asociados al proceso descendente de eliminación de variables asumiendo como modelo de hipótesis la estimación contante y los datos del modelo final obtenido.
Resultados del proceso de ajuste del modelo logístico multidimensional mediante el método descendente. Estadísticos del modelo ajustado
Nota: Tr: Variable de estado de la transferencia (0; 1). F1 - F8 := Factor 1 - Factor 8
Atendiendo al valor de la devianza, medida de bondad de ajuste relativa entre el modelo propuesto y el modelo saturado (McCullagh & Nelder, 1983), se observa que el modelo que contempla como variables explicativas a los factores: “Diseño y desarrollo de la formación”, “Fomento de la formación por los órganos del centro”, “Seguimiento de la institución formadora” . “Locus de control externo”; presenta una reducción en el estadístico con relación al modelo saturado y un menor valor para el criterio de información de Akaike (AIC), indicando un modelo que proporciona información sobre la variable explicada al mismo tiempo que presenta características de verosimilitud y complejidad mejores que las del resto de modelos analizados.
Análisis del modelo de regresión logístico
La Tabla 5 muestra, de forma conjunta, los datos de inferencia del modelo seleccionado para los coeficientes individuales (test de Wald) y el análisis de la bondad del ajuste utilizando los test de Wald y de la razón de verosimilitud para la evaluación del modelo conjunto y el test de Hosmer y Lomeshow para la bondad del ajuste. Los test individuales y los de la evaluación conjunta del modelo resultaron significativos a un nivel de significación de .05 mientras que el test de Hosmer y Lomwshow resultó no significativo por lo que no hay la suficiente evidencia para afirmar que el modelo no presenta un buen ajuste a los datos analizados. Así, se concluye que el modelo seleccionado presenta característica para ser utilizado de forma efectiva como modelo de estimación de la probabilidad de transferencia.
Una vez fijado el modelo, se evalúan los supuestos que garantizan la correcta aplicación del modelo logístico multidimensional. La evaluación de la hipótesis de linealidad se realizó utilizando el modelo obtenido, la variable de interés, las variables explicativas y las interacciones de cada una de estas con sus logaritmos naturales. El resultado indicó una ausencia de significatividad, a un nivel de significación de .05, de los coeficientes del modelo asociados a las interacciones. La suposición de multicolinealidad se evaluó calculando los factores de inflación de la varianza (VIF) asociados a las variables explicativas, obteniéndose valores inferiores a 2 y, por lo tanto, encontrándose muy por debajo del valor máximo de 10. De este modo se afirma que el efecto de la multicolinealidad no es relevante para aplicar la técnica de regresión logística.
El análisis de los resultados de los odds ratio asociados a las variables explicativas del modelo propuesto (Tabla 5) nos indica que, en igualdad de condiciones, aquellos individuos que presentan puntuaciones altas en el factor Diseño y desarrollo de la formación tienen una mayor probabilidad de transferir que aquellos que presentan puntuaciones menores (OR = 2.58; 95% CI: 2.06 - 3.20; p <.000). La misma situación se presenta con la probabilidad de transferencia y las puntuaciones asociadas a los factores “seguimiento de la institución formadora” y “locus de control externo”. Sin embargo, el factor “fomento de la formación por los órganos del centro” presenta un comportamiento en la que la probabilidad de transferir es menor para aquellos individuos que presentan puntuaciones más altas en dicho factor (OR = 0.83; 95% CI: 0.77 - 0.90; p <.000).
Estudio de la bondad del modelo logístico como predictor de la transferencia
El estudio de las características relacionadas con el poder de predicción del modelo logístico construido se evaluó utilizando el conjunto de individuos GDC (nGDC = 2475). Para cada uno de los elementos de la muestra se utilizó el modelo logístico identificado para estimar la probabilidad de transferencia en función de las puntuaciones factoriales del modelo. A la vista de la probabilidad estimada se asignó una predicción del estado de transferencia (0-1) en función a la probabilidad estimada, asignando un valor de 0 si ésta resultó menor a 0.5 y un valor de 1 en caso contrario.
El conjunto de resultados obtenidos por el modelo para cada individuo del conjunto de muestras GDC se comparó con los valores reales de dichas muestras. La Tabla 6 muestra los datos comparados mediante la matriz de confusión asociada. Los datos indican que el modelo identifica 271 casos de verdaderos positivos, 1407 verdaderos negativos, 181 falsos positivos y 661 falsos negativos. Utilizando los valores estimados se asocia al modelo una sensibilidad para el estado negativo (probabilidad de acertar cuando un individuo presenta el estado negativo) de .886, una sensibilidad para el estado positivo de .306, una precisión para el estado positivo (la probabilidad de acierto cuando un individuo se clasifica como positivo) de .600 y una precisión para el estado negativo de .695. Los estadísticos globales muestran una exactitud del .678 que resulta superior al cociente de no información (medida de la asignación de estados de forma aleatoria) indicando que el modelo incorpora información en el proceso de clasificación. A la vista de estos parámetros se observa que el modelo presenta una baja precisión moderada en ambos estados, mientras que los datos de la sensibilidad indican que el modelo presenta buenas características para identificar los casos en los que el individuo a clasificar no transfiere los productos de la formación al puesto de trabajo.
Matriz de contingencia y de confusión del modelo predictivo y sus métricas
Discusión y conclusiones
El análisis de los resultados obtenidos ha permitido proponer un modelo de regresión logística que permite estimar la probabilidad de transferir los aprendizajes de la formación permanente del profesorado no universitario al puesto de trabajo en función a las puntuaciones de los factores condicionantes: Diseño y desarrollo de la formación, Fomento de la formación por los órganos del centro, Seguimiento de la institución formadora . Locus de control externo.
Dicho modelo propone una asociación positiva entre el factor Diseño y desarrollo de la formación y la probabilidad de transferencia de la formación al puesto de trabajo. Los elementos característicos del diseño de la formación han sido positivamente relacionados con la transferencia de la formación en diferentes contextos formativos o profesionales (Cejas-León & Navío-Gámez, 2018; Espona-Barcons et al., 2017; Feixas et al., 2013; Wang et al., 2021). Así, el resultado de nuestro estudio posiciona los elementos inherentes al diseño de la formación como asociados positivamente con la probabilidad de transferencia. Por su parte, en Yaghi & Bates (2020) se explora el rol que juega el apoyo por parte de los supervisores y por parte de los compañeros de trabajo sobre la transferencia de la formación, observando un impacto positivo de ambos tipos de apoyo sobre la motivación para transferir y esta última sobre la transferencia real. La asociación positiva entre los apoyos y la transferencia se ha presentado en varios estudios sobre la transferencia (Espona-Barcons et al., 2017; Freitas et al., 2019; Nazli & Khairudin, 2018) lo que apoya nuestra observación de una asociación positiva entre el factor Seguimiento de la institución formadora y la probabilidad de transferencia. Con relación al locus de control externo, las publicaciones científicas sobre la transferencia se han centrado en explorar la motivación y los aspectos específicos del locus de control interno de los participantes por lo que podemos identificar la asociación descrita en este trabajo como de novedosa. No obstante, la aportación al modelo, en términos de Odds Ratio, de dicha variable explicativa es muy débil y debería confirmarse en sucesivos estudios.
Un elemento que resulta novedoso en el estudio realizado es la aparición de una asociación negativa entre el Fomento de la formación por parte de los órganos del centro de trabajo y la probabilidad de transferencia de la formación lo que, en caso de confirmarse, podría indicar que la probabilidad de transferencia al aula aumenta en situaciones en las que el individuo actúa de forma autónoma sin la mediación explícita de los órganos del centro educativo en el que se trabaja. A pesar de que las publicaciones referenciadas anteriormente apuntan a una asociación positiva entre el apoyo de los supervisores y compañeros, la asociación negativa obtenida en este punto indica que hay una percepción del fomento de la formación que se reconoce como diferenciada del apoyo a la aplicación y que debe someterse a un estudio pormenorizado para identificar su función dentro del proceso de transferencia.
Por último, el estudio de la capacidad de clasificación del modelo determinado para poder identificar los casos de transferencia, en función a la probabilidad estimada, muestra que el modelo presenta buenas características para identificar los casos de transferencia negativa (capacidad para clasificar como de no transferencia los casos donde realmente no se transfiere). Sin embargo, el modelo presenta un bajo índice de éxito en términos de precisión y exactitud.
A la vista de los resultados obtenidos y de la discusión realizada anteriormente se concluye que la investigación desarrollada ha permitido identificar variables predictivas de la probabilidad de transferencia de la formación permanente del profesorado, respondiendo a la primera de las cuestiones planteadas. Durante este proceso se han estudiado las asociaciones entre dichas variables y la probabilidad de transferir los aprendizajes de la formación, permitiendo disponer de una información valiosa a la hora de proponer medidas para la mejora del proceso de transferencia de la formación continua al puesto de trabajo.
Limitaciones del estudio y trabajos futuros
Los resultados obtenidos deben interpretarse dentro de las limitaciones impuestas por el enfoque metodológico adoptado para la investigación en el que se pretendía realizar una descripción de una realidad en una situación concreta. Así, los resultados en términos inferenciales deben entenderse como relativos y someterse a nuevos estudios para dotarlos de mayor validez. No obstante, los resultados obtenidos presentan cierta afinidad con los encontrados en la literatura académica sobre la cuestión planteada por lo que contribuyen a disponer de un mayor conocimiento sobre la transferencia y sus relaciones con las posibles variables predictivas.
En términos del modelo inferencial propuesto, se identifica el factor “Locus de control externo” con una asociación cuyo efecto sobre la probabilidad de transferencia, medido en términos de odds ratio, resulta débil. Por lo tanto, nuestro estudio debería complementarse con otros estudios para establecer el papel exacto de dicho factor en el proceso de estimación. Por último, se detecta una limitación asociada al hecho de que durante el estudio no se realizó un análisis diferenciado en términos de enseñanzas o nivel de experiencia de los individuos, por lo que los resultados obtenidos no permiten identificar la prevalencia de los efectos en colectivos diferenciados.
En relación a los trabajos futuros, se plantea la necesidad de ofrecer mecanismos que permitan diferenciar los casos de éxito en la transferencia de los que no lo son en términos de los factores ambientales, internos e incluso dinámicos que podrían estar afectando al proceso con la finalidad de poder disponer de información a priori sobre el grado de transferencia de un programa o actividad formativa. Por otra parte, el conocer las asociaciones y su grado proporcionan una información valiosa a la hora de diseñar actuaciones concretas para mejorar el proceso: incentivar la labor de supervisión, relativizar la visión del locus de control externo o proponer planes de fomento de la formación y de la transferencia. Los resultados obtenidos en términos de clasificación exigen la exploración de otros diseños que puedan compararse con el presentado en este trabajo y que podrían enfocarse utilizando diferentes técnicas como: la regresión jerárquica, la clasificación por clústeres o el aprendizaje supervisado.
Agradecimientos
Financiación. Este trabajo ha sido realizado en el marco del proyecto referencia PID2020-113505RB-I00 financiado por el Ministerio de Ciencia e Innovación/Agencia Estatal de Investigación 10.13039/501100011033.
Referencias
Alexandraki, I., Rosasco, R. E., & Mooradian, A. D. (2021). An Evaluation of Faculty Development Programs for Clinician–Educators: A Scoping Review. Academic Medicine, 96(4), 599-606. https://doi.org/10.1097/acm.0000000000003813
Alsalamah, A., & Callinan, C. (2021). Adaptation of Kirkpatrick’s Four-Level Model of Training Criteria to Evaluate Training Programmes for Head Teachers. Education Sciences, 11(3), 116. https://doi.org/10.3390/educsci11030116
Aparicio-Molina, C., Sepúlveda-López, F., Valverde-Huincatripay, X., Cárdenas-Merino, V., Contreras-Sanzana, G., & Valenzuela-Ravanal, M. (2020). Liderazgo directivo y cambio educativo: Análisis de una experiencia de colaboración Universidad-Escuela. Páginas De Educación, 13(1), 19-41. https://doi.org/10.22235/pe.v13i1.1915
Baldwin, T. T., & Ford, J. K. (1988). Transfer of training: A review and directions for future research. Personnel psychology, 41(1), 63-105. https://doi.org/10.1111/j.1744-6570.1988.tb00632.x
Baldwin, T. T., Ford, J. K., & Blume, B. D. (2017). The state of transfer of training research: Moving toward more consumer‐centric inquiry. Human Resource Development Quarterly, 28(1), 17-28. https://doi.org/10.1002/hrdq.21278
Blume, B. D., Ford, J. K., Surface, E. A., & Olenick, J. (2019). A dynamic model of training transfer. Human Resource Management Review, 29(2), 270-283. https://doi.org/10.1016/j.hrmr.2017.11.004
Botke, J. A., Jansen, P. G., Khapova, S. N., & Tims, M. (2018). Work factors influencing the transfer stages of soft skills training: A literature review. Educational Research Review, 24, 130-147. https://doi.org/10.1016/j.edurev.2018.04.001
Brion, C. (2020). The role of culture in the transfer of training. International Journal of Training and Development, 24(4), 384-393. https://doi.org/10.1111/ijtd.12203
Cano, E. (2016). Factores Favorecedores y Obstaculizadores de la Transferencia de la Formación del Profesorado en Educación Superior. REICE. Revista Iberoamericana Sobre Calidad, Eficacia Y Cambio En Educación, 14(2). https://doi.org/10.15366/reice2016.14.2.008
Cejas-León, R., & Navío-Gámez, A. (2018). Formación en TIC del profesorado universitario. Factores que influyen en la transferencia a la función docente. Profesorado. Revista de Currículum y Formación de Profesorado, 22(3), 271-293. https://doi.org/10.30827/profesorado.v22i3.8002
Croissant, Y. (2020). Estimation of Random Utility Models in R: The mlogit Package. Journal of Statistical Software, 95(11), 1-41. https://doi.org/10.18637/jss.v095.i11
Cubo, S., Marín, B., & Ramos, J. L. (2018). La investigación experimental. Métodos de investigación y análisis de datos en ciencias sociales y de la salud. Editorial Picramide.
Darling-Hammond, L., Hyler, M.E., & Gardner, M. (2017). Effective teacher professional development. Palo Alto, CA: Learning Policy Institute. https://learningpolicyinstitute.org/product/teacher-prof-dev
Erdas, E., Dogan, N., Irez, S., Cakmakci, G., & Yalaki, Y. (2019). A five-level design for evaluating professional development programs: Teaching and learning about nature of science. Issues in Educational Research, 29(2), 402-426. http://www.iier.org.au/iier29/erdas-kartal.pdf
Escudero-Muñoz, J. M., González-González, M. T., & Rodríguez-Entrena, M. J. (2018). Los contenidos de la formación continuada del profesorado: ¿Qué docentes se están formando? Educación XX1, 21(1), 157-180. https://doi.org/10.5944/educXX1.15807
Espona-Barcons, B., Pineda-Herrero, P., Cirao-Calí, A., & Quesada-Pallarés, C. (2017). ¿Es eficaz la formación en la Administración Pública española? QURRICULUM-Revista de Teoría, Investigación y Práctica Educativa, (30), 31-48.
Feixas, M., Duran, M. D. M., Fernández, I., Fernández, A., García San Pedro, M. J., Márquez, M. D., ... & Lagos, P. (2013). ¿Cómo medir la transferencia de la formación en Educación Superior?: el Cuestionario de Factores de Transferencia. REDU. Revista de Docencia Universitaria, 11(3), 219-248.
Ford, J. K., Baldwin, T. T., & Prasad, J. (2018). Transfer of training: The known and the unknown. Annual Review of Organizational Psychology and Organizational Behavior, 5, 201-225.
Fox, J., & Weisberg, S. (2019). An {R} Companion to Applied Regression, Third Edition. Thousand Oaks CA: Sage. https://socialsciences.mcmaster.ca/jfox/Books/Companion/
Freitas, A. C., Silva, S. A., & Santos, C. M. (2019). Safety training transfer: The roles of coworkers, supervisors, safety professionals, and felt responsibility. Journal of Occupational Health Psychology, 24(1), 92–107. https://doi.org/10.1037/ocp0000125
Heydari, M.R., Taghva, F., & Amini, M. (2019). Using Kirkpatrick’s model to measure the effect of a new teaching and learning methods workshop for health care staff. BMC Res Notes 12, 388. https://doi.org/10.1186/s13104-019-4421-y
Jackson, C. B., Brabson, L. A., Quetsch, L. B., & Herschell, A. D. (2019). Training transfer: A systematic review of the impact of inner setting factors. Advances in Health Sciences Education, 24(1), 167-183. https://doi.org/10.1007/s10459-018-9837-y
Jones, C., Fraser, J., & Randall, S. (2018). The evaluation of a home-based pediatric nursing service: concept and design development using the Kirkpatrick model. Journal of Research in Nursing, 23(6), 492-501. https://doi.org/10.1177%2F1744987118786019
Kelley, T. R., Knowles, J. G., Holland, J. D.. & Han, J. (2020). Increasing high school teachers self-efficacy for integrated STEM instruction through a collaborative community of practice. International Journal of STEM Education, 7(1). https://doi.org/10.1186/s40594-020-00211-w
Kirkpatrick, D., & Kirkpatrick, J. (2006). Evaluating training programs: The four levels. Berrett-Koehler Publishers.
Kuhn, M. (2021). caret: Classification and Regression Training. R package version 6.0-88. https://CRAN.R-project.org/package=caret
Mahmoodi, M., Rashtchi, M., & Abbasian, G. R. (2019). Evaluation of in-service teacher training program in iran: Focus on the Kirkpatrick model. Education and Self Development, 14(4), 20-38. https://doi.org/10.26907/esd14.4.03
Makumbe, S., Hattingh, T., Plint, N., & Esterhuizen, D. (2018). Effectiveness of using Learning Factories to impart Lean principles in mining employees. Procedia manufacturing, 23, 69-74. https://doi.org/10.1016/j.promfg.2018.03.163
McChesney, K., & Aldridge, J. M. (2018). A new tool for practitioner-led evaluation of teacher professional development. Teacher Development, 22(3), 314–338. https://doi.org/10.1080/13664530.2017.1418418
McCullagh, P., & Nelder, J.A. (1983). Generalized Linear Models (2nd ed.). Routledge. https://doi.org/10.1201/9780203753736
Mizell, H. (2010). Why Professional Development Matters. Learning Forward. https://learningforward.org/wp-content/uploads/2017/08/professional-development-matters.pdf
Nazli, N., & Khairudin, S. (2018). The factors that influence transfer of training and its effect on organizational citizenship behaviour: Evidence from Malaysia civil defence force. Journal of Workplace Learning. 30(2), 121-146. https://doi.org/10.1108/JWL-09-2017-0080
Pamies-Berenguer, M., Gomariz-Vicente, M.A., & Cascales-Martínez, A. (2022). Factores condicionantes de la transferencia de la formación permanente del profesorado no universitario. Revista de Educación a Distancia (RED), 22(69). https://doi.org/10.6018/red.486801
Popova, A., Evans, D. K., Breeding, M. E., & Arancibia, V. (2021). Teacher Professional Development around the World: The Gap between Evidence and Practice. The World Bank Research Observer. https://doi.org/10.1093/wbro/lkab006
R Core Team (2021). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria. URL https://www.R-project.org/
Richter, S., & Kauffeld, S. (2020). Beyond supervisors’ support: influencing (international) technical training transfer. European Journal of Training and Development, 44(4), 391-403. https://doi.org/10.1108/EJTD-08-2019-0141
Roig-Ester, H., Quesada-Pallarès, C., & Pineda-Herrero, P. (2021). Diseño y pilotaje del METEnf: Modelo de Evaluación de los factores de Transferencia de la formación de los nuevos profesionales en Enfermería. Educación Médica, 22, 346–351. https://doi.org/10.1016/j.edumed.2019.09.005
Sims, S., & Fletcher-Wood, H. (2021). Identifying the characteristics of effective teacher professional development: a critical review. School effectiveness and school improvement, 32(1), 47-63. https://doi.org/10.1080/09243453.2020.1772841
Tracey, J. B., Hinkin, T. R., Tannenbaum, S., & Mathieu, J. E. (2001). The influence of individual characteristics and the work environment on varying levels of training outcomes. Human resource development quarterly, 12(1), 5-23. https://doi.org/10.1002/1532-1096(200101/02)12:1%3C5::aid-hrdq2%3E3.0.co;2-j
Vizeshfar, F., Momennasab, M., Yektatalab, S., & Iman, M. T. (2018). Evaluation of the effectiveness of a first aid health volunteers’ training programme using Kirkpatrick’s model: A pilot study. Health Education Journal, 77(2), 190-197. https://doi.org/10.1177/0017896917741149
Wang, W., He, Z., Zhang, M., & Huo, B. (2021). Well begun is half done: Toward an understanding of predictors for initial training transfer. European Management Journal, 39(6), https://doi.org/10.1016/j.emj.2021.04.002
Wickham, H., François, R., Henry, L., & Müller, K. (2021). dplyr: A Grammar of Data Manipulation. R package version 1.0.5. https://CRAN.R-project.org/package=dplyr
Yaghi, A., & Bates, R. (2020). The role of supervisor and peer support in training transfer in institutions of higher education. International Journal of Training and Development, 24(2), 89-104. https://doi.org/10.1111/ijtd.12173
Yurtseven, Z., O'Dwyer, L. M., & Lawson, J. (2020). Designing effective professional development for technology integration in schools. Journal of Computer Assisted Learning, 36(2), 160-177. https://doi.org/10.1111/jcal.12394
Notas de autor
Autora de correspondencia: Marcial Pamies-Berenguer (marcial.pamies@um.es)
Enlace alternativo
https://revistaseug.ugr.es/index.php/RELIEVE/article/view/24604 (html)
