Estudio cuantitativo multidimensional de la experiencia de evaluación 360 encuestada en prácticas de ingeniería industrial

Francisco Javier Granados Ortiz; Ana Isabel Gómez Merino; Jesús Javier Jiménez Galea; Isidro María Santos Raez; Juan Jesús Fernández Lozano; Jesus Manuel Gómez de Gabriel; Joaquín Ortega Casanova

doi:10.30827/relieve.v29i1.25356

Autores/as

Francisco Javier Granados Ortiz Universidad de Almería https://orcid.org/0000-0002-7160-7294
Ana Isabel Gómez Merino Universidad de Málaga https://orcid.org/0000-0002-0840-3985
Jesús Javier Jiménez Galea Universidad de Málaga https://orcid.org/0000-0002-2223-695X
Isidro María Santos Raez Universidad de Málaga https://orcid.org/0000-0002-6502-8499
Juan Jesús Fernández Lozano Universidad de Málaga https://orcid.org/0000-0002-8174-1331
Jesus Manuel Gómez de Gabriel Universidad de Málaga https://orcid.org/0000-0001-5960-3453
Joaquín Ortega Casanova Universidad de Málaga https://orcid.org/0000-0001-7660-6875

DOI:

https://doi.org/10.30827/relieve.v29i1.25356

Palabras clave:

Encuesta, Satisfacción, Análisis factorial confirmatorio, ingeniería industrial

Resumen

La iniciativa y la proactividad del alumnado de Ingeniería durante el desarrollo de las clases teóricas es normalmente muy limitada, al contrario que en las prácticas de laboratorio donde muestra más interés. Se constata un aumento del abandono en las carreras de ingeniería y una disminución de matriculados y este estudio tiene como finalidad analizar cuantitativamente el impacto de una herramienta de evaluación 360 grados encuestada en la evaluación de prácticas en estudiantes de ingeniería industrial. Se pretenden lograr varios objetivos: por un lado, implicar al estudiante en el proceso de evaluación y, por otro, conocer su grado de satisfacción con este tipo de evaluación, así como su opinión sobre la ponderación justa. Se Sigue una metodología basada en la aplicación de la evaluación 360 grados y un diseño de encuesta con 23 preguntas. Las etapas del proceso de evaluación 360 grados fueron tres: co- (entre estudiantes), auto- (por el propio estudiante) y hetero-evaluación (por el docente). Se diseñó un cuestionario, validado mediante análisis factorial confirmatorio, y se procedió al análisis de las respuestas en base a 4 agrupaciones seleccionadas: dos asignaturas de primeros y últimos cursos, modalidad de evaluación, sexo (hombre o mujer) y ciclo (Grado o Máster). También se ha analizado la mejor ponderación en la calificación final para cada evaluador, proponiéndose como óptimos los valores 50%-30%-20% para la hetero-, co- y autoevaluación, respectivamente. Los resultados muestran un elevado grado de satisfacción por parte de los grupos analizados a través de la encuesta y adecuada maduración del estudiante.

Descargas

Los datos de descargas todavía no están disponibles.

Biografía del autor/a

Francisco Javier Granados Ortiz, Universidad de Almería

Investigador Ramón y Cajal en el Departamento de Ingeniería de la Universidad de Almería. Es Ingeniero Industrial por la Universidad de Málaga y Doctor en Ciencias de la Computación y Matemáticas por la Universidad de Greenwich (UK) en 2017. Fue Marie Curie Fellow dentro del proyecto europeo FP7 AeroTraNet2, donde trabajó junto a 9 prestigiosas instituciones de toda Europa tanto de la industria como del mundo académico. Después de este proyecto, trabajó como científico de datos en la industria durante tres años y medio. En 2020 se incorporó a la Universidad de Málaga como ingeniero investigador y becario postdoctoral PAIDI (Plan Andaluz de Investigación, Desarrollo e Innovación) y actualmente posee un contrato de investigación de excelencia Ramón y Cajal en la Universidad de Almería (España). Ha publicado varios trabajos de investigación en revistas de primer nivel (más de 20 publicaciones como primer autor), ha realizado estancias de investigación en 8 instituciones diferentes, ha desarrollado actividades docentes (Escuelas de ingeniería, incluyendo rol de Profesor Invitado en la Universidad de Málaga) y ha asistido a numerosas conferencias en todo el mundo (25+ presentaciones). Además, ha participado en dos proyectos de innovación educativa y está acreditado como Profesor Ayudante Doctor y Contratado Doctor por la ANECA

Ana Isabel Gómez Merino, Universidad de Málaga

Catedrática (CEU) del Departamento de Física Aplicada II de la Universidad de Málaga. Doctora en Ciencias Físicas por la Universidad de Granada. Miembro de la Real Sociedad Española de Física. Ha trabajado en Proyectos de Innovación Educativa, profundizando en aspectos relacionados con el uso de Tecnologías TICS en el aprendizaje de la Física, influencia de las tutorías en el proceso de enseñanza-aprendizaje, la mujer en la Ingeniería, coordinación interdisciplinar y evaluación interactiva. Ha realizado estancias en las Universidades de Skövde (Suecia) y de Albuquerque (USA) esta última con el grupo ISTEC (Consorcio Iberoamericano para la Educación en Ciencia y Tecnología).

Jesús Javier Jiménez Galea, Universidad de Málaga

Profesor Sustituto Interino en el Departamento de Ingeniería Civil, de Materiales y Fabricación de la Universidad de Málaga. Doctorado en Ingeniería Mecatrónica por la Universidad de Málaga. Ingeniero Técnico Industrial especialidad Mecánica, Ingeniero Técnico en Diseño Industrial, Máster Universitario en Prevención de Riesgos Laborales, Máster Propio Universitario en Innovación Educativa y Gestión del Conocimiento por la Universidad de Málaga. Pertenencia a la Comisión de Garantía de la Calidad del Programa de Doctorado en Ingeniería Mecatrónica. Investigador en el PIE17-165, en el PIE19-032 y en el PIE22-094. Pertenencia al grupo PAIDI FQM231. Coordinador de diversos cursos en la Fundación General de la Universidad de Málaga (FGUMA). Colaborador en 2016 en “Las 101 mañanas” de la cadena 101tv. Desde 2016 hasta la actualidad docente e investigador como Profesor Sustituto Interino en la Escuela de Ingenierías Industriales de la Universidad de Málaga.

Isidro María Santos Raez, Universidad de Málaga

Profesor Asociado en el Departamento de Ingeniería Mecánica, Térmica y de Fluidos de la Universidad de Málaga. Profesor de Enseñanza Secundaria en la especialidad de Organización y Procesos en Mantenimiento de Vehículos de la Junta de Andalucía. Profesor Asociado, en el Área de Máquinas y Motores Térmicos, de la Escuela de Ingenierías Industriales de la Universidad de Málaga. Doctor Ingeniero Industrial, Ingeniero Técnico Industrial por la Escuela Universitaria Politécnica e Ingeniero en Organización Industrial por la Escuela Técnica Superior de Ingeniería Industrial, Universidad de Málaga. Certificado de Aptitud Pedagógica y Técnico Superior en Prevención de Riesgos Laborales. Investigador en Proyectos de Innovación Docente relativos a Coordinación multidisciplinar, horizontal y vertical, evaluación entre pares y uso de tecnologías TICs. Coautor de textos científicos en el campo de los motores térmicos, nanofluidos y prácticas de innovación docente.

Juan Jesús Fernández Lozano, Universidad de Málaga

Profesor Titular en el Departamento de Ingeniería de Sistemas y Automática de la Universidad de Málaga. J. J. Fernández-Lozano obtuvo su título en Ingeniería Industrial en 1997 en la Universidad de Málaga. En 2002 se doctoró por esa misma Universidad. De 2004 a 2012, fue Vicedirector de la Escuela Técnica Superior de Ingeniería Industrial de la Universidad de Málaga, y Director, de 2012 a 2016. Ha participado en el diseño e implantación de nuevos grados y másteres acordes con el Espacio Europeo de Educación Superior. En 1998 se incorporó al Grupo de Robótica y Mecatrónica. Desde 2009 es Profesor Titular del Departamento de Ingeniería de Sistemas y Automática. Además de la innovación en educación superior, sus principales intereses de investigación incluyen aplicaciones de robótica, mecatrónica y control inteligente a diferentes campos, desde vehículos inteligentes a aplicaciones industriales o misiones de emergencia. Además de su actividad como IP e Investigador para proyectos de investigación financiados con fondos públicos, colabora habitualmente con diferentes empresas privadas. Como resultado de estas actividades, además de ser autor de artículos en revistas y congresos, ha registrado 11 patentes, siete de ellas transferidas a la industria.

Jesus Manuel Gómez de Gabriel, Universidad de Málaga

Profesor Titular en el Departamento de Ingeniería de Sistemas y Automática de la Universidad de Málaga. Dr. Ingeniero en Informática por la Universidad de Málaga (1999) profesor Titular de Universidad en el Departamento de Ingeniería de Sistemas y Automática. Ha investigado en robots móviles, en robótica quirúrgica y en educación en la ingeniería. Actualmente desarrolla su investigación en la interacción física entre robots y humanos. Ha realizado estancias y colabora como revisor y editor invitado de revistas internacionales. Ha codirigido cuatro tesis doctorales sobre interacción entre robots y humanos en diversas formas. Investigador Principal de dos proyectos de investigación del Plan Nacional, y otros de tipo regional y local. Ha sido investigador principal en tres proyectos de innovación educativa y participado en cursos de verano internacionales.

Joaquín Ortega Casanova, Universidad de Málaga

Catedrático de Universidad en el Departamento de Ingeniería Mecánica, Térmica y de Fluidos de la Universidad de Málaga. Joaquín Ortega Casanova es Ingeniero Industrial por la Universidad de Málaga, formando parte de primera promoción de la antigua Escuela Técnica Superior de Ingeniería Industrial (1990-1995). Tras ello, fue becario FPI asociado a un Proyecto del Plan Nacional (1996-1999) y defendió la Tesis en el área de conocimiento de Mecánica de Fluidos de la Universidad de Málaga en el año 2000. Fue Profesor Asociado de 1999 a 2003, y Profesor Titular de Universidad desde 2003 hasta 2021. Desde entonces es Catedrático de Universidad. Actualmente también es Coordinador del Grado en Ingeniería en Tecnologías Industriales desde 2012 hasta la fecha en la Universidad de Málaga. Ha realizado dos estancias pre-doctorales en la Arizona State University (Az, EE.UU.), y varias post-doctorales en la University of Greenwich (Londres, UK) y la Universidade do Porto (Oporto, Portugal). También fue Vicerrector Adjunto de Transferencia desde 2018 a 2020, y desde entonces es Vicerrector Adjunto de Infraestructuras de la Universidad de Málaga.

Citas

Abadía Valle, A. R., Bueno García, C., Ubieto-Artur, M. I., Márquez Cebrián, M. D., Sabaté Díaz, S., & Jorba Noguera, H. (2015). Competencias del buen docente universitario. Opinión de los estudiantes. REDU. Revista de Docencia Universitaria, 13(2), 363-390. https://doi.org/10.4995/redu.2015.5453

Alarcón, R., Blanca, M. J., & Bendayan, R. (2017). Student satisfaction with educational podcasts questionnaire. Escritos de Psicología-Psychological Writings, 10(2), 126-133. https://doi.org/10.5231/psy.writ.2017.14032.

Albaum, G. (1997). The Likert scale revisited. Market Research Society. Journal., 39(2), 1-21. https://doi.org/10.1177/147078539703900202.

Alles, M. A. (2002). Desempeño por competencias: evaluación de 360. Ediciones Granica SA.

Basurto-Mendoza, S. T., Cedeño, J. A. M., Espinales, A. N. V., & Gámez, M. R. (2021). Autoevaluación, Coevaluación y Heteroevaluación como enfoque innovador en la práctica pedagógica y su efecto en el proceso de enseñanza-aprendizaje. Polo del Conocimiento: Revista científico-profesional, 6(3), 828-845. https://doi.org/10.23857/pc.v6i3.2408

Baker, R. W., & Siryk, B. (1984). Student adaptation to college questionnaire (SACQ). Western Psychological Services. https://doi.org/10.1037/t06525-000.

Bisquerra Alzina, R., Martínez Olmo, F., Obiols Soler, M., & Pérez Escoda, N. (2006). Evaluación de 360º: Una aplicación a la educación emocional. Revista de investigación educativa, 24(1). https://revistas.um.es/rie/article/view/97371.

Blanco, A. (2008). Las rúbricas: un instrumento útil para la evaluación de competencias, In Prieto, L. (coord.). La enseñanza universitaria centrada en el aprendizaje: estrategias útiles para el profesorado (pp. 171-188). Octaedro-ICE de la Universidad de Barcelona.

Bravo Arteaga, A., & Fernández del Valle, J. C. (2000). La evaluación convencional frente a los nuevos modelos de evaluación auténtica. Psicothema, 12 (S. 2). http://hdl.handle.net/10651/27478

Boud, D., Cohen, R., & Sampson, J. (1999). Peer Learning and Assessment. Assessment & Evaluation in Higher Education, 24(4), 413–426. https://doi.org/10.1080/0260293990240405.

Casero-Martínez, A. (2008). Propuesta de un cuestionario de evaluación de la calidad docente universitaria consensuado entre alumnos y profesores. Revista de Investigación educativa, 26(1), 25-44. https://revistas.um.es/rie/article/view/94091

Castillo-Martín, C. (2021). Análisis de la eficiencia de los estudios de ingeniería. [Tesis Fin de Grado Ingeniería de Organización Industrial]. Universidad de Sevilla.

Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297-334. https://doi.org/10.1007/BF02310555.

Douglas, J., Douglas, A., & Barnes, B. (2006). Measuring student satisfaction at a UK university. Quality assurance in education. https://doi.org/10.1108/09684880610678568.

Etxabe, J.M.; Aranguren, K. y Losada, D. (2011). Diseño de rúbricas en la formación inicial de maestros/as, Revista de Formación e Innovación Educativa Universitaria, 4 (3), 156-169.

García Cueto, E., Gallo Álvaro, P.M., & Miranda García, R. (1998). Bondad de ajuste en el análisis factorial confirmatorio. Psicothema, 10 (3). http://hdl.handle.net/10651/29218

García, M. E., Gutiérrez, A. B. B., & Rodríguez-Muñiz, L. J. (2016). Permanencia en la universidad: la importancia de un buen comienzo. Aula abierta, 44(1), 1-6. https://doi.org/10.1016/j.aula.2015.04.001

Glass, G. V., & Ellett Jr, F. S. (1980). Evaluation research. Annual review of psychology, 31(1), 211-228. https://doi.org/10.1146/annurev.ps.31.020180.001235

Gong, G. (2016). Consideration of evaluation of teaching at colleges. Open Journal of Social Sciences, 4(07), 82. http://dx.doi.org/10.4236/jss.2016.47013

González López, I., & López Cámara, A. B. (2010). Sentando las bases para la construcción de un modelo de evaluación a las competencias docentes del profesorado universitario. Revista de investigación educativa, 28(2), 403-423. https://revistas.um.es/rie/article/view/109431

González-Montesinos, M.J., & Backhoff, E. (2010). Validación de un cuestionario de contexto para evaluar sistemas educativos con modelos de ecuaciones estructurales. RELIEVE, 16(2), 1-17. https://doi.org/10.7203/relieve.16.2.4133

Jiménez Galán, Y.I., González Ramírez, M. A., & Hernández Jaime, J. (2010). Modelo 360 para la evaluación por competencias (enseñanza-aprendizaje). Innovación Educativa, 10(53), 43-53. https://www.redalyc.org/pdf/1794/179420770003.pdf.

Jöreskog, Karl G. (1994) On the estimation of polychoric correlations and their asymptotic covariance matrix. Psychometrika, 59, 381-389. https://doi.org/10.1007/BF02296131

Hanrahan, S. J., & Isaacs, G. (2001). Assessing Self- and Peer-assessment: The students’ views. Higher Education Research & Development, 20(1), 53–70. https://doi.org/10.1080/07294360123776

Hernández, J., Pérez, J. A (dir.) (2019). La universidad española en cifras. Información académica, productiva y financiera de las Universidades Públicas de España. Indicadores Universitarios Curso académico 2017-2018. CRUE.

House, J. D. (1993). The relationship between academic self-concept and school withdrawal. The Journal of Social Psychology, 133(1), 125-127. https://doi.org/10.1080/00224545.1993.9712129

Lévy-Leboyer, C. (2004). Feedback de 360. Grupo Planeta (GBS).

Likert, R. (1932). A technique for the measurement of attitudes. Archives of psychology, 22 (140), 1-55.

López-Cózar-Navarro, C., Benito-Hernández, S., & Priede-Bergamini, T. (2020). Un análisis exploratorio de los factores que inciden en el abandono universitario en titulaciones de ingeniería. REDU. Revista de Docencia Universitaria, 18(2), 81-96. https://doi.org/10.4995/redu.2020.13294

López Pastor, V. M. L., Pascual, M. G., & Martín, J. B. (2005). La participación del alumnado en la evaluación: la autoevaluación, la coevaluación y la evaluación compartida. Revista Tándem: Didáctica de la Educación Física, 17, 21-37. http://hdl.handle.net/11162/21846

Martin, C. C., & Locke, K. D. (2022). What Do Peer Evaluations Represent? A Study of Rater Consensus and Target Personality. Frontiers in Education, 7. https://doi.org/10.3389/FEDUC.2022.746457

Martínez-Caro, E., & Campuzano-Bolarín, F. (2011). Factors affecting students’ satisfaction in engineering disciplines: traditional vs. blended approaches. European Journal of Engineering Education, 36(5), 473-483. https://doi.org/10.1080/03043797.2011.619647

Martínez-Figueira, E., Tellado-González, F., & Raposo-Rivas, M. (2013). La rúbrica como instrumento para la autoevaluación: un estudio piloto. REDU. Revista de Docencia Universitaria, 11(2), 373–390. https://doi.org/10.4995/redu.2013.5581

Mertler, Craig A. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, 7(25). https://doi.org/10.7275/gcy8-0w24

Mehrens, W. A. (1992). Using performance assessment for accountability purposes. Educational Measurement: Issues and Practice. https://psycnet.apa.org/doi/10.1111/j.1745-3992.1992.tb00220.x

Ministerio de Universidades (2019). Datos y cifras del sistema universitario español. Publicación 2020-2021. Acceso el 01/07/2022.https://www.universidades.gob.es/stfls/universidades/Estadisticas/ficheros/Datos_y_Cifras_2020-21.pdf

Mumford, M. D., Baughman, W. A., Supinski, E. P., & Anderson, L. E. (1998). Assessing Complex Cognitive Shills. Beyond Multiple Choice: Evaluating Alternatives to Traditional Testing for Selection. Lawrence Erlbaum Associates, Pulishers.

Mumpuni, K. E., Priyayi, D. F., & Widoretno, S. (2022). How do Students Perform a Peer Assessment? International Journal of Instruction, 15(3), 751–766. https://doi.org/10.29333/IJI.2022.15341A

Nunnally, J.C., Bernstein, I. (1978) Psychometric Theory McGraw-Hill New York, the role of university in the development of entrepreneurial vocations: a Spanish study. The Journal of Technology Transfer, 37 (1), 387–405. https://doi.org/10.1007/s10961-010-9171-x.

Olds, B. M., & Miller, R. L. (2004). The effect of a first‐year integrated engineering curriculum on graduation rates and student satisfaction: A longitudinal study. Journal of Engineering Education, 93(1), 23-35. https://doi.org/10.1002/j.2168-9830.2004.tb00785.x

Orji, R., Nacke, L. E., & Di Marco, C. (2017, May). Towards personality-driven persuasive health games and gamified systems. In Proceedings of the 2017 CHI conference on human factors in computing systems (pp. 1015-1027). https://doi.org/10.1145/3025453.3025577

Petkova, A. P., Domingo, M. A., & Lamm, E. (2021). Let’s be frank: Individual and team-level predictors of improvement in student teamwork effectiveness following peer-evaluation feedback. International Journal of Management Education, 19(3). https://doi.org/10.1016/J.IJME.2021.100538

Rodríguez González, R., Hernández García, J., Alonso Gutiérrez, A. M., & Díez Itza, E. (2003). El absentismo en la Universidad: resultados de una encuesta sobre motivos que señalan los estudiantes para no asistir a clase. Aula Abierta, 82.

Rodríguez Menéndez, M. D. C., Inda Caro, M. M., & Peña Calvo, J. V. (2015). Validación de la teoría cognitivo social de desarrollo de la carrera con una muestra de estudiantes de ingeniería. Educación XXI: revista de la Facultad de Educación, 18(2), 257-276. https://doi.org/10.5944/educxx1.14604

Rodríguez-Rodríguez, J., & Reguant-Álvarez, M. (2020). Calcular la fiabilidad de un cuestionario o escala mediante el SPSS: el coeficiente alfa de Cronbach. REIRE Revista d'Innovació i Recerca en Educació, 13(2), 1-13. https://doi.org/10.1344/reire2020.13.230048

Rojas-Torres, L. (2020). Robustez de los índices de ajuste del Análisis Factorial Confirmatorio a los valores extremos. Revista de Matemática: Teoría y Aplicaciones, 27(2), 403-424. https://doi.org/10.15517/rmta.v27i2.33677

Santos-Pastor, M.L., Cañadas, L., Martínez-Muñoz, L.F., & García-Rico, L. (2020). Diseño y validación de una escala para evaluar el aprendizaje-servicio universitario en actividad física y deporte. Educación XX1, 23(2), 67-93. https://doi.org/10.5944/educXX1.25422

Servimedia. (18 de diciembre de 2019). Los estudiantes de ciencias e ingenierías caen un 30% desde 2.000 porque el mercado laboral no recompensa "el esfuerzo". El Economista. https://www.eleconomista.es/ecoaula/noticias/10260885/12/19/Los-estudiantes-de-ciencias-e-ingenierias-caen-un-30-desde-2000-porque-el-mercado-laboral-no-recompensa-el-esfuerzo.html

Silió, E. (18 de diciembre de 2019). La revolución 4.0 peligra: los estudiantes de ingeniería caen un 30% en 20 años. El País. https://elpais.com/sociedad/2019/12/17/actualidad/1576612459_205974.html

Sotelo, A. F., & Arévalo, M. G. V. (2015). Proceso de autoevaluación, coevaluación y heteroevaluación para caracterizar el comportamiento estudiantil y mejorar su desempeño. Revista San Gregorio, 1(9), 6-15.

Schertzer, C. B., & Schertzer, S. M. (2004). Student satisfaction and retention: A conceptual model. Journal of Marketing for Higher Education, 14(1), 79-91. https://doi.org/10.1300/J050v14n01_05

Stegmann, J.G. (18 de diciembre de 2019). En España nadie quiere estudiar ingenierías y el país se dirige a la «dependencia tecnológica». ABC. https://www.abc.es/sociedad/abci-espana-nadie-quiere-estudiar-ingenierias-y-pais-dirige-dependencia-tecnologica-201912181146_noticia.html

Tuan, H. L., Chin, C. C., & Shieh, S. H. (2005). The development of a questionnaire to measure students' motivation towards science learning. International journal of science education, 27(6), 639-654. https://doi.org/10.1080/0950069042000323737

Tyler, R. W. (1942). General statement on evaluation. The Journal of Educational Research, 35(7), 492-501. https://doi.org/10.1080/00220671.1942.10881106

Topping, K. (1998). Peer assessment between students in colleges and universities. Review of educational Research, 68(3), 249-276. https://doi.org/10.3102/00346543068003249

Vivanco-Álvarez, R. V., & Pinto-Vilca, S. A. (2018). Efecto de la aplicación de coevaluación sobre la motivación de logro en estudiantes de nivel universitario. Paideia XXI, 8(1), 57-78. https://doi.org/10.31381/paideia.v8i1.2037

Wiggins, G. (1990). The Case for Authentic Assessment. ERIC Digest.

Wortman, P. M. (1983). Evaluation research: A methodological perspective. Annual Review of Psychology, 34(1), 223-260. https://doi.org/10.1146/annurev.ps.34.020183.001255

Yani, B., Harding, A., & Engelbrecht, J. (2019). Academic maturity of students in an extended programme in mathematics. International journal of mathematical education in science and technology, 50(7), 1037-1049. https://doi.org/10.1080/0020739X.2019.1650305