Estudio cuantitativo multidimensional de la experiencia de evaluación 360 encuestada en prácticas de ingeniería industrial

Francisco Javier Granados Ortiz; Ana Isabel Gómez Merino; Jesús Javier Jiménez Galea; Isidro María Santos Raez; Juan Jesús Fernández Lozano; Jesus Manuel Gómez de Gabriel; Joaquín Ortega Casanova

doi:10.30827/relieve.v29i1.25356

作者

Francisco Javier Granados Ortiz Universidad de Almería https://orcid.org/0000-0002-7160-7294
Ana Isabel Gómez Merino Universidad de Málaga https://orcid.org/0000-0002-0840-3985
Jesús Javier Jiménez Galea Universidad de Málaga https://orcid.org/0000-0002-2223-695X
Isidro María Santos Raez Universidad de Málaga https://orcid.org/0000-0002-6502-8499
Juan Jesús Fernández Lozano Universidad de Málaga https://orcid.org/0000-0002-8174-1331
Jesus Manuel Gómez de Gabriel Universidad de Málaga https://orcid.org/0000-0001-5960-3453
Joaquín Ortega Casanova Universidad de Málaga https://orcid.org/0000-0001-7660-6875

##plugins.pubIds.doi.readerDisplayName##:

https://doi.org/10.30827/relieve.v29i1.25356

关键词:

问卷, 满意度, 验证性因素分析, 工业工程

摘要

在工程课上，学生表现出来的主动性和积极性往往不高。但跟理论课相反，在学科实验课上学生常常表现出更多的兴趣。考虑到工程专业逐年提升的弃学率，和逐年下降的注册率，该研究希望对一测量工具的影响进行定量分析。该工具可以在360度的范围内对工业工程专业的不同学生群体进行实践评估，以此来达成以下目标：一让学生参与到评估过程；二通过360度评估了解不同群体的满意度以及他们对每项评估权重的意见。为了实现上述目标，研究使用360度评估方法和包含23个问题的问卷调查。360度评估过程分为三个阶段：相互评估（学生与学生之间）、自我评估（由学生自己进行）和异体评估（由老师进行）。首先设计了一个通过验证性因素分析的问卷，然后对问卷答案进行分析。我们将答案分成四组：低年级和高年级的两门课程、评估类型、性别（男或女）以及学历周期（本科或研究生）。除此之外我们还对每项评估员最终打分的最优权重进行了分析，提出异体、相互和自我评估阶段的最佳值为50%、30%和20%。最后问卷结果还显示出不同分析群体的满意度都很高，这也一定程度上反映了学生的成熟度。

##plugins.generic.usageStats.downloads##

##plugins.generic.usageStats.noStats##

##submission.authorBiographies##

##submission.authorWithAffiliation##

Investigador Ramón y Cajal en el Departamento de Ingeniería de la Universidad de Almería. Es Ingeniero Industrial por la Universidad de Málaga y Doctor en Ciencias de la Computación y Matemáticas por la Universidad de Greenwich (UK) en 2017. Fue Marie Curie Fellow dentro del proyecto europeo FP7 AeroTraNet2, donde trabajó junto a 9 prestigiosas instituciones de toda Europa tanto de la industria como del mundo académico. Después de este proyecto, trabajó como científico de datos en la industria durante tres años y medio. En 2020 se incorporó a la Universidad de Málaga como ingeniero investigador y becario postdoctoral PAIDI (Plan Andaluz de Investigación, Desarrollo e Innovación) y actualmente posee un contrato de investigación de excelencia Ramón y Cajal en la Universidad de Almería (España). Ha publicado varios trabajos de investigación en revistas de primer nivel (más de 20 publicaciones como primer autor), ha realizado estancias de investigación en 8 instituciones diferentes, ha desarrollado actividades docentes (Escuelas de ingeniería, incluyendo rol de Profesor Invitado en la Universidad de Málaga) y ha asistido a numerosas conferencias en todo el mundo (25+ presentaciones). Además, ha participado en dos proyectos de innovación educativa y está acreditado como Profesor Ayudante Doctor y Contratado Doctor por la ANECA

##submission.authorWithAffiliation##

Catedrática (CEU) del Departamento de Física Aplicada II de la Universidad de Málaga. Doctora en Ciencias Físicas por la Universidad de Granada. Miembro de la Real Sociedad Española de Física. Ha trabajado en Proyectos de Innovación Educativa, profundizando en aspectos relacionados con el uso de Tecnologías TICS en el aprendizaje de la Física, influencia de las tutorías en el proceso de enseñanza-aprendizaje, la mujer en la Ingeniería, coordinación interdisciplinar y evaluación interactiva. Ha realizado estancias en las Universidades de Skövde (Suecia) y de Albuquerque (USA) esta última con el grupo ISTEC (Consorcio Iberoamericano para la Educación en Ciencia y Tecnología).

##submission.authorWithAffiliation##

Profesor Sustituto Interino en el Departamento de Ingeniería Civil, de Materiales y Fabricación de la Universidad de Málaga. Doctorado en Ingeniería Mecatrónica por la Universidad de Málaga. Ingeniero Técnico Industrial especialidad Mecánica, Ingeniero Técnico en Diseño Industrial, Máster Universitario en Prevención de Riesgos Laborales, Máster Propio Universitario en Innovación Educativa y Gestión del Conocimiento por la Universidad de Málaga. Pertenencia a la Comisión de Garantía de la Calidad del Programa de Doctorado en Ingeniería Mecatrónica. Investigador en el PIE17-165, en el PIE19-032 y en el PIE22-094. Pertenencia al grupo PAIDI FQM231. Coordinador de diversos cursos en la Fundación General de la Universidad de Málaga (FGUMA). Colaborador en 2016 en “Las 101 mañanas” de la cadena 101tv. Desde 2016 hasta la actualidad docente e investigador como Profesor Sustituto Interino en la Escuela de Ingenierías Industriales de la Universidad de Málaga.

##submission.authorWithAffiliation##

Profesor Asociado en el Departamento de Ingeniería Mecánica, Térmica y de Fluidos de la Universidad de Málaga. Profesor de Enseñanza Secundaria en la especialidad de Organización y Procesos en Mantenimiento de Vehículos de la Junta de Andalucía. Profesor Asociado, en el Área de Máquinas y Motores Térmicos, de la Escuela de Ingenierías Industriales de la Universidad de Málaga. Doctor Ingeniero Industrial, Ingeniero Técnico Industrial por la Escuela Universitaria Politécnica e Ingeniero en Organización Industrial por la Escuela Técnica Superior de Ingeniería Industrial, Universidad de Málaga. Certificado de Aptitud Pedagógica y Técnico Superior en Prevención de Riesgos Laborales. Investigador en Proyectos de Innovación Docente relativos a Coordinación multidisciplinar, horizontal y vertical, evaluación entre pares y uso de tecnologías TICs. Coautor de textos científicos en el campo de los motores térmicos, nanofluidos y prácticas de innovación docente.

##submission.authorWithAffiliation##

Profesor Titular en el Departamento de Ingeniería de Sistemas y Automática de la Universidad de Málaga. J. J. Fernández-Lozano obtuvo su título en Ingeniería Industrial en 1997 en la Universidad de Málaga. En 2002 se doctoró por esa misma Universidad. De 2004 a 2012, fue Vicedirector de la Escuela Técnica Superior de Ingeniería Industrial de la Universidad de Málaga, y Director, de 2012 a 2016. Ha participado en el diseño e implantación de nuevos grados y másteres acordes con el Espacio Europeo de Educación Superior. En 1998 se incorporó al Grupo de Robótica y Mecatrónica. Desde 2009 es Profesor Titular del Departamento de Ingeniería de Sistemas y Automática. Además de la innovación en educación superior, sus principales intereses de investigación incluyen aplicaciones de robótica, mecatrónica y control inteligente a diferentes campos, desde vehículos inteligentes a aplicaciones industriales o misiones de emergencia. Además de su actividad como IP e Investigador para proyectos de investigación financiados con fondos públicos, colabora habitualmente con diferentes empresas privadas. Como resultado de estas actividades, además de ser autor de artículos en revistas y congresos, ha registrado 11 patentes, siete de ellas transferidas a la industria.

##submission.authorWithAffiliation##

Profesor Titular en el Departamento de Ingeniería de Sistemas y Automática de la Universidad de Málaga. Dr. Ingeniero en Informática por la Universidad de Málaga (1999) profesor Titular de Universidad en el Departamento de Ingeniería de Sistemas y Automática. Ha investigado en robots móviles, en robótica quirúrgica y en educación en la ingeniería. Actualmente desarrolla su investigación en la interacción física entre robots y humanos. Ha realizado estancias y colabora como revisor y editor invitado de revistas internacionales. Ha codirigido cuatro tesis doctorales sobre interacción entre robots y humanos en diversas formas. Investigador Principal de dos proyectos de investigación del Plan Nacional, y otros de tipo regional y local. Ha sido investigador principal en tres proyectos de innovación educativa y participado en cursos de verano internacionales.

##submission.authorWithAffiliation##

Catedrático de Universidad en el Departamento de Ingeniería Mecánica, Térmica y de Fluidos de la Universidad de Málaga. Joaquín Ortega Casanova es Ingeniero Industrial por la Universidad de Málaga, formando parte de primera promoción de la antigua Escuela Técnica Superior de Ingeniería Industrial (1990-1995). Tras ello, fue becario FPI asociado a un Proyecto del Plan Nacional (1996-1999) y defendió la Tesis en el área de conocimiento de Mecánica de Fluidos de la Universidad de Málaga en el año 2000. Fue Profesor Asociado de 1999 a 2003, y Profesor Titular de Universidad desde 2003 hasta 2021. Desde entonces es Catedrático de Universidad. Actualmente también es Coordinador del Grado en Ingeniería en Tecnologías Industriales desde 2012 hasta la fecha en la Universidad de Málaga. Ha realizado dos estancias pre-doctorales en la Arizona State University (Az, EE.UU.), y varias post-doctorales en la University of Greenwich (Londres, UK) y la Universidade do Porto (Oporto, Portugal). También fue Vicerrector Adjunto de Transferencia desde 2018 a 2020, y desde entonces es Vicerrector Adjunto de Infraestructuras de la Universidad de Málaga.

参考

Abadía Valle, A. R., Bueno García, C., Ubieto-Artur, M. I., Márquez Cebrián, M. D., Sabaté Díaz, S., & Jorba Noguera, H. (2015). Competencias del buen docente universitario. Opinión de los estudiantes. REDU. Revista de Docencia Universitaria, 13(2), 363-390. https://doi.org/10.4995/redu.2015.5453

Alarcón, R., Blanca, M. J., & Bendayan, R. (2017). Student satisfaction with educational podcasts questionnaire. Escritos de Psicología-Psychological Writings, 10(2), 126-133. https://doi.org/10.5231/psy.writ.2017.14032.

Albaum, G. (1997). The Likert scale revisited. Market Research Society. Journal., 39(2), 1-21. https://doi.org/10.1177/147078539703900202.

Alles, M. A. (2002). Desempeño por competencias: evaluación de 360. Ediciones Granica SA.

Basurto-Mendoza, S. T., Cedeño, J. A. M., Espinales, A. N. V., & Gámez, M. R. (2021). Autoevaluación, Coevaluación y Heteroevaluación como enfoque innovador en la práctica pedagógica y su efecto en el proceso de enseñanza-aprendizaje. Polo del Conocimiento: Revista científico-profesional, 6(3), 828-845. https://doi.org/10.23857/pc.v6i3.2408

Baker, R. W., & Siryk, B. (1984). Student adaptation to college questionnaire (SACQ). Western Psychological Services. https://doi.org/10.1037/t06525-000.

Bisquerra Alzina, R., Martínez Olmo, F., Obiols Soler, M., & Pérez Escoda, N. (2006). Evaluación de 360º: Una aplicación a la educación emocional. Revista de investigación educativa, 24(1). https://revistas.um.es/rie/article/view/97371.

Blanco, A. (2008). Las rúbricas: un instrumento útil para la evaluación de competencias, In Prieto, L. (coord.). La enseñanza universitaria centrada en el aprendizaje: estrategias útiles para el profesorado (pp. 171-188). Octaedro-ICE de la Universidad de Barcelona.

Bravo Arteaga, A., & Fernández del Valle, J. C. (2000). La evaluación convencional frente a los nuevos modelos de evaluación auténtica. Psicothema, 12 (S. 2). http://hdl.handle.net/10651/27478

Boud, D., Cohen, R., & Sampson, J. (1999). Peer Learning and Assessment. Assessment & Evaluation in Higher Education, 24(4), 413–426. https://doi.org/10.1080/0260293990240405.

Casero-Martínez, A. (2008). Propuesta de un cuestionario de evaluación de la calidad docente universitaria consensuado entre alumnos y profesores. Revista de Investigación educativa, 26(1), 25-44. https://revistas.um.es/rie/article/view/94091

Castillo-Martín, C. (2021). Análisis de la eficiencia de los estudios de ingeniería. [Tesis Fin de Grado Ingeniería de Organización Industrial]. Universidad de Sevilla.

Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297-334. https://doi.org/10.1007/BF02310555.

Douglas, J., Douglas, A., & Barnes, B. (2006). Measuring student satisfaction at a UK university. Quality assurance in education. https://doi.org/10.1108/09684880610678568.

Etxabe, J.M.; Aranguren, K. y Losada, D. (2011). Diseño de rúbricas en la formación inicial de maestros/as, Revista de Formación e Innovación Educativa Universitaria, 4 (3), 156-169.

García Cueto, E., Gallo Álvaro, P.M., & Miranda García, R. (1998). Bondad de ajuste en el análisis factorial confirmatorio. Psicothema, 10 (3). http://hdl.handle.net/10651/29218

García, M. E., Gutiérrez, A. B. B., & Rodríguez-Muñiz, L. J. (2016). Permanencia en la universidad: la importancia de un buen comienzo. Aula abierta, 44(1), 1-6. https://doi.org/10.1016/j.aula.2015.04.001

Glass, G. V., & Ellett Jr, F. S. (1980). Evaluation research. Annual review of psychology, 31(1), 211-228. https://doi.org/10.1146/annurev.ps.31.020180.001235

Gong, G. (2016). Consideration of evaluation of teaching at colleges. Open Journal of Social Sciences, 4(07), 82. http://dx.doi.org/10.4236/jss.2016.47013

González López, I., & López Cámara, A. B. (2010). Sentando las bases para la construcción de un modelo de evaluación a las competencias docentes del profesorado universitario. Revista de investigación educativa, 28(2), 403-423. https://revistas.um.es/rie/article/view/109431

González-Montesinos, M.J., & Backhoff, E. (2010). Validación de un cuestionario de contexto para evaluar sistemas educativos con modelos de ecuaciones estructurales. RELIEVE, 16(2), 1-17. https://doi.org/10.7203/relieve.16.2.4133

Jiménez Galán, Y.I., González Ramírez, M. A., & Hernández Jaime, J. (2010). Modelo 360 para la evaluación por competencias (enseñanza-aprendizaje). Innovación Educativa, 10(53), 43-53. https://www.redalyc.org/pdf/1794/179420770003.pdf.

Jöreskog, Karl G. (1994) On the estimation of polychoric correlations and their asymptotic covariance matrix. Psychometrika, 59, 381-389. https://doi.org/10.1007/BF02296131

Hanrahan, S. J., & Isaacs, G. (2001). Assessing Self- and Peer-assessment: The students’ views. Higher Education Research & Development, 20(1), 53–70. https://doi.org/10.1080/07294360123776

Hernández, J., Pérez, J. A (dir.) (2019). La universidad española en cifras. Información académica, productiva y financiera de las Universidades Públicas de España. Indicadores Universitarios Curso académico 2017-2018. CRUE.

House, J. D. (1993). The relationship between academic self-concept and school withdrawal. The Journal of Social Psychology, 133(1), 125-127. https://doi.org/10.1080/00224545.1993.9712129

Lévy-Leboyer, C. (2004). Feedback de 360. Grupo Planeta (GBS).

Likert, R. (1932). A technique for the measurement of attitudes. Archives of psychology, 22 (140), 1-55.

López-Cózar-Navarro, C., Benito-Hernández, S., & Priede-Bergamini, T. (2020). Un análisis exploratorio de los factores que inciden en el abandono universitario en titulaciones de ingeniería. REDU. Revista de Docencia Universitaria, 18(2), 81-96. https://doi.org/10.4995/redu.2020.13294

López Pastor, V. M. L., Pascual, M. G., & Martín, J. B. (2005). La participación del alumnado en la evaluación: la autoevaluación, la coevaluación y la evaluación compartida. Revista Tándem: Didáctica de la Educación Física, 17, 21-37. http://hdl.handle.net/11162/21846

Martin, C. C., & Locke, K. D. (2022). What Do Peer Evaluations Represent? A Study of Rater Consensus and Target Personality. Frontiers in Education, 7. https://doi.org/10.3389/FEDUC.2022.746457

Martínez-Caro, E., & Campuzano-Bolarín, F. (2011). Factors affecting students’ satisfaction in engineering disciplines: traditional vs. blended approaches. European Journal of Engineering Education, 36(5), 473-483. https://doi.org/10.1080/03043797.2011.619647

Martínez-Figueira, E., Tellado-González, F., & Raposo-Rivas, M. (2013). La rúbrica como instrumento para la autoevaluación: un estudio piloto. REDU. Revista de Docencia Universitaria, 11(2), 373–390. https://doi.org/10.4995/redu.2013.5581

Mertler, Craig A. (2001). Designing scoring rubrics for your classroom. Practical Assessment, Research & Evaluation, 7(25). https://doi.org/10.7275/gcy8-0w24

Mehrens, W. A. (1992). Using performance assessment for accountability purposes. Educational Measurement: Issues and Practice. https://psycnet.apa.org/doi/10.1111/j.1745-3992.1992.tb00220.x

Ministerio de Universidades (2019). Datos y cifras del sistema universitario español. Publicación 2020-2021. Acceso el 01/07/2022.https://www.universidades.gob.es/stfls/universidades/Estadisticas/ficheros/Datos_y_Cifras_2020-21.pdf

Mumford, M. D., Baughman, W. A., Supinski, E. P., & Anderson, L. E. (1998). Assessing Complex Cognitive Shills. Beyond Multiple Choice: Evaluating Alternatives to Traditional Testing for Selection. Lawrence Erlbaum Associates, Pulishers.

Mumpuni, K. E., Priyayi, D. F., & Widoretno, S. (2022). How do Students Perform a Peer Assessment? International Journal of Instruction, 15(3), 751–766. https://doi.org/10.29333/IJI.2022.15341A

Nunnally, J.C., Bernstein, I. (1978) Psychometric Theory McGraw-Hill New York, the role of university in the development of entrepreneurial vocations: a Spanish study. The Journal of Technology Transfer, 37 (1), 387–405. https://doi.org/10.1007/s10961-010-9171-x.

Olds, B. M., & Miller, R. L. (2004). The effect of a first‐year integrated engineering curriculum on graduation rates and student satisfaction: A longitudinal study. Journal of Engineering Education, 93(1), 23-35. https://doi.org/10.1002/j.2168-9830.2004.tb00785.x

Orji, R., Nacke, L. E., & Di Marco, C. (2017, May). Towards personality-driven persuasive health games and gamified systems. In Proceedings of the 2017 CHI conference on human factors in computing systems (pp. 1015-1027). https://doi.org/10.1145/3025453.3025577

Petkova, A. P., Domingo, M. A., & Lamm, E. (2021). Let’s be frank: Individual and team-level predictors of improvement in student teamwork effectiveness following peer-evaluation feedback. International Journal of Management Education, 19(3). https://doi.org/10.1016/J.IJME.2021.100538

Rodríguez González, R., Hernández García, J., Alonso Gutiérrez, A. M., & Díez Itza, E. (2003). El absentismo en la Universidad: resultados de una encuesta sobre motivos que señalan los estudiantes para no asistir a clase. Aula Abierta, 82.

Rodríguez Menéndez, M. D. C., Inda Caro, M. M., & Peña Calvo, J. V. (2015). Validación de la teoría cognitivo social de desarrollo de la carrera con una muestra de estudiantes de ingeniería. Educación XXI: revista de la Facultad de Educación, 18(2), 257-276. https://doi.org/10.5944/educxx1.14604

Rodríguez-Rodríguez, J., & Reguant-Álvarez, M. (2020). Calcular la fiabilidad de un cuestionario o escala mediante el SPSS: el coeficiente alfa de Cronbach. REIRE Revista d'Innovació i Recerca en Educació, 13(2), 1-13. https://doi.org/10.1344/reire2020.13.230048

Rojas-Torres, L. (2020). Robustez de los índices de ajuste del Análisis Factorial Confirmatorio a los valores extremos. Revista de Matemática: Teoría y Aplicaciones, 27(2), 403-424. https://doi.org/10.15517/rmta.v27i2.33677

Santos-Pastor, M.L., Cañadas, L., Martínez-Muñoz, L.F., & García-Rico, L. (2020). Diseño y validación de una escala para evaluar el aprendizaje-servicio universitario en actividad física y deporte. Educación XX1, 23(2), 67-93. https://doi.org/10.5944/educXX1.25422

Servimedia. (18 de diciembre de 2019). Los estudiantes de ciencias e ingenierías caen un 30% desde 2.000 porque el mercado laboral no recompensa "el esfuerzo". El Economista. https://www.eleconomista.es/ecoaula/noticias/10260885/12/19/Los-estudiantes-de-ciencias-e-ingenierias-caen-un-30-desde-2000-porque-el-mercado-laboral-no-recompensa-el-esfuerzo.html

Silió, E. (18 de diciembre de 2019). La revolución 4.0 peligra: los estudiantes de ingeniería caen un 30% en 20 años. El País. https://elpais.com/sociedad/2019/12/17/actualidad/1576612459_205974.html

Sotelo, A. F., & Arévalo, M. G. V. (2015). Proceso de autoevaluación, coevaluación y heteroevaluación para caracterizar el comportamiento estudiantil y mejorar su desempeño. Revista San Gregorio, 1(9), 6-15.

Schertzer, C. B., & Schertzer, S. M. (2004). Student satisfaction and retention: A conceptual model. Journal of Marketing for Higher Education, 14(1), 79-91. https://doi.org/10.1300/J050v14n01_05

Stegmann, J.G. (18 de diciembre de 2019). En España nadie quiere estudiar ingenierías y el país se dirige a la «dependencia tecnológica». ABC. https://www.abc.es/sociedad/abci-espana-nadie-quiere-estudiar-ingenierias-y-pais-dirige-dependencia-tecnologica-201912181146_noticia.html

Tuan, H. L., Chin, C. C., & Shieh, S. H. (2005). The development of a questionnaire to measure students' motivation towards science learning. International journal of science education, 27(6), 639-654. https://doi.org/10.1080/0950069042000323737

Tyler, R. W. (1942). General statement on evaluation. The Journal of Educational Research, 35(7), 492-501. https://doi.org/10.1080/00220671.1942.10881106

Topping, K. (1998). Peer assessment between students in colleges and universities. Review of educational Research, 68(3), 249-276. https://doi.org/10.3102/00346543068003249

Vivanco-Álvarez, R. V., & Pinto-Vilca, S. A. (2018). Efecto de la aplicación de coevaluación sobre la motivación de logro en estudiantes de nivel universitario. Paideia XXI, 8(1), 57-78. https://doi.org/10.31381/paideia.v8i1.2037

Wiggins, G. (1990). The Case for Authentic Assessment. ERIC Digest.

Wortman, P. M. (1983). Evaluation research: A methodological perspective. Annual Review of Psychology, 34(1), 223-260. https://doi.org/10.1146/annurev.ps.34.020183.001255

Yani, B., Harding, A., & Engelbrecht, J. (2019). Academic maturity of students in an extended programme in mathematics. International journal of mathematical education in science and technology, 50(7), 1037-1049. https://doi.org/10.1080/0020739X.2019.1650305