La metodología mixta (MM) ha evolucionado exponencialmente a lo largo de los últimos veinte años (Fàbregues et al., 2021). Aún así, las incertidumbres siguen emergiendo en el momento de justificar cómo se relacionan las partes cualitativa (CUAL) y cuantitativa (CUAN) involucradas en este tipo de investigación (Akerblad et al., 2021; Tashakkori y Creswell, 2007; Uprichard y Dawney, 2016) utilizada frecuentemente en el campo de la educación. Dado la complejidad de los problemas educativos, la dimensión contextual e idiosincrática de las prácticas educativas, la elaboración de recomendaciones generalizables o el apoyo a las decisiones de política educativa pueden justificar el uso de la MM (Fetters y Molina-Azorin, 2017).

Históricamente, la rigidez de las metodologías no permitía tener este alcance, de modo que la concepción ontológica y epistemológica dificultaba contemplar los aspectos emergentes de las investigaciones (Morse, 2009; Sale et al., 2002). Los estudios con MM pertenecientes a las ciencias sociales han aumentado durante los últimos 30 años. Aunque en los años 60 aparecían estudios caracterizados por la recopilación de datos cualitativos (CUAL) y cuantitativos (CUAN), no fue hasta los años 80 que la MM tuvo un auge de popularidad, lo que Creswell (2015) denomino el tercer paradigma de investigación. Aun así, hay poco acuerdo sobre lo que es la MM (Morse y Cheek, 2014). Actualmente, se concibe como un proceso donde se proyectan aspectos CUAL y CUAN durante toda la investigación, refiriéndose a la integración como elemento principal (Creswell y Plano-Clark, 2018), la cual aumenta considerablemente el valor del estudio porque incluye continuos nexos de los polos opuestos (Morse y Cheek, 2014).

Los estudios que optan por esta integración son todavía escasos (Borglin, 2015). De hecho, este planteamiento no se halla exento de múltiples retos, tanto de carácter procedimental y metodológico como ontológico y epistemológico, de manera que para algunos autores el abordaje ofrece una visión confusa y desordenada (Sanscartier, 2020). Surgen preguntas como: ¿hasta qué punto se puede mezclar la investigación CUAL y CUAN sin violar los paradigmas? O, ¿cómo se enmarca una pregunta de investigación en la MM integradora? Los fundamentos filosóficos de la MM son objeto de debate, junto con la fusión de los diseños o cómo los investigadores exponen y transfieren los resultados.

Partiendo de este contexto, el objetivo general del presente estudio es analizar las investigaciones empíricas actuales cuyo contenido explícito sea la MM en el campo de las ciencias sociales y, en especial, en las ciencias de la educación. Para ello, se establecen los siguientes objetivos específicos:

• Identificar las características que justifican el uso de la MM en la investigación educativa.

• Analizar los principios de la MM en cada fase de desarrollo de una investigación.

• Conocer los aspectos susceptibles de mejora para incrementar la calidad y la validez de las investigaciones con MM en educación

Método

Para responder a los objetivos planteados, la investigación se ha desarrollado a partir de una revisión original sistemática de la literatura siguiendo el protocolo PRISMA (Preferred Reporting Items for Systematic reviews and Meta-Analyses) que augura la captación de toda la información recomendada y la replicación del proceso (Page et al., 2021). Asimismo, promueve la calidad del estudio ofreciendo una lista de comprobación y un diagrama de flujo que facilita la sistematización (Moher et al., 2009). Esto comporta la exploración de las áreas de las ciencias sociales cuyo foco principal es “la identificación de las tendencias y corrientes principales, así como la detección de huecos y oportunidades de investigación” (Codina, 2018, p. 11). En concreto, el proceso siguió tres fases: (1) búsqueda de documentos y evaluación mediante la herramienta VOSViewer, (2) selección y filtrado de los documentos bajo criterios definidos, y (3) análisis de los documentos (Littell et al., 2008; Petticrew y Roberts, 2006).

El primer paso fue acotar las bases de datos y la elección sobre qué fuentes incluir. Se prestó especial atención a bases de datos asociadas a las ciencias sociales y a las ciencias de la educación. Además, se planteó que los documentos hubieran pasado por procesos de evaluación como los artículos de revistas evaluados por pares o capítulos de libro, descartando las tesis doctorales por su escasez de publicación en relación al objetivo del estudio.

Con el fin de conseguir la máxima actualización, la revisión está acotada del 2011 hasta el 2021. Para identificar y analizar los documentos enfocados a la MM y ofrecer una imagen nítida y aplicable en el campo de la educación, se realizó una búsqueda inicial en cuatro bases de datos específicas, Scopus, Web of Science, Eric y Dialnet Plus, con las palabras clave Metodología Mixta -Tesauro ERIC- Integración -Tesauro ERIC- y Ciencias Sociales -Tesauro de la UNESCO, Tesauro ERIC, Tesauro Europeo de la Educación, Tesauro EuroVoc. Después de la primera búsqueda inicial se procedió a eliminar la palabra clave Ciencias Sociales para obtener una mayor representatividad de documentos asociados al objeto de estudio. Mediante un proceso secuencial de facetación, derivación y combinación de las palabras clave se elaboraron las ecuaciones de búsqueda finales se presentan en la Tabla 1.

Tabla 1
Ecuaciones de búsqueda

elaboración propia

Base de datos	Ecuación de búsqueda	Fecha	Documentos
Scopus	AUTHKEY (("mixed methodology" OR "mixed methods" OR "multimethods" OR "mixedstud*") AND ("integrative strategy" OR "analytical integration" OR "theoretical integration" OR "integrative data"))	26/01/2021	129
WOS	TS= ((“mixed methodology” OR “mixed methods” OR “multimethods” OR “mixed stud*”) AND (“integrative strategy” OR “analytical integration” OR “theoretical integration” OR “integrative data”)) OR TI= ((“mixed methodology” OR “mixed methods” OR “multimethods”) AND (“integrative strategy” OR “analytical integration” OR “integration”))	27/01/2021	92
ERIC	((“mixed methodology” OR “mixed methods” OR “multimethods” OR “mixed stud*”) AND (“integrative strategy” OR “analytical integration” OR “theoretical integration” OR “integrative data”))	27/01/2021	8
Dialnet Plus	("metodología mixta" OR "método mixto") AND ("integración" OR "diseño integr*" OR "datos integr*")	27/01/2021	32

La filtración de los resultados se llevo a cabo atendiendo las posibilidades de cada base de datos. En el caso de Scopus, se filtraron por año de publicación y por lugar de búsqueda de las palabras clave -palabras clave de los documentos-, en WOS se siguió los parámetros anteriores y se añadió que las palabras claves también estuvieran asociadas al título y tópico, en ERIC se mantuvo la filtración por año de publicación y en Dialnet Plus se realizó por año y por lengua de publicación, ya que el interés recayó en identificar los documentos publicados a nivel nacional.

Con los resultados de Scopus y WOS se hizo un análisis bibliométrico con la herramienta VOSViewer para consolidar la significatividad de la relación entre las ecuaciones de búsqueda y el objetivo del estudio. Debido a que el formato de documento de exportación de ERIC no se puede incluir como base de datos en la herramienta VOSViewery, por otro lado, Dialnet Plus omite la opción de obtener el fichero de resultados, no se han podido analizar mediante dicha herramienta. Sin embargo, el 84,67% de los resultados iniciales provinieron de las dos primeras bases de datos, hecho que implica elevada significatividad en los resultados de VOSViewer.

VOSViewer permite visualizar las redes bibliométricas mediante matrices de ocurrencia, conocidas como matriz de datos, que están formadas por los documentos y las palabras clave y determinan si la palabra i y j están presentes en un mismo documento, y las matrices de coocurrencia, conocidas como matrices de asociaciones definidas cuadradas simétricas donde cada elemento representa la asociación entre las palabras clave. En este caso, el número mínimo de ocurrencias entre palabras clave fue superior o igual a 5 [$f\left(\mathrm{KW}\right)\ge 5$] para poder detectar los clústeres, también conocidos como barrio de términos o núcleos temáticos, medianos y grandes de los resultados. Además, cuan mayor es el círculo y la etiqueta de los ítems mayor peso de la palabra clave dentro del clúster, y cuan más cercanos están dos clústeres mayor correlación existe entre ellos.

En el caso de Scopus, se hallaron cuatro clústeres -Clúster 1 con 11 ítems representado en rojo, Clúster 2 con 10 ítems representado en verde, Clúster 3 con 6 ítems representado en azul y Clúster 4 con 3 ítems- con un total de 30 palabras clave co-ocurrentes determinadas por los colores del mapa bibliométrico (Figura 1).

Los resultados son significativos, ya que las palabras clave mixed methods . integration, que se corresponden con las palabras clave de la búsqueda, son las que obtienen la fuerza total de alcance (134 y 117 respectivamente) y el número de ocurrencias (62 y 51 respectivamente) mayor a las demás palabras clave.

Figura 1
Mapa bibliométrico de palabras clave -Scopus-
recuperado de VosViewer (2021)

En relación al análisis de las palabras clave de WOS, se identificaron dos clústeres (Figura 2) (Clúster 1 con 10 ítems representado en verde y Clúster 2 con 7 ítems representado en rojo) con 17 palabras clave en total, con mayor aproximación al objeto de estudio en el segundo clúster, ya que se relaciona con las palabras clave. Sin embargo, la fuerza total de alcance de mixed methods . integration es menor que en Scopus (93 y 63 respectivamente), al igual que el número de ocurrencias (31 y 16 respectivamente). Esto permitió evaluar si la búsqueda inicial fue significativa y se procedió a una fase de evaluación de las características de los documentos. Los criterios de inclusión fueron: estudios evaluados por blind peer review, estudios cuyos resultados se centraban en la MM y estudios publicados en inglés o castellano entre 2011 y 2021. Los criterios de exclusión fueron: la duplicación de documentos o por contenido del estudio cuando se identificaba la MM como técnica para obtener resultados y no como objeto de estudio (Figura 3). Finalmente, se incluyeron 22 documentos (Tabla 2).

Figura 2
Mapa bibliométrico de palabras clave -WoS-
recuperado de VosViewer (2021).

Figura 3
Diagrama de flujo del proceso de selección
elaboración propia basado en el protocolo PRISMA.

Tabla 2
Documentos seleccionados

elaboración propia

Autores	Año	Título	Tipo*
Akerblad et al.	2020	Integrative Strategies in Mixed Methods Research	Art
Anguera et al.	2020	Best Practice Approaches for Mixed Methods Research in Psychological Science	Ed
Anguera et al.	2018	Revisiting the difference between mixed methods and multimethods: Is it all in the name?	Art
Archibald et al.	2015	Current mixed methods practices in qualitative research: A content analysis of leading journals	Art
Bazeley	2016	Mixed or merged? Integration as the real challenge for mixed methods	Art
Bazeley y Kemp	2012	Mosaics, Triangles, and DNA: Metaphors for Integrated Analysis in Mixed Methods Research	Art
Doyle et al.	2016	An overview of mixed methods research revisited	Art
Dupin y Borglin	2020	Usability and application of a data integration technique (following the thread) for multi- and mixed methods research: A systematic review	Rev
Fetters	2018	Six Equations to Help Conceptualize the Field of Mixed Methods	Ed
Fetters y Molina-Azorin	2017	The Journal of Mixed Methods Research Starts a New Decade: The Mixed Methods Research Integration Trilogy and Its Dimensions	Ed
Fetters et al.	2013	Achieving Integration in Mixed Methods Designs-Principles and Practices	Art
Fielding	2012	Triangulation and Mixed Methods Designs: Data Integration With New Research Technologies	Art
Gobo	2016	Why "merged" methods realize a higher integration than "mixed" methods: a reply	Art
Guetterman et al.	2020	Virtual Special Issue on "Integration in Mixed Methods Research"	Ed
Lynam et al.	2019	Reframing Integration for Mixed Methods Research	Art
Plano-Clark	2019	Meaningful integration within mixed methods studies: Identifying why, what, when, and how	Art
Schoonenboom y Johnson	2017	How to Construct a Mixed Methods Research Design	Art
Tashakkori et al.	2015	Mixed Methods	Cap
Tonon	2019	Integrated methods in research	Cap
Tunarosa y Glynn	2017	Strategies of Integration in Mixed Methods Research: Insights Using Relational Algorithms	Art
Uprichard y Dawney	2016	Data Diffraction: Challenging Data Integration in Mixed Methods Research	Art
Zhou y Wu	2020	Reported Methodological Challenges in Empirical Mixed Methods Articles: A Review on JMMR and IJMRA	Art
*Tipo: Art = Artículo, Ed = Editorial, Cap = Capítulo de libro. Nota: elaboración propia.

En la fase final, se analizaron los documentos e identificaron las categorías conceptuales para exponer los resultados coherentes con el objetivo. El 100% de los artículos están redactados en inglés. Referente al año de publicación (Figura 4), el 2020 es el año con más asiduidad con el 22,8%.

Cabe destacar que el 95,5% contienen en el título las palabras “mixed methods” y el 63,6% la raíz integrat* refiriéndose a la integración como integrated, integration o integrative. Acerca del tipo de documento, el 63,6% son artículos, el 18,2% publicaciones de editorial y el 9,1% capítulos de libro.

Figura 4
Número de publicaciones por año
elaboración propia.

En relación al análisis, la primera fase consistió en una ronda en la que cada miembro del equipo realizó dos lecturas en profundidad de los 22 documentos incluidos. Esto se hizo con el fin de identificar dimensiones correlacionadas y poder obtener un mapa asociado a los resultados iniciales derivados de los clústeres mostrados por VOSViewer. Para facilitar el trabajo se creó un documento para simplificar el análisis. En la segunda fase se creo un esquema inicial con categorías que se utilizarían para clasificar y agrupar los contenidos. Para ello se utilizaron criterios inductivos (Mejía, 2011) y de codificación abierta (Strauss y Corbin, 1998). Además, se utilizó el proceso de triangulación a lo largo de sucesivas rondas para incluir, modificar y eliminar repetidamente diferentes categorías para el análisis.

Así pues, los resultados se presentan estructurados mediante cuatro categorías conceptuales en relación a los objetivos específicos del estudio. La primera y la segunda categoría corresponden al primer objetivo específico; investigación educativa y MM y integración de la MM. La tercera categoría con el segundo objetivo específico; equipo de investigación y transferencia. Y, la cuarta categoría con el tercer objetivo específico; retos actuales de la MM. Cabe destacar que, por su magnitud, en la segunda categoría se hallan cinco subcategorías que conceptualizan el proceso de investigación con MM: justificación, diseño, preguntas y objetivos de investigación, métodos de recogida de datos y análisis de datos.

Resultados

Investigación educativa y MM

Los fenómenos educativos se caracterizan por cualidades y cantidades que son contempladas en los métodos de investigación social (Bazeley, 2016). Los estudios realizados en el marco de las ciencias sociales deben seguir una estructura del método lógico-científico donde es imprescindible no utilizar sinónimos referidos a diferentes realidades metodológicas (Anguera et al., 2020). Los fenómenos se definen como sistemas dinámicos, abiertos, emergentes o multidimensionales (Uprichard y Dawney, 2016), así la investigación no puede conceptualizarse en una estricta dimensión (Gobo, 2016). La disparidad de pensamientos, teorías, diseños, análisis de datos o inferencias de resultados enriquecen los fenómenos educativos (Lynam et al., 2019).

La longeva distinción entre la investigación CUAL y CUAN sigue vigente y puede dificultar la integración de ambas partes (Bazeley y Kemp, 2012; Gobo, 2016). Las dos metodologías contribuyen mutuamente durante el proceso, desde el planteamiento del proyecto hasta la generalización analítica de los resultados (Bazeley, 2016). Los diversos hallazgos deben ser aunados para lograr una imagen global del fenómeno. La MM pretende reforzar las ciencias de la educación sin ofrecer una imagen de calma y estabilidad; los cortes en un proyecto de investigación son la clave para acceder a lo que es desordenado, múltiple y difuso (Anguera et al., 2020; Tashakkori et al., 2015; Uprichard y Dawney, 2016).

En la década de los 80 se iniciaron investigaciones mixtas combinando partes CUAL y CUAN. Actualmente, el único potencial de la MM es la integración efectiva el proceso de investigación (Plano-Clark, 2019; Tashakkori et al., 2015), donde ambos enfoques contribuirán a la comprensión del problema (Anguera et al., 2018). Creswell (2015) definió la MM como:

Un enfoque de la investigación en las ciencias sociales, del comportamiento y de la salud en el que el investigador reúne datos cuantitativos (cerrados) y cualitativos (abiertos), los integra y luego extrae interpretaciones basadas en los puntos fuertes. (Anguera et al., 2018, p. 2763).

Fetters (2018) enlazó esta idea con seis ecuaciones (Tabla 3) que describen las características de la MM.

Tabla 3
Definición de MM

adaptado de Fetters (2018).

Tabla 3. Definición de MM
Ecuación	Significado
1 + 1 = 1	La metodología CUAL más la metodología CUAN ofrece una NUEVA metodología.
1 + 1 = 2	Recopilar datos sin contemplar la integración es la suma independiente de las partes. Lo CUAL sumada a lo CUAN consigue resultados independientes.
1 + 1 = 3	La integración ayuda a que el resultado sea mayor que la suma de sus partes, donde investigadores deben buscar un valor añadido.
1 + 1 = 4	Los cuatro tipos de publicación; publicaciones de métodos mixtos empíricos, cualitativos empíricos, empíricos cuantitativos y de MM. Sin embargo, se debe abogar por la cuarta opción de resultados empíricos con aspectos integradores.
1 + 1 = 5	La investigación con MM requiere de equipos de investigación integrados por cinco o más miembros con roles relacionados su experiencia investigadora.
1 + 1 = 	Las innumerables posibilidades de integrar CUAL y CUAN es la grandeza de la metodología.
Nota: adaptado de Fetters (2018).

Qué ocurre si “¿un método capta la oreja del elefante y otro método capta la cola del ratón?” (Uprichard y Dawney, 2016, p. 22). Esta pregunta alude directamente a la inferencia entre la MM y los métodos mixtos o multimétodos. La primera se caracteriza por la unión del conjunto de reglas, conceptos, normas, métodos y ética de la investigación. Los segundos se refieren a la práctica y el producto explícito de la MM, que son orientados por aspectos CUAL y CUAN con polos dominantes (CUAL-cuan, CUAN-cual, CUAN-CUAL, cual-cuan) cuyo nexo radica en atributos mentales no inclusivos entre sí. Los métodos mixtos pueden fracturar el fenómeno, ya que se asume que cada método se identifica con una parte exclusiva del mismo (Anguera et al., 2018; Bazeley, 2018; Tashakkori et al., 2015).

La MM se considera la tercera opción de investigación. Este efecto pragmático se ha utilizado para justificar métodos o responder preguntas multidimensionales (Tashakkori et al., 2015). La distinción entre conceptos debería ser perfectamente clara (Anguera et al., 2018; Bazeley y Kemp, 2012), identificando la integración como el elemento singular de naturaleza social que caracteriza la MM (Lynam et al., 2019; Uprichard y Dawney, 2016).

Integración

El mayor potencial al que puede llegar la MM es la integración efectiva de las perspectivas CUAL y CUAN (Archibald et al., 2015; Plano-Clark, 2019). La integración se entiende como un proceso que abarca toda la investigación, desde el diseño del estudio hasta la interpretación de resultados (Akerblad et al., 2021; Guetterman et al., 2020) donde los aspectos CUAL y CUAN dialogan entre sí (Plano-Clark, 2019).

Fetters y Molina-Azorin (2017) plantearon la trilogía de la integración compuesta por filosofía, metodología y métodos. La conceptualización global se ve interpretada por rasgos concretos de investigación. Si cada dimensión se considera por separado, la deficiente integración en una de ellas podría repercutir en las demás (Zhou y Wu, 2020). No siempre es efectivo integrar, la naturaleza del estudio debe propiciar la integración de las partes inter e intrarrelacionadas dimensionalmente (Uprichard y Dawney, 2016).

Fetters et al. (2013) propusieron tres niveles de integración. El primero referido al diseño -exploratorio secuencial, explicativo secuencial y convergente- con cuatro marcos -etapas múltiples, intervención, estudio y participación. El segundo, que corresponde a los métodos con actos como conectar, construir, fusionar e incrustar. El tercero identifica la interpretación y la transferencia con la narrativa, la transformación de datos y la visualización conjunta.

Plano-Clark (2019) estableció cuatro estrategias de integración que responden a formular preguntas integrativas con métodos mixtos, alinear los datos CUAL y CUAN, identificar los puntos de integración y elaborar interpretaciones conjuntas mixtas. Así se ayuda a los lectores a entender por qué, qué, cuándo y cómo es la investigación (Schoonenboom y Johnson, 2017).

Si la integración es plena, se produce un nuevo producto único con estatus de igualdad metodológica (Anguera et al., 2020; Gobo, 2016). Bazeley y Kemp (2012) propusieron estrategias complementarias donde se combinan para completar y detallar un conjunto de hallazgos, y estrategias generativas con el intercambio interactivo durante el inicio del proceso mediante la exploración. El producto será algo que no podría haberse logrado sin esa integración. La integración efectiva valora la ilustración del proyecto, la validación convergente de resultados y la densidad analítica del investigador (Fielding, 2012). Desde esta perspectiva, se concibe como un proceso relacional y generativo más que un proceso logístico para mezclar métodos (Tunarosa y Glynn, 2017). Fetters y Molina-Azorin (2017) ampliaron las dimensiones de la integración (Tabla 4).

La integración requiere de la reflexión sobre la naturaleza del fenómeno y del análisis del problema, así como del grado de inclusión, relacionándolo con el grado de flexibilidad, la formación del equipo de investigación y las técnicas o métodos (Akerblad et al., 2021; Bazeley y Kemp, 2012; Fielding, 2012; Guetterman et al., 2020).

Justificación

Existen múltiples explicaciones que justifican la MM. Bryman (2007) analizó 232 artículos mixtos de diferentes disciplinas de las ciencias sociales. Las justificaciones no siempre se correspondían con las prácticas: solo el 4,3% indicaban que la investigación había sido diseñada para responder a preguntas de investigación CUAL y CUAN. La principal barrera era la publicación de artículos con hallazgos mixtos y, por consiguiente, la falta de entendimiento de las editoriales sobre la reflexividad de los investigadores (Gobo, 2016).

Tabla 4
Integración en la MM

adaptado de Fetters y Molina-Azorin (2017)

Tabla 4. Integración en la MM
Dimensión	Significado
Filosofía	La orientación en principios y filosofías (pragmatismo, realismo crítico, postmodernismo, etc.).
Teoría	Los marcos teóricos amplios (teoría feminista, teoría de la justicia social) o de rango medio (modelo de creencias sobre la salud, teoría cognitiva social, teoría ecológica, etc.).
Equipo de investigación	El equipo de investigación está formado por personas de disciplinas distintas -CUAL, CUAN y mixta- que favorece la calidad.
Justificación	La justificación debe exponer por qué se lleva a cabo un estudio (comparar los puntos fuertes y débiles, complementar, ampliar, construir, etc.).
Objetivos y preguntas de investigación	Los objetivos CUAL y CUAN deben relacionarse con preguntas de investigación CUAL y CUAN.
Diseño	El trabajo debe construirse mediante diseños básicos -explicativos secuenciales, exploratorios secuenciales o convergentes-, avanzados - intervención, estudio de casos, evaluación o participación- o emergentes.
Recogida de datos	La recogida de datos debe relacionarse con procedimientos como comparar, difractar, construir, conectar, generar, validar, etc.
Análisis de datos	El análisis puede ser intra-modelo y/o comparando análisis avanzados (transformación de datos CUAL a CUAN, CUAN a CUAL, visualizaciones conjuntas, redes sociales, comparativo CUAL, mapeo de sistemas, etc.)
Interpretación	La interpretación de los resultados (metainferencias o conclusiones de interpretación de datos CUAL y CUAN) va acompañado del ajuste de dos tipos de datos (complementariedad, confirmación, ampliación, discordancia). Si entran en conflicto, hay que utilizar procesos como conciliar, iniciar o excluir.
Difusión	La intrapublicación realza los resultados. En una publicación se debe incluir la integración de resultados. La interpublicación puede referirse a cualquier combinación de publicaciones; CUAL, CUAN y/o mixta.
Integridad de la investigación	La integridad se debe argumentar sea cual sea la composición del plan (validez, fiabilidad y legitimación).
Nota: adaptado de Fetters y Molina-Azorin (2017).

Archibald et al. (2015) concluyeron que el 52% de los artículos empíricos justificaban claramente la MM. La justificación más común fue el desarrollo (21%), seguida de la complementariedad (14%). Triangular se empleó más que expandir, ya que un 66% eran estudios secuenciales por lo que se desarrollaron con distintos métodos sin previa vinculación. Dupin y Borglin (2020) hallaron que la verificación y la confianza en los datos eran las justificaciones más destacadas, ya que promueven el nivel teórico explicativo de los resultados. Lynam et al. (2019) justificaron la integración con el aumento de probabilidad de lograr resultados sociales en diferentes contextos. Sin embargo, la gran mayoría de artículos no informaron sobre las preguntas de investigación, ni tampoco sobre las técnicas utilizadas.

Las justificaciones más comúnmente aceptadas de la integración son (Doyle et al., 2016):

• Triangulación/Convergencia: los resultados se corroboran mutuamente con enfoques CUAN y CUAL.

• Expansión: en la primera fase se detectan resultados que requieren ser explicados.

• Exploración: en la primera fase se requiere de instrumentos u observaciones para identificar variables y/o desarrollar hipótesis.

• Completitud: la descripción más completa y exhaustiva del fenómeno.

• Comprensión de debilidades: se minimizan las debilidades de cada método.

• Diversidad de preguntas de investigación: en la primera fase se plantean preguntas CUAN, CUAL o mixtas.

• Ilustración: los resultados CUAL iluminan los CUAN.

El concepto de triangulación es una de las justificaciones más utilizadas y quizás la más explotada. El uso histórico del término se halla en 1959 en un artículo de Campbell y Fiske, que propusieron una matriz de correlación multirasgo-multimétodo para evaluar la validez del estudio con una diagonal de fiabilidad. Fueron Webb et al. (1966) quienes, por primera vez, utilizaron el concepto de triangulación, refiriéndose a dos o más confirmaciones independientes del proceso. Se popularizó con los estudios cualitativos de Denzin (1970, 1978). En 1989, el autor declaró que no era suficiente mezclar técnicas y métodos para validar el estudio. Entrado el nuevo milenio, Kelle (2001) presentó el término mencionando que “no representa un único concepto metodológico integrado, sino una metáfora con un amplio campo semántico” (p. 1). Identificó tres tipologías de triangulación; validación mutua, integración de perspectivas y el significado trigonométrico original. Sin embargo, Creswell et al. (2004) expusieron que la mayoría de trabajos que justificaban la MM por triangulación organizaban las publicaciones mediante la separación de métodos (Bazeley y Kemp, 2012; Tonon, 2019).

Diseño de la investigación

Los diseños de investigación con MM se conceptualizan en: secuenciales exploratorios, secuenciales explicativos, mixtos paralelos y convergentes (Fetters et al., 2013; Tashakkori et al., 2015). Estos deben tener al menos un punto de integración (Plano-Clark, 2019). Sin embargo, se hallan estudios que van más allá de dichos diseños básicos, emergiendo diseños híbridos, complejos o totalmente integrados que proporcionan más información, considerándose como una nueva categoría (Schoonenboom y Johnson, 2017; Tashakkori et al., 2015).

Schoonenboom y Johnson (2017) propusieron diferentes preguntas para ser consideradas durante la elaboración de un diseño mixto sólido e integrador:

• Fenómeno: ¿el proyecto plantea una o diferentes partes del fenómeno?

• Teoría científica social: ¿el estudio generará una nueva teoría, pondrá a prueba una teoría ya construida o logrará ambas? ¿El investigador está interesado en teoría sustantiva formulada con datos empíricos?

• Métodos: ¿qué métodos CUAL y CUAN se utilizarán y cómo se combinarán?

• Equipo de investigación: ¿cuán heterogéneo es el equipo de investigación?

• Validez: ¿qué criterios de validez se contemplarán para la defensa y las conclusiones del estudio?

• Completitud del estudio: ¿habrá un estudio o más de uno? ¿Cómo se estructurará el plan de investigación?

En los diseños secuenciales una fase de investigación se basa en otra (Fetters et al., 2013) e indican dos puntos de integración; uno, entre la primera y segunda fase y, otro, en la finalización de la segunda (Plano-Clark, 2019). Estos diseños predicen ciertos resultados antes de iniciar una fase del estudio (Tashakkori et al., 2015).

Se hallan dos tipos de diseños secuenciales (Figura 5): explicativos y exploratorios. Los primeros consisten en la amplitud de una fase CUAN seguida de una fase más corta CUAL, que depende de los resultados de la primera (Doyle et al., 2016; Fetters et al., 2013; Plano-Clark, 2019). En cambio, en los secuenciales exploratorios, primero se recogen y analizan datos CUAL cuyos resultados sirven para elaborar la recogida de datos CUAN (Fetters et al., 2013; Plano-Clark, 2019), que ayuda a evaluar y probar un instrumento o generar resultados nuevos para ampliar la población (Doyle et al., 2016).

Figura 5
Diseños mixtos secuenciales
elaboración propia.

En los mixtos paralelos hay independencia de metodologías durante las fases, sea de manera concurrente o con desfase temporal (Doyle et al., 2016). Los resultados no dependen unos de otros y la investigación se caracteriza por la flexibilidad. El punto de integración se halla en la fase final (Tashakkori et al., 2015).

Los diseños convergentes o de triangulación concurrente parten de una pregunta de investigación global. La recogida de datos CUAL y CUAN se realiza de forma simultánea y paralela para fusionar las fases (Figura 6). Los hallazgos de una fase no son dependientes de otra y se fusionan la interpretación de resultados. La barrera de este diseño se encuentra cuando los resultados son divergentes (Doyle et al., 2016; Fetters et al., 2013; Plano-Clark, 2019).

Figura 6
Diseños mixtos convergentes
Elaboración propia.

Los diseños totalmente integrados son una combinación de los anteriores. La principal característica es el dinamismo y la interacción de la fusión. La integración es la premisa que configura un diseño sólido. Los diseños serán complejos y/o creativos según el transcurso del proceso (Tashakkori et al., 2015). Además, es importante contemplar los diseños básicos para construir los propios que ayuden a responder las preguntas de investigación (Plano-Clark, 2019).

La integración favorece el descubrimiento de componentes emergentes. Los investigadores deben incluir y adherir los resultados imprevistos que, a priori, no habían sido contemplados (Schoonenboom y Johnson, 2017). No se trata de transgredir el método científico, se trata de entender que los datos pueden hacer vulnerables a los investigadores y las preguntas de investigación pueden dar la vuelta al objetivo del estudio (Uprichard y Dawney, 2016).

Preguntas y objetivos de investigación

Las preguntas están relacionadas con la tipología de investigación. Si el enfoque aúna características de la MM es necesario que la pregunta de investigación integre aspectos CUAL y CUAN (Doyle et al., 2016). Resulta imprescindible comprender que las preguntas son de naturaleza flexible y varian con las observaciones del contexto y con los datos emergentes (Akerblad et al., 2020). Asimismo, los objetivos pueden ser CUAL, CUAN o mixtos vinculados con la fusión de métodos (Bazeley, 2016; Bazeley, 2018; Fetters y Molina-Azorin, 2017).

Tashakkori et al. (2015) propusieron una pregunta de investigación que ilustra la integración: “¿cómo contribuyen los dos conjuntos de respuestas a una comprensión global del fenómeno?” (p. 620), cuestión que está vinculada a la naturaleza integrativa de la investigación. En cambio, una pregunta explícita podría ser: “¿cuáles son las percepciones y las construcciones de los participantes de los grupos A y B respecto al método de enseñanza X y su impacto?” (p. 620). Las preguntas de investigación con enfoques integradores son multifacéticas e incluyen el qué, cómo y por qué para estudiar el comportamiento de los fenómenos.

Cuando coexisten distintas preguntas que tienen correspondencias directas hacia una u otra metodología se puede detectar que la integración no se contempla como premisa (Anguera et al., 2020; Guetterman et al., 2020; Plano-Clark, 2019). De hecho, las preguntas diseñadas para responder cuestiones explícitas y no integradas son las más predominantes en MM (Gobo, 2016).

Métodos y recogida de datos

En los inicios de la MM, la integración de métodos tendía a ser jerarquizada con subordinación de un método respecto a otro. Es decir, los métodos CUAL eran un complemento de los métodos CUAN (Tunarosa y Glynn, 2017). Actualmente, se considera que la intersección de métodos es crucial para integrar datos y crear un diálogo en las conclusiones e inferencias (Fielding, 2012).

La integración de métodos está vinculada al diseño del estudio. Esto se establece según: a) la conexión, donde un conjunto de datos se vincula con otro a través del muestreo, b) la construcción, donde un conjunto de datos informa sobre el enfoque de recogida de datos posterior, c) la fusión, donde dos conjuntos de datos se fusionan para su análisis, y d) la incrustación, donde la recogida y el análisis de los datos se fusionan en diversos puntos. La integración puede producirse por una o varias de las fusiones anteriores (Fetters et al., 2013; Plano-Clark, 2019).

La validez inherente a los métodos determina la eficacia de la integración (Fielding, 2012). Vinculado a ello, la integración de datos es de las tareas más difíciles en la MM (Zhou y Wu, 2020) y la más descuidada (Fielding, 2012). La naturaleza ontológica de lo social requiere que se integren datos para obtener enfoques más difractados del fenómeno (Plano-Clark, 2019) donde la reducción, la transformación y la comparación se contempla como un proceso gradual (Uprichard y Dawney, 2016).

Los investigadores deben recoger datos CUAL y CUAN o la convergencia de uno como estrategia analítica del otro referida a una estrategia intermétodo. También, los datos pueden ser recopilados con un único método, como los cuestionarios con preguntas abiertas, relacionándose con una estrategia intramétodo (Tashakkori et al., 2015). Fetters et al. (2013) detallaron la evaluación del ajuste de la integración de datos mediante:

• Confirmación: las conclusiones de ambos tipos de datos confirman resultados de otra recogida de datos.

• Ampliación: las conclusiones de los datos divergen y ayudan a la comprensión des de diferentes enfoques.

• Discordancia: los hallazgos CUAL y CUAN son contradictorios, incoherentes o discrepantes entre sí.

La integración de datos ofrece la opción de ir más allá de lo que históricamente se había contemplado (Bazeley y Kemp, 2012). El supuesto implícito de la MM es que, “siempre que los resultados de dos o más métodos se reúnan de forma adecuada o suficiente, podremos profundizar en una verdad más verdadera del objeto” (Uprichard y Dawney, 2016, p. 25).

Si se pretende realizar un muestreo mixto, se deben contemplar cuatro estrategias de muestreo. La estrategia idéntica responde a la recogida de datos CUAL y CUAN durante todo el estudio. En la estrategia añadida, los datos CUAN se recolectan de una muestra mayor y los CUAL se recogen de un subgrupo muestral. En la estrategia separada, un grupo muestral sirve para un tipo de datos y se selecciona otro grupo similar en rasgos sociodemográficos para el siguiente tipo de datos. Y, por último, la estrategia multinivel donde diferentes niveles sociales informan de manera separada (Fetters y Molina-Azorin, 2017).

La verdadera distinción entre metodologías no es la diferencia entre lo numérico y lo textual, sino entre la comprensión del mundo mediante variables y correlaciones y la comprensión del mundo mediante acontecimientos e interacciones. Ambos puntos de vista son esenciales para entender el fenómeno social (Fielding, 2012), contemplando la imprevisibilidad que puede acontecer durante la integración de métodos y datos en la MM (Arkeblad et al., 2020).

Análisis de datos

El pensamiento analítico integrador del investigador es necesario para visualizar los datos y poder interpretar lo CUAL y CUAN conjuntamente (Plano-Clark, 2019). Es la forma de ampliar y entender la completitud del fenómeno que se vincula con múltiples aspectos regidos por diferentes teorías (Tashakkori et al., 2015). Es el paso crucial para contribuir a la calidad de la investigación, ya que la integración desarrolla aspectos interdependientes de diferentes perspectivas, generando la estimulación de hipótesis complexas con relación al fenómeno social (Dupin y Borglin, 2020). Fetters et al., (2013) describieron el ajuste de datos como la coherencia de los resultados CUAL y CUAN.

¿Cómo vería otra persona los mismos hallazgos? Esta es la pregunta que emerge del análisis de datos mixtos. A priori, suele seguir una estructura inicial con codificación de datos, creación de categorías conceptuales, dimensión de las categorías en variables, realización de análisis estadísticos y creación de la línea argumental a partir de los resultados (Guetterman, 2020).

El análisis se clasifica en; a) análisis intramétodo, el cual considera vínculos y contrastes de cada grupo de datos por separado, b) análisis de fusión básica, que considera vínculos a través de datos y c) análisis de fusión avanzada, utilizando procedimientos complejos con software para vincular e interceptar datos (Fetters y Molina-Azorin, 2017). Se puede realizar análisis comparativo con matrices, valores en escalas cuantitativas o convertir la codificación CUAL en tablas de casos o en matrices de similitud (análisis exploratorios de conglomerados, correspondencia o multidimensional) (Bazeley, 2016).

Equipo de investigación y transferencia

Los equipos de investigación que plantean estudios con MM se identifican como eclécticos e integradores con una visión pragmática y cíclica del mundo social. Suelen tener un potencial diferenciador en la creación de conocimiento y en la innovación científica. La mentalidad abierta y reflexiva, la interpretación holística y el rechazo al posicionamiento extremo fomentan la integración (Akerblad et al., 2021; Fetters y Molina-Azorín, 2017; Lynam et al., 2019; Tashakkori et al., 2015; Tonon, 2019).

Se han manifestado dudas referentes a que un solo investigador examine a través de múltiples lentes. Por ello, se requiere de un equipo de investigación para llegar al núcleo de la integración (Tashakkori et al., 2015). Las experiencias personales y profesionales de todos los investigadores llevan a conclusiones significativas para dar sentido al fenómeno educativo. La integración del equipo de investigación se define como la creación orquestada de un equipo de profesionales que trabajan para lograr la eficacia de la investigación a partir de diversos métodos de origen (Akerblad et al., 2021; Fetters y Molina-Azorin, 2017).

Parafraseando a Anguera et al. (2018), la formación específica en metodología es imprescindible para adecuar el diseño mixto. La eficacia de la integración en todas sus vertientes, así como la toma de decisiones tanto analíticas como críticas ayudan a afrontar el posible desorden de la MM (Akerblad et al., 2021; Tunarosa y Glynn, 2017).

Por otro lado, la transferencia del conocimiento es la principal contribución que el equipo de investigación puede aportar. En términos generales es el grado de aplicabilidad y generalización de las conclusiones a otras personas o entidades -transferibilidad poblacional-, a otros contextos -transferibilidad ecológica-, a otros periodos de tiempo -transferibilidad temporal-, a otros métodos -transferibilidad operativa- o a otras subpoblaciones -transferibilidad de complejidad (Tashakkori et al., 2015). El nivel de interpretación y transferencia se clasifica en: la integración a través de la narración, a través de la transformación de datos y a través de la visualización conjunta (Fetters et al., 2013).

La revisión por pares es un mecanismo integrador en el momento que se comprende que una publicación forma parte de un conjunto integrado (Lynam et al., 2019). El estudio de Archibald et al. (2015) concluyó que solo un 2% de publicaciones en revistas científicas son estudios mixtos integradores, contemplando que el 14% indicaban en el título el concepto de MM.

Cabe recordar que la calidad de la investigación viene determinada por los criterios de evaluación de los componentes CUAL, CUAN e integrados, así como la consistencia y coherencia entre los elementos del diseño, la validez del constructo y las inferencias de los investigadores (Tashakkori et al., 2015; Zhou y Wu, 2020).

Retos de la MM

Actualmente, existen tres retos importantes en la MM. El primero se identifica con las fuerzas divisorias del debate CUAL-CUAN que limita la innovación científica (Bazeley y Kemp, 2012; Lynam et al., 2019). El uso de la terminología de MM ha de ser reforzada para avanzar en el conocimiento de las ciencias de la educación metodológica y conceptualmente (Anguera et al., 2018; Tonon, 2019). Los investigadores deben reconocer que los fenómenos contienen elementos inherentes CUAL y CUAN que precisan ser analizados e interpretados (Bazeley, 2016).

El segundo reto es la integración efectiva durante la investigación. Ello requiere aprender métodos, procedimientos y técnicas que tradicionalmente se han identificado como CUAL o CUAN (Archibald et al., 2015; Tashakkori et al., 2015). Los investigadores deben identificar su posición teórica, técnica y metodológica para no imponer un punto de vista estricto y poder flexibilizar la investigación (Tonon, 2019). La integración va más allá del mero uso de datos CUAL y CUAN, ya que requiere de diferentes perspectivas teóricas para un mismo estudio (Akerblad et al., 2020). Debe ser útil para ser tratada y proporcionar soluciones para los problemas sociales (Lynam et al., 2019). Para ello, la formación del equipo de investigación debe enfocarse al uso de métodos, a la organización, a las estrategias aplicadas al contexto o a la transferencia de resultados integrados (Archibald et al., 2015; Bazeley, 2016; Fetters et al., 2013; Tonon, 2019). Pues, las conceptualizaciones marcadas y rígidas del investigador que contraponen la MM hacen que la integración se convierta en una barrera (Tunarosa y Glynn, 2017). El tercer reto trata el debate sobre la calidad de la investigación con MM. Los criterios de evaluación se hallan separados según lo CUAL y lo CUAN, lo cual puede eclipsar la naturaleza de la MM (Fetters et al., 2013; Plano-Clark, 2019; Zhou y Wu, 2020).

Discusión y conclusiones

Interpretación de los resultados

Al analizar las investigaciones empíricas que acercan la MM como potenciadora del proceso de investigación en educación, se evidencia que los principales resultados sitúan el mayor potencial de la MM en la integración efectiva durante todo el proceso de investigación de los aspectos CUAL y CUAN (Creswell y Plano, 2018; Fetters, 2020; Ivankova, 2014). Plantear estrategias integradoras es entender la investigación como un proceso proactivo que no solo implica reunir partes CUAL y CUAN, sino que se debe reconocer la construcción del proceso mediante relaciones activas y reflexivas con variedad de interrelaciones (Akerblad et al., 2021).

El equipo de investigación debe proporcionar un proceso generativo y global, dejando atrás las concepciones identificativas de cada metodología. En efecto, se trata de fenómenos caracterizados por una naturaleza cambiante afectada por infinitas variables abiertas que no pueden ser obviadas, como indica el estudio de Kallemeyn et al. (2020) sobre la teoría de la complejidad en los estudios de métodos mixtos del ámbito de la educación.

Esta investigación muestra que la integración debe plantearse desde la justificación de la investigación hasta la capacidad de transferencia del equipo de investigación, el cual debe estar formado por investigadores que trabajen conjuntamente para integrar los diseños, los métodos y los análisis, resultados coincidentes con Akerblad et al. (2021) y Fàbregues et al. (2021). Concretamente, la validez de los métodos repercute en la eficacia de la investigación (Fielding, 2012), siempre que los resultados se fusionen e interpreten de manera integrada. En este sentido, Coates (2021), mediante una revisión sistemática, descubrió que solo el 7,9% de artículos con métodos mixtos en el campo educativo presentaban argumentación sobre el método de investigación. Sin embargo, Gutiérrez-Braojos et al. (2020) detallan que el 72% de los artículos analizados en una revisión sistemática sobre Knowlegde Building se han diseñado combinando enfoques CUAL y CUAN.

El pensamiento analítico del investigador es el paso crucial para integrar eficazmente. A pesar de que diferentes estudios, como los recogidos en Guetterman et al. (2020), plantean modelos para un proceso de integración eficaz que presentan relevantes retos en términos de rigurosidad, como muestra el estudio de Harrison et al. (2020) que analiza las publicaciones de seis revistas y concluye que el 9,7% de los artículos eran parcial y altamente rigurosos, mientras que el 65,6% revelaban bajo grado de rigor.

Actualmente, se requiere un cambio de perspectiva, en vez de justificar por qué es necesario un enfoque con MM, se debería argumentar porque no utilizar un enfoque integrado (Fetters y Molina-Azorin, 2020). Esto se adhiere a los retos que plantea la evaluación crítica en términos de rigurosidad de los artículos con MM y a la discusión emergente sobre los delimitadores de los criterios de integración en estudios con MM (Johnson et al., 2007; Nha y Pluye, 2018).

Limitaciones

En este estudio se reconocen tres limitaciones. La primera se vincula al método propio de estudio, debido a que se han delimitado criterios de exclusión de documentos con el objetivo de incidir expresamente en las palabras clave metodología mixta e integración.Ello puede contribuir a la exclusión de artículos pertenecientes a las ciencias de la educación que utilicen la MM no como un fin, sino como un medio. Como propuesta futura, se invita a analizar explícitamente las investigaciones con MM como método para obtener resultados en las ciencias de la educación.

La segunda se halla en la delimitación temporal de la búsqueda. Se propuso analizar las investigaciones más recientes acotadas des del 2011 hasta el 2021. Pues, abriendo el intervalo de publicación se podría hacer un recorrido histórico más exhaustivo sobre la evolución de la MM.

Por último, se desprende una limitación relativa a la identificación de publicaciones con contenido teórico de MM en el ámbito nacional. A pesar de ello, hay multitud de documentos que utilizan la MM como proceso de investigación. Emerge la necesidad de establecer bases teóricas comunes en el territorio para acercar a los investigadores nacionales estrategias claras de integración de los aspectos CUAL y CUAN.

Conclusión

La investigación en ciencias de la educación comprende fenómenos complejos, dinámicos y multidimensionales que requieren ser abordados desde diferentes perspectivas metodológicas. Si bien desde hace varias décadas se debate sobre los posicionamientos de la MM, ¿en qué punto nos encontramos actualmente? Esta revisión sistemática de la literatura pone de manifiesto no solo las aplicaciones de la MM, sino su potencial para analizar un fenómeno educativo y propone elementos para integrar eficazmente lo CUAL y lo CUAN.

Aun así, se concluye que los investigadores deben entender la investigación como proceso generativo y global, dejando atrás las concepciones identificativas de cada metodología. La investigación en educación ha avanzado exponencialmente durante las últimas décadas. Sin embargo, aspectos referidos a la composición, la organización o los roles dentro de los equipos de investigación no han sido contemplados profundamente. Es necesario crear equipos interdisciplinares donde cada uno de sus miembros proyecte un paradigma abierto y flexible perteneciente a su especialidad para poder ser integrado con otro. Esta fusión tanto de investigadores como creencias y paradigmas es el principal hito para alcanzar una investigación efectiva.

Por otro lado, la ética de la investigación se promueve a partir del conocimiento de la naturaleza del fenómeno y de la propia ética del equipo de investigación. Es un requisito abogar por la formación en investigación, sobretodo, en investigadores noveles. El paradigma ontológico y epistemológico o la práctica reflexiva invita a los investigadores a analizar su potencial, así como a justificar el uso de la MM.

La integración se debe plantear desde la justificación hasta la transferencia de la investigación. La validez de los métodos repercute en la eficacia del proyecto siempre que los resultados se interpreten de manera integrada mediante el pensamiento analítico, ya que es el paso crucial para llegar a la cima de la MM.

Las fuerzas divisorias aun existentes entre los equipos de investigación CUAL y CUAN, la integración efectiva del proceso de investigación o el debate sobre la calidad de la investigación evidencian retos actuales y la necesidad de articular unas bases consolidadas para que toda la comunidad científica contemple la validez, la calidad y la eficacia de la MM.

Agradecimientos

Esta publicación cuenta con la financiación del Ministerio de Universidades a través del programa de Formación del Profesorado Universitario (FPU19-02941).

Referencias

Akerblad, L., Seppänen-Järvelä, R. y Haapakoski, K. (2021). Integrative Strategies in Mixed Methods Research. Journal of Mixed Methods Research, 1-19. https://doi.org/10.1177/1558689820957125

Anguera, M.T., Blanco-Villaseñor, A., Losada, J.L., Sánchez-Algarra, P. y Onwuegbuzie, A.J. (2018). Revisiting the difference between mixed methods and multimethods: Is it all in the name? Quality & Quantity, 52(6), 2757-2770. https://doi.org/10.1007/s11135-018-0700-2

Anguera, M.T., Blanco-Villaseñor, A., Jonsson, G.K., Losada, J.L. y Portell, M. (2020). Editorial: Best Practice Approaches for Mixed Methods Research in Psychological Science. Frontiers in Psychology, 11, 590131. https://doi.org/10.3389/fpsyg.2020.590131

Archibald, M.M., Radil, A.I., Zhang, X. y Hanson, W.E. (2015). Current mixed methods practices in qualitative research: A content analysis of leading journals. International Journal of Qualitative Methods, 14(2), 5-33. https://doi.org/10.1177/160940691501400205

Bazeley, P. (2016). Mixed or merged? Integration as the real challenge for mixed methods. Qualitative Research in Organizations and Management: An International Journal, 11(3), 189-194. https://doi.org/10.1016/j.cedpsych.2019.01.007

Bazeley, P. (2018). ‘‘Mixed methods in my bones’’: Transcending the qualitative-quantitative divide. International Journal of Multiple Research Approaches, 10(1), 334-341. https://doi.org/10.29034/ijmra.v10n1a22

Bazeley, P. y Kemp, L. (2012). Mosaics, Triangles, and DNA: Metaphors for Integrated Analysis in Mixed Methods Research. Journal of Mixed Methods Research, 6(1), 55-72. https://doi.org/10.1177/1558689811419514

Borglin, G. (2015). The value of mixed methods for researching complex interventions. En D.A. Richards e I. Rahm (Ed.), Complex Interventions in Health An overview of research methods (pp. 29-45). Routledge.

Coates, A. (2021). The prevalence of philosophical assumptions described in mixed methods research in education. Journal of Mixed Methods Research, 15(2), 171-189. https://doi.org/10.1177/1558689820958210

Codina, L. (2018). Revisiones bibliográficas sistematizadas. Procedimientos generales y Framework para Ciencias Humanas y Sociales. Universidad Pompeu Fabra.

Creswell, J.W. (2015). A Concise Introduction to Mixed Methods Research. Sage.

Creswell, J.W. y Plano, V.L. (2018). Designing and conducting mixed methods research. Sage.

Doyle, L., Brady, A.M. y Byrne, G. (2016). An overview of mixed methods research–revisited. Journal of Research in Nursing, 21(8), 623-635. https://doi.org/10.1177/1744987116674257

Dupin, C.M. y Borglin, G. (2020). Usability and application of a data integration technique (following the thread) for multi and mixed methods research: A systematic review. International Journal of Nursing Studies, 108, 103608. https://doi.org/10.1016/j.ijnurstu.2020.103608

Fàbregues, S., Molina-Azorin, J.F. y Fetters, M.D. (2021). Virtual Special Issue on “Quality in Mixed Methods Research”. Journal of Mixed Methods Research, 15(2), 146-151. https://doi.org/10.1177/15586898211001974

Fetters, M.D. (2018). Six Equations to Help Conceptualize the Field of Mixed Methods. Journal of Mixed Methods Research, 12(3), 262-267. https://doi.org/10.1177/1558689818779433

Fetters, M.D. (2020). The mixed methods research workbook: Activities for designing, implementing, and publishing projects. Sage.

Fetters, M.D. y Molina-Azorin, J.F. (2017). The Journal of Mixed Methods Research Starts a New Decade: The Mixed Methods Research Integration Trilogy and Its Dimensions. Journal of Mixed Methods Research, 11(3), 219-307. https://doi.org/10.1177/1558689817714066

Fetters, M.D. y Molina-Azorin, J.F. (2020). Utilizing a Mixed Methods Approach for Conducting Interventional Evaluations. Journal of Mixed Methods Research, 14(2), 131-144. https://doi.org/10.1177/1558689820912856

Fetters, M.D., Curry, L.A. y Creswell, J.W. (2013). Achieving Integration in Mixed Methods Designs-Principles and Practices. Health Service Research, 48, 2134-2156. https://doi.org/10.1111/1475-6773.12117

Fielding, N.G. (2012). Triangulation and Mixed Methods Designs: Data Integration With New Research Technologies. Journal of Mixed Methods Research, 6(2), 124-136. https://doi.org/10.1177/1558689812437101

Gobo, G. (2016). Why "merged" methods realize a higher integration than "mixed" methods: a reply. Qualitative Research in Organizations and Management, 11(3), 119-208. https://doi.org/10.1108/QROM-07-2016-1392

Guetterman, T.C., Molina-Azorin, J.F. y Fetters, M.D. (2020). Virtual Special Issue on "Integration in Mixed Methods Research". Journal of Mixed Methods Research, 14(4), 430-435. https://doi.org/10.1177/1558689820956401

Gutiérrez-Braojos, C., Montejo-Gámez, J., Poza, F. y Marín-Jiménez, A. (2020). Evaluación de la investigación sobre la pedagogía Construcción de Conocimiento: un enfoque metodológico mixto. RELIEVE, 26(1), art. 6. http://doi.org/10.7203/relieve.26.1.16671

Harrison, R.L., Reilly, T.M. y Creswell, J.W. (2020). Methodological rigor in mixed methods: An application in management studies. Journal of Mixed Methods Research, 14(4), 473-495. https://doi.org/10.1177/1558689819900585

Ivankova, N.V. (2014). Implementing quality criteria in designing and conducting a sequential QUAN QUAL mixed methods study of student engagement with learning applied research methods online. Journal of Mixed Methods Research, 8(1), 25-51. https://doi.org/10.1177/1558689813487945

Johnson, R.B., Onwuegbuzie, A.J. y Turner, L.A. (2007). Toward a Definition of Mixed Methods Research. Journal of Mixed Methods Research, 1(2), 112-133. https://doi.org/10.1177/1558689806298224

Kallemeyn, L.M., Hall, J.N. y Gates, E. (2020). Exploring the relevance of complexity theory formixed methods research. Journal of Mixed Methods Research, 14(3), 288-304. https://doi.org/10.1177/1558689819872423

Littell, J.H., Corcoran, J. y Pillai, V. (2008). Systematic reviews and meta‐analysis. Oxford University Press.

Lynam, T., Damayanti, R., Titaley, C.R., Suharno, N., Bradley, M. y Krentel, A. (2019). Reframing Integration for Mixed Methods Research. Journal of Mixed Methods Research, 14(3), 336-357. https://doi.org/10.1177/1558689819879352

Mejía, L. (2011). Problemas centrales del análisis de datos cualitativos. Revista Latinoamericana de Metodología de la Investigación Social, 1, 47–60.

Moher, D., Liberati, A., Tetzlaff, J. y Altman, D.G. (2009). Preferred reporting items for systematic reviews and meta-analyses: the PRISMA statement. PLoS Med, 21(6). https://doi.org/10.1371/journal.pmed.1000097

Morse, J.M. (2009). Mixing Qualitative Methods. Qualitative Health Research, 19(11), 1523-1524. http://doi.org/10.1177/1049732309349360

Morse, J.M. y Cheek, J. (2014). Making room for qualitatively-driven mixed-method research. Qualitative Health Research, 24, 3-5. http://doi.org/10.1177/1049732313513656

Nha, Q. y Pluye, P. (2018). A conceptual Framework for Critical Appraisal in Systematic Mixed Studies Reviews. Journal of Mixed Methods Research, 13(4), 446-460. https://doi.org/10.1177/1558689818770058

Page, M.J. et al. (2021). The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. Systematic Reviews, 10(89). https://doi.org/10.1186/s13643-021-01626-4

Petticrew, M. y Roberts, H. (2006). Systematic reviews in the social sciences. A practical guide. Blackwell Publishing.

Plano-Clark, V.L. (2019). Meaningful integration within mixed methods studies: Identifying why, what, when, and how. Contemporary Educational Psychology, 57, 106-111. https://doi.org/10.1016/j.cedpsych.2019.01.007

Sale, J.E.M., Lohfeld, L.H. y Brazil, K. (2002). Revisiting the Quantitative-Qualitative Debate: Implications for Mixed-Methods Research. Quality & Quantity, 36, 43-53.

Sanscartier, M.D. (2020). The craft attitude: Navigating mess in mixed methods research. Journal of Mixed Methods Research, 14(1), 47-62. https://doi.org/10.1177/1558689818816248

Schoonenboom, J. y Johnson, R.B. (2017). How to Construct a Mixed Methods Research Design. Kolner Zeitschrift fur Soziologie und Sozialpsychologie, 69, 107-131.https://doi.org/10.1007/s11577-017-0454-1

Strauss, A. y Corbin, J. (1998). Basics of qualitative research. Techniques and procedures for developing grounded theory. SAGE.

Tashakkori, A., Teddlie, C. y Johnson, B. (2015). Mixed Methods. En Wright, J. (Ed.), International Encyclopedia of the Social & Behavioral Sciences (pp. 618-623). ELSEVIER.

Tonon, G. (2019). Integrated methods in research. En Liamputlong, P. (Ed.), Handbook of Research Methods in Health Social Sciences (pp. 681-694). Springer.

Tunarosa, A. y Glynn, M.A. (2017). Strategies of Integration in Mixed Methods Research: Insights Using Relational Algorithms. Organizational Research Methods, 20(2), 224-242. https://doi.org/10.1177/1094428116637197

Uprichard, E. y Dawney, L. (2016). Data Diffraction: Challenging Data Integration in Mixed Methods Research. Journal of Mixed Methods Research, 13(1), 19-32. https://doi.org/10.1177/1558689816674650

Zhou, Y. y Wu, M.L. (2020). Reported Methodological Challenges in Empirical Mixed Methods Articles: A Review on JMMR and IJMRA. Journal of Mixed Methods Research, 1-17. https://doi.org/10.1177/1558689820980212

Notas de autor

sara.bagur@uib.es

Enlace alternativo

https://revistaseug.ugr.es/index.php/RELIEVE/article/view/21053 (html)