Diseños de metodología cuantitativa

Objetivo didáctico

Introducción

La metodología cuantitativa no se define únicamente por utilizar números. Un estudio cuantitativo especifica variables o cantidades de interés, utiliza procedimientos sistemáticos de medición y análisis y construye inferencias cuya fuerza depende del diseño, del muestreo, de la calidad de las mediciones y de los supuestos estadísticos empleados.

Dentro de esta familia, las preguntas pueden ser muy diferentes. Algunas buscan describir una población; otras estimar relaciones; otras contrastar hipótesis; otras evaluar si una intervención produce un cambio. Pretender responderlas con la misma arquitectura metodológica genera errores inferenciales.

Esta diferencia adquiere especial relevancia para la presente asignatura. El anteproyecto acumulativo ha sido construido principalmente para comprender interpretaciones y procesos. L8 no reemplazará esa arquitectura. Utilizará el mismo campo problemático para construir preguntas cuantitativas alternativas y evaluar qué diseño necesitaría cada una.

El criterio rector será: ningún diseño es riguroso en abstracto. Es riguroso en relación con una pregunta, una inferencia y un conjunto explícito de amenazas que el investigador ha intentado controlar, medir o reconocer.

Desarrollo del tema

Experimento: construir una comparación capaz de sostener causalidad

El experimento es especialmente apropiado cuando la pregunta busca estimar el efecto de una intervención manipulable. Su arquitectura clásica incluye una condición de tratamiento, una condición de comparación y una asignación aleatoria a condiciones. La aleatorización busca que, antes de la intervención, las diferencias sistemáticas entre grupos no determinen quién recibe qué condición.

Conviene distinguir desde este momento dos operaciones que suelen confundirse: muestreo aleatorio y asignación aleatoria. El primero se relaciona con cómo las unidades entran desde una población a una muestra y tiene consecuencias para determinadas inferencias poblacionales. La asignación aleatoria distribuye las unidades de la muestra entre condiciones y fortalece la inferencia causal interna. Un estudio puede poseer una sin poseer la otra.

Los estándares actuales del What Works Clearinghouse para investigación educativa distinguen precisamente ensayos controlados aleatorizados y diseños cuasiexperimentales y examinan elementos como asignación, pérdida de casos, equivalencia y otras características que afectan la capacidad de interpretar los resultados como evidencia de una intervención.

Pero un experimento no garantiza automáticamente una inferencia válida. Puede aparecer contaminación entre condiciones, abandono diferencial, incumplimiento del tratamiento, errores de medición o implementación desigual. Además, el diseño puede tener alta capacidad causal interna y muy poca pertinencia para una población, institución o contexto distinto.

Decisión de evaluación: transforma tu campo de investigación en una pregunta causal y responde: ¿qué sería tratamiento?, ¿qué sería comparación?, ¿qué unidad podría asignarse?, ¿sería ética y factible la asignación aleatoria? Si una de estas preguntas no puede responderse razonablemente, el experimento puede no ser la arquitectura adecuada.

Preexperimentos y cuasiexperimentos: el problema del contrafactual

En educación muchas intervenciones no pueden asignarse aleatoriamente. Las instituciones deciden qué plantel adopta un programa, una política se implementa en toda una región o una regla administrativa determina quién recibe una intervención. En estos escenarios aparece la necesidad de diseños preexperimentales o cuasiexperimentales.

Un diseño preexperimental, como un solo grupo medido antes y después, puede documentar un cambio útil para pilotaje o descripción inicial. Su principal limitación es que el cambio observado admite numerosas explicaciones rivales. Durante el mismo periodo pueden cambiar personal, calendario, población estudiantil, instrumentos, normativas o condiciones económicas.

El cuasiexperimento busca construir una comparación más defendible sin depender de asignación aleatoria. Puede utilizar grupos de comparación, series temporales interrumpidas, reglas de corte, implementaciones escalonadas u otras arquitecturas. La pregunta clave es cómo aproxima el contrafactual: qué habría ocurrido con las unidades tratadas en ausencia de la intervención.

El What Works Clearinghouse exige actualmente criterios específicos para valorar estudios cuasiexperimentales, incluyendo la equivalencia de línea base cuando corresponde. Esto evita llamar “cuasiexperimento” a cualquier estudio que simplemente tenga dos grupos no aleatorizados.

Decisión de evaluación: compara tres posibilidades para una intervención de tu ámbito: un grupo antes/después, una comparación no aleatoria y un experimento aleatorizado. Para cada opción identifica la amenaza principal y la inferencia máxima que aceptarías defender.

Ex post facto: estudiar diferencias que ya existen

La denominación ex post facto aparece en la tradición metodológica educativa para describir diseños en los que las condiciones o características ya existen cuando el investigador comienza y no son manipuladas por él. También se utiliza la expresión causal-comparativo, aunque el término debe manejarse con cautela para no prometer causalidad que el diseño por sí solo no establece.

Imagina que algunos estudiantes estuvieron expuestos a un sistema de alerta porque pertenecían a planteles que lo adoptaron con anterioridad. El investigador puede comparar resultados posteriores, pero esa exposición no fue asignada por el estudio. Los planteles o estudiantes podrían diferir previamente en recursos, composición, desempeño o políticas.

El análisis estadístico puede ajustar por características observadas, pero ningún procedimiento transforma mágicamente datos observacionales en un experimento. La calidad de la inferencia depende de la plausibilidad de los supuestos y de qué fuentes de confusión han sido medidas, modeladas o descartadas mediante el diseño.

La consecuencia es terminológica y científica: expresiones como “se asoció con”, “se observó una diferencia” o “la relación persistió después de ajustar por…” pueden ser más defendibles que “produjo” o “causó” cuando el diseño no permite sostener esa afirmación.

Decisión de evaluación: identifica una variable o condición de tu campo que no podrías manipular éticamente. Propón una comparación ex post facto y enumera al menos tres factores previos capaces de explicar la diferencia observada. Después decide qué lenguaje inferencial utilizarías.

Estudios de encuesta: representar una población exige más que obtener respuestas

Las encuestas pueden estudiar opiniones, comportamientos, experiencias o características de poblaciones mediante cuestionarios administrados a una muestra. Su fuerza reside en la posibilidad de obtener información estandarizada y, bajo diseños apropiados, realizar inferencias sobre una población claramente definida.

AAPOR recomienda comenzar preguntando si una encuesta es realmente el método adecuado, definir objetivos específicos, construir un marco muestral, seleccionar la muestra y hacer transparentes las decisiones de recolección y análisis. También distingue muestras probabilísticas y no probabilísticas y advierte que estas últimas requieren especial cuidado analítico y de transparencia.

Una muestra grande no resuelve por sí sola los problemas de cobertura, selección o no respuesta. Diez mil respuestas obtenidas mediante un enlace abierto pueden representar peor a una población que una muestra menor construida mediante un marco probabilístico apropiado. El tamaño determina precisión bajo determinados supuestos; no repara automáticamente sesgos de selección.

La medición introduce además su propia fuente de error. Redacción, orden, opciones de respuesta y modo de administración pueden modificar la forma en que una persona responde. Por ello, el estudio de encuesta debe juzgarse simultáneamente por población, muestra, cuestionario, trabajo de campo y análisis.

Decisión de evaluación: formula una pregunta de encuesta sobre tu campo y especifica población, marco muestral posible, procedimiento de selección y principal fuente de no respuesta. Después explica qué afirmación poblacional sería injustificable con una muestra de conveniencia.

Analizar cuantitativamente no significa buscar un valor p

El análisis cuantitativo comienza con la definición de las cantidades que realmente interesan: medias, proporciones, diferencias, asociaciones, tasas, parámetros de modelos o efectos. Antes de realizar pruebas inferenciales deben examinarse calidad de datos, valores faltantes, distribuciones, casos atípicos y correspondencia entre variables y escalas de medición.

La estadística descriptiva resume el material observado. La inferencial intenta aprender algo que trasciende esas observaciones bajo determinados modelos y supuestos. La elección de una prueba estadística no debe hacerse a partir de una lista de nombres; debe depender de la pregunta, el diseño, la estructura de los datos y la cantidad de interés.

Wasserstein, Schirm y Lazar (2019) advierten contra la reducción de la investigación a la frontera de p < .05. Un valor p no mide la importancia de un resultado ni la probabilidad de que una hipótesis sea verdadera. Interpretar resultados exige atender magnitud, incertidumbre, calidad de medición, diseño y consecuencias sustantivas.

También el tamaño muestral necesita justificación. Lakens (2022) muestra que puede planificarse por potencia, precisión deseada, límites de recursos explícitos u otras lógicas coherentes con la meta inferencial. Utilizar una regla universal sin identificar qué efecto o precisión interesa produce números aparentemente técnicos sin argumento científico.

Tabla 1: Secuencia razonada del análisis cuantitativo.

Decisión de evaluación: selecciona una posible comparación cuantitativa de tu proyecto y especifica qué magnitud estimarías, qué incertidumbre reportarías, qué supuesto sería crítico y qué resultado consideraría sustantivamente importante tu contexto educativo.

Conclusión

Los diseños cuantitativos deben evaluarse por la inferencia que permiten. Un experimento fortalece la atribución causal mediante asignación aleatoria y control de comparación, pero no es viable ni pertinente para cualquier pregunta. El preexperimento puede documentar cambios iniciales, aunque posee una capacidad causal limitada.

El cuasiexperimento ocupa una posición metodológica distinta: intenta construir un contrafactual defendible cuando la aleatorización no es posible. Su rigor depende de cómo maneja selección, equivalencia previa, tendencias temporales y otras amenazas, no de parecerse superficialmente a un experimento.

Los diseños ex post facto permiten estudiar condiciones ya ocurridas, pero obligan a separar con especial cuidado asociación de causalidad. Las encuestas, por su parte, pueden sostener inferencias poblacionales únicamente cuando población, marco, muestra, medición y no respuesta han sido considerados explícitamente.

El análisis estadístico tampoco puede reducirse a decidir si un resultado cruza un umbral. Las estimaciones necesitan magnitud, incertidumbre y una interpretación compatible con el diseño que las produjo.

La consecuencia para tu anteproyecto puede ser perfectamente válida: ninguno de estos diseños necesita convertirse en el diseño principal. Poder explicar por qué un experimento, cuasiexperimento o encuesta responderían preguntas distintas constituye una justificación metodológica más fuerte que descartarlos únicamente porque la asignatura se orienta a investigación cualitativa.

L9 retomará precisamente esta decisión mediante una comparación explícita entre métodos cuantitativos y cualitativos. El reto será justificar el enfoque elegido frente a alternativas plausibles utilizando criterios epistemológicos, metodológicos y de viabilidad.

Actividad de aprendizaje autónoma

Construye el Avance 8 · Juicio de pertinencia de diseños cuantitativos. Recupera tu problema y pregunta central y somételos a un tribunal metodológico: debes demostrar qué preguntas alternativas responderían distintos diseños cuantitativos y por qué esos diseños sí o no pertenecen al anteproyecto que estás construyendo.

1. Conserva tu pregunta central. Escríbela sin modificar y declara qué tipo de conocimiento pretende producir.
2. Construye una pregunta experimental. Reformula el campo como una pregunta de efecto e identifica tratamiento, comparación, resultado y unidad de asignación.
3. Evalúa la viabilidad del experimento. Decide si la asignación aleatoria sería ética, factible y conceptualmente pertinente.
4. Diseña una alternativa preexperimental. Explica qué podría describir y qué inferencia causal no aceptarías.
5. Diseña una alternativa cuasiexperimental. Explica cómo construirías la comparación y qué amenaza de selección necesitarías enfrentar.
6. Construye una alternativa ex post facto. Identifica una exposición o característica ya existente y al menos tres posibles factores de confusión.
7. Formula una pregunta de encuesta. Define población, marco posible, muestra y principal riesgo de cobertura o no respuesta.
8. Diseña el análisis cuantitativo mínimo. Especifica qué cantidad estimarías, qué medida de incertidumbre necesitarías y qué relación existe entre análisis y diseño.
9. Compara inferencias. Para cada diseño escribe una conclusión que sí podría defender y otra que excedería su capacidad.
10. Emite un dictamen. Decide si algún componente cuantitativo fortalece tu anteproyecto actual. Si la respuesta es no, justifica por qué las preguntas cuantitativas construidas corresponden a otro problema.

Producto propuesto: dictamen metodológico de aproximadamente 1,000 a 1,300 palabras acompañado de una matriz comparativa de diseños. La extensión es una decisión didáctica; la evaluación se centra en la correspondencia entre pregunta, diseño e inferencia.

Matriz del Avance 8: tribunal de diseños.

Referencias bibliográficas

• American Association for Public Opinion Research. (n.d.). Best practices for survey research.
• Cohen, L., Manion, L., & Morrison, K. (2018). Research methods in education (8th ed.). Routledge.
• Creswell, J. W., & Creswell, J. D. (2023). Research design: Qualitative, quantitative, and mixed methods approaches (6th ed.). SAGE.
• Institute of Education Sciences. (2022). What Works Clearinghouse procedures and standards handbook, version 5.0 (Rev. December 2022). U.S. Department of Education.
• Lakens, D. (2022). Sample size justification. Collabra: Psychology, 8(1), 33267.
• Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and quasi-experimental designs for generalized causal inference. Houghton Mifflin.
• Wasserstein, R. L., Schirm, A. L., & Lazar, N. A. (2019). Moving to a world beyond “p < 0.05”. The American Statistician, 73(sup1), 1–19.