Un instrumento no es bueno porque tenga muchas preguntas: es bueno cuando cada pregunta produce evidencia necesaria y puede interpretarse de manera defendible.
Esta semana convertirás la ruta de evidencia de L5 en preguntas, reactivos y protocolos concretos. Después someterás el instrumento a una prueba piloto para decidir qué conservar, reformular, reordenar o eliminar.
🔎 El instrumento comienza antes de redactar preguntas
Pregunta de investigación: ¿Cómo interpretan estudiantes y tutores las clasificaciones predictivas de riesgo cuando estas se incorporan a decisiones de acompañamiento?
¿Qué decisión debería tomarse primero?
Objetivo didáctico
🎯 Al finalizar esta lección
construirás un instrumento preliminar coherente con tu pregunta y estrategia de investigación, justificando la relación entre dimensiones, técnica y preguntas o reactivos, y diseñarás un protocolo de pilotaje que permita evaluar comprensión, cobertura, funcionamiento y modificaciones necesarias antes de su aplicación principal.
Introducción
En L5 identificaste qué evidencia debe provenir de documentos y qué información necesita producirse en el campo. Ahora esa arquitectura debe convertirse en instrumentos concretos. La decisión no consiste simplemente en elegir entre entrevista, cuestionario o encuesta: primero debe determinarse qué información se necesita y qué forma de interacción con el participante puede producirla de manera válida para el propósito del estudio.
En esta asignatura diferenciaremos tres términos que en el lenguaje cotidiano suelen mezclarse. La encuesta designará el proceso estructurado mediante el cual se recoge información de una muestra; el cuestionario será el instrumento compuesto por preguntas o reactivos; y la guía de entrevista será un protocolo flexible de temas, preguntas y sondeos utilizado para producir relatos, experiencias, significados o reconstrucciones de procesos.
La diferencia no es terminológica solamente. Una encuesta diseñada para estimar distribución de opiniones requiere estandarización y decisiones sobre redacción, orden, opciones de respuesta y población. Una entrevista cualitativa necesita garantizar cobertura del objeto sin impedir que el participante introduzca relaciones que el investigador no había anticipado. Creswell y Poth (2024) muestran que los procedimientos de producción de datos deben ajustarse a la aproximación cualitativa específica elegida.
En ambos casos existe un principio común: cada pregunta debe tener una función. Si el investigador no puede explicar qué evidencia espera producir con un reactivo y a qué pregunta de investigación contribuirá, ese reactivo todavía no está justificado.
Desarrollo del tema
Encuesta, cuestionario y entrevista responden a lógicas diferentes
Un cuestionario estructurado resulta especialmente útil cuando el propósito exige que muchas personas respondan a estímulos comparables. La estandarización facilita describir distribuciones, comparar grupos o construir indicadores. Pero esa ventaja tiene un costo: las opciones disponibles delimitan de antemano parte de lo que el participante puede expresar.
La entrevista semiestructurada opera con otra lógica. La guía establece temas comunes, pero permite modificar secuencia, profundizar mediante sondeos y solicitar ejemplos o episodios. Esto es particularmente valioso cuando interesa comprender cómo los actores interpretan una experiencia, cómo construyen una decisión o qué significado atribuyen a una práctica.
Elegir entrevista porque “la investigación es cualitativa” sería tan insuficiente como elegir cuestionario porque “es más objetivo”. La técnica debe ser juzgada mediante criterios: tipo de pregunta, profundidad requerida, necesidad de comparación, lenguaje del participante, sensibilidad del tema, tiempo, acceso y estrategia de análisis.
🧭 Selector de técnica
Cambia el propósito y observa qué instrumento gana pertinencia.
Decisión de creación: toma una necesidad de evidencia de L5 y diseña dos maneras de obtenerla: una mediante pregunta cerrada y otra mediante entrevista. Explica qué información produciría cada versión y qué perderías al elegir una sobre la otra.
De la pregunta de investigación a la pregunta del instrumento
La pregunta de investigación y las preguntas dirigidas al participante no deben ser idénticas. Si tu pregunta científica utiliza conceptos como autonomía académica, agencia, identidad o justicia educativa, trasladarlos literalmente a una entrevista puede exigir al participante hablar con categorías que pertenecen al investigador.
El instrumento debe traducir esas categorías en situaciones, comportamientos, decisiones, experiencias y significados comprensibles. Por ejemplo, en lugar de preguntar “¿cómo afectó la alerta tu autonomía?”, puede ser más productivo solicitar: “Cuéntame una decisión sobre tu trayectoria que hayas tenido que tomar después de recibir una alerta. ¿Qué opciones considerabas posibles y quién participó?”. La categoría teórica se utiliza después para analizar, no necesariamente para dictar la respuesta.
En cuestionarios estructurados, la precisión adopta otra forma. Las preguntas deben ser claras, específicas y contestables; las opciones cerradas necesitan ser razonablemente exhaustivas y no solaparse. El orden también importa porque preguntas anteriores pueden proporcionar contexto que modifique las respuestas posteriores.
Por eso se utiliza una matriz de especificaciones: cada dimensión del problema se conecta con una necesidad de evidencia, una técnica, una pregunta o reactivo y una función analítica. Esta matriz permite detectar tanto dimensiones sin preguntas como preguntas que no sirven a ninguna dimensión.
Tabla 1: Ejemplo de correspondencia para una guía de entrevista.
| Dimensión | Evidencia buscada | Pregunta inicial | Sondeo | Riesgo |
|---|---|---|---|---|
| Interpretación | Significado atribuido a la alerta. | Cuando conociste la alerta, ¿qué entendiste que significaba? | ¿Qué te hizo interpretarla así? | Solicitar valoración general sin episodio concreto. |
| Tutoría | Uso de la alerta en decisiones. | Cuéntame una ocasión en que la alerta haya aparecido en una conversación de acompañamiento. | ¿Qué ocurrió después? | Presuponer que la alerta modificó la decisión. |
| Discrepancia | Casos que cuestionen la interpretación dominante. | ¿Hubo una ocasión en que la alerta no coincidiera con lo que tú pensabas que ocurría? | ¿Cómo se resolvió esa diferencia? | Diseñar preguntas únicamente para confirmar el marco. |
🧪 Auditor de preguntas
“¿Consideras que el algoritmo injusto ha afectado negativamente tu autonomía y motivación?”
Pulsa cada problema para reconstruirla.
Decisión de creación: audita cinco preguntas de tu instrumento con cuatro criterios: neutralidad, unicidad, comprensibilidad y función. Reescribe todas aquellas que fallen al menos uno.
La prueba piloto es un experimento sobre el instrumento
El pilotaje no tiene como propósito demostrar los resultados de la investigación. Su unidad de evaluación es el instrumento y el procedimiento. En cuestionarios, el pretest puede revelar dificultades de comprensión, secuencia, opciones de respuesta, instrucciones, navegación o carga. El U.S. Census Bureau establece precisamente que el pretesting debe verificar que potenciales participantes comprendan y puedan contestar las preguntas y que la administración funcione adecuadamente.
Pew Research Center describe el diseño de cuestionarios como un proceso iterativo y utiliza, entre otros procedimientos, entrevistas cognitivas, grupos, pretests y pruebas previas para refinar preguntas. Esto subraya una idea importante: redactar una pregunta técnicamente correcta no garantiza que el participante la interprete como el investigador esperaba.
En una guía cualitativa, el pilotaje evalúa además si las preguntas producen profundidad, episodios y significados relevantes. Puede mostrar que una pregunta es demasiado abstracta, que un tema aparece antes de construir suficiente confianza o que un sondeo interrumpe relatos que deberían desarrollarse libremente.
El pilotaje debe producir decisiones trazables. Después de cada prueba, el investigador necesita registrar: qué pretendía obtener, qué ocurrió, qué problema apareció, qué modificación hizo y por qué. La frase “se realizó una prueba piloto y el instrumento fue adecuado” no permite evaluar el proceso.
🛠 Laboratorio de pilotaje
Pregunta piloto: “¿Cómo ha impactado la alerta en tu autonomía académica?”
Decisión de creación: diseña un protocolo de pilotaje que especifique qué observarás en cada pregunta: comprensión, relevancia, profundidad, secuencia, duración, sensibilidad, funcionamiento del sondeo y correspondencia con la dimensión prevista. No limites el pilotaje a “aplicar el instrumento”.
Validez y confiabilidad: evitar fórmulas automáticas
Cuando un instrumento produce puntuaciones o mediciones, conviene hablar con precisión de evidencia de validez. Los Standards for Educational and Psychological Testing establecen que la validez se refiere al grado en que evidencia y teoría respaldan las interpretaciones de las puntuaciones para los usos propuestos. Por ello, afirmar simplemente que “el cuestionario es válido” oculta la pregunta esencial: ¿válido para interpretar qué resultado y utilizarlo para qué propósito?
La evidencia puede provenir del contenido del instrumento, de los procesos de respuesta, de su estructura interna, de relaciones con otras variables y de otras consecuencias relevantes para el argumento de interpretación. No todos los estudios necesitan reunir toda forma de evidencia con la misma intensidad; la estrategia depende del tipo de instrumento y del uso previsto.
La confiabilidad se relaciona con consistencia o precisión de los resultados bajo condiciones pertinentes. Tampoco existe un coeficiente universal. La consistencia interna puede ser relevante para un conjunto de reactivos que pretenden medir conjuntamente un constructo; la estabilidad temporal responde a otra pregunta; el acuerdo entre evaluadores es crucial cuando intervienen juicios de codificación o puntuación.
Por eso un coeficiente alto de consistencia interna no demuestra por sí mismo validez. Un conjunto de preguntas puede responder consistentemente a algo distinto de aquello que el investigador pretendía medir.
📊 ¿Qué evidencia necesitas?
Selecciona un aspecto del argumento de medición.
Decisión de creación: si tu proyecto utiliza una escala o cuestionario de medición, redacta una frase que comience con “Las puntuaciones se interpretarán como…”. Después escribe qué evidencia necesitas para defender esa interpretación. Evita usar la frase “el instrumento ya está validado” como sustituto del argumento.
En cualitativa, la calidad no se reduce a psicometría
Una guía de entrevista no debe evaluarse mecánicamente con los mismos procedimientos que una escala de puntuación. La entrevista produce información mediante una interacción situada. La calidad depende de la correspondencia entre preguntas y objeto, de la capacidad del protocolo para producir material sustantivo, de la habilidad del entrevistador, de la reflexividad, del registro y del análisis posterior.
Esto no significa renunciar al rigor. La guía debe comprobar cobertura, comprensibilidad, apertura, secuencia y capacidad para generar evidencia discrepante. Dos entrevistadores, si el diseño utiliza más de uno, necesitan compartir criterios sobre propósito, sondeos y límites sin convertir la entrevista semiestructurada en una lectura rígida.
El pilotaje puede descubrir también que una dimensión del marco no debería preguntarse directamente. Determinados conceptos son más productivos cuando emergen del análisis de episodios que cuando se presentan como palabras al participante. Esta decisión conecta L4 con L6: el marco guía la observación, pero no tiene derecho a imponer su vocabulario a la experiencia.
La calidad final de la investigación dependerá asimismo de las decisiones de L7: cómo se registran, organizan y analizan los datos. Un instrumento bien construido no compensa un análisis incoherente; del mismo modo, un análisis sofisticado no puede recuperar evidencia que el instrumento nunca produjo.
Figura 1. Diseño iterativo del instrumento. Elaboración propia a partir de Creswell y Poth (2024), AERA et al. (2014) y criterios de pretesting del U.S. Census Bureau.
Decisión de creación: toma tu instrumento completo y realiza una auditoría inversa. Empieza por cada pregunta y exige que pueda regresar hasta una necesidad de evidencia y una pregunta de investigación. Elimina toda pregunta cuya cadena se rompa.
Conclusión
Un instrumento es la materialización de decisiones tomadas durante todo el anteproyecto. La pregunta delimita qué necesita conocerse; el marco aporta conceptos; el muestreo determina quién puede aportar información; y la estrategia de evidencia establece qué debe obtenerse documentalmente y qué necesita producirse con participantes.
La elección entre cuestionario y entrevista depende del tipo de conocimiento buscado. El cuestionario favorece estandarización y comparabilidad; la entrevista permite profundizar en procesos, experiencias y significados. Ninguna técnica es metodológicamente superior de manera universal.
La prueba piloto constituye una etapa de revisión del instrumento. Debe producir evidencia sobre comprensión, funcionamiento, secuencia y capacidad para generar la información pretendida. Su resultado más valioso no es que “todo funcione”, sino descubrir errores antes de que se conviertan en datos definitivos.
Finalmente, validez y confiabilidad deben utilizarse con precisión. En instrumentos de medición, la calidad de una interpretación requiere evidencia específica; en entrevistas cualitativas, el rigor se construye mediante congruencia, apertura, pilotaje, reflexividad y trazabilidad. No existe un único indicador que certifique por sí solo la calidad del instrumento.
En L7 la atención se desplazará hacia aquello que ocurre después de aplicar el instrumento: recolección, organización y análisis de datos. El desafío será decidir cómo transformar registros, entrevistas, documentos o mediciones en evidencia analizada sin separar el procedimiento analítico de la pregunta que dio origen al estudio.
🔭 Para seguir aprendiendo
- Selecciona cinco preguntas de un instrumento publicado y reconstruye qué dimensión parece intentar medir o explorar cada una.
- Identifica una pregunta sugerente, doble o ambigua en algún cuestionario disponible y propón una versión corregida.
- Localiza un artículo que reporte pilotaje o pretesting y analiza qué cambió en el instrumento como consecuencia de esa prueba.
Actividad de aprendizaje autónoma
Construye el Avance 6 · Instrumento preliminar y protocolo de pilotaje. Recupera la ruta de evidencia de L5 y transforma únicamente aquellas necesidades que requieren producción directa con participantes en preguntas o reactivos.
- Declara la función del instrumento. Explica qué parte de la pregunta de investigación deberá ayudar a responder.
- Selecciona técnica. Justifica entrevista, cuestionario, encuesta u otra técnica pertinente y compara al menos una alternativa descartada.
- Construye dimensiones. Define entre tres y seis dimensiones de información vinculadas con el marco y la pregunta.
- Diseña la matriz de correspondencia. Para cada dimensión registra evidencia buscada, pregunta o reactivo, función y riesgo de sesgo.
- Redacta el instrumento preliminar. Evita preguntas dobles, sugerentes, innecesariamente técnicas o desvinculadas del objeto.
- Incluye evidencia discrepante. Añade al menos una pregunta capaz de producir información que cuestione tus expectativas iniciales.
- Diseña secuencia y transiciones. Justifica qué preguntas aparecen primero, cuáles requieren mayor confianza y qué orden podría producir efectos no deseados.
- Construye el protocolo de pilotaje. Define participantes adecuados, procedimiento y criterios observables de revisión.
- Diseña una bitácora de modificaciones. Registra pregunta original, evidencia del problema, cambio realizado y justificación.
- Declara evidencia de calidad. Si utilizas puntuaciones o escalas, identifica qué evidencias de validez y confiabilidad serán pertinentes. Si utilizas entrevista cualitativa, explica cómo comprobarás cobertura, comprensibilidad, profundidad, apertura y consistencia del protocolo.
Producto propuesto: instrumento preliminar completo + matriz de especificaciones + protocolo de pilotaje + bitácora de revisión, acompañados por una justificación metodológica de aproximadamente 900 a 1,200 palabras.
Matriz del Avance 6: trazabilidad del instrumento.
| Dimensión | Evidencia buscada | Pregunta / reactivo | Función | Riesgo | Criterio de pilotaje |
|---|---|---|---|---|---|
| [Completar] | [Completar] | [Completar] | [Completar] | [Completar] | [Comprensión / profundidad / secuencia / otro] |
| [Completar] | [Completar] | [Completar] | [Completar] | [Completar] | [Completar] |
✍ Arquitecto del Avance 6
Completa las decisiones esenciales. El resultado no sustituye el instrumento: comprueba que exista una cadena explícita entre pregunta, técnica, instrumento y pilotaje.
✔ Evidencia de logro · Avance 6
La entrega debe demostrar correspondencia entre pregunta, dimensiones, técnica e instrumento; incluir preguntas o reactivos capaces de producir la evidencia necesaria; incorporar una vía para evidencia discrepante; y presentar un protocolo de pilotaje con criterios explícitos de comprensión, cobertura, funcionamiento, secuencia y modificación.
Si una pregunta de tu instrumento solo puede producir la respuesta que confirma tu marco teórico, ¿estás recolectando evidencia o fabricando confirmación?
Referencias bibliográficas
- American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. American Educational Research Association.
- Cohen, L., Manion, L., & Morrison, K. (2018). Research methods in education (8th ed.). Routledge.
- Creswell, J. W., & Poth, C. N. (2024). Qualitative inquiry and research design: Choosing among five approaches (5th ed.). SAGE.
- Flick, U. (2022). An introduction to qualitative research (7th ed.). SAGE.
- Pew Research Center. (n.d.). Writing survey questions. Pew Research Center.
- U.S. Census Bureau. (2021). Statistical Quality Standard A2: Developing data collection instruments and supporting materials.