Un coeficiente favorable no puede rescatar un instrumento que pregunta algo distinto de lo que la tesis necesita conocer.
Antes de enviar un instrumento a juicio experto necesitas saber qué afirmaciones técnicas puedes defender, cuáles requieren todavía evidencia empírica y cuáles simplemente no corresponden con la lógica de tu investigación.
🧠 ¿Qué demuestra realmente un coeficiente?
Una estudiante construyó veinte reactivos para medir dos dimensiones diferentes. Aplicó un estudio piloto, calculó un coeficiente de consistencia interna para los veinte reactivos juntos y obtuvo un resultado que considera elevado. Concluye: “mi instrumento ya es válido y unidimensional”. ¿Cuál es el mejor diagnóstico?
Objetivo didáctico
🎯 Al terminar esta sesión
Evaluarás la versión actual de tu instrumento mediante criterios técnicos pertinentes a su propósito y diseño, diferenciando evidencia de validez, confiabilidad, consistencia interna y coherencia metodológica, para integrar una versión 1 técnicamente auditada y documentar qué evidencias deberán obtenerse antes de defender su uso.
El producto de L7 será doble pero integrado: una Auditoría técnica v1 y la versión 1 completa del instrumento. No se trata de declarar que el instrumento ya está validado. Se trata de establecer qué componentes están suficientemente sustentados para avanzar al proceso específico de validez de contenido de L8.
La profundidad de esta sesión exige evaluar decisiones anteriores. Por eso no basta con definir confiabilidad o validez: tendrás que decidir qué evidencia es pertinente para tu instrumento, qué evidencia todavía no existe y qué afirmaciones técnicas no deberías realizar.
Introducción
Hasta L6 has construido la arquitectura conceptual, los indicadores o ejes, las preguntas o ítems, las formas de respuesta y la estructura de codificación. L7 pregunta ahora si esas piezas funcionan como un sistema metodológicamente defendible.
Conviene comenzar con una precisión. Los Standards for Educational and Psychological Testing plantean la validez en relación con la evidencia y la teoría que respaldan las interpretaciones de puntuaciones para determinados usos. En consecuencia, afirmar simplemente que “el instrumento es válido” puede ocultar preguntas importantes: ¿válido para interpretar qué resultado, en qué población y para qué propósito?
En esta asignatura continuarás utilizando la expresión validez de contenido porque forma parte del producto terminal y será desarrollada específicamente mediante juicio experto en L8 y L9. Sin embargo, la utilizarás como una fuente documentada de evidencia, no como certificación de que cualquier interpretación futura del instrumento queda automáticamente demostrada.
La confiabilidad requiere un cuidado semejante. No es una propiedad que pueda suponerse observando el cuestionario. La evidencia sobre precisión o consistencia necesita datos obtenidos bajo condiciones definidas y el procedimiento pertinente depende de qué resultado pretende producir el instrumento.
Desarrollo del tema
La validez se argumenta con evidencia, no con una etiqueta
Los estándares contemporáneos organizan la evidencia de validez en varias fuentes: evidencia basada en el contenido, en los procesos de respuesta, en la estructura interna, en las relaciones con otras variables y en las consecuencias asociadas con la interpretación y uso de resultados.
No todas estas fuentes tendrán que desarrollarse con la misma intensidad en cualquier tesis. La evidencia necesaria depende de las afirmaciones que pretendas sostener. Un cuestionario utilizado para describir determinadas prácticas no hace exactamente las mismas afirmaciones que una escala destinada a generar una puntuación de un constructo latente.
Esto modifica la pregunta de auditoría. En vez de preguntar solamente “¿qué prueba de validez debo aplicar?”, conviene formular: ¿qué afirmación pretendo realizar a partir de estas respuestas y qué evidencia necesitaría para defender esa afirmación?
En L8 trabajarás específicamente con evidencia basada en contenido mediante juicio experto. Hoy debes comprobar que existe una arquitectura suficientemente clara para que los jueces puedan evaluar la pertinencia, representación y coherencia de los componentes respecto del dominio que pretendes cubrir.
🧭 De la afirmación a la evidencia
Selecciona una afirmación y revisa qué pregunta técnica abre.
Aplicación a tu tesis: escribe tres afirmaciones que esperas poder realizar después de utilizar tu instrumento. Para cada una identifica qué evidencia técnica necesitarías. Si una afirmación excede lo que tu diseño puede demostrar, redúcela antes de intentar “validarla”.
Confiabilidad: la pregunta correcta es qué fuente de variación importa
La confiabilidad se relaciona con la consistencia o precisión de los resultados bajo las condiciones relevantes para su interpretación. Sin embargo, existen diferentes fuentes posibles de variación y, por ello, no existe un único procedimiento aplicable automáticamente a todos los instrumentos.
Si diversos reactivos pretenden contribuir a una misma puntuación, puede resultar pertinente estudiar la consistencia entre esos componentes. Si el interés es la estabilidad de una característica relativamente estable a través del tiempo, puede ser necesario examinar resultados obtenidos en ocasiones distintas. Si una puntuación depende del juicio de observadores o evaluadores, la concordancia entre ellos puede convertirse en una fuente crítica de evidencia.
La elección depende de aquello que podría introducir inconsistencia en el resultado. Calcular el mismo coeficiente para cualquier cuestionario ignora esa pregunta. Una ficha sociodemográfica, un conjunto de variables independientes y una escala compuesta no producen puntuaciones bajo la misma lógica.
Además, en la etapa de desarrollo actual puede ocurrir que todavía no tengas datos suficientes para estimar una propiedad. En ese caso la decisión rigurosa es escribir “evidencia pendiente” y especificar cómo debería obtenerse, en lugar de inventar un valor o declarar confiabilidad con base únicamente en la apariencia del instrumento.
🔍 Localiza la fuente de variación
Cada situación exige una pregunta técnica diferente.
Aplicación a tu tesis: identifica qué resultados cuantitativos pretendes producir y escribe qué fuente de variación podría amenazar su interpretación. Solo después decide qué procedimiento técnico sería pertinente. Si aún no existen datos para examinarlo, registra la evidencia como pendiente.
Consistencia interna no significa unidimensionalidad ni validez
El coeficiente alfa de Cronbach es ampliamente utilizado para examinar relaciones entre componentes de una puntuación, pero su familiaridad puede llevar a interpretaciones excesivas. Tavakol y Dennick (2011) advierten que su valor depende, entre otros aspectos, del número de reactivos y de la estructura del conjunto analizado.
Un coeficiente elevado no demuestra automáticamente que todos los reactivos representan una sola dimensión. Tampoco demuestra que el contenido cubra adecuadamente el constructo, que las personas interpreten los ítems como se esperaba o que la puntuación sea apropiada para cualquier uso.
La redundancia también importa. Si numerosos reactivos expresan prácticamente la misma idea, pueden relacionarse fuertemente sin proporcionar una representación suficientemente amplia del dominio. Por ello, aumentar reactivos semejantes con el único propósito de elevar un coeficiente puede deteriorar la calidad conceptual del instrumento.
La consistencia interna es especialmente inapropiada cuando se calcula sobre un conjunto de preguntas que no pretende conformar una puntuación común. Si un cuestionario contiene variables demográficas, conductas independientes y diferentes constructos, calcular un único alfa para todo el formulario carece de una justificación clara.
💡 Regla de auditoría
Antes de calcular cualquier índice de consistencia interna, termina esta frase: “Estos componentes deben relacionarse porque juntos pretenden representar…”. Si no puedes completarla con un argumento conceptual, el cálculo todavía no está justificado.
🔎 Detector de conclusiones excesivas
Selecciona una afirmación para revisar qué puede y qué no puede concluirse.
Aplicación a tu tesis: si tu instrumento cuantitativo contiene una escala compuesta, identifica qué reactivos pretenden integrar cada puntuación. Revisa si alguno es redundante, si alguno pertenece conceptualmente a otra dimensión y qué evidencia de estructura necesitarás antes de interpretar la puntuación como una unidad.
Ruta cualitativa: rigor no significa importar pruebas psicométricas
Una guía de entrevista cualitativa no se vuelve más rigurosa al calcular sobre ella un coeficiente diseñado para puntuaciones compuestas. Sus criterios deben corresponder con la función que cumple: facilitar la producción de evidencia pertinente, suficientemente rica y coherente con la pregunta de investigación.
Tracy (2010) propone criterios amplios para valorar investigación cualitativa, entre ellos rigor rico, credibilidad, ética y coherencia significativa. Para la construcción de un instrumento, estos criterios pueden traducirse en preguntas concretas: ¿los ejes cubren aquello que requiere la investigación?, ¿las preguntas permiten desarrollar experiencias pertinentes?, ¿los sondeos evitan imponer interpretaciones?, ¿la forma de registro preserva el contexto?
La coherencia significativa resulta especialmente útil para esta asignatura porque obliga a revisar la correspondencia entre propósito, marco conceptual, métodos y decisiones concretas. Una entrevista puede estar bien redactada y seguir siendo incoherente si sus preguntas producen evidencia distinta de la necesaria para responder la tesis.
El rigor también implica anticipar la conducción. Una guía semiestructurada permite flexibilidad, pero el investigador debe distinguir entre profundizar sobre evidencia relevante y modificar el propósito de la entrevista según intereses circunstanciales. Las instrucciones, transiciones y sondeos forman parte de la calidad del instrumento.
🧭 Auditoría cualitativa por consecuencias
Selecciona un problema y observa qué parte de la evidencia puede deteriorarse.
Aplicación a tu tesis: selecciona tres preguntas cualitativas de tu guía y audítalas desde cuatro vínculos: pregunta de investigación, eje, evidencia buscada y estrategia de profundización. Marca como débil cualquier vínculo que solo puedas explicar mediante una intención implícita que no aparece documentada.
La auditoría termina con decisiones, no con adjetivos
Una revisión técnica resulta poco útil si cada criterio termina con expresiones como “bien”, “adecuado” o “válido” sin especificar la evidencia que sostiene el juicio. L7 necesita producir un registro de decisiones.
Para cada componente debes distinguir entre al menos cuatro estados: sustentado, cuando existe una justificación identificable; revisar, cuando el componente puede conservarse pero requiere modificación; eliminar, cuando produce evidencia redundante o desalineada; y evidencia pendiente, cuando la afirmación depende de datos o procedimientos que todavía no se han realizado.
Este último estado es especialmente importante. “Evidencia pendiente” no representa una falla si la tesis se encuentra antes del pilotaje o del juicio experto. Representa transparencia respecto de aquello que todavía no puede afirmarse.
La versión 1 completa debe integrar las decisiones tomadas desde L1: propósito instrumental, población o fuente, arquitectura, matriz de congruencia, componentes, formas de respuesta, instrucciones, filtros cuando existan y estructura de codificación o tratamiento. Solo después de esta integración tiene sentido presentar el instrumento a jueces expertos.
Tabla 1: Estados para una auditoría técnica previa al juicio experto.
| Estado | Qué significa | Decisión |
|---|---|---|
| Sustentado | Existe una justificación rastreable y congruente. | Conservar y documentar evidencia. |
| Revisar | La función es pertinente, pero la formulación o estructura presenta una dificultad. | Modificar y registrar qué cambió. |
| Eliminar | El componente es redundante, irrelevante o incompatible con la arquitectura. | Retirar y documentar la razón. |
| Evidencia pendiente | La afirmación depende de un procedimiento o de datos todavía inexistentes. | Especificar qué evidencia se obtendrá posteriormente. |
Nota: clasificación didáctica construida para la auditoría progresiva del instrumento en esta asignatura.
🔎 Dictamen rápido de una afirmación técnica
¿Cuál de estas formulaciones es la más defendible antes de contar con toda la evidencia empírica?
Aplicación a tu tesis: redacta un párrafo de estado técnico de tu instrumento sin utilizar afirmaciones absolutas. Distingue qué has fundamentado mediante la construcción metodológica, qué revisarás mediante juicio experto y qué propiedades requerirán datos posteriores.
Conclusión
La auditoría técnica impide utilizar términos como validez, confiabilidad o consistencia interna como sellos genéricos de calidad. Cada afirmación debe corresponder con el propósito del instrumento y con una evidencia capaz de sostenerla.
En instrumentos cuantitativos, la consistencia interna puede ser relevante cuando existe una puntuación compuesta conceptualmente justificable, pero no sustituye la evaluación de dimensionalidad, contenido o procesos de respuesta. Otras fuentes de confiabilidad pueden ser más relevantes cuando el principal riesgo procede del tiempo, de evaluadores o de otras condiciones de medición.
En instrumentos cualitativos, la calidad se examina desde la coherencia entre la pregunta de investigación, los ejes de indagación, las preguntas, la producción de evidencia, la conducción y el tratamiento analítico. Aplicar automáticamente un coeficiente psicométrico a una guía de entrevista no mejora su rigor.
La versión 1 que resulta de L7 es, por tanto, una versión técnicamente argumentada pero todavía abierta a evidencia. Esto prepara el tránsito a L8, donde la asignatura exige que todos los proyectos, tanto cuantitativos como cualitativos, desarrollen un proceso documentado de validez de contenido mediante juicio experto.
🔭 Para seguir aprendiendo
- ¿Qué afirmación técnica sobre tu instrumento estás tentado a realizar aunque todavía no poseas la evidencia necesaria?
- ¿Qué parte de tu instrumento produciría el problema más serio si un participante la interpretara de manera distinta de la prevista?
- Si tienes una escala compuesta, ¿qué argumento conceptual justifica que sus componentes se interpreten conjuntamente?
- Si trabajas cualitativamente, ¿qué pregunta de tu guía tiene mayor riesgo de imponer tu marco conceptual en vez de producir evidencia sobre la experiencia del participante?
Actividad de aprendizaje autónoma
🛠 Actividad práctica · Auditoría técnica v1 e integración del instrumento v1
Propósito
Integrar la primera versión completa del instrumento y someterla a una auditoría que distinga entre decisiones ya sustentadas, componentes que requieren revisión y propiedades técnicas cuya evidencia todavía debe obtenerse.
Instrucciones paso a paso:
- Integra el instrumento v1. Reúne presentación, instrucciones, secciones, preguntas o ítems, opciones de respuesta o sondeos, filtros cuando correspondan y cierre.
- Recupera la trazabilidad. Vincula cada componente con la pregunta u objetivo de investigación, el referente conceptual y la dimensión, indicador o eje que justifican su presencia.
- Declara el uso previsto. Escribe qué información producirá el instrumento y qué interpretaciones pretendes realizar a partir de ella.
- Audita la evidencia de contenido. Verifica cobertura, pertinencia, representación del dominio y correspondencia entre cada componente y la matriz. No declares todavía concluido el proceso de validez de contenido; prepara los elementos que serán sometidos a juicio experto en L8.
- Audita los procesos de respuesta. Identifica preguntas cuya interpretación, periodo de referencia, vocabulario, instrucciones o tarea de respuesta podrían producir evidencia distinta de la prevista.
- Si tu ruta es cuantitativa, determina qué evidencia de confiabilidad y estructura corresponde. Identifica qué puntuaciones compuestas existen y qué fuente de variación debe estudiarse. Si todavía no cuentas con datos adecuados, registra la evidencia como pendiente y especifica cómo deberá obtenerse.
- No utilices consistencia interna de forma automática. Justifica conceptualmente qué conjuntos de reactivos pretenden producir una puntuación común antes de considerar un índice de consistencia. Separa dimensiones diferentes y revisa posibles redundancias.
- Si tu ruta es cualitativa, realiza una auditoría de rigor. Revisa la congruencia entre pregunta u objetivo, ejes, preguntas principales, sondeos, tipo de evidencia, forma de registro y estrategia analítica inicial. Identifica formulaciones inductoras, vacíos de cobertura y preguntas sin función rastreable.
- Clasifica cada hallazgo. Utiliza los estados sustentado, revisar, eliminar o evidencia pendiente y escribe la razón de cada decisión.
- Integra las correcciones. Produce una versión 1 limpia del instrumento y conserva por separado una bitácora que muestre qué cambió y por qué.
- Prepara el tránsito a L8. Identifica qué materiales necesitará un juez experto para valorar el contenido sin tener que adivinar el propósito de cada componente.
Tabla 2: Matriz mínima para la auditoría técnica v1.
| Componente | Origen metodológico | Evidencia esperada | Criterio técnico | Estado | Decisión y evidencia pendiente |
|---|---|---|---|---|---|
| Ítem, pregunta, sección o puntuación | Pregunta, objetivo, dimensión, indicador o eje | Dato, relato, práctica o significado | Contenido, respuesta, estructura, precisión o rigor | Sustentado / revisar / eliminar / pendiente | Qué harás y por qué |
🛠 Generador de dictamen técnico v1
Utiliza un componente real. El dictamen debe distinguir entre lo que puedes defender ahora y aquello que todavía requiere evidencia.
Ruta metodológica
Estado del componente
📄 Evidencia de logro
Tu entrega debe contener:
- una versión 1 completa y utilizable del instrumento;
- la relación de sus componentes con la matriz de congruencia;
- una declaración explícita del uso e interpretaciones previstos;
- la auditoría de cobertura y procesos de respuesta;
- la identificación de la evidencia de confiabilidad o estructura pertinente cuando corresponda;
- una auditoría de rigor y coherencia para la ruta cualitativa;
- la clasificación de hallazgos como sustentado, revisar, eliminar o evidencia pendiente;
- una bitácora de las correcciones realizadas;
- la lista de evidencias técnicas que todavía deben obtenerse;
- los elementos que deberán presentarse a los jueces expertos en L8.
¿Qué afirmación sobre la calidad de tu instrumento puedes defender hoy con evidencia y cuál deberías reformular como una pregunta que todavía necesita ser investigada?
Referencias bibliográficas
- American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. American Educational Research Association.
- Tavakol, M., & Dennick, R. (2011). Making sense of Cronbach’s alpha. International Journal of Medical Education, 2, 53–55. https://doi.org/10.5116/ijme.4dfb.8dfd
- Tracy, S. J. (2010). Qualitative quality: Eight “big-tent” criteria for excellent qualitative research. Qualitative Inquiry, 16(10), 837–851. https://doi.org/10.1177/1077800410383121