Un juicio experto no mejora un instrumento hasta que cada observación se convierte en una decisión argumentada y rastreable.
La versión revisada no debe borrar la historia de la versión anterior. Debe permitir reconstruir qué señalaron los jueces, qué decidió el investigador, qué modificó y por qué la nueva formulación representa mejor el propósito metodológico.
🧠 ¿Seguir al juez o responder al juicio?
Un juez recomienda eliminar una pregunta. El investigador revisa la observación y encuentra que la pregunta es indispensable para cubrir un eje central, pero acepta que su formulación es ambigua. ¿Cuál es la decisión más defendible?
Objetivo didáctico
🎯 Al terminar esta sesión
Evaluarás los resultados del juicio experto mediante las reglas definidas en tu protocolo, integrarás valoraciones estructuradas y comentarios argumentados, documentarás la respuesta otorgada a cada observación y producirás una versión 2 del instrumento cuya modificación pueda rastrearse hasta la evidencia de contenido obtenida.
El producto de esta sesión es la Matriz de respuesta a observaciones y versión 2 del instrumento. La calidad del producto no depende de que todas las recomendaciones sean aceptadas, sino de que ninguna sea ignorada silenciosamente.
La tarea exige separar tres niveles: resultado, aquello que reportaron los jueces; interpretación, lo que ese resultado significa según el criterio y procedimiento declarado; y decisión, la acción que realizarás sobre el instrumento.
Introducción
L8 terminó antes de conocer los resultados: diseñaste quién juzgaría, qué criterios utilizaría, qué forma tendría el registro y qué reglas orientarían las decisiones. L9 comienza cuando esas valoraciones regresan.
Este orden es importante. Las reglas no deberían modificarse solamente porque determinado resultado resulte incómodo. Si el protocolo estableció una forma específica de sintetizar relevancia, esencialidad o cualquier otro criterio, esa regla debe utilizarse o cualquier cambio posterior debe quedar explícitamente justificado.
La revisión tampoco se limita a decidir qué ítems “pasan” o “no pasan”. Un componente puede obtener una valoración favorable en relevancia y presentar al mismo tiempo un problema de claridad. Otro puede ser claro y pertinente individualmente, pero formar parte de un instrumento que todavía presenta un vacío de cobertura.
Por eso la evidencia de contenido debe conservarse en más de una capa: resultados estructurados, comentarios, evaluación global, decisiones adoptadas y versión revisada. La matriz de respuesta será el documento que conecte esas capas.
Desarrollo del tema
Primero conserva el resultado; después interprétalo
La primera tarea consiste en integrar las valoraciones sin modificarlas. Si un juez seleccionó una categoría determinada y añadió una observación, ambos registros forman parte del resultado original y deben conservarse antes de cualquier síntesis.
Después se aplica el procedimiento declarado en L8. Si utilizaste CVR, la síntesis debe corresponder con el juicio de esencialidad que originó los datos. Si elegiste CVI, las valoraciones de relevancia deben tratarse conforme con el índice específico establecido en el protocolo. Si utilizaste otro procedimiento, la regla debe seguir su propia definición.
La distinción entre resultados por componente y resultados globales también importa. Un índice favorable para el conjunto no convierte automáticamente en adecuados todos sus componentes. Del mismo modo, uno o varios elementos problemáticos no permiten concluir sin análisis que todo el instrumento carece de evidencia de contenido.
El valor técnico de la síntesis reside en que las decisiones puedan reproducirse. Otra persona debería poder tomar las valoraciones originales, aplicar la misma regla y comprender cómo obtuviste el resultado reportado.
Tabla 1: Procedimientos que deben mantenerse coherentes con la tarea original.
| Si declaraste… | El dato procede de… | La síntesis debe conservar… |
|---|---|---|
| CVR | Juicios estructurados de esencialidad. | La regla correspondiente al procedimiento seleccionado. |
| I-CVI | Valoraciones estructuradas de relevancia por componente. | El resultado de cada componente antes de cualquier síntesis global. |
| Índice global basado en CVI | Resultados agregados del conjunto. | La definición exacta del procedimiento global elegido. |
| Valoración cualitativa estructurada | Criterios y comentarios explícitos. | La relación entre observación, criterio, decisión y modificación. |
🔍 Resultado, interpretación o decisión
Clasifica cada afirmación según la etapa a la que pertenece.
Aplicación a tu tesis: selecciona tres componentes de tu instrumento y crea tres columnas independientes: resultado observado, interpretación según el criterio y decisión. Si utilizas la misma frase en dos columnas, revisa si estás saltando una etapa del razonamiento.
Los comentarios no son anexos: explican qué debe cambiar
Una valoración estructurada permite resumir acuerdos, pero rara vez explica por sí sola qué modificación resolvería el problema. Por eso los comentarios deben analizarse junto con los resultados y no conservarse únicamente como anexos decorativos.
La primera tarea consiste en identificar qué criterio afecta la observación. “La pregunta es larga” no constituye todavía un diagnóstico suficiente. Puede tratarse de claridad, doble contenido, vocabulario innecesario o incluso de una longitud justificada por la tarea que debe realizar el participante.
Después se identifica la acción posible. Las decisiones no se limitan a conservar o eliminar. Un componente puede conservarse sin cambios, reformularse, dividirse, reubicarse, integrarse con otro, retirarse o dar lugar a un componente nuevo cuando el juicio revela un vacío de cobertura.
En una guía cualitativa esta distinción resulta especialmente importante. Un juez puede recomendar “hacer más directa” una pregunta, pero una redacción excesivamente cerrada podría eliminar precisamente la apertura necesaria para recuperar experiencias. La recomendación debe analizarse a la luz de la función metodológica de la pregunta.
🛠 Traductor de observaciones
Selecciona una observación construida y examina qué decisión requiere realmente.
Aplicación a tu tesis: toma cada comentario real recibido y evita responder directamente “aceptado” o “rechazado”. Registra primero qué problema identifica, qué criterio afecta y qué consecuencia tendría la modificación propuesta para la arquitectura completa.
Una regla global nunca debe ocultar un problema localizado
Los procedimientos de síntesis pueden producir información por elemento y para el instrumento en conjunto. Polit, Beck y Owen (2007), por ejemplo, distinguen índices de contenido a nivel de ítem y de escala. Esta diferencia evita concluir que un resultado agregado favorable resuelve automáticamente cualquier problema localizado.
La lógica funciona también fuera de CVI. Un panel puede valorar favorablemente la cobertura global y señalar un componente ambiguo; o puede valorar positivamente casi todas las preguntas y detectar que falta una dimensión importante. La síntesis debe conservar ambos niveles.
De igual forma, los comentarios globales pueden exigir decisiones que no se resuelven modificando una sola pregunta. Si varios jueces identifican que determinado eje tiene una representación débil, puede ser necesario revisar la arquitectura, incorporar componentes o reconsiderar si ese eje está suficientemente delimitado.
La versión 2 debe, por ello, responder tanto a problemas locales como estructurales. Una revisión concentrada exclusivamente en cambiar palabras puede dejar intacto un problema de cobertura.
🔎 ¿Local o estructural?
Decide qué nivel requiere la revisión.
Aplicación a tu tesis: clasifica tus observaciones en dos grupos: modificaciones localizadas y modificaciones que afectan cobertura, dimensiones, ejes, secciones o secuencia. Revisa primero las estructurales, porque pueden cambiar la función de varios componentes a la vez.
La matriz de respuesta transforma desacuerdos en decisiones auditables
La matriz de respuesta es el núcleo documental de L9. Cada fila debe corresponder con un componente o una observación global y conservar suficiente información para reconstruir el razonamiento realizado.
Como mínimo, debe registrar el componente afectado, criterio valorado, resultado estructurado cuando exista, comentario de los jueces, interpretación del investigador, decisión adoptada, modificación realizada y justificación. Si una recomendación no se acepta, también debe quedar registrada la razón.
Esto impide dos prácticas problemáticas: aceptar automáticamente todo lo sugerido por el panel o ignorar selectivamente las observaciones que contradicen las preferencias del investigador. En ambos casos desaparece la función analítica del juicio experto.
La discrepancia puede ser especialmente productiva. Si un juez considera una pregunta esencial y otro detecta un problema de congruencia, la tarea no consiste únicamente en contar votos. Debe analizarse si ambos están evaluando criterios distintos o si existe una ambigüedad en la definición del dominio que requiere revisión.
Tabla 2: Estructura de la matriz de respuesta a observaciones.
| Componente | Criterio / resultado | Observación | Interpretación | Decisión | Modificación | Justificación |
|---|---|---|---|---|---|---|
| Ítem, pregunta, sondeo, eje o sección | Dato obtenido según el protocolo | Comentario sin alterar | Qué problema o fortaleza representa | Conservar / revisar / retirar / incorporar | Cambio concreto | Razón metodológica |
🧭 Escenario de discrepancia
Un juez considera que una pregunta cualitativa es demasiado abierta. Otro afirma que esa apertura es necesaria para no imponer categorías al participante. ¿Qué debe ocurrir después?
Aplicación a tu tesis: selecciona una discrepancia entre jueces y redacta un dictamen que incluya las dos posiciones, el criterio afectado, la evidencia metodológica a la que regresarás y la decisión final. Evita frases como “se decidió por mayoría” cuando los juicios se refieran a problemas distintos.
La versión 2 debe poder compararse con la versión 1
Modificar directamente el archivo original destruye una parte de la evidencia del proceso. La versión enviada a los jueces debe conservarse sin alteraciones y la nueva versión debe identificarse claramente como un documento diferente.
La bitácora debe permitir localizar cambios pequeños y estructurales: redacción modificada, reactivo dividido, pregunta retirada, nuevo componente incorporado, cambio de ubicación, ajuste de instrucciones o modificación de una forma de respuesta.
Cada cambio necesita además una causa. “Se mejoró la redacción” es poco informativo. Resulta más útil registrar: “se sustituyó el término X porque los jueces señalaron dos interpretaciones posibles y la nueva formulación delimita el referente definido en la dimensión Y”.
La versión 2 tampoco se presume definitiva. El juicio experto aporta evidencia basada en contenido, pero no demuestra automáticamente todos los demás aspectos necesarios para utilizar o interpretar el instrumento. La defensa final deberá distinguir qué evidencia se obtuvo y qué aspectos continúan pendientes.
🔎 Cadena de versión
Revela el proceso y comprueba si puedes reconstruirlo en tu propia tesis.
Aplicación a tu tesis: conserva tu instrumento v1 como archivo cerrado para esta etapa. Crea una copia identificada como v2 y realiza únicamente cambios que puedan vincularse con una fila de tu matriz de respuesta o con una corrección metodológica expresamente documentada.
Conclusión
El juicio experto produce evidencia; la revisión convierte esa evidencia en decisiones. Entre ambas debe existir una cadena visible que impida cambiar el instrumento por intuición, preferencia o simple obediencia al panel.
La matriz de respuesta permite distinguir lo que dijeron los jueces de aquello que el investigador concluyó. Esa separación protege el proceso: una observación crítica puede conducir a una modificación parcial, a una revisión estructural o incluso a la conservación argumentada del componente.
Los resultados numéricos, cuando forman parte del protocolo, tampoco reemplazan esta interpretación. Deben corresponder con la tarea de juicio definida y conservar su nivel de análisis. Un resultado global favorable no borra problemas localizados; una observación localizada no invalida automáticamente el conjunto.
La versión 2 representa, por tanto, un instrumento cuya historia de revisión puede reconstruirse. Esa trazabilidad constituye parte de la defensa metodológica: permite mostrar cómo la evidencia de contenido modificó efectivamente el diseño y no se utilizó únicamente como trámite.
En L10. Defensa metodológica del instrumento final integrarás la arquitectura completa: congruencia con la tesis, versión final del instrumento, decisiones de medición o registro, estructura de tratamiento, evidencia obtenida mediante juicio experto, respuesta a observaciones y límites técnicos que todavía deban reconocerse.
🔭 Para seguir aprendiendo
- ¿Qué recomendación de un juez podría mejorar una parte del instrumento pero deteriorar la congruencia con tu pregunta de investigación?
- ¿Qué observación global exige revisar la arquitectura y no solo corregir palabras?
- ¿Puedes explicar por qué mantuviste un componente aun cuando un juez recomendó eliminarlo?
- ¿La versión 2 permite identificar exactamente qué evidencia originó cada cambio relevante?
Actividad de aprendizaje autónoma
🛠 Matriz de respuesta a observaciones y versión 2 del instrumento
Integra los resultados reales de tu juicio experto, responde de forma documentada a cada observación y construye una versión 2 del instrumento que conserve trazabilidad con las decisiones metodológicas de tu tesis.
Instrucciones:
- Conserva intacta la evidencia original. Resguarda el instrumento v1 enviado a los jueces y las valoraciones y comentarios recibidos sin alterar su contenido.
- Aplica el procedimiento definido en L8. Sintetiza las valoraciones utilizando exclusivamente el método, fórmula y reglas de interpretación previamente declarados. No cambies el criterio para favorecer determinados resultados.
- Distingue resultados individuales y globales. Identifica qué componentes presentan observaciones específicas y qué hallazgos afectan cobertura, redundancia o arquitectura del instrumento completo.
- Integra los comentarios. Para cada observación identifica qué criterio afecta y qué problema, fortaleza o vacío señala.
- Construye la matriz de respuesta. Registra componente, criterio o resultado, comentario original, interpretación, decisión del investigador, modificación realizada y justificación.
- Responde a todas las observaciones. Clasifica cada decisión como conservar, revisar, retirar o incorporar. Cuando no sigas una recomendación, documenta la razón metodológica.
- Analiza las discrepancias. Cuando los jueces difieran, compara sus argumentos con la matriz de congruencia y con la función del componente antes de decidir.
- Revisa la cobertura después de modificar. Comprueba que retirar, dividir, incorporar o reformular componentes no genere nuevos vacíos ni modifique silenciosamente el dominio.
- Construye el instrumento v2. Trabaja sobre una copia identificada como nueva versión y aplica únicamente las modificaciones documentadas.
- Actualiza los documentos vinculados. Cuando una modificación afecte identificadores, formas de respuesta, códigos, ejes o secciones, actualiza también la matriz de congruencia y el libro de códigos o matriz cualitativa correspondiente.
- Redacta un dictamen de cierre. Explica qué evidencia de contenido se obtuvo, qué modificaciones produjo y qué propiedades técnicas continúan pendientes antes de utilizar o interpretar el instrumento.
Tabla 3: Estructura mínima del producto de L9.
| Componente v1 | Resultado / criterio | Observación | Decisión | Componente v2 | Justificación |
|---|---|---|---|---|---|
| Versión sometida a juicio | Valoración obtenida | Comentario original | Conservar / revisar / retirar / incorporar | Redacción o estructura resultante | Razón de la respuesta |
🛠 Constructor de una respuesta documentada
Trabaja con una observación real. El resultado puede incorporarse después a tu matriz completa.
Decisión
📄 Evidencia de logro
Tu producto debe permitir comprobar:
- qué versión exacta fue sometida al juicio experto;
- qué resultados originales produjo el procedimiento;
- qué reglas previamente definidas fueron utilizadas para interpretarlos;
- cómo se integraron los comentarios cualitativos de los jueces;
- qué observaciones afectaron componentes específicos y cuáles afectaron cobertura o estructura;
- qué decisión se tomó ante cada observación;
- qué recomendaciones no se siguieron y por qué;
- qué cambio concreto diferencia la versión 2 de la versión 1;
- qué documentos vinculados tuvieron que actualizarse;
- qué evidencia técnica continúa pendiente antes de la defensa final.
Si alguien comparara únicamente tu instrumento v1, las valoraciones de los jueces, tu matriz de respuesta y el instrumento v2, ¿podría reconstruir por qué ocurrió cada modificación sin pedirte una explicación adicional?
Referencias bibliográficas
- American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. American Educational Research Association.
- Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563–575. doi: 10.1111/j.1744-6570.1975.tb01393.x.
- Polit, D. F., Beck, C. T., & Owen, S. V. (2007). Is the CVI an acceptable indicator of content validity? Appraisal and recommendations. Research in Nursing & Health, 30(4), 459–467. doi: 10.1002/nur.20199.
- Sireci, S. G., & Faulkner-Bond, M. (2014). Validity evidence based on test content. Psicothema, 26(1), 100–107.