Pedir a tres colegas que lean un instrumento y respondan “se ve bien” no constituye un proceso documentado de validez de contenido.
El juicio experto adquiere valor metodológico cuando los jueces saben qué dominio se pretende representar, qué deben valorar, cómo registrarán su juicio y qué reglas utilizará el investigador para convertir esos juicios en decisiones revisables.
🧠 ¿Qué necesita realmente un juez experto?
Un doctorando envía únicamente su cuestionario a cinco investigadores reconocidos y les pregunta: “¿Considera que mi instrumento es válido?”. Los cinco responden afirmativamente. ¿Cuál es la principal dificultad metodológica?
Objetivo didáctico
🎯 Al terminar esta sesión
Diseñarás un proceso documentado de juicio experto para obtener evidencia de validez basada en el contenido de tu instrumento, justificando el perfil de los jueces, el dominio que evaluarán, los criterios de valoración, el procedimiento de registro y las reglas mediante las cuales transformarás sus juicios en decisiones de revisión.
El producto será un Paquete de revisión para jueces v1. Debe permitir que una persona experta comprenda qué estudia la tesis, qué función cumple el instrumento, qué debe evaluar y cómo debe registrar sus observaciones sin necesitar una explicación oral adicional.
Esta actividad es obligatoria para ambas rutas. Un instrumento cualitativo no queda fuera del proceso de validez de contenido: sus ejes, preguntas principales, sondeos o criterios de observación también deben poder examinarse respecto de su pertinencia y cobertura. Lo que no debe hacerse es convertir por ello la evidencia cualitativa de los participantes en una escala cuantitativa.
Introducción
En L7 integraste una versión 1 del instrumento y separaste lo que ya podía justificarse de aquello que requería evidencia adicional. L8 trabaja una de esas fuentes de evidencia: la relación entre el contenido del instrumento y el dominio conceptual y metodológico que pretende representar.
La expresión tradicional validez de contenido continuará utilizándose porque forma parte de la nomenclatura de esta asignatura. Sin embargo, conviene entenderla como un proceso de recopilación y documentación de evidencia basada en contenido. No se trata de pedir a expertos que certifiquen globalmente que “el instrumento es válido”.
Los jueces necesitan observar la relación entre el dominio y los componentes concretos. Por ello, el instrumento aislado es insuficiente. Deben disponer, en una forma razonablemente sintética, de las definiciones, dimensiones o ejes que orientaron su construcción y de información suficiente para comprender el uso previsto.
El proceso termina en una decisión documentada. Un juez puede recomendar conservar, modificar o retirar un componente; varios jueces pueden discrepar. La responsabilidad final de decidir permanece en el investigador, quien deberá demostrar cómo interpretó los juicios y por qué realizó cada modificación.
Desarrollo del tema
Antes de convocar jueces, delimita qué contenido será juzgado
La evidencia basada en contenido parte de una pregunta aparentemente sencilla: ¿en qué medida los elementos del instrumento corresponden con aquello que se pretende representar? Para responderla debe existir primero una especificación suficientemente clara del dominio.
En una ruta cuantitativa, ese dominio puede organizarse mediante constructos, variables, definiciones conceptuales, dimensiones e indicadores. El juez necesita conocer esas relaciones para determinar si un reactivo representa realmente el componente al que ha sido asignado o si introduce contenido ajeno.
En una ruta cualitativa, la especificación puede adoptar otra forma: pregunta u objetivo, referentes conceptuales, ejes de indagación, clase de experiencia o práctica que se desea explorar y función de las preguntas principales. El juez no necesita encontrar variables donde no existen; necesita evaluar si la guía ofrece oportunidades suficientes y pertinentes para producir la evidencia que la investigación requiere.
La representatividad tampoco se decide únicamente reactivo por reactivo. Un conjunto puede contener preguntas pertinentes y, aun así, dejar sin cobertura una parte importante del dominio. Por eso el juicio debe permitir evaluar tanto componentes individuales como la arquitectura global.
Figura 1: El juicio experto compara el instrumento con su dominio, no consigo mismo.
🔎 ¿Qué debería recibir el juez?
Explora cada pieza del paquete y observa qué pregunta permite responder.
Aplicación a tu tesis: toma una pregunta o ítem de tu versión 1 y construye la ruta que verá el juez: objetivo o pregunta de investigación, referente, dimensión o eje, evidencia requerida y componente. Si el recorrido necesita una explicación que solo existe en tu cabeza, el paquete todavía no está listo.
Un juez se selecciona por la evidencia de su experiencia, no por prestigio genérico
La palabra experto necesita convertirse en un criterio documentable. No basta con que una persona posea un grado académico elevado ni con que sea reconocida institucionalmente. Su trayectoria debe guardar relación con aquello que tendrá que juzgar.
El perfil puede requerir conocimiento del dominio sustantivo, experiencia metodológica, trabajo con el tipo de instrumento o familiaridad con la población y el contexto en el que se utilizará. No todos los jueces necesitan aportar exactamente la misma clase de conocimiento; una composición complementaria puede ayudar a observar problemas diferentes.
También es necesario registrar por qué cada persona fue considerada pertinente. La tesis debe poder explicar qué experiencia, producción, práctica profesional o trayectoria metodológica justificó su participación como juez.
El número de jueces y los criterios exactos de selección dependen del procedimiento de validación adoptado. Como la planeación institucional de esta asignatura no fija un número ni un método único, no corresponde establecer aquí una cifra obligatoria. La decisión deberá justificarse y mantenerse compatible con el procedimiento cuantitativo o cualitativo que posteriormente se utilice.
🧭 Selección argumentada
Una tesis investiga experiencias de acompañamiento doctoral mediante entrevistas semiestructuradas. ¿Qué decisión ofrece una justificación más sólida para seleccionar jueces?
Aplicación a tu tesis: construye primero una matriz de necesidades del panel y solo después piensa en nombres. Registra qué experiencia necesitas en dominio temático, metodología, instrumentación y contexto. Para cada perfil explica qué aspecto concreto del juicio podrá sostener.
Relevancia, representatividad y claridad responden preguntas diferentes
Una debilidad frecuente consiste en entregar al juez una escala genérica de “adecuado / no adecuado”. Esa valoración mezcla problemas diferentes y después impide saber qué necesita corregirse.
La relevancia pregunta si un componente contribuye de manera pertinente a representar o explorar el dominio al que ha sido asignado. Un ítem puede ser muy claro y, sin embargo, ser irrelevante para la dimensión.
La representatividad amplía la mirada hacia la cobertura. No pregunta solamente si un elemento es pertinente, sino si el conjunto ofrece una representación suficientemente defensible de los aspectos que integran el dominio. La ausencia de componentes también constituye información.
La claridad se refiere a si la formulación comunica la tarea de forma comprensible y suficientemente inequívoca para su población prevista. Es una condición importante del componente, pero una pregunta clara no se vuelve pertinente solo por estar bien redactada.
Para esta asignatura puede añadirse un criterio explícito de congruencia o trazabilidad: si el componente corresponde con el objetivo, dimensión, indicador o eje que el investigador declara. Este criterio ayuda a conectar el juicio con la matriz construida desde L3.
🔍 Laboratorio de criterios
Identifica cuál sería el criterio prioritario en cada observación de un juez.
Aplicación a tu tesis: revisa el formato que entregarías a un juez. Si existe una sola columna llamada “válido”, sustitúyela por criterios diferenciables. Para cada criterio redacta una instrucción que indique exactamente qué debe observar el juez.
Cuantificar el juicio exige declarar qué juicio se está cuantificando
Existen diferentes procedimientos para sintetizar juicios expertos y no son intercambiables. Elegir uno exige comprender qué pregunta formula al juez, cómo transforma sus respuestas y qué criterio utilizará posteriormente el investigador para interpretar el resultado.
El procedimiento de Lawshe (1975) utiliza juicios sobre la esencialidad de los elementos y los sintetiza mediante una razón de validez de contenido, conocida como Content Validity Ratio o CVR. Su interpretación depende del número de jueces y del criterio estadístico adoptado.
Otra familia de procedimientos utiliza el Content Validity Index o CVI. Puede calcularse a nivel de ítem y de instrumento a partir de valoraciones de relevancia. Polit, Beck y Owen (2007) discuten ventajas y limitaciones de estos índices y la posibilidad de complementar el acuerdo observado con ajustes que consideren el acuerdo esperado por azar.
El punto metodológico para esta asignatura no es memorizar un valor de corte. Es evitar mezclar procedimientos. No tendría sentido solicitar “esencial / útil / no necesario” y después analizar las respuestas como si se hubiera aplicado una escala de relevancia diseñada para CVI.
Además, un índice no elimina la necesidad de analizar comentarios. Dos jueces pueden coincidir en que una pregunta necesita revisión y hacerlo por razones completamente diferentes. La decisión metodológica requiere conservar tanto la síntesis cuantitativa como el argumento cualitativo que explique qué debe cambiar.
🧩 ¿Qué pregunta responde cada procedimiento?
Explora las opciones antes de decidir qué forma de juicio utilizará tu tesis.
Aplicación a tu tesis: escribe qué pregunta deseas responder mediante el juicio experto: esencialidad, relevancia, cobertura, claridad, congruencia u otra explícitamente definida. Después selecciona un procedimiento compatible. Si aún no has elegido método ni número de jueces, registra esa decisión como pendiente en vez de inventar un punto de corte.
El protocolo debe decidir de antemano qué ocurrirá con los juicios
Una valoración experta solo se vuelve útil cuando existe un procedimiento para transformarla en decisiones. Si las reglas se inventan después de observar los resultados, el investigador puede terminar conservando componentes que le agradan y eliminando otros mediante criterios diferentes.
Por ello, antes de enviar el paquete debe definirse qué información se recopilará, cómo se sintetizará, qué situaciones obligarán a revisar un componente y cómo se resolverán las discrepancias. Si se utilizará un índice cuantitativo, el criterio de interpretación debe provenir del método seleccionado y citarse. Si el procedimiento institucional aún no se ha definido, esa decisión permanece pendiente.
Las recomendaciones cualitativas también necesitan trazabilidad. La bitácora debería mostrar, por componente, qué señalaron los jueces, qué decisión adoptó el investigador, qué cambio realizó y cómo justificó conservar un elemento cuando decidió no seguir una recomendación.
Esta regla aplica por igual a guías cualitativas. El juez puede observar que una pregunta es pertinente pero inductora, que un eje importante tiene poca cobertura o que dos preguntas producen evidencia redundante. El investigador debe documentar cómo esas observaciones modifican la guía sin convertir el proceso en una votación sobre cuál interpretación cualitativa será “correcta”.
🧭 Cuando los jueces discrepan
Tres jueces consideran pertinente una pregunta; otro señala que introduce dos contenidos diferentes y recomienda dividirla. ¿Cuál es la decisión metodológica más defendible?
Aplicación a tu tesis: redacta antes de recibir respuestas una tabla de decisión. Define qué harás con un componente cuando exista acuerdo favorable, cuando aparezca un problema específico de claridad, cuando se detecte un vacío de cobertura y cuando las valoraciones numéricas y los comentarios argumentados apunten en direcciones diferentes.
Conclusión
La validez de contenido no comienza cuando llega la primera hoja respondida por un juez. Comienza cuando el investigador define el dominio, identifica qué experiencia necesita en el panel, convierte los criterios en tareas observables y determina cómo se registrarán los juicios.
Un proceso defendible distingue entre quién juzga, qué juzga, con qué criterios, mediante qué formato y cómo se utilizará el resultado. Si alguno de estos componentes permanece implícito, la evidencia obtenida será difícil de interpretar.
Los índices cuantitativos constituyen herramientas posibles, no rituales. Lawshe y los procedimientos basados en CVI parten de tareas de juicio distintas y requieren reglas consistentes con su propio diseño. La asignatura no impone uno de ellos porque la planeación todavía no define procedimiento institucional, número de jueces ni punto de corte.
El juicio experto tampoco sustituye al investigador. Los jueces aportan evidencia y argumentos; el investigador conserva la responsabilidad de revisar, eliminar, incorporar o mantener componentes y de documentar por qué tomó cada decisión.
En L9, Del juicio experto a la versión revisada, trabajarás precisamente con esa transición: integrar las valoraciones, interpretar los resultados, construir una matriz de respuesta a observaciones y producir la versión 2 del instrumento sin borrar la historia de sus modificaciones.
🔭 Para seguir aprendiendo
- ¿Podría un juez evaluar tu instrumento sin que tú estés presente para explicar qué significa cada dimensión o eje?
- ¿Qué experiencia específica necesitaría una persona para juzgar el contenido de tu instrumento y cómo demostrarías que la posee?
- ¿Tu formato permite distinguir entre una pregunta irrelevante, una pregunta poco clara y un vacío de cobertura?
- ¿Qué decisión podrías estar tentado a cambiar después de ver los resultados del juicio y que, por rigor, deberías definir antes?
Actividad de aprendizaje autónoma
🛠 Paquete de revisión para jueces v1
Diseña el paquete completo que utilizarás para obtener evidencia de validez basada en el contenido de tu instrumento mediante juicio experto. El paquete debe permitir que los jueces comprendan el propósito, relacionen cada componente con el dominio y registren valoraciones y observaciones mediante criterios explícitos.
Instrucciones:
- Identifica la versión del instrumento. Registra el nombre, propósito, población o fuente de información prevista y número de versión que será sometido a juicio.
- Presenta el dominio que será evaluado. Integra la pregunta u objetivo de investigación y las definiciones, dimensiones, indicadores o ejes de indagación que justifican los componentes del instrumento.
- Construye el perfil de jueces. Define qué experiencia en dominio temático, metodología, instrumentación o contexto necesitas y explica cómo verificarás la pertinencia de cada perfil. No establezcas un número arbitrario de jueces si todavía no has elegido el procedimiento que lo justificará.
- Define los criterios de valoración. Especifica qué entenderás por relevancia, representatividad o cobertura, claridad y congruencia. Añade otros criterios únicamente cuando puedas justificar su función.
- Selecciona y documenta la forma de juicio. Indica si utilizarás un procedimiento basado en esencialidad, relevancia, otra escala estructurada, comentarios abiertos o una combinación. Si utilizarás CVR, CVI u otro índice, identifica la fuente metodológica y deja explícitas la fórmula y regla de interpretación que aplicarás.
- Construye la hoja de valoración. Presenta cada ítem, pregunta, sondeo o criterio de observación junto con su origen metodológico, las escalas correspondientes, un espacio para comentarios y una recomendación de conservar, revisar, eliminar o incorporar contenido.
- Incluye una revisión global. Solicita al juez valorar la cobertura del conjunto, identificar aspectos del dominio insuficientemente representados y señalar posibles redundancias.
- Define el procedimiento. Documenta cómo se enviarán y recuperarán las valoraciones, si la primera revisión será independiente, cómo se registrarán aclaraciones y cómo se conservará la versión recibida de cada juez.
- Construye las reglas de decisión. Establece antes de analizar los resultados cómo integrarás las valoraciones estructuradas y los comentarios. Cuando una decisión dependa del número de jueces o de un punto de corte todavía no establecido, márcala expresamente como pendiente.
- Prepara la matriz de respuesta a observaciones. Crea una estructura en la que posteriormente puedas registrar componente, valoración obtenida, comentario del juez, decisión del investigador, modificación realizada y justificación. Esta matriz será completada en L9.
Tu entrega debe incluir:
- Presentación del proceso de juicio experto.
- Descripción del propósito y uso previsto del instrumento.
- Síntesis del dominio, dimensiones o ejes que serán evaluados.
- Perfil y criterios de selección de jueces.
- Instrucciones dirigidas a los jueces.
- Definición de cada criterio de valoración.
- Hoja de valoración por componente.
- Sección de evaluación global de cobertura y redundancia.
- Procedimiento de administración y recuperación de los juicios.
- Método previsto para sintetizar valoraciones y comentarios.
- Reglas de decisión definidas antes de analizar los resultados.
- Plantilla de matriz de respuesta a observaciones para L9.
- Instrumento v1 que será sometido a revisión.
Criterio central: otra persona debe poder reconstruir quién fue considerado experto, qué examinó, mediante qué criterios emitió su juicio y cómo ese juicio se transformará posteriormente en una decisión sobre el instrumento.
🛠 Constructor del protocolo de juicio experto
Completa las decisiones centrales antes de preparar la versión definitiva del paquete.
Forma prevista de juicio
📄 Evidencia de logro
El Paquete de revisión para jueces v1 debe permitir comprobar:
- qué versión exacta del instrumento será evaluada;
- qué dominio, dimensiones o ejes pretende representar;
- por qué los perfiles seleccionados pueden actuar como jueces pertinentes;
- qué significa cada criterio de valoración;
- qué tarea realizará el juez para cada componente;
- cómo podrá identificar vacíos de cobertura y redundancias globales;
- cómo se registrarán valoraciones y comentarios;
- qué procedimiento se utilizará para sintetizar los juicios;
- qué reglas de decisión están definidas y cuáles permanecen pendientes;
- cómo se conservará la trazabilidad entre juicio, decisión y futura modificación.
Si dos jueces discrepan sobre una pregunta de tu instrumento, ¿tu protocolo permitirá explicar qué criterio originó la discrepancia y convertirla en una decisión metodológica documentada, o solamente registrarás que uno estuvo de acuerdo y otro no?
Referencias bibliográficas
- American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. American Educational Research Association.
- Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563–575.
- Lynn, M. R. (1986). Determination and quantification of content validity. Nursing Research, 35(6), 382–385.
- Polit, D. F., Beck, C. T., & Owen, S. V. (2007). Is the CVI an acceptable indicator of content validity? Appraisal and recommendations. Research in Nursing & Health, 30(4), 459–467.
- Sireci, S. G., & Faulkner-Bond, M. (2014). Validity evidence based on test content. Psicothema, 26(1), 100–107.