La defensa más sólida de un instrumento no comienza mostrando sus preguntas: comienza demostrando por qué esas preguntas tenían que existir.
Llegaste al cierre con una cadena de decisiones construida desde tu tesis. Ahora debes convertirla en un argumento capaz de resistir una pregunta fundamental: ¿qué evidencia permite afirmar que este instrumento es congruente con la investigación para la que fue diseñado?
🧠 La primera pregunta del comité
Durante la defensa, alguien pregunta: “¿Por qué eligió este instrumento y no otro?”. ¿Cuál respuesta demuestra mayor madurez metodológica?
Objetivo didáctico
🎯 Al terminar esta sesión
Integrarás y defenderás metodológicamente la versión final de tu instrumento mediante un argumento trazable que relacione problema, preguntas u objetivos, referentes teóricos, diseño metodológico, decisiones de instrumentación, tratamiento previsto y evidencia de validez de contenido, distinguiendo con precisión aquello que puede sostenerse de las propiedades que permanecen pendientes.
El producto terminal no será únicamente el archivo del cuestionario, guía, protocolo o registro. Estará acompañado por un expediente de defensa metodológica capaz de demostrar cómo se construyó y revisó.
La defensa integra el trabajo acumulado desde L1 hasta L9. No agrega una capa ornamental al instrumento terminado. Es el momento en que compruebas si todas las decisiones anteriores forman realmente una arquitectura coherente.
Introducción
Desde L1 has tomado decisiones que ahora deben poder conectarse: elegiste una técnica, construiste la arquitectura, relacionaste referentes y dimensiones o ejes, formulaste componentes, determinaste formas de respuesta o registro, preparaste la codificación, auditaste técnicamente la versión 1 y documentaste el juicio experto hasta producir una versión revisada.
Cada una de esas decisiones es defendible solo en relación con las demás. Una escala bien construida puede resultar innecesaria para la pregunta de investigación; una guía cualitativa rica puede fracasar si sus ejes no responden al propósito de la tesis; un resultado favorable en el juicio experto puede ser insuficiente si el investigador no puede explicar qué se sometió a valoración.
Kane (2013) propone pensar la validación mediante argumentos: una afirmación debe hacer explícitas las inferencias y supuestos que permiten pasar de las respuestas observadas a una interpretación o uso. En esta lección utilizaremos una versión didáctica de esa lógica: afirmación → evidencia → límite.
Esta estructura evita dos extremos: defender el instrumento mediante afirmaciones absolutas o reducir la exposición a una lista de procedimientos realizados. Una defensa doctoral debe demostrar qué permite concluir cada procedimiento y también qué no permite concluir.
Desarrollo del tema
Defender no es describir: es construir un argumento
Una descripción responde “qué hice”. Una defensa metodológica responde además por qué esa decisión era necesaria, qué evidencia la sustenta y qué consecuencias tendría haber tomado otra decisión.
Por ejemplo, afirmar “utilicé entrevistas semiestructuradas” describe una técnica. Defenderla exige relacionarla con la clase de experiencia o significado que la investigación necesita reconstruir, con los participantes capaces de producir esa evidencia, con la apertura necesaria para profundizar y con el procedimiento mediante el cual los datos serán tratados.
Del mismo modo, afirmar “utilicé una escala tipo Likert” describe un formato. La defensa debe explicar qué constructo se representa, qué función cumplen los reactivos, por qué una respuesta graduada es pertinente, cómo se interpretará la puntuación si existe y qué evidencia técnica respalda o queda pendiente para esa interpretación.
La defensa mejora cuando cada afirmación tiene una frontera. “El juicio experto aportó evidencia favorable sobre la representación del contenido” es más preciso que “el juicio experto demostró que el instrumento es totalmente válido”. La segunda afirmación excede aquello que ese procedimiento puede sostener.
🧩 Afirmación, evidencia y límite
Selecciona una afirmación y observa cómo se transforma en un argumento defendible.
Aplicación a tu tesis: formula tres afirmaciones que quieras realizar durante tu defensa. Para cada una escribe qué documento, resultado o razonamiento la sustenta y completa la frase “esta evidencia todavía no permite afirmar que…”. Si no puedes escribir el límite, probablemente la afirmación sea demasiado amplia.
La trazabilidad debe poder recorrerse en ambas direcciones
La matriz de congruencia ha acompañado el desarrollo porque permite responder por qué existe cada componente. En la defensa final deberá funcionar también en sentido inverso.
Desde la tesis hacia el instrumento, debes poder recorrer: problema, pregunta u objetivo, referente conceptual, variable o eje, dimensión o componente analítico, necesidad de evidencia y pregunta, ítem o criterio de observación.
Desde el instrumento hacia la tesis, debes poder seleccionar cualquier pregunta y explicar qué evidencia produce, para qué dimensión o eje se necesita y con qué propósito de investigación se conecta. Una pregunta que solo pueda justificarse por tradición, preferencia o curiosidad permanece metodológicamente vulnerable.
El recorrido continúa hacia el análisis. Una respuesta no termina en el instrumento: debe existir una previsión respecto de cómo será codificada, conservada o interpretada. L6 construyó precisamente ese segundo tramo de la cadena.
Figura 1: Cadena bidireccional para la defensa metodológica.
🔍 Prueba de trazabilidad inversa
Imagina que el comité selecciona una pregunta al azar de tu instrumento. Revela qué tendrás que reconstruir.
Aplicación a tu tesis: selecciona tres componentes del instrumento final sin comenzar por los que consideras más sólidos. Reconstruye hacia atrás y hacia adelante la cadena completa. Todo salto que dependa de “es evidente” debe sustituirse por una justificación documentada.
La evidencia de contenido debe presentarse con precisión
En L8 diseñaste el juicio experto y en L9 convertiste sus resultados en decisiones. Durante la defensa debes poder reconstruir el proceso sin reducirlo a la frase “mi instrumento fue validado por expertos”.
Una exposición precisa identifica qué versión se sometió a revisión, qué dominio observaron los jueces, qué experiencia justificó su selección, qué criterios utilizaron, cómo se registraron los juicios, qué procedimiento se aplicó para sintetizarlos y qué modificaciones surgieron de la evidencia obtenida.
Sireci y Faulkner-Bond (2014) sitúan la evidencia basada en el contenido dentro de un argumento más amplio sobre la congruencia del contenido con los propósitos específicos de la evaluación. En consecuencia, el juicio experto debe presentarse como una fuente concreta de evidencia y no como una certificación universal del instrumento.
La versión final debe conservar además la historia de revisión. El comité puede preguntar por qué un componente fue eliminado, dividido, reformulado o conservado frente a una recomendación crítica. La matriz de respuesta de L9 constituye la evidencia para responder.
🔎 ¿Qué puedes afirmar?
Clasifica cada formulación como defendible o excesiva según la evidencia descrita.
Aplicación a tu tesis: redacta el párrafo con el que presentarás tu proceso de validez de contenido. Subraya mentalmente cada verbo: “demuestra”, “garantiza”, “aporta”, “sugiere”, “respalda”. Conserva únicamente aquellos cuyo alcance puedas justificar con la evidencia realmente obtenida.
Las rutas cuantitativa y cualitativa se defienden con preguntas distintas
Una defensa rigurosa no obliga a ambas rutas a presentar exactamente las mismas propiedades. Comparte un principio —congruencia entre propósito, evidencia e instrumento—, pero las preguntas técnicas cambian según aquello que el instrumento pretende producir.
En la ruta cuantitativa debes explicar las variables o constructos representados, la relación entre dimensiones, indicadores e ítems, las formas de respuesta, el nivel de medición cuando corresponda, la estructura del libro de códigos y las propiedades empíricas pertinentes al tipo de resultado que pretendes interpretar.
Si existe una puntuación compuesta, debes justificar por qué sus componentes pueden tratarse conjuntamente y distinguir entre la estructura prevista y aquella evidencia que realmente hayas obtenido. Si una estimación de confiabilidad, estructura interna u otra propiedad todavía no se ha realizado, la defensa debe identificarla como pendiente en vez de convertirla en una afirmación hipotética.
En la ruta cualitativa la defensa se concentra en la relación entre pregunta de investigación, referentes, ejes de indagación, preguntas principales, sondeos, evidencia buscada, forma de registro y esquema analítico inicial. Tracy (2010) incluye la coherencia significativa entre los criterios amplios para examinar la calidad de la investigación cualitativa.
En ambas rutas, la pregunta decisiva es la misma: ¿el instrumento produce una clase de evidencia compatible con aquello que la tesis necesita comprender, describir, analizar o estimar?
🧭 Preguntas del comité
Lee cada escenario y selecciona la respuesta metodológicamente más sólida.
Aplicación a tu tesis: formula las preguntas más incómodas que podría hacer alguien que no comparte tus decisiones metodológicas. No prepares respuestas basadas en autoridad. Para cada objeción identifica qué evidencia mostrarías y qué decisión estarías dispuesto a revisar si esa evidencia fuera insuficiente.
Reconocer límites fortalece la defensa
Una defensa metodológica no pierde calidad cuando reconoce aquello que todavía no puede afirmar. Por el contrario, delimitar el alcance de la evidencia evita atribuir al instrumento propiedades que no han sido estudiadas.
En una ruta cuantitativa puede permanecer pendiente determinada evidencia sobre precisión, estructura o funcionamiento de las puntuaciones. En una ruta cualitativa puede ser necesario reconocer que la guía todavía deberá mostrar su funcionamiento durante la producción real de datos y que los códigos iniciales podrán transformarse durante el análisis.
También deben distinguirse las limitaciones del instrumento de las limitaciones del estudio. Un problema de cobertura pertenece al instrumento. Una restricción de acceso a participantes puede afectar el estudio aunque la formulación de las preguntas sea adecuada. Mezclar ambos planos dificulta saber qué debe corregirse.
Finalmente, la versión presentada como producto terminal debe identificarse de forma precisa. El expediente debe conservar la versión sometida a jueces, los resultados obtenidos, la matriz de respuesta y la versión revisada. Esta cadena permite demostrar que el proceso de validez de contenido produjo decisiones concretas.
🔎 Semáforo de afirmaciones finales
Selecciona el estado que mejor represente una afirmación de tu propia defensa.
Aplicación a tu tesis: revisa todas las afirmaciones técnicas de tu presentación y clasifícalas como sustentadas, parcialmente sustentadas, pendientes o excesivas. Reformula las excesivas y convierte las pendientes en un plan explícito de evidencia futura.
Conclusión
El instrumento final es la expresión visible de una cadena de decisiones que comenzó mucho antes de redactar la primera pregunta. Su defensa debe hacer visible esa cadena.
La congruencia metodológica permite demostrar por qué fue seleccionada una técnica, cómo se transformaron los referentes teóricos en dimensiones o ejes, por qué existen determinados componentes, qué evidencia pretende producir cada uno y cómo será tratada posteriormente.
La evidencia de validez basada en contenido añade otra capa: muestra cómo personas con experiencia pertinente examinaron la relación entre el dominio y el instrumento, cómo sus juicios fueron interpretados y qué modificaciones produjeron. Sireci y Faulkner-Bond (2014) sitúan este tipo de evidencia dentro de un argumento de validez orientado al propósito específico del instrumento.
La defensa final tampoco debe ocultar incertidumbre. Una propiedad técnica pendiente continúa siendo pendiente hasta que exista evidencia adecuada. Reconocerla evita convertir una expectativa metodológica en un resultado ficticio.
El cierre de Investigación Educativa III se produce, entonces, cuando puedes responder tres preguntas sin recurrir a afirmaciones generales: ¿por qué este instrumento?, ¿qué evidencia respalda su construcción actual? y ¿qué límites deben respetarse al utilizarlo e interpretar lo que produzca?
🔭 Para seguir aprendiendo
- ¿Qué decisión de tu instrumento puedes defender mejor ahora que al inicio de la asignatura y qué evidencia hizo la diferencia?
- ¿Qué componente sigue siendo vulnerable cuando recorres su trazabilidad hacia la pregunta de investigación?
- ¿Qué afirmación sobre validez, confiabilidad o rigor deberías limitar para no decir más de lo que realmente demostraste?
- ¿Qué documento de tu expediente mostrarías primero si un comité te pidiera probar que el juicio experto modificó realmente el instrumento?
Actividad de aprendizaje autónoma
🛠 Expediente y defensa metodológica del instrumento final
Integra el producto terminal de Investigación Educativa III y prepara su defensa metodológica. La entrega debe demostrar la relación entre la tesis, las decisiones de instrumentación, la evidencia de validez de contenido y la versión final del instrumento.
Instrucciones:
- Presenta el propósito del instrumento. Explica qué información necesita producir, quién o qué constituye su fuente de información y qué pregunta u objetivo de investigación atiende.
- Justifica la elección instrumental. Explica por qué la técnica y el tipo de instrumento seleccionados son congruentes con el enfoque, diseño, participantes o fuentes y naturaleza de la evidencia requerida.
- Presenta la trazabilidad. Integra la versión actualizada de la matriz que permita recorrer desde las preguntas u objetivos de investigación hasta los componentes del instrumento y desde cada componente hasta el tratamiento previsto de la evidencia.
- Presenta el instrumento final. Identifica claramente la versión y asegúrate de que instrucciones, secciones, preguntas o ítems, formas de respuesta, sondeos o criterios de observación y cierre correspondan con las decisiones documentadas.
- Defiende las decisiones de respuesta o registro. En la ruta cuantitativa justifica las formas de respuesta, niveles de medición y escalamiento cuando correspondan. En la cualitativa explica cómo la forma de registro conserva la evidencia requerida sin reducirla artificialmente.
- Integra la estructura de tratamiento. Presenta el libro de códigos cuantitativo o la matriz cualitativa inicial actualizados y demuestra cómo conservan la relación entre respuesta, significado y análisis previsto.
- Documenta la evidencia de validez de contenido. Explica quiénes participaron como jueces, por qué sus perfiles fueron pertinentes, qué dominio y criterios evaluaron, qué procedimiento se aplicó y qué resultados se obtuvieron. No atribuyas al juicio experto conclusiones que excedan el procedimiento realizado.
- Presenta la respuesta a los jueces. Integra la matriz de respuesta a observaciones y utiliza ejemplos de cambios para demostrar la relación entre evidencia recibida, decisión del investigador y modificación de la versión final.
- Explicita el estado técnico. Distingue las propiedades sustentadas, parcialmente sustentadas y pendientes. En la ruta cuantitativa señala qué evidencia sobre confiabilidad, estructura u otras propiedades existe realmente. En la cualitativa documenta la coherencia y los criterios de rigor pertinentes sin trasladar automáticamente pruebas psicométricas.
- Construye tu argumento de defensa. Para cada decisión central formula una afirmación, identifica la evidencia que la respalda y declara el límite de esa evidencia.
- Anticipa objeciones. Formula preguntas críticas que podrían dirigirse a la elección del instrumento, la cobertura, la forma de respuesta o registro, el juicio experto, las modificaciones y las propiedades todavía pendientes. Responde utilizando evidencia de tu expediente.
- Realiza la presentación final. Organiza la defensa alrededor de decisiones metodológicas y evidencia, no como recorrido cronológico de las tareas realizadas durante la asignatura.
- Cierra con una declaración de alcance. Explica qué usos e interpretaciones del instrumento puedes defender en su estado actual y qué evidencia deberá obtenerse posteriormente antes de ampliar esas afirmaciones.
Tabla 1: Expediente mínimo para la defensa final.
| Evidencia | Qué debe permitir defender |
|---|---|
| Matriz de congruencia final | Por qué existe cada componente y con qué propósito de la tesis se relaciona. |
| Instrumento final | Qué evidencia producirá y mediante qué tareas de respuesta, indagación u observación. |
| Libro de códigos o matriz cualitativa | Cómo conservarás el significado de la evidencia hasta su tratamiento analítico. |
| Protocolo y resultados del juicio experto | Qué evidencia basada en contenido se obtuvo y bajo qué procedimiento. |
| Matriz de respuesta a observaciones | Cómo el juicio experto produjo decisiones y modificaciones documentadas. |
| Declaración de alcance y pendientes | Qué puede sostenerse ahora y qué requiere evidencia posterior. |
🛠 Constructor de argumento para la defensa
Construye una unidad de defensa completa. Después podrás repetir la estructura para cada decisión central de tu instrumento.
Estado de la afirmación
📄 Evidencia de logro
La entrega final debe permitir comprobar:
- la congruencia explícita entre el aparato metodológico de la tesis y el instrumento;
- la justificación de la técnica y del tipo de instrumento seleccionado;
- la trazabilidad de cada componente significativo;
- la versión final completa del instrumento;
- las decisiones de medición o registro que correspondan a su ruta;
- el libro de códigos o matriz cualitativa equivalente actualizados;
- el procedimiento documentado de juicio experto;
- los resultados reales de la valoración de contenido;
- la matriz de respuesta a observaciones y el control de versiones;
- la distinción entre evidencia disponible y propiedades pendientes;
- un argumento de defensa construido mediante afirmaciones, evidencia y límites;
- una declaración final sobre el alcance metodológico del instrumento.
Si el comité retirara de tu defensa todas las frases “porque la literatura dice”, “porque los expertos aprobaron” y “porque así se hace”, ¿seguirías pudiendo demostrar, con la arquitectura concreta de tu tesis, por qué cada decisión central de tu instrumento es defendible?
Referencias bibliográficas
- American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. American Educational Research Association.
- Kane, M. T. (2013). Validating the interpretations and uses of test scores. Journal of Educational Measurement, 50(1), 1–73.
- Sireci, S. G., & Faulkner-Bond, M. (2014). Validity evidence based on test content. Psicothema, 26(1), 100–107.
- Tracy, S. J. (2010). Qualitative quality: Eight “big-tent” criteria for excellent qualitative research. Qualitative Inquiry, 16(10), 837–851.