Dos evaluadores pueden observar exactamente los mismos datos y emitir juicios diferentes si nunca declararon qué criterio utilizarían.
Evaluar exige algo más que describir resultados: implica decidir qué significa un resultado favorable, qué condiciones debe satisfacer, qué debilidades pueden compensarse y cuáles deberían impedir una conclusión positiva aunque otros indicadores sean buenos.
⚖ Dilema de apertura
Un programa de tutoría cumple su meta de atención, pero requiere horas extraordinarias, atiende poco a estudiantes que trabajan y depende de financiamiento temporal. ¿Puede declararse exitoso?
Objetivo didáctico
🎯 Al finalizar esta lección
Valorarás la evidencia institucional mediante criterios de pertinencia, viabilidad, eficacia, efectividad, eficiencia y sostenibilidad para construir estándares y reglas de decisión que permitan emitir un juicio global explícito, argumentado y sensible a tensiones entre resultados.
Introducción
L8 organizó la evidencia desde el contexto hasta el impacto. Sin embargo, ninguna cifra contiene dentro de sí su propia valoración. Reducir el tiempo de atención de diez a cinco días solo puede considerarse favorable si existe una razón para sostener que cinco días constituyen un desempeño adecuado. El dato describe; el criterio permite juzgarlo.
Los criterios de evaluación funcionan como distintas lentes sobre una misma intervención. La OECD plantea que no deben utilizarse mecánicamente ni con el mismo peso en todos los casos: deben seleccionarse y adaptarse en función del propósito, el contexto y las necesidades de quienes utilizarán la evaluación (OECD, 2019, 2021).
El temario de la asignatura incluye seis criterios: pertinencia, viabilidad, eficiencia, eficacia, efectividad y sostenibilidad. La terminología exige una precaución especial. En la literatura internacional, *effectiveness* puede traducirse tanto como eficacia como efectividad dependiendo de la tradición utilizada. Para impedir ambigüedad, esta asignatura adoptará una convención explícita.
💡 Convención operativa de la asignatura
Eficacia: grado de logro de los objetivos y resultados previstos respecto de un estándar declarado.
Efectividad: grado en que la intervención produce resultados valiosos en sus condiciones reales de operación, considerando diferencias entre grupos, efectos no previstos y evidencia sobre su contribución al cambio.
La convención no pretende imponer una definición universal. Su finalidad es que, dentro del proyecto integrador, ambos términos tengan funciones diferentes y puedan rastrearse hasta preguntas y evidencias específicas.
Desarrollo del tema
Pertinencia y viabilidad: hacer lo correcto y poder hacerlo
La pertinencia pregunta si el diseño responde al problema, las necesidades, las prioridades, los derechos y el contexto. La OECD formula una pregunta equivalente para relevancia: si la intervención está haciendo aquello que corresponde y si continúa respondiendo a las necesidades cuando las circunstancias cambian.
Una estrategia puede alcanzar buenos resultados y seguir siendo poco pertinente. Imagina que una institución mejora la asistencia mediante incentivos destinados a estudiantes con alto desempeño, mientras la mayor concentración de abandono ocurre entre quienes trabajan y no pueden asistir en determinados horarios. El programa puede mostrar actividad y resultados, pero responder débilmente al problema prioritario.
La viabilidad responde una pregunta diferente: ¿el diseño puede ejecutarse razonablemente bajo las condiciones técnicas, organizativas, temporales y financieras de la institución? La OECD incorpora estos componentes al analizar la factibilidad del diseño y señala que los estudios de viabilidad deben examinar recursos, actividades, alcance y condiciones necesarias para que una intervención pueda funcionar.
Pertinencia y viabilidad pueden entrar en conflicto. Una estrategia puede ser altamente pertinente pero requerir recursos inexistentes. Otra puede ser fácil de implementar y resolver un problema marginal. La decisión profesional consiste en evitar ambos extremos: lo deseable pero impracticable y lo practicable pero irrelevante.
🧭 Pertinente, pero ¿viable?
El diagnóstico muestra que estudiantes trabajadores requieren tutoría nocturna. El plantel no dispone actualmente de personal en ese horario. ¿Qué decisión es más defendible?
Decisión de aplicación: somete tu intervención a dos preguntas separadas: “¿responde al problema prioritario?” y “¿podemos ejecutarla con calidad?”. Si ambas respuestas se basan exactamente en la misma evidencia, probablemente estás mezclando criterios.
Eficacia y efectividad: cumplir la meta no resuelve toda la pregunta
La eficacia, bajo la convención adoptada en esta asignatura, examina el grado de cumplimiento de objetivos y resultados previstos. CEPAL ha definido tradicionalmente la eficacia de un programa en función del cumplimiento de los objetivos que motivaron su ejecución, separando este juicio de los costos utilizados.
Si el Centro Escolar Horizonte establece como meta que las alertas de riesgo sean atendidas dentro de un intervalo determinado, la eficacia puede juzgarse comparando el desempeño observado con ese estándar. El problema aparece cuando esa meta se convierte en sustituto del propósito educativo completo.
La efectividad ampliará el análisis hacia aquello que ocurre bajo condiciones reales. La guía OECD sobre *effectiveness* incorpora precisamente el logro de objetivos y resultados, pero también diferencias entre grupos, resultados no previstos y factores que explican el logro o incumplimiento. En esta asignatura utilizaremos esa amplitud para distinguir efectividad de eficacia.
Así, un programa puede resultar eficaz porque atiende las alertas en tiempo y forma, pero mostrar efectividad limitada si el apoyo no mejora la situación de quienes concentran el riesgo, si los resultados aparecen únicamente en ciertos grupos o si los cambios desaparecen al terminar una condición excepcional de implementación.
⚙ Cumplimos la meta
El 95 % de los casos recibe primer contacto dentro del estándar definido, pero los estudiantes con empleo siguen abandonando en una proporción mayor. ¿Qué juicio es más sólido?
Decisión de aplicación: identifica una meta de tu institución que pueda producir alta eficacia y, simultáneamente, imagina una condición bajo la cual la efectividad seguiría siendo cuestionable.
Eficiencia: no es gastar menos, sino justificar la relación entre recursos y resultados
La eficiencia examina cómo se convierten recursos en resultados. OECD la define en términos de producir resultados de manera económica y oportuna, comparando cuando es posible alternativas factibles. Los recursos incluyen no solo dinero, sino tiempo, personal, capacidades y otros costos.
Esto impide equiparar eficiencia con austeridad. Una intervención más barata puede ser menos eficiente si produce resultados insuficientes. Una estrategia más costosa puede estar justificada si logra mejores resultados o atiende poblaciones cuya inclusión requiere recursos adicionales.
La equidad resulta especialmente importante. La propia guía OECD señala que alcanzar a grupos en condiciones de mayor desventaja puede costar más. Si la evaluación utiliza únicamente costo promedio, puede penalizar precisamente las intervenciones que intentan cerrar brechas.
Por ello, una comparación de eficiencia necesita alternativas realmente comparables. Comparar una tutoría intensiva dirigida a estudiantes en alto riesgo con una campaña masiva de mensajes puede producir un costo por persona mucho menor en la segunda, pero ambas estrategias no ofrecen necesariamente el mismo resultado.
Decisión de aplicación: selecciona un gasto de tu intervención y especifica qué resultado debería producir para poder emitir un juicio de eficiencia. Si solo conoces cuánto cuesta, todavía no has evaluado eficiencia.
Sostenibilidad: un buen resultado temporal puede esconder una estructura frágil
La sostenibilidad pregunta si los beneficios o capacidades generados pueden continuar. OECD la formula como la probabilidad de que los beneficios netos se mantengan a mediano y largo plazo e incluye dimensiones financieras, económicas, sociales y ambientales.
En educación institucional, la sostenibilidad puede depender de que una intervención deje de ser un proyecto extraordinario y se integre en reglas, presupuestos, responsabilidades, sistemas de información y capacidades ordinarias. Una innovación administrada por una persona excepcional puede funcionar mientras esa persona permanezca y desaparecer al cambiar el equipo.
Sostenibilidad tampoco equivale únicamente a financiamiento. Un programa puede contar con presupuesto recurrente y perder apoyo del personal, volverse incompatible con nuevos procesos o depender de una tecnología que la institución no puede mantener.
La sostenibilidad debe examinarse desde el diseño, no únicamente años después. Si una estrategia requiere permanentemente horas extraordinarias para alcanzar sus metas, esa dependencia ya es evidencia relevante para el juicio.
💰 Menor costo, ¿mayor eficiencia?
La alternativa A cuesta menos pero atiende principalmente a estudiantes de bajo riesgo. La alternativa B cuesta más y llega a estudiantes que concentran abandono. ¿Cuál juicio es más defendible?
Decisión de aplicación: identifica qué elemento de tu estrategia desaparecería primero si terminara un financiamiento extraordinario o cambiara la persona que actualmente la lidera. Esa dependencia debe entrar al juicio de sostenibilidad.
Integrar criterios sin esconder el conflicto en un promedio
Después de valorar cada criterio aparece el problema más complejo: ¿cómo producir un juicio global cuando los resultados no coinciden? Una solución frecuente consiste en asignar números y calcular un promedio. Puede ser útil, pero también puede ocultar decisiones normativas importantes.
Supongamos que una estrategia obtiene valoraciones altas en eficacia, eficiencia y sostenibilidad, pero mantiene una barrera grave de acceso para estudiantes con discapacidad. Si todos los criterios tienen el mismo peso, los resultados favorables pueden compensar matemáticamente la exclusión. El promedio sería correcto y el juicio, potencialmente indefendible.
Por ello, algunos criterios pueden ser no compensables. El evaluador puede declarar que determinadas condiciones mínimas —por ejemplo, ausencia de discriminación directa, seguridad o acceso básico— deben cumplirse antes de que otras fortalezas permitan una valoración global favorable.
También debe existir una regla para la ausencia de evidencia. “No encontramos problemas” no significa lo mismo que “demostramos que no existen problemas”. Cuando un criterio no puede valorarse por información insuficiente, la categoría correcta puede ser “no determinado”, no una puntuación favorable.
Finalmente, las ponderaciones deberían justificarse por adelantado siempre que sea posible. Asignar mayor peso a aquello que salió mejor después de observar los datos convierte la evaluación en una racionalización retrospectiva.
⚖ Un promedio engañoso
Un programa obtiene valoraciones altas en cinco criterios, pero existe evidencia de que excluye sistemáticamente a un grupo protegido. ¿Qué regla es más defendible?
| Criterio | Pregunta central | Error que evita |
|---|---|---|
| Pertinencia | ¿Estamos atendiendo el problema y las necesidades que realmente importan? | Resolver correctamente el problema equivocado. |
| Viabilidad | ¿Puede ejecutarse bajo condiciones reales? | Diseñar una solución imposible de sostener operativamente. |
| Eficacia | ¿Se alcanzaron los objetivos previstos? | Declarar éxito sin contrastar el desempeño con una meta. |
| Efectividad | ¿Produce resultados valiosos en condiciones reales y entre los grupos relevantes? | Confundir cumplimiento formal con cambio sustantivo. |
| Eficiencia | ¿Los recursos se justifican por los resultados y alternativas disponibles? | Confundir menor costo con mejor uso de recursos. |
| Sostenibilidad | ¿Los beneficios y capacidades pueden continuar? | Confundir un éxito temporal con una capacidad institucional consolidada. |
Tabla L9.1. Función diferenciada de los seis criterios utilizados en la asignatura. Elaboración propia con base en OECD (2019, 2021), CEPAL y la configuración curricular.
Figura L9.1. Cadena mínima para producir un juicio evaluativo trazable. Elaboración propia.
Decisión de aplicación: toma una recomendación que te gustaría formular y reconstruye la cadena hacia atrás: recomendación → juicio → estándar → criterio → evidencia. Si algún eslabón falta, todavía no tienes una recomendación suficientemente sustentada.
Conclusión
Pertinencia, viabilidad, eficacia, efectividad, eficiencia y sostenibilidad no son seis palabras para describir favorablemente una intervención. Son preguntas distintas y pueden producir respuestas contradictorias. Una evaluación madura conserva esas contradicciones y explica cómo afectan el juicio global.
La calidad del razonamiento aumenta cuando los criterios, estándares y reglas de decisión se definen antes de conocer qué resultado conviene defender. También aumenta cuando el evaluador declara qué condiciones no pueden compensarse mediante un promedio y cuándo la evidencia es insuficiente para emitir una calificación.
La Etapa 9 dejará construido el mecanismo mediante el cual la evidencia se convierte en juicio. En L10 integrarás todo el proceso mediante indicadores académicos, administrativos, pedagógicos y profesional-laborales para formular hallazgos, juicio institucional global y recomendaciones de impacto.
🔭 Para seguir aprendiendo
- ¿Qué resultado de tu proyecto podría ser eficaz y, al mismo tiempo, poco efectivo?
- ¿Qué condición debería ser no compensable aunque el resto de los indicadores fueran favorables?
- ¿Qué criterio no puedes valorar todavía porque te falta evidencia?
Actividad de aprendizaje autónoma
Etapa 9 del proyecto integrador · Marco de criterios, estándares y reglas de decisión.
Recupera la matriz metodológica construida en L8. Convierte ahora la evidencia esperada en un sistema explícito de valoración. La meta es que otra persona pueda comprender por qué un mismo dato conduce a determinado juicio y qué regla utilizarías si dos criterios entran en conflicto.
- Define los seis criterios. Redáctalos específicamente para tu caso, evitando definiciones genéricas.
- Formula una pregunta por criterio. Cada pregunta debe producir un juicio distinto.
- Asigna evidencia. Identifica qué información de tu matriz de L8 alimentará cada criterio.
- Establece un estándar. Define contra qué referencia se interpretará la evidencia: norma, meta, línea base, comparación, necesidad, estándar externo u otro referente justificable.
- Define estados de juicio. Por ejemplo: favorable, parcialmente favorable, desfavorable y no determinado. Explica qué evidencia corresponde a cada uno.
- Identifica criterios críticos. Decide si algún criterio debe funcionar como condición no compensable y justifica por qué.
- Establece reglas de integración. Explica cómo resolverás contradicciones entre pertinencia, eficacia, eficiencia, efectividad, viabilidad y sostenibilidad.
- Ensaya un juicio global. Utiliza evidencia disponible o hipotética claramente marcada para comprobar si tus reglas producen una conclusión interpretable.
📝 Constructor de regla de juicio
Define un criterio completo. Repite el procedimiento para los seis antes de integrar tu matriz final.
Sin seleccionar.
📌 Evidencia de logro
La entrega será sólida cuando cada juicio pueda reconstruirse mediante evidencia + criterio + estándar + regla de decisión y cuando la conclusión global muestre explícitamente qué tensiones permanecen sin resolver.
Si tu institución conociera las reglas de decisión antes de entregar la evidencia, ¿seguirías dispuesto a utilizar exactamente los mismos criterios y estándares?
Referencias bibliográficas
- Comisión Económica para América Latina y el Caribe. (2005). Manual para la evaluación de impacto de proyectos y programas de lucha contra la pobreza. CEPAL.
- Comités Interinstitucionales para la Evaluación de la Educación Superior. (2024). Marco General de Evaluación 2024. CIEES.
- Consejo Nacional para la Coordinación de la Educación Superior. (2023). Marco General del Sistema de Evaluación y Acreditación de la Educación Superior.
- Organisation for Economic Co-operation and Development. (2019). Better criteria for better evaluation: Revised evaluation criteria definitions and principles for use. OECD Publishing.
- Organisation for Economic Co-operation and Development. (2021). Applying evaluation criteria thoughtfully. OECD Publishing.
- Organisation for Economic Co-operation and Development. (2020). Mobilising evidence for good governance: Taking stock of principles and standards for policy design, implementation and evaluation. OECD Publishing.