3. Criterios para asegurar la calidad del diseño

3.1 Criterios para asegurar la calidad del diseño

Desde SUMMA promovemos que el diseño de una evaluación esté guiado por los principios de la evaluación para la mejora, tal como se expuso en los Módulos 1 y 2 de este curso.

Con la intención de contribuir al fortalecimiento de las capacidades en evaluación, en esta sección revisaremos un conjunto de buenas prácticas metodológicas que permiten asegurar resultados más válidos, útiles y pertinentes, así como optimizar los recursos disponibles y minimizar la carga sobre los equipos involucrados.

A continuación, se presentan lineamientos clave para el diseño de una evaluación robusta, organizados en torno a tres ejes: pertinencia del alcance, solidez del diseño, y viabilidad operativa.

3.2 Alcance y pertinencia

• Aplicar el principio de proporcionalidad: No todas las intervenciones requieren la misma profundidad evaluativa. Programas simples o de bajo costo pueden evaluarse con métodos exploratorios, mientras que políticas innovadoras, costosas o con alta exposición pública requieren evaluaciones más rigurosas y comprensivas.
• Involucrar a los actores clave de forma estratégica: Identificar quiénes deben participar, en qué momentos y con qué rol es clave para asegurar legitimidad y uso. Considerar sus tiempos, intereses y responsabilidades permite definir mecanismos realistas de participación.
• Definir claramente el propósito de la evaluación: Formular preguntas claras y alineadas con las decisiones que se busca informar: ¿Qué se necesita saber?, ¿para quién?, ¿en qué momento?  🔗 BetterEvaluation – Aspectos clave del diseño
• Adaptar el diseño a las características de la intervención: Considerar aspectos como la complejidad del programa, las condiciones de implementación o la disponibilidad de datos. Esto ayudará a anticipar riesgos metodológicos. 🔗 BetterEvaluation – Elementos del objeto evaluado
• Considerar recursos y restricciones: Ajustar el diseño al presupuesto, capacidades técnicas y limitaciones logísticas. Reconocer condiciones como dificultades de acceso, carga de trabajo en escuelas, o exigencias de donantes. 🔗 BetterEvaluation – Implicancias del contexto
• Alinear el diseño con los momentos de decisión: Diseñar la evaluación considerando los ciclos de planificación, toma de decisiones o diseño de políticas. Esto incrementa la probabilidad de que los resultados sean utilizados oportunamente.

3.3 Calidad técnica del diseño

• Asegurar tamaños muestrales apropiados: La muestra debe representar adecuadamente a la población objetivo, permitiendo robustez estadística en el caso de estudios cuantitativos, y diversidad significativa en estudios cualitativos. En la Tabla siguiente se detallan tipos de muestreo según el enfoque y objetivos de la evaluación.

Tabla: Tipos de muestreo: características y aplicaciones en evaluación

3.4 Maximizar el uso de datos disponibles

En el diseño de una evaluación, una buena práctica es aprovechar al máximo los datos ya existentes antes de planificar la generación de nueva información. Esto no solo optimiza recursos y tiempos, sino que también evita sobrecargar a las escuelas y otros actores involucrados.

Los datos utilizados en una evaluación pueden clasificarse en dos grandes tipos:

• Datos secundarios: Son aquellos que han sido recolectados previamente con otros fines, por actores distintos al equipo evaluador. Pueden incluir información proveniente de sistemas estadísticos oficiales (como censos de población, encuestas nacionales o registros escolares), plataformas de monitoreo de ministerios, o incluso bases de datos de organismos internacionales. También pueden provenir de sistemas de gestión y monitoreo propios del programa o política evaluada.
• Datos primarios: Son los que el equipo de evaluación recoge de forma directa, utilizando técnicas diseñadas específicamente para responder a las preguntas de evaluación. Esto puede incluir encuestas, entrevistas, grupos focales, observaciones en terreno o estudios de caso.

Generalmente, se recomienda una combinación estratégica de ambos tipos. Esta integración permite obtener una comprensión más rica y robusta sobre los resultados y procesos evaluados. Por ejemplo, los datos secundarios pueden ofrecer contexto o permitir establecer líneas de base, mientras que los primarios pueden profundizar en aspectos cualitativos o generar evidencia específica para la evaluación.

Antes de definir los instrumentos a utilizar, es clave:

• Identificar las preguntas de evaluación y los indicadores clave.
• Mapear qué datos ya existen, quién los produce y cómo acceder a ellos.
• Determinar las brechas de información y planificar la producción de nuevos datos sólo cuando sea necesario.
• Considerar la Teoría de Cambio como una herramienta para guiar la selección de datos, al identificar los procesos y resultados esperados, y las evidencias necesarias para evaluarlos.

En el caso de evaluaciones de impacto, la planificación temprana de la recolección de datos es fundamental. Esto incluye prever una línea de base robusta (datos recogidos antes del inicio de la intervención), así como datos comparativos que permitan estimar el contrafactual. En muchos casos, acceder a estos datos implica negociaciones con actores institucionales o la coordinación entre distintos sistemas de información.

3.5 Maximizar el uso de instrumentos disponibles

Cuando no existen datos secundarios útiles o suficientes, y es necesario generar información primaria, una buena práctica es revisar y aprovechar instrumentos de medición ya existentes y validados. Esto permite ahorrar tiempo y recursos, asegurar la comparabilidad con otros estudios y, sobre todo, mejorar la validez y confiabilidad de los resultados.

Utilizar instrumentos previamente probados (por ejemplo, cuestionarios de habilidades socioemocionales, rúbricas de observación docente o pruebas de aprendizaje estandarizadas) permite:

• Trabajar con formatos que ya han demostrado ser técnicamente sólidos.
• Evitar sesgos o errores comunes en el diseño de instrumentos ad hoc.
• Facilitar la validación cruzada con estudios similares.

Solo en caso de que no exista un instrumento adecuado, se recomienda diseñar uno nuevo. En ese proceso, será clave realizar pruebas piloto, validaciones con personas expertas y ajustes iterativos que aseguren su adecuación técnica y contextual.

3.6 Triangular los datos

Una vez recolectada la información —sea primaria o secundaria, con instrumentos nuevos o existentes— es fundamental aplicar estrategias de triangulación para fortalecer la credibilidad de los hallazgos y enriquecer el análisis.

La triangulación consiste en combinar distintas fuentes de información, métodos de recolección o perspectivas analíticas, con el objetivo de validar, contrastar y comprender más profundamente los fenómenos evaluados. Existen distintos tipos de triangulación, siendo la más común la triangulación metodológica, que integra técnicas como encuestas, entrevistas, grupos focales, análisis documental u observación directa.

Según Carvalho y White (1997), esta estrategia puede cumplir diversas funciones dentro de una evaluación:

• Enriquecer el análisis: capturando diferentes dimensiones del mismo fenómeno.
• Refutar hipótesis: al detectar inconsistencias entre fuentes que obligan a revisar supuestos iniciales.
• Confirmar hallazgos: cuando distintas fuentes convergen en las mismas conclusiones.
• Explicar resultados inesperados: incorporando el contexto o nuevas miradas que otorgan sentido a hallazgos inusuales.

En síntesis, triangular no solo mejora la validez y confiabilidad de los resultados, sino que también permite integrar múltiples voces, perspectivas y niveles de análisis, fortaleciendo el carácter formativo y útil de la evaluación.

3.7 El plan de evaluación

El plan de evaluación es un documento estratégico que sistematiza todos los componentes clave de la evaluación, desde su justificación, alcance y diseño, hasta los aspectos operativos y financieros.  Su propósito es asegurar que la evaluación sea factible, útil y coherente con los recursos disponibles, los objetivos del programa y las decisiones que se espera informar.

Un buen plan de evaluación actúa como hoja de ruta y debe ser elaborado antes de iniciar el trabajo de campo, permitiendo su revisión por parte de actores clave. En evaluaciones contratadas a equipos externos, suele ser el primer entregable formal.

A continuación, se presentan los principales elementos que debe incluir un plan de evaluación:

Elementos del plan de evaluación

• Alcance de la evaluación: Descripción de la intervención a evaluar (objetivos, componentes, cobertura y duración), su Teoría de Cambio, y los propósitos y preguntas clave de la evaluación.
• Diseño metodológico: Definición del tipo de evaluación (impacto, proceso, económica, etc.) y de los métodos seleccionados para recolectar y analizar los datos. Incluye fuentes de información, técnicas, unidades de análisis y criterios de validación.
• Identificación de riesgos y contingencias: Anticipación de posibles obstáculos y definición de estrategias para gestionarlos.
• Distribución de responsabilidades: Detalle de los equipos responsables, funciones asignadas y mecanismos de coordinación.
• Cronograma: Planificación temporal de las actividades, diferenciando fases clave y permitiendo cierta flexibilidad ante imprevistos.
• Entregables: Definición clara de los productos que se esperan de la evaluación (informes, presentaciones, bases de datos, etc.), con sus fechas y públicos destinatarios.
• Estrategia de difusión y uso de resultados: Propuesta de canales y momentos para compartir los hallazgos, asegurando que lleguen a quienes toman decisiones o pueden utilizar la información.
• Recursos necesarios: Estimación del presupuesto requerido y detalle de los perfiles técnicos involucrados, su dedicación y funciones.
• Ética y protección de datos personales: Consideraciones sobre consentimiento informado, anonimato, confidencialidad, resguardo de la información y respeto por la diversidad cultural de las personas participantes.

Cuando la evaluación es realizada por un equipo interno, este será el responsable de elaborar el plan, ya sea de manera autónoma o con apoyo externo, y en coordinación con la persona responsable del programa y otros actores relevantes. 

En el caso de evaluaciones llevadas a cabo por un equipo externo, el plan de trabajo suele ser el primer producto contractual que se debe entregar. Es recomendable que el plan se desarrolle con anticipación al inicio de la evaluación. Este plazo (2 a 3 meses) permite realizar una revisión por parte de los actores clave e incorporar los ajustes necesarios. La revisión del plan considera principalmente si este es coherente con los recursos disponibles y con los objetivos acordados. También es importante verificar que el enfoque esté centrado en la información más relevante con respecto a las preguntas de la evaluación, que no genere una carga excesiva sobre el equipo del proyecto o las personas participantes, y que cumpla con criterios éticos y sea culturalmente apropiado.

💡 Sugerencia: Es fundamental que el plan no solo cumpla criterios técnicos, sino que también sea realista, práctico y contextualmente sensible. Esto implica no sobrecargar a los equipos ni a las comunidades participantes, enfocarse en información realmente útil y asegurar un enfoque ético y participativo.

Haz clic en siguiente/next para avanzar ➡️