2. Diseños metodológicos y métodos de investigación

2.1 Introducción

Una vez definido el tipo de evaluación que se llevará a cabo, es necesario seleccionar el diseño metodológico más adecuado para responder las preguntas clave, considerando los recursos disponibles, los tiempos y los actores involucrados.

El diseño metodológico especifica cómo se recopilarán, analizarán e interpretarán los datos para generar evidencia útil y confiable. Es un proceso iterativo que se afina progresivamente: un diseño inicial permite valorar la factibilidad de las preguntas; un diseño final establece con precisión los métodos a utilizar, los indicadores, las fuentes de información y los plazos de implementación. El diseño de una evaluación considera, al menos:

• Las preguntas de evaluación a responder.
• Los métodos que se utilizarán y cómo se relacionan con esas preguntas.
• Cómo se medirán los resultados esperados y los no previstos.
• Cómo se incorporarán los factores contextuales.
• Qué datos se requerirán, cómo se recolectarán y quién será responsable de esa tarea.

En términos generales, para las evaluaciones de impacto, se pueden utilizar diseños experimentales, cuasi-experimentales o no experimentales (basados en teoría). Los diseños experimentales y cuasi-experimentales permiten estimar el impacto neto de una intervención mediante la comparación de resultados entre un grupo que recibe la intervención y un grupo de referencia o contrafactual. Estos diseños son especialmente útiles para responder a la pregunta “¿funcionó?”, ya que ofrecen evidencia sólida sobre la efectividad de una política o programa. Sin embargo, su foco está en el resultado final, por lo que no siempre explican cómo se produjeron los cambios observados, por qué ocurrieron o en qué condiciones podrían replicarse.

Para abordar estas dimensiones, los enfoques basados en teoría resultan de gran utilidad. A través del desarrollo y validación de una Teoría de Cambio, estos diseños permiten explorar los mecanismos causales, los supuestos subyacentes y el rol del contexto, ofreciendo respuestas a preguntas como: ¿Qué elementos de la intervención generaron el cambio?, ¿Para quién funcionó y bajo qué condiciones? o ¿Qué factores intervinieron en los resultados obtenidos?

En el caso de las evaluaciones económicas, se aplican metodologías específicas como el análisis costo-beneficio y el análisis costo-efectividad. El primero permite valorar si los beneficios generados justifican los recursos invertidos. El segundo compara distintas alternativas para alcanzar un mismo objetivo, evaluando cuál ofrece una mejor relación entre costos y resultados.

Además, tanto en evaluaciones piloto, de procesos, de impacto o económicas, se utilizan técnicas de recolección de información compartidas con la investigación social: registros administrativos, encuestas, entrevistas, grupos focales, entre otras. La clave está en combinar distintos métodos y diseños, integrando enfoques cualitativos y cuantitativos para lograr una visión más completa y útil para la toma de decisiones.

En síntesis, diseñar una evaluación no implica aplicar un método aislado, sino articular distintos enfoques y técnicas de forma estratégica para responder las preguntas clave. La integración de diseños experimentales, teóricos y complementarios —junto a un enfoque participativo y contextualizado— fortalece la calidad, la utilidad y la legitimidad del proceso evaluativo. En la Tabla a continuación, se resumen los principales diseños y métodos asociados.

Tabla: Tipos, diseños y métodos de evaluación

Fuente: Elaboración propia a partir del Magenta Book (HM Treasury, 2020). Consulta el documento completo aquí

2.2 Diseños experimentales y cuasi-experimentales

Los diseños experimentales y cuasi-experimentales se utilizan en evaluaciones de impacto y su principio central es la existencia de un contrafactual: es decir, los resultados observados en un grupo de control que no recibió la intervención, comparables con los resultados del grupo que sí recibió la intervención. 

El objetivo de estos diseños es evaluar los resultados específicos atribuibles a una intervención, por ejemplo, el incremento en el aprendizaje estudiantil como resultado de un cambio en la formación docente. Este tipo de diseño infiere el impacto promedio de una intervención mediante la comparación estadística con un grupo o período de tiempo no afectado por la intervención, que actúa como un contrafactual. 

Requisitos clave para un diseño válido

El contrafactual representa la situación hipotética que habrían vivido los beneficiarios si no hubieran recibido la intervención. Es decir, describe lo que habría ocurrido en ausencia de la política, programa o proyecto. Para que esta comparación sea válida —y el efecto estimado pueda atribuirse con confianza a la intervención—, la construcción del contrafactual debe cumplir con ciertas condiciones fundamentales:

• Datos adecuados y suficientes: Es necesario contar con información comparable para ambos grupos (por ejemplo, resultados de pruebas aplicadas antes y después de la intervención).
• Grupos comparables: El grupo de comparación debe ser lo más similar posible al grupo de tratamiento, en variables como tamaño, ubicación, nivel socioeconómico o trayectoria académica.
• Efecto esperable significativo: La magnitud del impacto esperado debe ser tal que permita distinguirse del “ruido” natural en los datos (variaciones anuales o contextuales).

Por ello, se recomienda que el diseño de evaluación se incorpore desde el inicio del programa, permitiendo definir grupos de tratamiento y comparación adecuados, así como planificar la recolección de datos necesarios.

¿Cuándo son más adecuados estos diseños?

Los diseños experimentales y cuasi-experimentales tienden a ser más adecuados cuando:

• Se busca demostrar resultados con evidencia sólida y cuantitativa, identificar si se están obteniendo o no los resultados esperados.
• Los resultados esperados están bien definidos y son medibles.
• La intervención afecta a una parte de la población, permitiendo utilizar al resto como grupo de comparación. 
• La implementación es relativamente uniforme y no incluye múltiples componentes.
• Se espera una respuesta similar a la intervención entre los distintos grupos beneficiarios. 

Enfoques para construir el contrafactual

Existen dos enfoques principales para construir un contrafactual en evaluaciones de impacto:

• Diseños experimentales (también llamados ensayos controlados aleatorizados o en inglés, randomized controlled trial, RCT): En este enfoque, los participantes son asignados de forma aleatoria a un grupo de tratamiento o a un grupo de control. La aleatorización asegura que ambos grupos sean, en promedio, equivalentes en características observables y no observables, lo que permite aislar con mayor precisión el efecto de la intervención.
• Diseños cuasi-experimentales: También utilizan un contrafactual, pero sin recurrir a la aleatorización. En su lugar, aplican técnicas estadísticas o decisiones de diseño que permiten ajustar analíticamente las diferencias preexistentes entre los grupos de intervención y comparación. Ejemplos comunes incluyen el emparejamiento por puntaje de propensión, diferencias en diferencias o discontinuidad en la regresión.

En términos simples:

• En los diseños experimentales, los grupos son idénticos por diseño (gracias a la asignación aleatoria).
• En los cuasi-experimentales, los grupos no son idénticos, pero se busca que sean comparables a través de herramientas analíticas.

En la práctica, los diseños cuasi-experimentales son más frecuentes, ya que presentan mayor flexibilidad y factibilidad en contextos educativos y sociales, donde la aleatorización no siempre es posible o ética. En la Tabla a continuación, se presentan los métodos de evaluación más comunes para los diseños experimentales o cuasi-experimentales.

Tabla: Métodos de evaluación para diseños experimentales y cuasi-experimentales

Fuente: Elaboración propia a partir del Magenta Book (HM Treasury, 2020). Consulta el documento completo aquí

Aprendizajes y lecciones desde la experiencia: casos de estudio sobre diseños cuasi-experimentales

2.3 Diseños no experimentales (basados en teoría)

Los diseños basados en teoría permiten analizar cómo y por qué una intervención produce los resultados observados, sin necesidad de construir un contrafactual. Se centran en explorar las cadenas causales que vinculan las actividades de la intervención con sus efectos, permitiendo “abrir la caja negra” de los procesos de cambio. A diferencia de los enfoques experimentales, que estiman el efecto neto mediante la comparación entre grupos, estos diseños buscan comprender la contribución de una intervención a los resultados, poniendo énfasis en el contexto, los mecanismos de cambio y las trayectorias causales.

Este tipo de enfoque es especialmente útil cuando:

• La intervención es compleja (por ejemplo, involucra múltiples componentes o actores).
• Se implementa en entornos variables o frágiles, donde el contexto juega un rol clave.
• No es posible establecer un grupo de comparación válido.

2.3.1 ¿Qué caracteriza a estos diseños?

Los enfoques basados en teoría se apoyan en dos principios fundamentales:

1. Consideración explícita del contexto: Reconocen que los factores contextuales pueden potenciar o limitar los efectos de una intervención. Por ello, incorporan el análisis del entorno institucional, cultural o territorial como parte del diseño evaluativo. Esto es esencial para hacer inferencias causales más realistas y transferibles.
2. Explicación causal basada en mecanismos o enfoque mecanicista: En lugar de estimar impacto a través de un contrafactual, estos diseños se enfocan en describir y validar los mecanismos de cambio que conectan inputs con resultados. Si estos pasos pueden comprobarse empíricamente, se puede afirmar que la intervención contribuyó al cambio observado, aunque no haya sido su única causa.

Estos diseños asumen que en la mayoría de las intervenciones sociales no existe una única causa para un resultado, sino una interacción compleja de factores. Por ello, su foco está en la plausibilidad causal, no en la exclusividad causal.

2.3.2 ¿Qué métodos se utilizan?

Todos los métodos evaluativos pueden formar parte de un diseño basado en teoría —en especial los utilizados en evaluaciones de procesos—. Sin embargo, algunos enfoques han sido desarrollados específicamente para este propósito, como:

• Análisis de contribución (Contribution Analysis)
• Cosecha de resultados (Outcome Harvesting)
• Evaluación realista (Realist Evaluation)
• Rastreo de procesos (Process Tracing)
• Cambio más significativo (Most Significant Change)
• Análisis comparativo cualitativo (QCA)

En la Tabla a continuación, se presentan con mayor detalle:

Tabla: Métodos de evaluación para diseños no experimentales o basados en teoría

Fuente: Elaboración propia a partir del Magenta Book (HM Treasury, 2020). Consulta el documento completo aquí

En síntesis, los diseños experimentales y cuasi-experimentales permiten estimar el impacto neto de una intervención al comparar resultados entre un grupo tratado y un contrafactual. Son útiles para responder a la pregunta “¿funcionó?”, ya que aportan evidencia sólida sobre la efectividad de una política o programa. 

Sin embargo, no están diseñados para explicar por qué y cómo ocurrieron los resultados observados, ni si estos podrían replicarse en otro contexto o a mayor escala. Los enfoques basados en teoría permiten cubrir estas limitaciones, ya que exploran los mecanismos causales, el rol del contexto y los supuestos detrás de la intervención. A través del desarrollo y validación de una Teoría de Cambio, estos diseños ayudan a responder preguntas como “¿qué elementos de la intervención generaron el cambio?”, “¿en qué condiciones funcionó?” y “¿para quién tuvo efecto?”. 

Por este motivo, se recomienda combinar enfoques experimentales o cuasi-experimentales con diseños basados en teoría y con evaluaciones de proceso, para lograr una comprensión más completa y útil para la toma de decisiones.

2.4 Métodos de investigación cualitativa y cuantitativa complementarios

En las evaluaciones piloto y de procesos, no se emplean métodos de evaluación en sentido estricto —como ocurre en las evaluaciones de impacto con diseños experimentales o cuasi-experimentales—, sino más bien estrategias de recolección y/o producción de información que provienen del campo de la investigación social y educativa. Estas herramientas permiten comprender en profundidad los contextos, dinámicas y percepciones asociados a la implementación de una intervención.

Aunque su uso es especialmente relevante en evaluaciones de procesos, estas estrategias también complementan las evaluaciones de impacto, aportando una visión más comprensiva y enriqueciendo la interpretación de los resultados cuantitativos. A continuación, se presentan las principales estrategias cualitativas y cuantitativas empleadas en las evaluaciones piloto, de procesos e incluso de impacto:

Tabla: Técnicas de producción de información para evaluaciones piloto, de procesos e impacto

Las evaluaciones económicas permiten estimar si una intervención genera beneficios que justifican su costo, proporcionando así insumos clave para la toma de decisiones basadas en eficiencia. En el contexto de políticas y programas educativos, los enfoques más comunes son:

• Análisis costo-beneficio (ACB): Compara el valor monetario de todos los beneficios y costos asociados a una intervención. Permite calcular indicadores como el Valor Presente Neto (VPN), la Tasa Interna de Retorno (TIR) o la Razón Beneficio-Costo (B/C). Es útil para determinar si un proyecto genera beneficios netos positivos, considerando también impactos indirectos o ambientales cuando corresponda.
• Análisis costo-efectividad (ACE): Relaciona los costos totales de una intervención con los efectos logrados en un único resultado medible (por ejemplo, mejoras en puntajes de pruebas estandarizadas). No requiere convertir los beneficios a valores monetarios, por lo que es particularmente útil cuando se comparan alternativas con un mismo objetivo educativo.
• Análisis de costo-utilidad (ACU): Similar al ACE, pero utiliza medidas estandarizadas de utilidad (como años de vida ajustados por calidad, QALY, en salud). En educación, su uso es menos frecuente.

Estos métodos deben basarse en estimaciones confiables de costos (incluyendo costos marginales y de oportunidad) y efectos (idealmente a través de evaluaciones rigurosas). El momento en que se aplica la evaluación también influye: puede ser prospectiva (antes de implementar el programa, basada en estimaciones) o retrospectiva (una vez que se cuenta con datos reales).