The May 13 Group

the next day for evaluation

You are here: Home / Archives for allblogs / TripleAD

TripleAD

Los errores se convierten en armadura de innovación

Cómo los errores no solo se perdonan, sino se convierten en tu armadura de innovación

Imagina que acabas de derramar café sobre un informe clave antes de enviarlo. Te mueres de vergüenza, pero… boom, justo ahí se enciende una chispa. Ese pequeño desastre, ese “error sexy”, podría ser el comienzo de algo genial.

1. Dile adiós al error-lineal: no vale solo reportarlo, hay que sabotearlo con humor…

En “Aprendiendo de los errores”, Basados en Amy Edmondson nos lanzamos el primer disparo certero: el error no es un “informe de autopsia”, sino una oportunidad para recalcular y reinventar. Si solo recapacitas superficialmente, estás viendo el error como una mancha en tu historial, no como un trampolín de innovación.

  • El error simple, ese por descuido o rutina, pide reintegrar atención y revisar procesos.
  • El error complejo, sin previo aviso por múltiples causas, es una escuela de sabiduría forzada.
  • El error inteligente, ese del que aprendes al experimentar, es tu brújula hacia lo disruptivo.

2. Cultura y liderazgo: ¿castigo o apertura sexy?

En la segunda entrega, Edmondson remata: los errores son cuestión de cultura y estructura. No es lo mismo fallar en un departamento creativo que en una central nuclear (obvio). Y los líderes: menos dedo acusador, más “¿qué pasó aquí?”, con sistemas como “Andon” de Toyota, donde cualquiera detiene la producción y se investiga el error sin culpas… solo soluciones.

3. Detectar errores sin miedo: la revolución sexy del “informe sin culpas”

En la parte final, el mensaje es brutal: si el error da miedo, nadie lo reporta. Aquí, el rol de los métodos y herramientas (como ese sistema Andon que lo para todo hasta que el asunto se arregla) son vitales. El error deja de ser un tabú y pasa a ser un aliado poderoso.

4. Casos globales que lo demuestran (y lo hacen chic)

  • En Hotel Management (hospitalidad) se comprobó que una cultura que valora y gestiona errores mejora rendimiento, innovación y creatividad (STARS).
  • Oliveira (2023) halló que una cultura positiva de gestión del error está directamente relacionada con mejores resultados organizacionales (Emerald).
  • Estudios en Países Bajos y Alemania mostraron que una cultura organizacional enfocada en el manejo de errores mejora tanto los objetivos como la rentabilidad (ResearchGate).
  • Un modelo paquistaní (Javed, 2020) confirma: la cultura de gestión del error potencia el aprendizaje, la innovación y el rendimiento de equipos, especialmente cuando hay seguridad psicológica alta (ResearchGate).
  • En Turquía (educación), una cultura que tolera el error reduce la desmotivación docente y mejora la satisfacción laboral (ovb.eu).
  • En el sector financiero de Países Bajos, una cultura de manejo de errores fomenta ética, mejora del servicio y desempeño organizacional (afm.nl).
  • Y no olvidemos: cuando las personas sienten que no serán castigadas por equivocarse (como ocurre en entornos con alta seguridad psicológica), reportan más errores… ¡y aprenden más! (Wikipedia).

5. ¿Por qué funciona todo esto? Agarra esas alas…

  • Aprendizaje profundo y rápido, no solo corrección inmediata.
  • Mayor innovación, al liberar la energía creativa aún desde lo imperfecto.
  • Mejor desempeño: equipos más flexibles, motivados y con menos miedo.

6. Toques finales para que publiques y conquistes

  • Metáforas memorables: errores como “exes que nos dieron lecciones”, “GPS que recalculan mejor” o “sillas que se caen pero enseñan a sentarse con clase”.
  • Humor y complicidad: “¿cuántas veces te diste un cabezazo con la misma pared… y luego la pintaste?”
  • Cierre viral:
    “Error: esa palabra fea que, cuando le pones flow y cultura, se convierte en tu mejor arma. Ahora ve, haz de tus tropiezos tu próximo éxito.”

Referencias

  1. Guchait, P., Qin, Y., Madera, J. M., Hua, N., & Wang, X. (2020). Impact of error management culture on organizational performance, management-team performance and creativity in the hospitality industry. International Journal of Hospitality & Tourism Administration, 21(4), 335–361. https://doi.org/10.1080/15256480.2018.1478357. STARSTaylor & Francis Online
  2. Oliveira, M. F., Santos, E., & Ratten, V. (2023). Strategic perspective of error management, the role of leadership, and an error management culture: A mediation model. Journal of Economics, Finance and Administrative Science, 28(55), 160–175. https://doi.org/10.1108/JEFAS-01-2022-0028. revistas.esan.edu.pe
  3. van Dyck, C., Frese, M., Baer, M., & Sonnentag, S. (2005). Organizational error management culture and its impact on performance: A two-study replication. Journal of Applied Psychology, 90(6), 1228–1240. https://doi.org/10.1037/0021-9010.90.6.1228. Vrije Universiteit Amsterdam
  4. Javed, B., Jalees, T., Herani, G. M., & Rolle, J.-A. (2020). Error Management Culture and its impact on organizational performance: A moderated mediation model. Journal of Business and Retail Management Research, 15(1). https://doi.org/10.24052/JBRMR/V15IS01/ART-03. jbrmr.com
  5. Kurum Tiryakioğlu, G. (2024). Error management culture in schools and its relationship with teachers’ psychological withdrawal behaviors. Journal of Pedagogical Research, 8(2), 113–128. https://doi.org/10.33902/JPR.202425804. ijopr.com
  6. AFM (Netherlands Authority for the Financial Markets) & Utrecht University. (2017). Learning from errors: Towards an error management culture (case study with 13 financial firms). https://www.afm.nl/~/profmedia/files/onderwerpen/consument-gedrag-cultuur/report-dealing-with-errors.pdf. Afm
  7. Edmondson, A. C., & Bransby, D. P. (2023). Psychological safety comes of age: Observed themes in an established literature. Annual Review of Organizational Psychology and Organizational Behavior, 10, 55–78. https://doi.org/10.1146/annurev-orgpsych-120920-055217. Annual ReviewsDerrick P Bransby
  8. Edmondson, A. C. (2023). Right Kind of Wrong: The Science of Failing Well. Atria Books. (Libro de referencia actual sobre “fallos inteligentes”). Simon & Schuster
  9. Wikipedia contributors. (2025, July). Psychological safety. Recuperado de https://en.wikipedia.org/wiki/Psychological_safety

Millones en informes… y casi nadie los lee

Hace unos meses, un amigo me confesó que jamás había leído un informe de la ONU. “No es que no me importe el mundo —me dijo—, pero cada vez que intento abrir uno, parece que me estén hablando en otro idioma”. Esa misma semana descubrí un dato que lo resume todo: un vídeo promedio de TikTok consigue más vistas en una hora que la mayoría de los informes de la ONU en todo un año (United Nations, 2025).

La ONU produce más de 1 100 informes anuales, revisados por decenas de departamentos y aprobados por casi 200 países. Sin embargo, un informe reciente reveló que el 20 % de estos documentos recibe menos de 1 000 descargas al año y solo un 5 % supera las 5 500 descargas (Reuters, 2025). Y ojo: descargar no significa leer.

¿Por qué ocurre esto?
No es un problema de inteligencia, sino de comunicación. Investigaciones en comunicación científica muestran que el exceso de tecnicismos y la falta de narrativa disminuyen drásticamente la comprensión y el interés (Science Communication Journal, 2023; Public Understanding of Science, 2022). A esto se suma el “Efecto Comité”: textos escritos por decenas de autores y revisores que terminan sonando diplomáticos… y aburridos.

En ocasiones, el problema es el Síndrome “CYA” (Cover Your Ass): declaraciones llenas de “podría” o “quizás” que diluyen la urgencia. Mientras tanto, plataformas como TikTok y YouTube explotan formatos breves, visuales y emocionales para captar la atención (Brookings Institution, 2023).

Claves para hacer informes más atractivos

  1. Rostros humanos antes que cifras
    Cambia datos fríos por impacto humano: De “735 millones sufren hambre” a “735 millones se acostaron con hambre anoche, más que toda Europa” (Revista Española de Comunicación en Salud, 2024).
  2. Resumen ejecutivo como gancho
    El 80 % de los lectores no pasa de la primera página (World Bank Blog, 2023).
    → Esa primera página debe enganchar como un titular de prensa o un tráiler de cine.
  3. Diseño para lectores rápidos
    Subtítulos cada 2–3 párrafos, frases cortas y una idea principal por párrafo (UNESCO, 2023).
  4. Narrativa y claridad
    Si no puedes explicarlo como en Wikipedia, probablemente no lo entiendes del todo (Harvard Kennedy School, 2024).
    → Simplificar es un acto de precisión, no de banalización.
  5. Titulares que pinten una imagen
    “La peor sequía en 40 años desplazó a 2 millones” es más poderoso que “Tendencia preocupante de precipitaciones”.

El costo del silencio

Cada informe ignorado significa millones en investigación sin impacto, oportunidades perdidas para movilizar apoyo y soluciones que acumulan polvo mientras las crisis avanzan (ONU, 2025; CIS, 2024).

Llamado a la acción

A los comunicadores: simplificar no es trivializar. Es hacer que el mensaje llegue a tiempo.
A los ciudadanos: exigir información comprensible es un derecho, no un lujo.

Si un vídeo de 30 segundos puede despertar conciencias, ¿por qué no un informe que contiene soluciones reales? El cambio empieza por leer… y por escribir para que nos lean.

Bibliografía

Nota: Este artículo fue redactado con apoyo de inteligencia artificial, que también sugirió algunas de las referencias bibliográficas incluidas. Sin embargo, las ideas centrales, el enfoque y la selección final del contenido son completamente mías

Muestreo con Propósito: de la Paella con Plátano al Menú Degustación

🌶PRÓLOGO: ¿QUÉ NOS ESTAMOS COMIENDO?

Hay cosas que deberían tener criterio.

Una es la comida.

Otra es la selección de casos en una evaluación.

Y sin embargo, más de una vez, alguien dice:

“Haremos muestreo intencional… iremos a donde parezca interesante”.

Eso, traducido al lenguaje culinario, es:

“Hice una paella… con lo que había en la nevera”.

Y así acabas comiéndote mejillones con plátano y salchichas.

Lo mismo pasa en evaluación: sitios mal elegidos, visitas inútiles, narrativas sin sentido.

El resultado: un trabajo de campo indigesto y conclusiones flojas.

🍽 ¿QUÉ ES (Y QUÉ NO ES) EL MUESTREO INTENCIONAL?

Es:

  • Seleccionar sitios y personas porque aportan valor directo a las preguntas de evaluación.
  • Hacerlo con base en la teoría del cambio, hipótesis claras y brechas de información.
  • Asegurar variedad estratégica (zonas, resultados, modelos, públicos).

No es:

  • Ir “donde queda cerca del aeropuerto”.
  • Visitar “lo que propone la contraparte”.
  • Elegir casos “raros” o “fotogénicos” sin razón clara.
  • Armar un recorrido “para quedar bien” con todo el mundo.

👨‍🍳 ¿CUÁNDO SABE BIEN Y CUÁNDO SE TE INDIGESTA?

🥇 Ejemplos de muestreo con estrella Michelin:

  • Diversidad útil: visitas a proyectos en diferentes contextos (urbanos/rurales, con y sin apoyo institucional, exitosos y fallidos).
  • Contraste de resultados: selección deliberada de experiencias positivas y negativas para entender qué factores marcan la diferencia.
  • Diseño combinado: mayoría de sitios intencionales + unos pocos aleatorios para evitar sesgos.

🥴 Ejemplos de paella con plátano (basados en la vida real):

  • El tour decorado: solo se visitan los proyectos “lindos” que la contraparte quiere mostrar. El informe queda edulcorado.
  • Logística por encima de lógica: visitas solo a lugares accesibles. Se ignoran contextos remotos clave.
  • El proyecto unicornio: se dedica medio informe a un piloto muy llamativo… que representa menos del 3 % del presupuesto.

CÓMO HACERLO BIEN (Y QUEDAR COMO UN CHEF DE LA EVALUACIÓN)

Paso 1: Partir de las preguntas

Identifica qué subpreguntas puedes realmente responder en campo. Define qué información necesitas validar, triangular o completar.

Paso 2: Formular hipótesis

Antes de visitar nada, plantéate qué supuestos quieres verificar. Eso te ayuda a saber dónde ir y a quién escuchar.

Paso 3: Establecer criterios claros

Define y documenta por qué vas a cada sitio:

  • ¿Es representativo?
  • ¿Contrasta con otros?
  • ¿Tiene valor para validar hipótesis?

Incluye también criterios de exclusión (por ejemplo, si un sitio ya ha sido evaluado recientemente o si no aporta nueva información).

Paso 4: Diseña la visita como una matriz

Relaciona cada sitio con:

  • Subpreguntas de evaluación
  • Hipótesis a validar
  • Técnicas a aplicar (entrevistas, grupos focales, observación)

Paso 5: Un toque de aleatoriedad

Aunque el enfoque sea intencional, incluir uno o dos casos seleccionados al azar te da credibilidad y te ayuda a romper sesgos.

Paso 6: Chequeo previo

Haz llamadas o entrevistas exploratorias para confirmar la pertinencia de los sitios antes de cerrar el itinerario.

Paso 7: Transparencia

Para cada sitio, deja constancia escrita de:

  • Por qué se eligió
  • Qué se espera aprender
  • Qué riesgos de sesgo existen y cómo se manejan

🛠 ANEXO PRÁCTICO PARA EL TRABAJO DE CAMPO

Objetivo del anexo:

Asegurar que la estrategia de muestreo permita un trabajo de campo eficiente, relevante, riguroso e independiente.

Elementos clave:

1. Evaluabilidad de las preguntas

  • ¿Qué subpreguntas pueden responderse en campo?
  • ¿Qué métodos (cualitativos o cuantitativos) son adecuados?
  • ¿Qué información falta y debe buscarse en terreno?

2. Marco de hipótesis e información pendiente

  • ¿Qué supuestos o mecanismos clave quieres verificar?
  • ¿Qué datos faltan para completar tu teoría del cambio?
  • ¿Cómo los vas a triangular?

3. Criterios de selección

  • Relevancia del sitio en relación a las preguntas
  • Diversidad (geográfica, de resultados, de beneficiarios)
  • Disponibilidad de información y actores clave

4. Itinerario lógico y técnicas de recolección

  • Organiza un recorrido coherente
  • Relaciona cada visita con una técnica y propósito
  • Considera riesgos de sesgo (por ejemplo, solo oír voces favorables)

5. Matriz para planificar las visitas (ejemplo de columnas)

Pregunta de evaluación Evaluabilidad Hipótesis / Información clave Técnicas Criterios de selección Propósito de la visita Sitio propuesto

🚀 IDEAS INNOVADORAS PARA EVALUACIONES CON SABOR

  • Mapa de hipótesis: selecciona sitios donde se puedan probar hipótesis críticas.
  • Muestreo de historias: casos que representen diferentes trayectorias (éxito, crisis, estancamiento, innovación fallida).
  • Casos contradictorios intencionales: incluye sitios donde no pasó lo que se esperaba.
  • Mini panel ciudadano: involucra a usuarios en la priorización de sitios.
  • Auditoría de sesgos del equipo: revisa tus propias inclinaciones antes de definir el plan.

📋 TABLA RESUMEN: GOURMET vs. PAELLA SORPRESA

Muestreo Gourmet 🥇 Muestreo Caótico 🌀
Basado en teoría del cambio Basado en logística o intuición
Criterios claros y documentados Decisiones improvisadas
Diversidad estratégica Casos repetidos o decorativos
80 % intencional + 20 % aleatorio 100 % conveniencia
Pre-chequeo remoto Itinerario cerrado sin revisión
Transparencia en decisiones Criterios no explicitados

📚 REFERENCIAS

📊ANEXO INFOGRAFÍA FINAL: Muestreo con Propósito, con Sabor

1. ¿Qué es el muestreo intencional?

✅ Elegir casos clave para responder preguntas y validar hipótesis

❌ No ir “donde sea”, ni elegir solo lo más bonito

2. Pasos para hacerlo bien

  • Partir de preguntas claras
  • Formular hipótesis
  • Establecer criterios de selección y exclusión
  • Relacionar cada sitio con técnica y propósito
  • Incluir una pizca de aleatoriedad
  • Chequear previamente la relevancia
  • Documentar todo de forma transparente

3. Ejemplos buenos y malos

✅ Visitar comunidades diversas

✅ Contrastar éxitos y fallos

❌ Tour turístico de proyectos estrella

❌ Elegir lo más fácil o lo más exótico sin razón

4. Diferencias clave

Gourmet 🍷 Sorpresa 🥴
Basado en TdC y hipótesis Basado en logística
Criterios justificados Criterios ocultos o inexistentes
Variedad relevante Muestra homogénea o decorativa
Control de sesgos Reproducción de narrativas
Iteración y chequeo Improvisación

Nota: Este artículo fue redactado con apoyo de inteligencia artificial, que también sugirió algunas de las referencias bibliográficas incluidas. Sin embargo, las ideas centrales, el enfoque y la selección final del contenido son completamente mías

Duelo Final: Realist, Contribution y Theory-Based en la Corte de la Evaluación

Una sala imponente. Mármoles brillantes. El eco de pasos firmes resuena mientras se abren las puertas del Gran Tribunal Evaluativo. En el estrado, un jurado severo observa en silencio. Tres evaluadores —con estilos distintos, trajes de lógica y argumentos afilados— se preparan para defender su enfoque. El caso: evaluar un programa de prevención comunitaria en municipios priorizados. El reto: demostrar cuál enfoque evaluativo explica mejor cómo, por qué y con qué efectos funciona.

Escena I: El caso a resolver

Objeto evaluativo:

Un programa implementado por una Agencia y aliados locales para fortalecer capacidades municipales, prevenir violencia en comunidades y usar un sistema de información (SIGADENAH) en decisiones locales.

Preguntas evaluativas clave (EQs):

  • ¿Cómo cambiaron las capacidades institucionales?
  • ¿Qué facilitó la adopción del modelo?
  • ¿Cómo se integraron las acciones preventivas?
  • ¿Qué tan útil es el Programa?

Escena II: Entran los tres enfoques

El Realista – voz grave, mirada penetrante, carpeta de C–M–R en mano

“Honorables miembros del jurado… yo no busco demostrar si el programa funcionó. Busco comprender qué funcionó, para quién y en qué condiciones.”

Método:

Mapeo de Contextos (C) – Mecanismos (M) – Resultados (R)

Ejemplo realista:

“En municipios con liderazgo político comprometido (C), la inversión en prevención (M) activa un sentido de agencia local (R).”

Evidencia:

Entrevistas contextuales, teoría media-range, comparación entre municipios con y sin contexto favorable.

Fuerza:

✔ Explica la lógica interna y los factores que activan el cambio.

Debilidad:

❌ No siempre cuantifica la magnitud de resultados ni atribuye causalidad.

La Theory-Based – didáctica, pizarrón en mano, lógica impecable

“Mi enfoque no narra. Mi enfoque verifica. Evalúo si la Teoría del Cambio del programa es válida y útil con base en evidencia.”

Método:

  • Validación o refutación de la lógica causal: de insumos a impacto.
  • Verificación de supuestos y condiciones intermedias.

Ejemplo:

“¿Las actividades comunitarias realmente llevan a mayor cobertura del modelo, como plantea la ToC? ¿Se cumplen los supuestos socioculturales?”

Evidencia:

Matriz de Preguntas de Evaluacion cruzadas con resultados esperados, supuestos y datos. Triangulación rigurosa.

Fuerza:

✔ Rigurosidad lógica. Claridad en hipótesis evaluables.

Debilidad:

❌ Puede resultar rígida en contextos de cambio no lineal.

El Contribution Analyst – con voz firme, paso teatral, y un “story of change” entre manos

“Señoría, no vengo a probar causalidad como en un laboratorio. Vengo a mostrar que este programa contribuyó significativamente al cambio, en interacción con otros factores.”

Método:

  • Reconstrucción de la “historia de cambio”.
  • Identificación de evidencia que respalde los eslabones causales.
  • Análisis de alternativas plausibles.

Ejemplo:

“Los municipios con más cobertura de intervenciones coinciden con mayor percepción de legitimidad del modelo. Pero… ¿fue la Agencia, fue el contexto, o ambos?”

Evidencia:

Encuestas, revisión documental, entrevistas, comparación entre casos.

Fuerza:

✔ Explica contribución sin caer en determinismo.

Debilidad:

❌ No establece relaciones causales fuertes, sino plausibles.

Escena III: El veredicto del Jurado

El mazo suena. El juez habla:

“Tras escuchar sus argumentos, declaro que… ¡ninguno gana solo! Y, al mismo tiempo, todos ganan.”

Argumento del jurado:

  • El Realist nos muestra los porqués profundos: qué activa o bloquea el cambio según el contexto. Fundamental para diseñar mejoras adaptativas.
  • La Theory-Based nos da el mapa lógico: nos obliga a contrastar supuestos, verificar coherencia, y conectar datos con teoría.
  • La Contribution Analysis aporta una narrativa robusta y empírica sobre cómo se dio el cambio, evitando juicios erróneos de atribución.

“Solo cuando se combinan sus enfoques tenemos una visión polifónica, densa, y verdaderamente útil.”

Epílogo: Una evaluación rica es un coro metodológico

En vez de pelear por supremacía, los tres enfoques nos enseñan que:

✅ Podemos usar la Teoria del Cambio como punto de encuentro.

✅ Diseñamos Preguntas de Evaluacion para cada uno: unos para contextos (Realist), otros para lógica (TBE), otros para contribución (CA).

✅ Triangulamos datos, pero también triangulamos enfoques.

✅ No buscamos verdades absolutas, sino explicaciones útiles para decidir y mejorar.

¿Qué puedes hacer como evaluador/a?

Diseña una TdC con hipótesis, supuestos y caminos claros.

Elige enfoques según los desafíos del programa.

¡No tengas miedo de combinar voces evaluativas!

Recuerda: como en una buena obra, la evaluación es un arte narrativo… pero también un método riguroso.

 ¿Qué te pareció este duelo?

  • ¿Te ha tocado defender un enfoque frente a otros?
  • ¿Combinas metodologías en tus evaluaciones?
  • ¿Te gustaría que hiciéramos una segunda parte con ejemplos visuales y fichas por enfoque?

Déjamelo en comentarios

Y si necesitas facilitación metodológica en tu próximo desafío, tenemos capa de superhéroes lista

Teoría del Cambio: realista, contribución o basada en teoría

¿Qué enfoque metodológico usamos con nuestra Teoría del Cambio? Evaluación realista, análisis de contribución o evaluación basada en teoría

No existe una única forma correcta de utilizar la Teoría del Cambio (TdC). Todo depende de cómo evaluamos, para qué y con qué preguntas.

Introducción

Una Teoría del Cambio (TdC) es mucho más que un diagrama inicial. Puede ser una hipótesis causal para contrastar, una narrativa que articula mecanismos de cambio o una plataforma para aprender de la evidencia. Pero para que esto funcione, la TdC debe adaptarse al enfoque metodológico que adoptemos.

En muchas evaluaciones caemos en una trampa: diseñamos una TdC sólida al inicio y luego intentamos usarla igual sin importar el enfoque adoptado. El resultado: confusión, debilidad analítica y pérdida de valor.

En este artículo exploramos tres enfoques metodológicos clave y cómo cada uno utiliza la TdC de forma diferente —y también cómo podemos combinarlos de manera complementaria, cuando lo hacemos con claridad estratégica.

1. Evaluación realista: ¿Qué funciona, para quién y en qué condiciones?

Definición La evaluación realista (Pawson y Tilley, 1997) parte de la premisa de que los programas no funcionan igual en todos los contextos. No nos preguntamos solo “¿funciona?”, sino: ¿para quién funciona, en qué contexto, por qué mecanismo y con qué resultado?

Estructura C-M-R:

  • Contexto (C): condiciones que habilitan o restringen el cambio
  • Mecanismo (M): procesos internos que activan el cambio (motivación, incentivos, capacidades)
  • Resultado (R): efecto observable o esperado

Ejemplo: En municipios con liderazgo político comprometido (C), la inversión en prevención (M) genera apropiación comunitaria del modelo (R).

Cómo usamos la TdC:

  • Reestructuramos la TdC en configuraciones de Contexto-Mecanismo-Resultado
  • Analizamos cómo y por qué los mecanismos funcionan según el entorno
  • Validamos empíricamente las configuraciones que generan resultados

Ventajas:

  • Ideal para intervenciones complejas o sensibles al contexto
  • Fomenta el aprendizaje adaptativo
  • Responde preguntas de tipo “cómo” y “por qué” funciona una acción

2. Análisis de contribución: ¿Contribuyó el programa al cambio observado?

Definición Desarrollado por John Mayne (2011), el análisis de contribución busca estimar en qué medida una intervención aportó a un resultado, incluso si no puede atribuirse como única causa. Es útil cuando no es posible aplicar diseños experimentales.

Cómo usamos la TdC:

  • Convertimos la TdC en una narrativa lógica del cambio (“historia del cambio”)
  • Contrastamos esa lógica con evidencia empírica
  • Identificamos factores externos o alternativos que también influyeron

Ejemplo: ¿Cómo demostramos que el aumento en la cobertura de servicios se debe al modelo implementado, y no a reformas nacionales simultáneas?

Herramientas clave:

  • Revisión documental
  • Entrevistas con actores clave
  • Triangulación de fuentes y eliminación de explicaciones rivales

Ventajas:

  • Útil cuando no se puede establecer causalidad directa
  • Refuerza el argumento de que el programa fue parte del cambio
  • Promueve rendición de cuentas sin sobredimensionar efectos

3. Evaluación basada en teoría: ¿La evidencia valida nuestra lógica de cambio?

Definición Este es el enfoque más amplio y flexible (Weiss, 1995; Rogers, 2008). Parte de la premisa de que toda intervención parte de una teoría sobre cómo y por qué se espera lograr el cambio. La evaluación busca confirmar, ajustar o refutar esa lógica.

Cómo usamos la TdC:

  • Identificamos las relaciones causales centrales de la TdC
  • Recogemos datos para validar, matizar o ajustar cada vínculo
  • Reformulamos la TdC si la evidencia lo indica

Ejemplo: ¿Los municipios que recibieron formación muestran mejoras concretas en la toma de decisiones? ¿Qué datos respaldan ese vínculo causal?

Ventajas:

  • Flexible, aplicable en diferentes tipos de evaluación
  • Se adapta a proyectos en evolución
  • Refuerza el aprendizaje organizacional

¿En qué se diferencian realmente estos enfoques?

Aspecto Evaluación realista Análisis de contribución Evaluación basada en teoría
Pregunta central ¿Qué funciona, cómo y para quién? ¿Contribuyó el programa al cambio observado? ¿Confirma la evidencia nuestra lógica de cambio?
Lógica de análisis Configuraciones Contexto-Mecanismo-Resultado Historia del cambio + evidencia Validación empírica de hipótesis teóricas
Nivel de precisión Alta (mecanismos y contexto) Media (atribución razonada) Variable (según diseño y alcance)
Uso de la TdC Reestructurada como C-M-R Marco narrativo a contrastar Hipótesis causal a validar
Ideal para Intervenciones sensibles al contexto Programas con múltiples influencias Proyectos complejos o en evolución

¿Cómo y cuándo podríamos usar los tres enfoques de forma complementaria?

Usar más de un enfoque no es un problema si lo hacemos con claridad metodológica. La clave no es mezclar sin sentido, sino combinar de forma estratégica y coherente. Estas son algunas recomendaciones para lograrlo:

1. Comenzar por el propósito de la evaluación

Debemos preguntarnos: ¿Queremos entender cómo ocurre el cambio? ¿Identificar la contribución del programa? ¿Validar o ajustar nuestra lógica inicial? La respuesta guiará la elección del enfoque o su combinación.

2. Asignar a cada enfoque un rol distinto en el proceso

Podemos aplicar:

  • Evaluación basada en teoría para revisar y afinar la TdC inicial
  • Evaluación realista para explorar qué funciona en qué contextos
  • Análisis de contribución para valorar la participación del programa en los resultados observados

3. Diseñar una arquitectura metodológica clara

Conviene explicitar desde el diseño cuál enfoque usaremos en cada fase, con qué herramientas, con qué tipo de evidencia y para qué tipo de análisis. Esto mejora la calidad y utilidad de los resultados.

4. Mantener la TdC organizada

No debemos convertir la TdC en un gráfico confuso lleno de flechas, mecanismos, factores, actores e indicadores mezclados. Podemos apoyarnos en versiones auxiliares, esquemas parciales o matrices para facilitar su lectura y uso.

5. Ser realistas con tiempo y recursos

Cuando los recursos son limitados, es preferible aplicar bien un solo enfoque que intentar combinar tres sin claridad. Una evaluación rigurosa no siempre necesita más complejidad, sino mejores decisiones de diseño.

¿Qué pasa si los confundimos o los mezclamos sin lógica?

  • Si aplicamos el análisis de contribución sin examinar factores externos, el argumento será débil
  • Si usamos evaluación realista sin mapear bien los contextos, el análisis pierde fuerza
  • Si decimos que usamos una evaluación basada en teoría sin contrastar hipótesis, la TdC queda como un accesorio decorativo

Conclusión intermedia: Lo importante no es cuántos enfoques usamos, sino cómo los articulamos, qué rol le damos a cada uno y qué tan comprensible es el marco que construimos.

Conclusión: Una TdC útil necesita un enfoque claro (o una combinación bien pensada)

La Teoría del Cambio no se aplica igual en todos los enfoques. Para que sea útil, debe estar bien integrada al marco metodológico.

  • Si queremos entender mecanismos y cómo se activan: usemos evaluación realista
  • Si buscamos demostrar contribución razonable: usemos análisis de contribución
  • Si queremos validar, ajustar y aprender de nuestra lógica: optemos por evaluación basada en teoría

Y si decidimos combinar enfoques, hagámoslo con una lógica clara, asignando a cada uno una función específica dentro del diseño general.

Referencias

BetterEvaluation. (2023). Choosing an evaluation approach. Recuperado de https://www.betterevaluation.org/en/themes/approaches

Mayne, J. (2011). Contribution analysis: Addressing cause and effect. ILAC Brief No. 26. Institutional Learning and Change Initiative. Recuperado de https://idl-bnc-idrc.dspacedirect.org/handle/10625/48157

Pawson, R., & Tilley, N. (1997). Realistic evaluation. Londres: SAGE Publications.

Rogers, P. J. (2008). Using programme theory to evaluate complicated and complex aspects of interventions. Evaluation, 14(1), 29–48. https://doi.org/10.1177/1356389007084674

United Nations Evaluation Group (UNEG). (2022). Norms and standards for evaluation in the UN system. Nueva York: UNEG. Recuperado de https://uneval.org/document/detail/22

Weiss, C. H. (1995). Nothing as practical as good theory: Exploring theory-based evaluation for comprehensive community initiatives for children and families. En J. P. Connell, A. C. Kubisch, L. B. Schorr y C. H. Weiss (Eds.), New approaches to evaluating community initiatives: Concepts, methods, and contexts (pp. 65–92). Washington, DC: Aspen Institute.

Nota: Este artículo fue redactado con apoyo de inteligencia artificial, que también sugirió algunas de las referencias bibliográficas incluidas. Sin embargo, las ideas centrales, el enfoque y la selección final del contenido son completamente mías

en English
af Afrikaanssq Shqipam አማርኛar العربيةhy Հայերենaz Azərbaycan dilieu Euskarabe Беларуская моваbn বাংলাbs Bosanskibg Българскиca Catalàceb Cebuanony Chichewazh-CN 简体中文zh-TW 繁體中文co Corsuhr Hrvatskics Čeština‎da Dansknl Nederlandsen Englisheo Esperantoet Eestitl Filipinofi Suomifr Françaisfy Fryskgl Galegoka ქართულიde Deutschel Ελληνικάgu ગુજરાતીht Kreyol ayisyenha Harshen Hausahaw Ōlelo Hawaiʻiiw עִבְרִיתhi हिन्दीhmn Hmonghu Magyaris Íslenskaig Igboid Bahasa Indonesiaga Gaeilgeit Italianoja 日本語jw Basa Jawakn ಕನ್ನಡkk Қазақ тіліkm ភាសាខ្មែរko 한국어ku كوردی‎ky Кыргызчаlo ພາສາລາວla Latinlv Latviešu valodalt Lietuvių kalbalb Lëtzebuergeschmk Македонски јазикmg Malagasyms Bahasa Melayuml മലയാളംmt Maltesemi Te Reo Māorimr मराठीmn Монголmy ဗမာစာne नेपालीno Norsk bokmålps پښتوfa فارسیpl Polskipt Portuguêspa ਪੰਜਾਬੀro Românăru Русскийsm Samoangd Gàidhligsr Српски језикst Sesothosn Shonasd سنڌيsi සිංහලsk Slovenčinasl Slovenščinaso Afsoomaalies Españolsu Basa Sundasw Kiswahilisv Svenskatg Тоҷикӣta தமிழ்te తెలుగుth ไทยtr Türkçeuk Українськаur اردوuz O‘zbekchavi Tiếng Việtcy Cymraegxh isiXhosayi יידישyo Yorùbázu Zulu