cplysy

May 04 2025

Modelos de sistemas, percepción y realidad

En abril de 2025, el investigador canadiense Cameron D. Norman, experto en evaluación, pensamiento sistémico y diseño estratégico, publicó en su blog Censemaking un artículo titulado “Rhinoceros In The Wild: System Models and Reality”. En este post, Norman utiliza una poderosa metáfora visual —el célebre grabado del rinoceronte de Albrecht Dürer— para abordar una problemática muy actual: el uso excesivo y a veces acrítico de modelos de cambio en el diseño de intervenciones sociales y programas de cooperación.

¿Por qué este artículo merece atención? Este artículo resulta provocador y necesario porque cuestiona el uso extendido de modelos de sistemas que, aunque atractivos y bien intencionados, a menudo carecen de evidencia empírica. Como Dürer, que nunca vio un rinoceronte real pero lo ilustró a partir de relatos, muchas veces diseñamos estrategias de cambio basándonos en ideas no verificadas, suposiciones, o representaciones estilizadas que no reflejan fielmente la complejidad de los contextos en los que trabajamos.

Principales ideas y aportes al campo de la evaluación en cooperación

1. Los modelos no son la realidad

Norman sostiene que muchos modelos de sistemas circulan más como símbolos de cambio que como herramientas basadas en observación y análisis riguroso. Al tratar hipótesis como si fueran certezas, corremos el riesgo de construir soluciones sobre mapas equivocados.

2. La utilidad (y el límite) de los modelos visuales

La evidencia científica respalda el uso de herramientas visuales para el aprendizaje, como demuestra la Dual Coding Theory (Paivio), la Cognitive Load Theory (Sweller), y los trabajos de Mayer, Novak y Cañas. Estos modelos ayudan a comprender conceptos complejos al combinar imágenes y palabras. Sin embargo, Norman subraya que este respaldo no se extiende necesariamente a los modelos mismos que usamos para representar realidades sociales.

3. El riesgo de actuar sin pruebas

Las decisiones estratégicas basadas en modelos inexactos pueden llevar a políticas inefectivas o incluso dañinas, como se ha visto en campañas de salud pública que ignoraron factores sociales y emocionales clave. Norman aboga por una práctica más responsable: antes de adoptar un modelo, debemos preguntarnos si refleja con fidelidad el sistema real.

4. Diseño estratégico basado en evidencia

La propuesta central es clara: integrar diseño estratégico con generación de evidencia. Así como un mapa de carreteras requiere datos sobre clima, pendiente y velocidad para guiar un viaje, los modelos de cambio social requieren datos contextuales y retroalimentación empírica para ser útiles. El diseño sin evidencia es solo un deseo; con evidencia, se convierte en estrategia.

Valor añadido para la evaluación en desarrollo

Para quienes trabajamos en evaluación de políticas y programas en cooperación internacional, este artículo es un recordatorio urgente de que:

Un modelo atractivo no es garantía de efectividad.
Necesitamos validar nuestras teorías de cambio antes de aplicarlas.
La evidencia no es un complemento: es el punto de partida.
El pensamiento visual debe estar acompañado de pensamiento crítico y empírico.

Este enfoque promueve una práctica de evaluación más rigurosa, adaptativa y consciente de su responsabilidad ética.

Referencias

Mayer, R. E. (2001). Multimedia learning. Cambridge University Press.
Novak, J. D., & Cañas, A. J. (2008). The theory underlying concept maps and how to construct them. Florida Institute for Human and Machine Cognition.
Paivio, A. (1971). Imagery and verbal processes. Holt, Rinehart, and Winston.
Sweller, J. (1988). Cognitive load during problem solving: Effects on learning. Cognitive Science, 12(2), 257–285.
Yarkoni, T., Speer, N. K., & Zacks, J. M. (2008). Neural substrates of narrative comprehension and memory. NeuroImage, 41(4), 1408–1425.

May 03 2025

¿Cooperar de otra manera?

El fin del relato del “salvador blanco”

Continuando con la serie de posts sobre «repensar la cooperacion internacional«, el sistema de cooperación internacional se sostiene sobre una narrativa que ya no convence: la del Norte que rescata al Sur. Una arquitectura vertical, colonial, funcional para justificar fondos, pero insuficiente para transformar realidades. Como afirma William Easterly, “la ayuda occidental ha hecho más daño que bien cuando se impone desde fuera” (The White Man’s Burden, 2006). Y sin embargo, esa imposición continúa. Bajo nuevos ropajes: innovación, datos, IA.

Pero la escena puede tener retos adicionales. Desde Uganda, Michael Gumisiriza denuncia que la ayuda humanitaria se ha convertido en un “teatro cuidadosamente montado” en el que los refugiados repiten discursos aprendidos para garantizar la continuidad de proyectos que son más negocio que misión (The New Humanitarian, 2025).

Evaluar no basta: hay que transformar

Como evaluador, sé que la evaluación puede contribuir a mejorar los programas. Pero también puede volverse cómplice de un sistema que solo busca legitimarse. Kerry Abbott lo resume con claridad: demasiada evaluación sirve para justificar lo marginalmente efectivo, no para rediseñar desde la raíz.

¿Estamos evaluando para ajustar? ¿O para sostener? El enfoque propuesto por Burt Perrin nos ofrece una salida: aplicar una evaluación realista, que pregunte “qué funciona, para quién, y bajo qué condiciones”. Pero esa pregunta solo es transformadora si se conecta con una agenda de justicia, no solo de eficiencia.

Cuando hablamos de una «agenda de justicia» frente a una agenda de «eficiencia», nos referimos a los fines últimos que guían la evaluación. Evaluar por eficiencia implica centrarse en si los recursos se usaron bien, si se cumplieron los objetivos y si los resultados fueron cuantificables. Pero eso, por sí solo, puede servir para sostener programas técnicamente correctos pero políticamente injustos, que no cuestionan desigualdades estructurales ni el poder de decisión concentrado en actores externos. En cambio, una agenda de justicia busca que la evaluación contribuya a transformar esas dinámicas: que dé voz a los actores locales, que cuestione quién decide qué se hace, que exponga desigualdades en el acceso al poder, y que ayude a redistribuir recursos y responsabilidades de forma más equitativa. Solo así, como sugiere Burt Perrin, la pregunta “qué funciona, para quién y bajo qué condiciones” puede abrir la puerta a una cooperación que no solo mejore lo que hay, sino que lo reconfigure desde criterios éticos y políticos más justos

Escuchar no es suficiente: hay que ceder poder

Ros Eyben lo dice sin ambages: la cooperación debe repolitizarse. No se trata solo de escuchar al Sur Global, sino de redistribuir poder y recursos. No más empoderamiento desde fuera: toca reconocer que muchas soluciones ya existen localmente. Rakesh Rajani lo refuerza desde su práctica en Tanzania: la rendición de cuentas debe nacer desde dentro, no desde un marco lógico impuesto.

Y esto no es una utopía. Como muestran Carbajosa, Hernando y Fanjul en Adiós al salvador blanco (El País, 2025), hay experiencias concretas de redes locales en Sudán del Sur, Ruanda o Guatemala que están tomando las riendas de su desarrollo, incluso con menos fondos. Porque menos ayuda, en condiciones desiguales, a veces puede significar más autonomía.

Un sistema con retos, una oportunidad que emerge

El informe del Global Management Initiative (2025) lo deja claro: la cooperación occidental está «tocada». Pero el verdadero reto no es financiero, sino moral. Si la ayuda depende de contratos que se extinguen cuando cambia un gobierno, ¿era ayuda o era estrategia?

Dambisa Moyo ya lo advertía hace años: si la ayuda frena el desarrollo real, hay que atreverse a imaginar un mundo sin ella (Dead Aid, 2009). Roger Riddell ofrece una visión más matizada (Does Foreign Aid Really Work?, 2007): reconoce lo que sí funciona, pero sin dejar de exigir transformaciones profundas.

Hacia una cooperación de alianzas, no de asistencias

Hoy tenemos la oportunidad de hacer las cosas de forma distinta, para que las cosas cambien de verdad y no sigan como hasta ahora. No basta con reformar las herramientas: hay que cambiar el marco. Dejar de operar como actores benevolentes y empezar a actuar como aliados políticos. Ceder espacios. Ceder poder. Y dejar de hablar del Sur Global para, por fin, construir con él. Como dicen en FEMNET, desde África: “Nada sobre nosotras sin nosotras”.

Referencias

Abbott, K. (2025). Comentarios sobre la industria de la ayuda y el uso instrumental de la evaluación. Discusión en el grupo XCeval.
Carbajosa, A., Hernando, A. & Fanjul, G. (2025). Adiós al ‘salvador’ blanco: descolonizar la ayuda al desarrollo en tiempos de recortes y populismos. El País.
Doane, D. (2024). The Problem with INGOs. Practical Action Publishing.
Easterly, W. (2006). The White Man’s Burden: Why the West’s Efforts to Aid the Rest Have Done So Much Ill and So Little Good. Penguin Press.
Eyben, R. (2014). International Aid and the Making of a Better World. Routledge.
Global Management Initiative (GMI). (2025). Western Aid Cooperation in Meltdown: Radical Change Required – after Critical Self-Reflection.
Gumisiriza, M. (2025). Humanitarian Aid is a Well-Dressed Performance. The New Humanitarian.
Moyo, D. (2009). Dead Aid: Why Aid is Not Working and How There is a Better Way for Africa. Farrar, Straus and Giroux.
Perrin, B. (2025). Comentarios sobre evaluación realista: “qué funciona, para quién, y bajo qué condiciones”. Discusión en el grupo XCeval.
Rajani, R. (2010). The Right to Know, The Right to Live: Building a People’s Movement for the Right to Information in Tanzania. IDS Bulletin, 41(6), 47–52.
Rajani, R. (2011). Accountability through Transparency: The Twaweza Initiative in East Africa. Harvard Kennedy School, Innovations for Successful Societies.
Riddell, R. (2007). Does Foreign Aid Really Work?. Oxford University Press.

Apr 30 2025

Developmental Evaluation and Strategy

When undertaking strategic planning for organizations operating in the complex space of health and human services, how do you account for creating meaningful ways to learn and adapt? Developmental Evaluation is how.

Developmental Evaluation is a means to provide evaluative insight to guide the evolution of your program, but did you know it can be a tool within a strategic planning framework?

By use of strategic planning, we’re speaking about something designed for human and living systems. These are the kind of complex, dynamic and evolving organizational environments that don’t respond well to traditional strategic plans. Those traditional models (e.g., logic models, five-year plans, Gantt charts) have three fundamental assumptions that make them problematic for these contexts:

Stable environments
Predictable cause-effect relationships
Static goals and controllable variables

In short, these approaches discount complexity. Complexity describes systems (interactions within a context) made up of many interacting parts that create patterns or behaviours too intricate to predict from their simple components alone. It’s the phenomenon where a “whole becomes more than the sum of its parts,” yielding emergent properties that aren’t obvious from studying individual elements in isolation. These are predictive systems, rather they are ones that are influenced — and that’s what a strategic plan in this context is meant to do.

A great complexity-informed strategic plan encourages a design that is adaptive, flexible, yet also offers meaningful guidance and the capacity to learn as you go.

Creating the Means to Learn and Adapt

In complex social systems, emergent behaviour, feedback loops, and interdependencies render linear models unhelpful and simplistic at best, harmful at worst. Traditional models are also difficult because of their tendency to promote goal fixation. Focusing too rigidly on predefined outcomes can lead organizations to ignore shifting contexts, miss emergent opportunities (or squelch adaptive behaviour that comes through emergence),and undermine adaptation and learning within the organization.

Developmental evaluation (DE) is an evidence-generation and sensemaking approach that assists leaders in addressing these issues using data about their programs to facilitate learning, strategy, and adaptation.

We often don’t immediately think about evaluation when we think strategy (isn’t that what we do after the strategy is developed?), yet by building a system that includes a feedback and learning approach like DE by design into the strategy, we’re far more likely to use it.

One of the limitations of DE is that it- like most evaluation models, frameworks, and designs- is created once a program design is already in place or launched. This limits the utility by forcing the evaluation to fit the program, rather than embedding it more fulsomely in the program. This is a design-driven approach to evaluation and strategic planning.

The connection to strategic planning involves incorporating the feedback, learning, and evidence-guided adaptation capacity into the fabric of the plan.

DE and Strategic Planning

Too often, ‘adaptive strategy‘ is reduced to “make changes as you go” without a clear means of knowing what to change or guidance on how to use feedback to shape that change. Taking a design-driven approach and integrating developmental evaluation into the strategic planning process ensures that this part is covered.

This means ensuring that, just as you might design some key features of a strategic plan, like a SWOT analysis, a review of the mission and vision, or an implementation roadmap, you insert evaluation and learning into your plan. This means embedding points for data collection and analysis, synthesis, and sensemaking as part of the plan’s implementation. Unlike traditional strategic planning models, evaluation is something done after-the-fact. What a design-driven, DE-informed approach does is make evaluation and the attention to feedback a part of the process from the beginning.

Just as you design (create with intention and skill) your strategic plans, so should you do the same with the means to make that plan a success. If you’re designing your strategy for the real world (and not just creating a plan for its own sake), then adding DE to your process and plan is one way to ensure that you go further and do more.

For more on this, read: Norman, C. D. (2021). Supporting systems transformation through design-driven evaluation. New Directions for Evaluation, 2021(170), 149–158. https://doi.org/10.1002/ev.20464

To learn more about this and how Cense creates complexity-ready strategic plans and developmental evaluation, reach out and let’s talk.

Contact

Photo by Kelly Sikkema on Unsplash

Apr 29 2025

Evaluabilidad vs. Preparación: Diagnósticos Clave en Cooperación

Evaluabilidad vs. Preparación para la implementación: dos diagnósticos clave en cooperación

En el mundo de la cooperación internacional, actuar rápido no siempre significa actuar bien. Entre presiones por mostrar resultados, ciclos políticos cortos y fondos condicionados, muchas organizaciones tropiezan con dos errores comunes:

Evaluar sin que haya nada real que evaluar

Lanzar una estrategia sin estar preparados para implementarla

Para evitar ambos tropiezos, existen dos herramientas poderosas pero frecuentemente confundidas:

la Evaluability Assessment (evaluación de evaluabilidad)

y la Readiness Assessment (evaluación de preparación para la implementación)

No son lo mismo. No sirven para lo mismo. Y no deben usarse al mismo tiempo.

Pero juntas, pueden marcar la diferencia entre una intervención exitosa y un costoso malentendido.

Evaluabilidad vs. Preparación: ¿cuál es cuál?

Diagnóstico	¿Qué pregunta responde?	¿Cuándo se usa?	¿Para quién?
Evaluability Assessment	¿Tiene sentido evaluar esta intervención ahora?	Antes de lanzar una evaluación	Equipos de evaluación, donantes
Readiness Assessment	¿Estamos listos para implementar esta intervención?	Antes de ejecutar un cambio	Equipos de implementación, gestores

Diferencias clave

Evaluabilidad (Evaluability Assessment)

Se trata de ver si hay condiciones mínimas para evaluar con sentido:

¿Existe una teoría del cambio clara y compartida?
¿Hay datos disponibles, indicadores adecuados, recursos y una intervención ya en curso?
¿La evaluación generará información útil y accionable?

Fue Joseph Wholey, en los años 70, quien propuso esta herramienta dentro del gobierno de EE.UU. como un paso previo a lanzar evaluaciones costosas. Desde entonces, ha sido adoptada por la OCDE, el Banco Mundial, UNICEF, FAO y otras agencias multilaterales.

Preparación para la implementación (Readiness Assessment)

Aquí no evaluamos resultados, sino condiciones iniciales:

¿Existe apoyo político y técnico real?
¿Los actores clave comprenden y respaldan el modelo propuesto?
¿Hay capacidades mínimas en territorio, presupuesto, liderazgo?

Este tipo de diagnóstico se popularizó en los 90 a partir del trabajo de John Kotter sobre gestión del cambio, y ha sido ampliamente usado en reformas educativas, sanitarias y digitales (por ejemplo, en iniciativas de digital government o descentralización fiscal).

¿Cuál necesitas ahora?

Ambas herramientas ayudan a evitar uno de los errores más costosos en desarrollo: hacer sin estar listos o medir sin sentido.

En contextos con presión de resultados rápidos:

Una buena Evaluability Assessment puede evitar evaluaciones huecas o prematuras.

Una sólida Readiness Assessment puede salvar reformas ambiciosas que fracasarían por falta de condiciones mínimas.

No confundas “estar dispuesto” con “estar listo”. Ni “poder evaluar” con “tener algo que evaluar”.

Elegir el diagnóstico correcto es, muchas veces, la primera decisión estratégica.

Referencias clave para profundizar

Evaluabilidad

Wholey, J. (1979). Evaluation: Promise and Performance
UNICEF (2021). Evaluability Assessment of the Gender Action Plan
OECD DAC EvalNet (2010). Evaluating Development Co-operation
WFP (2020). Evaluability of Gender Equality Policy

Preparación

Kotter, J. (1996). Leading Change
WHO (2016). Readiness Assessment for NCDs
World Bank (2015). Readiness for School Autonomy Reforms
Fixsen, D. et al. (2009). Implementation Research: A Synthesis of the Literature

Apr 24 2025

Beyond Performative Dissemination

Your report is NOT the problem.

This is probably not the argument you would expect to hear from someone who has spent the better part of a decade teaching people how to design better reports, tell better data stories, and create better charts. But here’s the thing, you can create the most interesting, visually stunning, engaging, and insightful report, but there is still no guarantee that anybody will read it.

I have seen fantastic reports languish on dusty shelves and inside low-traffic resource libraries. Not because of what they are but how we share them.

Putting on a Show

To understand the problem, you have to understand the status quo.

Most of the time, dissemination is performative.

Last century, when our current default was being established, we didn’t have the same tools at our disposal. The roots of how we report today start well before the rise of the web. Before social media. Before Google. Before email. Before the internet.

For most organizations, the idea of delivering reports directly to a large of group of people was not feasible. It would take way too much time and cost way too much money.

So you create your report for a small group of people. If you have more time and money, you make it pretty and engaging. You might also print more copies and share them at meetings, conferences, and other event.

Even with all our fancy new tools, this is still how we report.

The hope is that if you put on a great show, people will show up. It’s why we tend to evaluate our reports with simplistic metrics like number of downloads. Like how you would evaluate the success of a show by how many people showed up to watch.

And while things have changed a bit in the last couple of decades, the essence is still the same. You build the report, try it make it engaging by thinking about potential audiences, and then market on your website and over social media.

It’s report first, audience later. Which is a lousy way to disseminate information.

What is Direct Dissemination?

My dissemination approach is inspired by the split between brand marketing and direct marketing. I won’t go into details on that one so if you’re interested just ask Google or your AI of choice.

But the idea behind the direct dissemination approach is to start with the people, not the report. I could probably write a whole book on this, but let’s start simple.

Here are the steps.

Step 1. Name and Frame your Audience.

When I say name, I mean it. You should be able to name members of your audience. You should know at least some of them as people, not arbitrary groupings or categories or avatars.

How many other people exist that share the same general characteristics as the ones you can name? Seriously, give me a number. That’s your frame.

Step 2. Now Build your Audience.

If you already have all of your audience’s email addresses, this step is easy.

If you don’t, this is going to take a bit of work but it’s important. You have to forge a personal connection with your audience members. You need to be able to reach them directly. That’s the point.

This is something you should do at the very beginning of any project that will culminate in a report.

Step 3. Layer your Content based on REAL Audience needs.

Report content doesn’t have to be a long PDF, data dashboard, interactive website, or fancy infographic. It can be a simple email, or series of emails. It could be a series of blog posts, an Excel spreadsheet, or a set of PowerPoint slides.

This all comes down to what your audience actually needs, which you’ll know if you know your audience. And if you don’t know your audience, this is an opportunity for you to learn more about their needs. It might involve conversations or perhaps some little experiments.

Step 4. Evaluate, Evaluate, Evaluate.

If you do this right, here are some of the things you should know or be able to find out.

The percentage of your audience you actually reach.
The percentage of those reached who actually engage with your information.
The specific pieces of information people engage with the most.
The ways individual people stumble up on your work.
How important web search, social media, or other channels are to connecting people with your reporting content.
The things your audience members don’t actually care about.
Which content delivers the most value to your audience.
How many people visited specific pages of your website.
How many people downloaded your pdf.

Want more information on my approach?

If you want me to elaborate more in future posts, let me know in the comments. If you want to learn how I help you implement your own organization’s direct dissemination strategy, schedule a chat.