Fuente: WB site

Dentro de nuestras series sobre “ODS“, “Pensamiento evaluativo” y “Gestión Adaptativa“, y como parte de los muy interesantes boletines sobre evaluación de la OIT (Organización Internacional del Trabajo), tenemos este relevante documento relacionado con los “Mecanismos que incorporan el pensamiento evaluativo y la gestión adaptativa para apoyar la implementación de los ODS ” de 2016, escrito por Robert Lahey.

La introducción de los Objetivos de Desarrollo Sostenible (ODS) ha significado que nuestras organizaciones tengan que mirar tanto hacia adentro como hacia afuera mientras trabajan para optimizar su contribución a los ODS a través de sus propias agendas. La forma de trabajar en esa dirección no debería ser un “negocio como de costumbre” para los miembros de nuestras organizaciones en el futuro. Sin embargo, hay muchos desafíos que enfrentamos con la implementación de los ODS. El pensamiento evaluativo, que involucre a todos los equipos/miembros de la Organización y no solo a los Evaluadores, ofrece una forma útil de ayudar a identificar dónde y cómo los equipos de nuestras organizaciones pueden realizar las intervenciones necesarias para abordar directamente desafíos particulares.

Junto con una filosofía de gestión adaptativa que haría capaces a nuestras organizaciones de reconocer retos y alterar el rumbo cuando se necesitara un cambio, el enfoque propuesto en este documento, apunta a garantizar la implementación efectiva de los ODS.

Si bien existen mecanismos tradicionales para el monitoreo y la evaluación, la estrategia que se recomienda en este documento hace que todos los miembros de la organización (y no simplemente l@s evaluador@s o la función de evaluación) tengan la responsabilidad de emplear el pensamiento evaluativo y la gestión adaptativa como un medio para navegar por el mundo incierto asociado con la implementación de los ODS. Aún se esperaría que l@s evaluador@s realicen estudios de evaluación sistemáticos, pero también se les puede pedir que desempeñen un papel no tradicional en apoyo del pensamiento evaluativo, particularmente en los primeros años de implementación de los ODS. Sin embargo, esto solo tendría éxito si todos los miembros de la organización adoptaran la cultura que refleja el pensamiento evaluativo y la gestión adaptativa.

Estos son algunos de los retos y estrategias que el documento plantea:

I. Retos y Antecedentes: nuestros desafíos y necesidades para contribuir a los ODS

1.Adopción de la Agenda 2030 para el Desarrollo Sostenible: objetivos y metas amplios y ambiciosos

2. Aclarar dónde y cómo los ODS podrían afectar al trabajo/mandato de nuestras organizaciones.

3.La necesidad de resolver la relación entre (a) los resultados de nuestra organización, (b) las metas de los ODS, (c) los indicadores y los datos / información necesarios para el seguimiento, y (d) de qué será responsable nuestra organización.

4.Muchos desafíos a nivel de país: para las organizaciones de desarrollo, el sistema de ayuda y de las Naciones Unidas y cada uno de los países.

5.La necesidad de establecer un formato y mecanismos adecuados para informar sobre la contribución de nuestra organización a los ODS

II. Estrategia propuesta: Este documento propone una estrategia para utilizar el pensamiento evaluativo y la gestión adaptativa para apoyar la implementación efectiva de los ODS / nuestra Agenda organizacional:

ETAPA 1: Comprender el vínculo entre los ODS y nuestra Agenda Organizacional

ETAPA 2: Estrategia y Plan para vincular los ODS y nuestra Agenda Organizacional

ETAPA 3. Actividades organizativas que apoyan la implementación de los ODS

ETAPA 4. Seguimiento de la implementación de los ODS para nuestra organización

ETAPA 5. Presentación de informes sobre la implementación de los ODS

ETAPA 6. Evaluación formativa de los ODS / Nuestra organización – Análisis de evaluabilidad

ETAPA 7. Evaluación de la efectividad de la ejecución de los ODS / nuestra organización

ETAPA 8. Evaluación de resultados e impacto de nuestras intervenciones organizacionales

En BetterEvaluation profundizan en el Análisis de contribución

El análisis de contribución es un enfoque diseñado para evaluar las preguntas causales e inferir la causalidad en las evaluaciones de la vida real de los programas.

Ofrece un enfoque detallado, diseñado para ayudar a los directores de programas, investigadores y diseñadores de políticas a llegar a conclusiones acerca de la contribución que ha efectuado (o está efectuando) su programa a determinados resultados.

El valor principal del análisis de contribución es que ofrece un enfoque diseñado para reducir la incertidumbre respecto de la contribución que la intervención está haciendo a los resultados observados, a través de (1) una comprensión mejorada de las causas por las cuales los resultados observados han tenido lugar (¡o no!) y (2) los roles desempeñados por la intervención y otros factores internos y externos.

El análisis de contribución:

(1) Es especialmente útil en situaciones en las que un programa no es experimental; es decir, no es apto para proyectos de prueba sino para situaciones en las que el programa ha sido financiado sobre la base de una teoría de cambio más bien claramente definida y donde hay poco o ningún margen para variar la forma en que el programa es implementado.

(2) Ayuda a confirmar o revisar una teoría de cambio; su propósito no es que sea utilizado para sacar a la superficie o descubrir una teoría de cambio que se ha mantenido implícita o inexplícita hasta ahora.

(3) El informe de un análisis de contribución no constituye una prueba definitiva, sino que proporciona evidencia y una línea de razonamiento de las cuales podemos extraer una conclusión plausible en el sentido que, dentro de cierto nivel de confianza, el programa ha realizado una contribución importante a los resultados documentados.

Este texto forma parte de la traducción del post en inglés en BetterEvaluation, como parte de una cooperación entre BetterEvaluation, DEval y ReLAC, con apoyo financiero del Ministerio alemán Federal de Cooperación Economica y Desarrollo.

Fuente: Ciclo del pensamiento evaluativo

Siguiendo con nuestra línea sobre “Pensamiento evaluativo” (PE), en el post de la aea365, “El pensamiento evaluativo como una forma de trabajar “, (24 de enero de 2017) por Guy Sharrock (Catholic Relief Services), Tom Archibald y Jane Buckley, como continuación de otra publicación de l a aea365 del 29 de abril de 2012, “Pensamiento evaluativo: El “Je Ne Sais Quoi“, describieron lo que aprendieron de su trabajo acerca del pensamiento evaluativo en Etiopía y Zambia.

Indicaban que se está produciendo un cambio de paradigma en la comunidad de ayuda que se aleja de los modelos lineales de cambio a modelos más dinámicos, reflexivos y receptivos. Esto requiere un manejo adaptativo. Requiere “equipos con habilidades e intereses en el aprendizaje y la reflexión” y el reconocimiento de que “el pensamiento evaluativo es indispensable para tomar decisiones informadas”.

Definido como pensamiento crítico en el contexto de M&E motivado por una actitud de curiosidad y una creencia en el valor de la evidencia, el proceso de pensamiento evaluativo se resume en los siguientes puntos (Buckley, Archibald & Rochim, 2015):

• Supuestos/Hipótesis: descubriendo las hipótesis que guían nuestras decisiones, acciones y elecciones
• Validando: Animar a cuestionar y a tomar múltiples perspectivas para validar nuestros supuestos/hipótesis para perseguir comprensión más profunda
• Tomar decisiones: posibilitando decisiones basadas en la evidencia en la preparación de acción y gestión adaptativa

Después de incorporar las técnicas de PE en los procesos de trabajo existentes, el personal indicó que consiguieron un diálogo más sustantivo y productivo durante las reuniones regulares de seguimiento y reflexión. Esto surgió de la mejora de la calidad de la indagación (investigación, seguimiento, evaluación…) mediante la cual las perspectivas del personal de campo, los voluntarios, los participantes del proyecto y los directores de programas pudieron generar nuevos conocimientos para informar las decisiones del programa. A su vez, esto enriqueció el contenido de los informes y la comunicación con los donantes y otras partes interesadas clave.

Consejos:

1. Garanticemos un entorno seguro para los participantes involucrados en conversaciones potencialmente polémicas sobre suposiciones.
2. El liderazgo de apoyo es un requisito previo en la atmósfera febril de una cultura impulsada por los resultados y los objetivos que puede fácilmente desplazar la práctica más reflexiva.
3. Distinguir entre cuestionar y criticar para fomentar el debate y la transparencia.

Lecciones aprendidas:

4. Una relación de confianza con el donante es fundamental para crear espacios seguros para el aprendizaje.
5. Tomemos el tiempo para escuchar y encontrar formas de involucrar al personal de primera línea en la toma de decisiones.
6. Fomentemos la curiosidad suspendiendo la prisa hacia una conclusión fácil y encontrando formas tangibles de manejar la incertidumbre.

Recursos:

7. Gestión adaptativa: lo que significa para las OSC: un informe escrito por Michael O’Donnell en 2016
8. Trabajar con supuestos: enfoques existentes y emergentes para mejorar el diseño, el seguimiento y la evaluación de programas: un número especial de diciembre de 2016 sobre evaluación y planificación de programas.
9. Alcanzar los ODS reflexionando sobre la forma (s) en que razonamos, planificamos y actuamos: La importancia del pensamiento evaluativo: Un resumen de octubre de 2016 de IIED y EvalPartners.

Fuente: https://aea365.org/blog/a-picture-worth-60000-words-putting-learning-at-the-heart-of-evaluation-by-michael-quinn-patton-and-katherine-haugh/

De nuevo sobre “Pensamiento evaluativo“(PE), contamos con este post “Pensamiento evaluativo en el diseño, gestión y evaluación de programas” en el que se analiza el PE aplicado al diseño, la gestión, la prestación de servicios y la evaluación de programas.

La Fundación Bruner ha identificado una lista elaborada de algunos de los comportamientos en las organizaciones que son indicativos del pensamiento evaluativo en cada área central de operaciones. Éstos son algunos ejemplos de este informe, indicando que las organizaciones utilizan el pensamiento evaluativo en:

1.Desarrollo y diseño del programa

• Evaluar sistemáticamente el contexto de los servicios y programas para identificar brechas, redundancias y tendencias.

• Evaluar sistemática y regularmente (con datos) nuestra propia capacidad de crecimiento y nuestras capacidades para nuevos servicios.

• Incorporar los hallazgos de la evaluación en el diseño del programa.

• Involucrar a múltiples grupos de partes interesadas (beneficiarios, personal, gerentes, expertos, etc.) en el diseño y la planificación del programa.

• Desarrollar y documentar teorías y modelos de programas para guiar la implementación.

• Mejorar la evaluabilidad y desarrollar estrategias de evaluación desde/en el momento del diseño del programa para asegurar que la recopilación de datos sea significativa y manejable y esté integrada en las operaciones del programa.

• Integrar procesos de evaluación, reflexión, aprendizaje y mejora en los ciclos regulares del programa.

2.Gestión de programas

• Monitorear y reflexionar regularmente sobre los datos e informes que describen el proceso de implementación y la calidad del programa.

• Establezcamos tiempo y espacio para reflexionar regularmente como equipo sobre lo que funciona y lo que no funciona.

• Identifiquemos continuamente oportunidades de mejora.

• Incorporemos datos recopilados para adaptaciones y correcciones de rumbo en tiempo real.

3.Evaluación del Programa

• Recopilar datos con regularidad para describir y evaluar las características, actividades, productos y resultados del programa.

• Involucrar a múltiples grupos de partes interesadas (beneficiarios, personal, gerentes, expertos, etc.) en el desarrollo y revisión de planes y herramientas de evaluación, así como en la interpretación y uso de datos.

• Compartamos los resultados de la evaluación del programa con múltiples grupos de partes interesadas en formatos útiles y significativos.

• Utilicemos los resultados de la evaluación del programa para el aprendizaje y la mejora del programa en sí, así como de las estrategias y herramientas de evaluación.

• Garanticemos la formación, las herramientas y el apoyo adecuados para los esfuerzos de evaluación continuos y significativos.

4.Interacción con las poblaciones objetivo

• Evaluar periódicamente las necesidades de las poblaciones objetivo, así como de los beneficiarios individuales, y utilizar esos datos para informar la estrategia organizacional, el diseño y la mejora del programa, el aprendizaje y la mensajería.

• Evaluar periódicamente la satisfacción de l@s beneficiari@s y otros indicadores de calidad (compromiso, retención, etc.).

• Usar la satisfacción de los beneficiari@s y los datos de resultados conjuntamente para mejorar los programas.

5.Desarrollo de capacidades del personal

• Llevar a cabo una evaluación anual del desarrollo del personal necesario para asegurar la implementación exitosa de los programas existentes, para prepararse para cambios en el entorno o programa y para adoptar las mejores prácticas emergentes.

• Desarrollar un plan y evaluar el desarrollo del personal.

• Evaluar el impacto de los esfuerzos de desarrollo profesional (talleres, seminarios web, etc.) sobre las capacidades y el desarrollo del personal.

La línea de fondo

El pensamiento evaluativo:

• Se aplica de manera más amplia y está profundamente arraigado que las actividades de evaluación.
• Está integrado en toda una organización y todas sus operaciones.
• No está aislado de un programa, un propósito, una persona o departamento, o un punto en el tiempo.
• Está motivado por una curiosidad natural y deseos de aprender y mejorar. La evaluación requiere ciertas habilidades, recursos y capacidades.
• Requiere ciertas actitudes, motivos y hábitos.
• Es la actitud y el enfoque que da vida, significado y valor a actividades que de otro modo serían requeridas y a menudo resentidas.
• Es una forma en la que nos aseguramos de que nuestro trabajo esté enfocado, basado en hechos y dirigido a objetivos.

Al cultivar una cultura organizacional con y un hábito de pensamiento evaluativo, las organizaciones pueden elevar sus esfuerzos de evaluación, mejora de la calidad y gestión del desempeño para que ya no sean cargas requeridas sino consultas valiosas.