Fuente: https://www.insightsintoimpact.com/

Siguiendo con nuestra serie sobre “Pensamiento Evaluativo“, el post “Fomentar y practicar el pensamiento evaluativo” comparte algunos consejos para fomentar y practicar el pensamiento evaluativo dentro de nuestras organizaciones.

1. El contexto adecuado

Hay cinco principios clave para promover el pensamiento evaluativo (PE) en las organizaciones:

1. Seamos oportunistas. Aprovechemos las oportunidades para desarrollar la motivación intrínseca.

2. Empecemos poco a poco y vayamos despacio.

3. Brindemos oportunidades para aprender y practicar el pensamiento evaluativo.

4. Estemos preparad@s para combatir los prejuicios y la resistencia.

5. Practiquemos en múltiples contextos y junto a compañer@s.

2.Comenzar

El pensamiento evaluativo es un enfoque más que un conjunto de prácticas o estrategias distintas. Pero hay algunas estrategias tácticas que construyen el hábito y desarrollan las habilidades.

3.Oportunidades

¿Cuándo debería pensar de forma evaluativa? Todo el tiempo. Puede comenzar a pensar de manera evaluativa cuando:

• Desarrollamos de un plan estratégico

• Organizamos reuniones del equipo

• Sesión informativa después de eventos y actividades

• Diseñar o cambiar programas

• Informar a los financiadores y otras partes interesadas

• Incorporación, capacitación y evaluación del personal

4.Hacer preguntas

El pensamiento evaluativo puede comenzar simplemente haciendo algunas preguntas e invirtiendo en el proceso de responderlas. A veces, la reflexión y la discusión en sí mismas son tan importantes como cualquier respuesta que se le ocurra.

• Identificar y cuestionar supuestos y afirmaciones: “¿Qué estamos asumiendo? ¿De verdad lo sabemos? “

• Busquemos cabos sueltos: “¿Qué nos estamos perdiendo?”

• Capturemos reflexiones y preguntas para el aprendizaje: “Si supiera __________, podría _________”.

5.Herramientas

Los campos de evaluación, gestión del desempeño y mejora de la calidad están llenos de herramientas que pueden ayudar a catalizar, organizar y probar el pensamiento de un equipo. A continuación, presentamos algunos que parecen particularmente útiles para respaldar el pensamiento evaluativo.

• Teorías del cambio y modelos lógicos

• Cuadros de mando

• Mapas mentales, diagramas de afinidad, diagramas de relaciones

• Estacionamientos, registros maravillosos y registros de problemas / oportunidades

Referencias

Buckley, J., Archibald, T., Hargraves, M., & Trochim, W.M. 2015. “Defining and Teaching Evaluative Thinking: Insights from Research on Critical Thinking.” American Journal of Evaluation, 36(3), 375-388.

Fuente: https://www.insightsintoimpact.com

Siguiendo con el post inicial sobre Pensamiento Evaluativo, y como se indica en el post “Pensamiento evaluativo: el corazón de la evaluación (significativa y útil)“, el pensamiento evaluativo:

(1) Se aplica de manera más amplia y está profundamente arraigado que las actividades/los procesos de evaluación.

(2) Está integrado en toda la organización y en todas sus operaciones. No se limita a un programa, un propósito, un punto en el tiempo.

(3) Está motivado por la curiosidad natural y las ganas de aprender y mejorar.

La evaluación es el “qué” y el pensamiento evaluativo es el “por qué”.

La evaluación requiere ciertas habilidades, recursos y capacidades. El pensamiento evaluativo también requiere ciertas actitudes, motivos y hábitos.

Es posible evaluar sin pensamiento evaluativo. Pero hacerlo a menudo es doloroso y sin sentido.

Al cultivar una cultura organizacional y un hábito de pensamiento evaluativo, las organizaciones sin pueden elevar sus esfuerzos de evaluación, mejora de la calidad y gestión del desempeño para que ya no sean cargas requeridas sino consultas valiosas. El pensamiento evaluativo es la actitud y el enfoque que da vida, significado y valor a actividades que de otro modo serían requeridas y a menudo resentidas.

Fuente https://thepractice.law.harvard.edu/article/adaptive-innovation/

Los enfoques adaptativos en la función de evaluación se pueden orientar (a) hacia la mejora de la adaptabilidad a contextos cambiantes, (b) hacia la demanda y (c) hacia la oferta evaluativa:

(1) Hacia la cambiante utilización de los procesos/productos de la función de evaluación en contextos cambiantes:

(1.1) Previo a la fase de evaluación: Integración / (Inter) Relación / Involucramiento con los equipos de planificación:

(a) asesorar sobre la mejor manera de medir y hacer identificación, planificación y seguimiento (de cara a la mejora de la evaluabilidad de los procesos),

(b) apoyar y fortalecer la gestión del conocimiento (desde todas las fuentes de conocimiento posibles)

(1.2) Con posterioridad a la evaluación: a partir de las evaluaciones proporcionar evidencia de alta calidad y hacer que la evidencia y las lecciones sean mucho más accesibles para los formulador@s de políticas

(2) Hacia una demanda evaluativa todavía por reforzar

Es clave al mismo tiempo (a) orientarse a la demanda y (b) crear de forma proactiva la demanda: (a) Orientar el uso de la evaluación a la demanda de información y (b) Fomentar la demanda de productos de evaluación. Esto se puede conseguir a través de:

(i) Apertura del sistema a nuevas ideas y a una toma de decisiones más democrática;

(ii) Existencia de “campeones de evaluación” (campeones del pensamiento evaluativo, del aprendizaje organizacional y para la mejora…) al máximo nivel político;

(iii) Concienciación política – comprensión, apropiación y compromiso de los decisores y de los responsables de la formulación de políticas, de la importancia y la potencialidad / utilidad de los procesos evaluativos;

(iv) Utilidad – el hecho de tener un vínculo entre la toma de decisiones y el sistema de evaluación aumenta la percepción de la utilidad de la información;

(v) Incentivos para su utilización, por citar algunos: (i) la inclusión de la utilización de la evaluación (a) en los términos de referencia del personal y (b)en los planes de desempeño de los equipos y (ii) valorar/reconocer a aquellos que demuestren una buena utilización de la evaluación;

(vi) Influencia evaluativa positiva / constructiva del donante – presión y apoyo del donante  para invertir en evaluación enfocada al aprendizaje para la mejora (en un enfoque de aprender a aprender, la rendición de cuentas apoya y se orienta hacia reforzar los procesos de aprendizaje organizacional): este enfoque puede conseguir el “milagro” de aprender de los errores, y no (a) fijarse sólo en los errores (como un castigo) o (b) fijarse sólo en los aciertos (como una protección)…

(3) Hacia la producción de evaluaciones de calidad

(3.1) Dada la carestía de capacidades y recursos en evaluación, elementos clave dentro de esa calidad: evaluaciones relevantes y útiles (un plan de evaluaciones de calidad técnica, pero no relevantes, no tendrá impacto)

(3.2) También hay que equilibrar la cultura de la evidencia y la cultura del aprendizaje dentro de la organización:

1. La cultura de la evidencia tiende a centrarse o priorizar: (a) la producción, el producto y el resultado, (b) las habilidades duras para aumentar significación o eliminar sesgos y errores estadísticos  (demostrar la fuerza de la evidencia), (c ) los resultados se esperan lo antes posible, mientras que…

2. La cultura del aprendizaje tiende a centrarse o priorizar: (a) la demanda, el proceso y el marco de trabajo y (b) las habilidades blandas para facilitar procesos (de liderazgo, confianza, comunicación, comprensión, aceptación del error, empatía, adaptación…), (c) los resultados son a largo plazo, incluso no son resultados, sino procesos que se van adaptando a diferentes contextos.

En mi experiencia los enfoques de cultura de trabajo excesivamente basada:

(1) En la evidencia, dan por sentado (por supuesto): (1) que hay una suficiente cultura oraganizacional de trabajo (en equipo), (2) que hay interés, comprensión, motivación para generar o hacer las preguntas buenas (relevantes para generar la demanda evaluativa necesaria)

(2) En la colaboración y el aprendizaje, dan por sentado (por supuesto): (1) que una solución participativa es de por sí (siempre) la mejor solución, aunque (2) no siempre cuentan con suficiente capacidad (tiempo, recursos …), dominio de técnicas apropiadas o falta de prejuicios/intereses/apertura real hacia lo “desconocido y emergente” de los procesos genuinamente participativos.

Necesitamos por tanto un equilibrio:

1. Centrarse sólo en la cultura de la evidencia puede (a) hacer peligrar el aprendizaje organizacional y (b) centrarse en proveer respuestas sin atender las preguntas relevantes.

2. Centrarse sólo en la cultura del aprendizaje puede (a) hacer peligrar la rendición de cuentas (y al cabo también la rendición de cuentas del aprendizaje) y (b) centrarse en generar preguntas, sin llegar a tiempo a una respuesta/solución práctica. 

Fuente: https://blog.evalcentral.com/wp-content/uploads/2020/11/ic.jpg

Continuando con el post “Comienzo de la Iniciativa de Evaluación Global (GEI)“, la GEI necesita de un enfoque de impacto colectivo, de otra forma será otra más de las iniciativas similares que existen, contribuyendo aún más a la dispersión y fragmentación de esfuerzos para el desarrollo de marcos y capacidades de seguimiento y evaluación (M&E) para promover el uso de evidencia en la toma de decisiones públicas, mejorar la rendición de cuentas y contribuir a lograr mejores resultados.

GEI es una asociación innovadora que reúne a una coalición amplia y diversa de gobiernos, organizaciones de desarrollo (inter) nacionales y locales y expertos en M&E para aunar recursos financieros y técnicos para coordinar y expandir los esfuerzos de M&E a nivel mundial.

El gran reto será hacer reales/efectivas palabras como “coalición”, “coordinación” y “asociación innovadora”, para que el GEI sea en la práctica diferente a otras tantas experiencias (de coalición, asociación, coordinación) que se quedaron en casi nada (bueno sí, consiguieron “aunar algunos recursos” pero poca sostenibilidad e impacto).

El concepto de impacto colectivo: (1) se articuló por primera vez en el artículo de Stanford Social Innovation Review en 2011, (2) se basa en la idea de que para que las organizaciones contribuyan a soluciones duraderas a los problemas sociales a gran escala, deben (a) coordinar sus esfuerzos y (b) trabajar juntos en torno a un objetivo claramente definido.

Recordemos que el “Impacto Colectivo” es el compromiso de un grupo de actores de diferentes sectores con una agenda común para resolver un problema social específico, utilizando una “forma estructurada de colaboración”. He entrecomillado “colaboración” porque en mi experiencia, con cierto  “buenismo”, se suelen dar por sentado que la colaboración es fácil, o que es gratis o que no necesita tiempo, ni compromiso(s), recursos o sacrificios (“Buenismo”, buenas palabras e intenciones, sobran, lo que falta en la práctica es ese “impacto colectivo“)

El enfoque del impacto colectivo (a) se contrapone al “impacto aislado”, donde las organizaciones trabajan principalmente solas para resolver problemas sociales  y (b) se basa en trabajos anteriores sobre liderazgo colaborativo, centrados en objetivos colectivos, asociaciones estratégicas, acciones colectivas e independientes alineadas con esos objetivos, responsabilidad compartida y una columna vertebral con  “preocupación institucional”. El impacto colectivo sostiene que las organizaciones deben formar coaliciones intersectoriales para lograr un progreso significativo y sostenible en cuestiones sociales.

Cinco condiciones y cinco retos para la iniciativa GEI:

La iniciativa GEI debería cumplir con cinco criterios de los procesos para ser considerados “impacto colectivo”:

1.Visión y agenda común GEI: todas las organizaciones participantes (agencias gubernamentales, organizaciones sin fines de lucro, miembros de la comunidad, etc.) tienen una visión compartida para el cambio en torno al pensamiento y desarrollo de capacidades evaluativas, que incluye una comprensión común del problema y un enfoque conjunto para resolver el problema a través de acciones acordadas.

2.Sistema de medición compartido: Acuerdo sobre las formas en que se medirá e informará del progreso y los retos de GEI con una breve lista de indicadores clave en todas las organizaciones participantes.

3.Plan conjunto con actividades integradas y de refuerzo mutuo: Compromiso de un conjunto diverso de partes interesadas, generalmente de todos los sectores, que coordina un conjunto de actividades diferenciadas a través de un plan de acción que se refuerza mutuamente.

4.Comunicación continua, aprendizaje conjunto y mutua rendición de cuentas: comunicaciones frecuentes en el largo plazo entre los actores clave dentro de las organizaciones y entre ellas, para generar (a) confianza e informar el aprendizaje continuo, (b) mutua rendición de cuentas y (c) la adaptación de la estrategia.

5.Columna vertebral u organización troncal (en inglés “backbone organisation”): Apoyo continuo proporcionado por un equipo independiente dedicado a reforzar un determinado impacto colectivo. Esta organización troncal tiende a jugar seis roles para hacer avanzar en esa dirección: (1) Lineamientos para la Visión y Estrategia; (2) Apoyo al alineamiento de acciones; (3) Establecer prácticas conjuntas de medición; (4) Reforzar “voluntad” y compromiso políticos; (5) Influencia  Política; y (6) Movilizar recursos financieros. En el caso del GEI, sin necesidad de crear estructuras nuevas, la integración de recursos o de algunas de las iniciativas similares ya existentes podría ser el núcleo de esta organización troncal.

Por supuesto que habrá retos para este impacto colectivo de GEI, pero veamos si GEI cuenta explícitamente con algunos de  estos procesos y elementos en su diseño e implementación: (1) Visión común, (2) Sistema de medición común, (3) Plan conjunto, (4) Rendición de cuentas y aprendizaje conjuntos, (5) Backbone organisation.

Fuente https://www.odi.org/sites/

A partir de ODI tuvimos este post Pinceladas sobre programación adaptativa, y desde   BetterEvaluation éste otro Evaluando para la gestión adaptativa, que nos daban claves para mejorar y usar la evaluación para la gestión adaptativa:

• Existe un considerable interés en el concepto de desarrollo adaptativo en diferentes sectores del desarrollo.
• En la comunidad internacional no se suele usar la etiqueta “desarrollo adaptativo”, pero en muchos casos ya están realizando un trabajo en esa dirección. La “mejora de la calidad” es uno de esos enfoques probados.
• La mejora de la calidad depende de los problemas, es iterativa y flexible. La metodología y los principios se pueden usar para identificar, probar e implementar cambios en cualquier contexto o parte de un sistema.
• La mejora de la calidad se está utilizando con éxito, pero todavía hay una experiencia limitada y evidencias de cómo aplicar sus valores y filosofía más allá del nivel del proyecto e integrarlo dentro de las estructuras y sistemas nacionales.
• El pensamiento de sistemas y el análisis del contexto de la economía política, pueden ayudar a integrar la mejora de la calidad en intervenciones complejas, y sostener sus logros.

Para que la evaluación contribuya a la gestión adaptativa también se necesitan:

• Teorías de cambio mejor conceptualizadas
• Mejorar los entornos (adecuados) para llevar a cabo procesos de cambio.
• Capacidad del equipo del programa para actividades de evaluación.
• Capacidad de los gestores para la gestión adaptativa, por ejemplo, (1) la capacidad de gestionar con niveles muy altos de incertidumbre, (2) la capacidad de tomar decisiones con datos incompletos que pueden no cumplir con todos los estándares de calidad
• Evitar que los implementadores estén demasiado (o sólo) centrados en actividades que no verifican los resultados (en el corto, mediano o largo plazo)
• Saber gestionar la complejidad de la intervención y la complejidad de la evaluación misma.
• Gestionar los costes de oportunidad para producir datos relevantes, oportunos y suficientemente buenos que sean apropiados para la forma en que se utilizará la información.
• Alejarse de una mentalidad de “rendición de cuentas mal entendida” (sólo de arriba a abajo)
• Alinear los intereses y prácticas de las partes interesadas internas y externas con la gestión adaptativa.
• Tener recursos adecuados: personas, tiempo y dinero