TripleAD

Cuando se cumple un año ya del comienzo, y siguiendo con nuestra serie sobre “evaluación y COVID” o “COVID19” interesante este borrador sobre “Prácticas en evolución en la evaluación de la acción humanitaria: desafíos pasados, presentes y futuros” de Scott Chaplowe, Ann Marie Castleman y Minji Cho

COVID-19 ha exacerbado las necesidades humanitarias en todo el mundo. A medida que las agencias humanitarias adaptan su programación para satisfacer estas necesidades emergentes, los enfoques de evaluación también deben adaptarse y evolucionar. , Ha habido una serie de publicaciones, orientaciones, declaraciones y protocolos relacionados con la evaluación en respuesta al COVID-19 (por ejemplo, ALNAP, 2020; Evaluation in Crisis, 2020; Patton, 2020; PNUD, 2020; UNFPA, 2020). A continuación se resumen algunas de las consideraciones clave para la Evaluación de la Acción Humanitaria (EAH) relacionadas con COVID-19 identificadas por organizaciones humanitarias:

1 No hacer daño. La crisis ha subrayado este principio en términos de los riesgos de salud y seguridad de la interacción cara a cara durante la recopilación de datos y de sobrecargar a las partes interesadas cuyos recursos y capacidades ya pueden verse afectados por la pandemia de COVID-19.

2 Análisis de evaluabilidad. Existe una mayor necesidad de análisis de contexto / riesgo para evaluar en qué medida se puede evaluar una intervención de manera confiable y creíble durante la crisis del COVID-19 (IED-OIOS, 2020; IEO / PNUD y OECD / DAC, 2020; PNUD, 2020; PMA, 2020; UNICEF, 2020)

3 Aplazamiento de la evaluación. El aplazamiento es una opción viable si los resultados de la evaluación seguirán siendo útiles para la toma de decisiones en un momento posterior, aunque se debe tener cuidado de evitar una acumulación de evaluaciones que resultará imposible de realizar (PNUD, 2020; PMA, 2020). .

4 Adaptar el diseño y los métodos de evaluación. Los enfoques metodológicos de EAH se han visto enormemente afectados por COVID-19 debido a los riesgos de transmitir el virus a través de la interacción cara a cara y la movilidad general. Las adaptaciones importantes para el diseño y los métodos de evaluación incluyen:

I. Incrementar el uso de datos secundarios. El uso de datos existentes (asegurando que sean relevantes y confiables) es un enfoque para satisfacer las necesidades de evaluación dadas las dificultades para acceder a las personas.

ii. Recolección de datos a distancia. Esto incluye una variedad de plataformas y herramientas para recopilar datos de personas sin interacción directa, como el uso de teléfonos, teléfonos móviles con acceso a Internet, computadoras e imágenes satelitales.

iii. Recopilación de datos de terceros. Se pueden utilizar organizaciones de terceros confiables, consultores nacionales o grupos comunitarios para recopilar datos en el campo cuando se puede garantizar el principio de No Hacer Daño, lo que evita el riesgo adicional de transportar evaluadores desde un lugar distante.

iv. Reducir el alcance o el rigor de la evaluación. Dadas las limitaciones de recursos y capacidad para la evaluación en el contexto de COVID-19, puede ser aconsejable reducir el alcance geográfico, temporal o temático de una evaluación utilizando tamaños de muestra más pequeños, empleando un muestreo intencionado o reduciendo el número de preguntas de evaluación respondidas.

v. Utilizar una evaluación conjunta o colaborativa. La consolidación de los esfuerzos de recopilación de datos entre varias organizaciones reduce los riesgos para la salud asociados con COVID-19 y la carga sobre las partes interesadas que ya se ven afectadas por la pandemia. También apoya una respuesta humanitaria más coherente, basada en principios, eficaz y rentable.

vi. Utilizar autoevaluaciones o revisiones. En lugar de encargar a evaluadores externos que realicen una evaluación, la autoevaluación del programa de ejecución o del equipo del proyecto es otro enfoque que minimiza la interacción cara a cara.

5 Cancelación de la evaluación. En algunos casos, cancelar la evaluación puede ser la opción más recomendable dadas las circunstancias (UNFPA, 2020; WFP, 2020).

Bibliografía

La bibliografía de este artículo está disponible en línea en la Biblioteca de Aprendizaje y Desempeño de Evaluación Humanitaria (HELP)

Siguiendo con nuestra serie sobre “Pensamiento evaluativo”,  exploramos el post de Thomas Archibald sobre “Habilidades de pensamiento crítico y evaluativo para la evaluación transformadora” y nos centramos en la parte referida a Pensamiento evaluativo para la evaluación transformadora

Según Patton, “La evaluación es una actividad. El pensamiento evaluativo es una forma de hacer negocios. Esta distinción es fundamental. Se deriva de estudios de uso de la evaluación. La evaluación es más útil, y realmente se usa, cuando el programa y la cultura organizacional manifiestan un pensamiento evaluativo “.

Thomas Archibald y su equipo han definido “Pensamiento evaluativo” de la siguiente manera:

(1) aplica el pensamiento crítico en el contexto de la evaluación,

(2) motivado por (a) una actitud de curiosidad y (b) una creencia en el valor de la evidencia, que

(3) implica (a) identificar supuestos, (b) plantear preguntas reflexivas, (c) buscar una comprensión más profunda

(4) por medio de (a) la reflexión y (b) la toma de perspectiva, e (c) informar las decisiones en preparación para la acción”.

El pensamiento evaluativo es tanto un fundamento filosófico fundamental de la evaluación como una forma de desarrollar la capacidad de evaluación de los individuos y las organizaciones, para liberar el poder de la indagación. Aquí hay algunas formas en que el pensamiento evaluativo se relaciona con la transformación de la evaluación para evaluar la transformación: (1) Liderazgo descentralizado, (2) gestión del conocimiento, (3) pensamiento de sistemas, (4) construcción colectiva.

1. Democratiza y descentraliza la investigación evaluativa. Por lo tanto, sensibles a la dinámica del poder, los ciudadanos de todos los ámbitos de la vida pueden encontrar su lugar en la recopilación, el análisis y el uso de datos.
2. Aprovecha la sabiduría práctica y una pluralidad de formas de conocimiento y razonamiento. Debido al desorden de los “problemas complejos”, los profesionales no solo aplican soluciones técnicas a los problemas técnicos: participamos en la “reflexión en acción, una especie de experimentación continua, como un medio para encontrar una solución viable a tales problemas”. que conduce a “un tipo particular de conocimiento artesanal (o la sabiduría de la práctica)”.
3. Es el pensamiento de sistemas y equidad. Al identificar constantemente suposiciones, adoptar múltiples perspectivas y explorar relaciones, el pensamiento evaluativo ayuda a realizar el trabajo “glocal” orientado a los sistemas, incluida la atención al poder, al posicionamiento y prioridades que requiere una evaluación equitativa.
4. Equilibra la intuición y la racionalidad: el pensamiento evaluativo admite una pluralidad de formas de conocimiento mientras mantiene un ojo crítico sobre la credibilidad de las afirmaciones y la evidencia

Continuamos con nuestra sección sobre “Uso evaluativo“, con lo presentado por Betterevaluation en su segunda entrega de las “7 estrategias para mejorar el uso y la influencia de la evaluación” sugeridas por Patricia Rogers sobre ¿Qué se puede hacer para apoyar el uso de la evaluación? Ya comenzamos en el post anterior Estrategias para mejorar el uso y la influencia de las evaluaciones (I) y ahora seguimos con la lista de estrategias de Patricia Rogers para antes, durante y después de una evaluación, y acciones que pueden ser tomadas por diferentes personas involucradas en la evaluación:

4. Seleccionemos formatos de informes de evaluación adecuados, ajustados a cada audiencia y garanticemos su accesibilidad

Hay muchas opciones nuevas para informar los hallazgos de las evaluaciones. Tomar las decisiones correctas puede aumentar la probabilidad de que otros actores conozcan los hallazgos y comprendan lo que significan y por qué son importantes. Es probable que se necesite una variedad de diferentes productos de conocimiento y procesos de informes durante el período de evaluación y después de su finalización formal. Estás muy documentados diferentes formas innovadoras de informar los resultados

5. Hagamos un seguimiento activo y visible de lo que sucede después de la evaluación.

Hay una serie de estrategias que pueden integrarse en los procesos organizativos para garantizar que el proceso de realizar una evaluación (o realizar una evaluación) no termine con la presentación de informes sobre los hallazgos. Algunos de estos incluyen:

• Desarrollar una respuesta de la gestión a los hallazgos, que luego se puede incluir en un informe de evaluación.
• Seguimiento de las respuestas a las recomendaciones, incluyendo si se han implementado o no (y cómo) si se han aceptado.
• Puede haber un proceso de transición de una evaluación externa que produce hallazgos a procesos internos que apoyan el cambio.

6. Asegurar que haya recursos adecuados para apoyar las actividades de seguimiento y el desarrollo de productos de conocimiento adicionales.

Cuán factible o razonable es para l@s evaluador@s realizar trabajo adicional después de la aceptación del último entregable, como producir informes adicionales o participar en otros procesos.

Algunas de las opciones para mitigar este problema pueden ser:

• Incorporar un número teórico de días para que el evaluador participe después del informe final, con estos días para ser asignados a procesos particulares o desarrollar material adicional según sea necesario – o la asignación de fondos no utilizada
• Financiar un proyecto posterior que produzca productos de conocimiento adicionales y / o trabaje con personas para pensar en las implicaciones específicas de los hallazgos para su práctica.
• Asignar el tiempo de las personas internas para realizar estas actividades como parte de su papel en la evaluación.

7. Documentar estas estrategias en un plan formal de comunicación y difusión que documente todo esto, y actualizarlo según sea necesario.

Algunas organizaciones ahora exigen que los planes de evaluación incluyan un plan para comunicar y difundir los hallazgos, incluido el suministro de resultados provisionales.

 

Las limitaciones de la planificación anticipada

A pesar del énfasis en la planificación de la evaluación para su uso desde el principio, no es sencillo anticipar todas las formas en que los hallazgos de la evaluación podrían ser útiles en el futuro.

El proceso de identificar y priorizar los usos principales previstos de una evaluación no es un proceso simple y lineal que pueda realizarse al comienzo de una evaluación y luego usarse para desarrollar un plan de comunicación de evaluación estático. Para empezar, puede resultar difícil identificar todos los usos potenciales de una evaluación.

(1) El uso de procesos iterativos de presentación de informes sobre algunos datos y la discusión de su interpretación e implicaciones puede ayudar a desarrollar más capacidad para usar evaluaciones e idealmente ayudar a dar forma a los tipos de información que se están generando y cómo y cuándo están disponibles.

(2) Y las evaluaciones pueden tener más uso e impacto cuando cuentan con el apoyo de campeones internos que pueden conectar a los usuarios potenciales de manera oportunista.

 

Hoy traemos varios usos (y adaptaciones) de una misma canción:

 

Bizarre Love Triangle

New Order

Every time I think of you

I feel shot right through with a bolt of blue

It’s no problem of mine, but it’s a problem I find

Livin’ a life that I can’t leave behind

There’s no sense in telling me

The wisdom of the fool won’t set you free

But that’s the way that it goes and it’s what nobody knows

Well, every day my confusion grows

Every time I see you falling

I get down on my knees and pray

I’m waiting for that final moment

You say the words that I can’t say

I feel fine and I feel good

I’m feeling like I never should

Whenever I get this way, I just don’t know what to say

Why can’t we be ourselves like we were yesterday?

I’m not sure what this could mean

I don’t think you’re what you seem

I do admit to myself that if I hurt someone else

Then I’ll never see just what we’re meant to be

Every time I see you falling

I get down on my knees and pray

I’m waiting for that final moment

You say the words that I can’t say

Every time I see you falling

I get down on my knees and pray

I’m waiting for that final moment

You say the words that I can’t say

Every time I see you falling

I get down on my knees and pray

I’m waiting for that final moment

You say the words that I can’t say

Every time I see you falling

I get down on my knees and pray

I’m waiting for that final moment

You say the words that I can’t say

Siguiendo con nuestra sección sobre “Uso evaluativo“, traemos lo presentado por Betterevaluation en “Siete estrategias para mejorar el uso y la influencia de la evaluación“, donde Patricia Rogers nos cuenta ¿Qué se puede hacer para apoyar el uso de la evaluación? ¿Cómo pueden los evaluadores, gerentes de evaluación y otras personas involucradas o afectadas por las evaluaciones apoyar el uso constructivo de los hallazgos y los procesos de evaluación?

Este es un desafío desde hace mucho tiempo: el uso de la evaluación ha sido el centro de discusión durante más de 40 años (y seguirá por algunos más)

Esto es parte de la lista de estrategias de Patricia Rogers para antes, durante y después de una evaluación, y acciones que pueden ser tomadas por diferentes personas involucradas en la evaluación.

1. Identificar l@s usuari@s previst@s y los usos previstos de la evaluación desde el principio

L@s recién llegad@s a la evaluación a menudo pasan directamente a elegir métodos para la recopilación de datos; L@s profesionales experimentad@s y aquell@s familiarizad@s con la extensa investigación sobre el uso de la evaluación saben la importancia de identificar l@s usuari@s y usos previstos desde el principio. Cuando identifique a l@s usuari@s previst@s, seamos lo más específico posible, tengamos claro quiénes son l@s principales usuari@s previst@s y consideremos si se puede utilizar la presentación pública de informes sobre los hallazgos, por ejemplo, para alentar a las organizaciones y equipos “propietarios” de las evaluaciones a responder a los hallazgos.

A menudo es más fácil identificar (1) el uso instrumental previsto, donde una evaluación tiene como objetivo informar una decisión específica, ya sea sobre mejora o continuación / expansión, pero también puede ser útil considerar si existe (2) un uso conceptual o de iluminación intencionado (que cambia la forma de pensar en un programa o una intervención), (3) el uso del proceso (que tiene un efecto en la comprensión, las relaciones y / o las prácticas de las personas a través del proceso de una evaluación en lugar de a través de sus hallazgos) y (4) el uso simbólico (como señalar que una intervención funciona bien o se gestiona de forma eficaz).

2. Anticipemos las barreras de uso

Se han identificado muchas barreras para el uso, incluida la credibilidad y la relevancia percibida de los informes de evaluación, los recursos y la autoridad para realizar cambios en respuesta a los hallazgos, y la apertura a recibir hallazgos negativos (que un programa no funciona o no se está implementando según lo previsto).

3. Identificar los procesos clave y los momentos en los que se necesitan hallazgos, y considerar una serie de ciclos de análisis e informes.

Si dejamos todos los informes para el final del proceso de evaluación corremos el riesgo de perder el momento en el que es necesario tomar decisiones. Y perdemos la oportunidad de desarrollar de manera iterativa la comprensión y el compromiso de utilizar los hallazgos. Muchas evaluaciones están configuradas para fallar porque están diseñadas para entregar hallazgos demasiado tarde, como para informar decisiones clave.

En su lugar, debemos identificar los puntos de decisión y los procesos clave, y el calendario de los informes de evaluación y las actividades deben organizarse en torno a ellos.

Continuará

La evaluación de la incidencia política evalúa el progreso hacia los resultados o los propios resultados obtenidos, por ejemplo tales como cambios en la política pública. Esto es diferente de análisis de las políticas públicas, que generalmente se ve en los resultados de la política, o la  evaluación de un programa, que evalúa si los programas o servicios directos han tenido éxito.

Incidencia política se esfuerza por influir en una política o programa, ya sea directamente o indirectamente, por lo tanto, la evaluación de la incidencia puede centrarse tanto en el proceso, como en los resultados de dicha influencia. Los evaluadores de la incidencia  tratan de comprender la medida en que los esfuerzos de la incidencia han contribuido al avance de una meta o la política. Lo hacen con el fin de aprender qué funciona y qué no lo hace, así como lo que funciona mejor con el fin de alcanzar los objetivos de la incidencia y mejorar los futuros esfuerzos de incidencia.