cplysy

Jess Dart de Clear Horizon Consulting  comparte sus siete secretos para un buen monitoreo y evaluación. Aquí están las ideas ahora no tan secretas para ayudar a mejorar su seguimiento y evaluación (M&E):

1. Muchas iniciativas de M&E fracasan, así que adoptemos el M&E como algo que primero debe satisfacer las necesidades de nuestra propia organizació.
2. ¡Un buen seguimiento y evaluación es deliberado! Fijemos, acotemos, el alcance bien.
3. ¡Desarrollemos un modelo lógico de programa de manera participativa desde el principio! Generemos apropiación y claridad
4. Desarrollemos preguntas de evaluación REALES para enmarcar nuestro plan de M&E, ¡y no muchas preguntas!
5. Elijamos métodos mixtos para contar la historia de su programa
6. Desarrollemos la capacidad del personal de nuestra organización en M&E: es el trabajo de todos
7. Empleemos el arte de la gestión japonesa para informar: ¡comencemos pensando en el final, con el final en mente!

 

 

 

 

Cuando se cumple un año ya del comienzo, y siguiendo con nuestra serie sobre “evaluación y COVID” o “COVID19” interesante este borrador sobre “Prácticas en evolución en la evaluación de la acción humanitaria: desafíos pasados, presentes y futuros” de Scott Chaplowe, Ann Marie Castleman y Minji Cho

COVID-19 ha exacerbado las necesidades humanitarias en todo el mundo. A medida que las agencias humanitarias adaptan su programación para satisfacer estas necesidades emergentes, los enfoques de evaluación también deben adaptarse y evolucionar. , Ha habido una serie de publicaciones, orientaciones, declaraciones y protocolos relacionados con la evaluación en respuesta al COVID-19 (por ejemplo, ALNAP, 2020; Evaluation in Crisis, 2020; Patton, 2020; PNUD, 2020; UNFPA, 2020). A continuación se resumen algunas de las consideraciones clave para la Evaluación de la Acción Humanitaria (EAH) relacionadas con COVID-19 identificadas por organizaciones humanitarias:

1 No hacer daño. La crisis ha subrayado este principio en términos de los riesgos de salud y seguridad de la interacción cara a cara durante la recopilación de datos y de sobrecargar a las partes interesadas cuyos recursos y capacidades ya pueden verse afectados por la pandemia de COVID-19.

2 Análisis de evaluabilidad. Existe una mayor necesidad de análisis de contexto / riesgo para evaluar en qué medida se puede evaluar una intervención de manera confiable y creíble durante la crisis del COVID-19 (IED-OIOS, 2020; IEO / PNUD y OECD / DAC, 2020; PNUD, 2020; PMA, 2020; UNICEF, 2020)

3 Aplazamiento de la evaluación. El aplazamiento es una opción viable si los resultados de la evaluación seguirán siendo útiles para la toma de decisiones en un momento posterior, aunque se debe tener cuidado de evitar una acumulación de evaluaciones que resultará imposible de realizar (PNUD, 2020; PMA, 2020). .

4 Adaptar el diseño y los métodos de evaluación. Los enfoques metodológicos de EAH se han visto enormemente afectados por COVID-19 debido a los riesgos de transmitir el virus a través de la interacción cara a cara y la movilidad general. Las adaptaciones importantes para el diseño y los métodos de evaluación incluyen:

I. Incrementar el uso de datos secundarios. El uso de datos existentes (asegurando que sean relevantes y confiables) es un enfoque para satisfacer las necesidades de evaluación dadas las dificultades para acceder a las personas.

ii. Recolección de datos a distancia. Esto incluye una variedad de plataformas y herramientas para recopilar datos de personas sin interacción directa, como el uso de teléfonos, teléfonos móviles con acceso a Internet, computadoras e imágenes satelitales.

iii. Recopilación de datos de terceros. Se pueden utilizar organizaciones de terceros confiables, consultores nacionales o grupos comunitarios para recopilar datos en el campo cuando se puede garantizar el principio de No Hacer Daño, lo que evita el riesgo adicional de transportar evaluadores desde un lugar distante.

iv. Reducir el alcance o el rigor de la evaluación. Dadas las limitaciones de recursos y capacidad para la evaluación en el contexto de COVID-19, puede ser aconsejable reducir el alcance geográfico, temporal o temático de una evaluación utilizando tamaños de muestra más pequeños, empleando un muestreo intencionado o reduciendo el número de preguntas de evaluación respondidas.

v. Utilizar una evaluación conjunta o colaborativa. La consolidación de los esfuerzos de recopilación de datos entre varias organizaciones reduce los riesgos para la salud asociados con COVID-19 y la carga sobre las partes interesadas que ya se ven afectadas por la pandemia. También apoya una respuesta humanitaria más coherente, basada en principios, eficaz y rentable.

vi. Utilizar autoevaluaciones o revisiones. En lugar de encargar a evaluadores externos que realicen una evaluación, la autoevaluación del programa de ejecución o del equipo del proyecto es otro enfoque que minimiza la interacción cara a cara.

5 Cancelación de la evaluación. En algunos casos, cancelar la evaluación puede ser la opción más recomendable dadas las circunstancias (UNFPA, 2020; WFP, 2020).

Bibliografía

La bibliografía de este artículo está disponible en línea en la Biblioteca de Aprendizaje y Desempeño de Evaluación Humanitaria (HELP)

Siguiendo con nuestra serie sobre “Pensamiento evaluativo”,  exploramos el post de Thomas Archibald sobre “Habilidades de pensamiento crítico y evaluativo para la evaluación transformadora” y nos centramos en la parte referida a Pensamiento evaluativo para la evaluación transformadora

Según Patton, “La evaluación es una actividad. El pensamiento evaluativo es una forma de hacer negocios. Esta distinción es fundamental. Se deriva de estudios de uso de la evaluación. La evaluación es más útil, y realmente se usa, cuando el programa y la cultura organizacional manifiestan un pensamiento evaluativo “.

Thomas Archibald y su equipo han definido “Pensamiento evaluativo” de la siguiente manera:

(1) aplica el pensamiento crítico en el contexto de la evaluación,

(2) motivado por (a) una actitud de curiosidad y (b) una creencia en el valor de la evidencia, que

(3) implica (a) identificar supuestos, (b) plantear preguntas reflexivas, (c) buscar una comprensión más profunda

(4) por medio de (a) la reflexión y (b) la toma de perspectiva, e (c) informar las decisiones en preparación para la acción”.

El pensamiento evaluativo es tanto un fundamento filosófico fundamental de la evaluación como una forma de desarrollar la capacidad de evaluación de los individuos y las organizaciones, para liberar el poder de la indagación. Aquí hay algunas formas en que el pensamiento evaluativo se relaciona con la transformación de la evaluación para evaluar la transformación: (1) Liderazgo descentralizado, (2) gestión del conocimiento, (3) pensamiento de sistemas, (4) construcción colectiva.

1. Democratiza y descentraliza la investigación evaluativa. Por lo tanto, sensibles a la dinámica del poder, los ciudadanos de todos los ámbitos de la vida pueden encontrar su lugar en la recopilación, el análisis y el uso de datos.
2. Aprovecha la sabiduría práctica y una pluralidad de formas de conocimiento y razonamiento. Debido al desorden de los “problemas complejos”, los profesionales no solo aplican soluciones técnicas a los problemas técnicos: participamos en la “reflexión en acción, una especie de experimentación continua, como un medio para encontrar una solución viable a tales problemas”. que conduce a “un tipo particular de conocimiento artesanal (o la sabiduría de la práctica)”.
3. Es el pensamiento de sistemas y equidad. Al identificar constantemente suposiciones, adoptar múltiples perspectivas y explorar relaciones, el pensamiento evaluativo ayuda a realizar el trabajo “glocal” orientado a los sistemas, incluida la atención al poder, al posicionamiento y prioridades que requiere una evaluación equitativa.
4. Equilibra la intuición y la racionalidad: el pensamiento evaluativo admite una pluralidad de formas de conocimiento mientras mantiene un ojo crítico sobre la credibilidad de las afirmaciones y la evidencia

Continuamos con nuestra sección sobre “Uso evaluativo“, con lo presentado por Betterevaluation en su segunda entrega de las “7 estrategias para mejorar el uso y la influencia de la evaluación” sugeridas por Patricia Rogers sobre ¿Qué se puede hacer para apoyar el uso de la evaluación? Ya comenzamos en el post anterior Estrategias para mejorar el uso y la influencia de las evaluaciones (I) y ahora seguimos con la lista de estrategias de Patricia Rogers para antes, durante y después de una evaluación, y acciones que pueden ser tomadas por diferentes personas involucradas en la evaluación:

4. Seleccionemos formatos de informes de evaluación adecuados, ajustados a cada audiencia y garanticemos su accesibilidad

Hay muchas opciones nuevas para informar los hallazgos de las evaluaciones. Tomar las decisiones correctas puede aumentar la probabilidad de que otros actores conozcan los hallazgos y comprendan lo que significan y por qué son importantes. Es probable que se necesite una variedad de diferentes productos de conocimiento y procesos de informes durante el período de evaluación y después de su finalización formal. Estás muy documentados diferentes formas innovadoras de informar los resultados

5. Hagamos un seguimiento activo y visible de lo que sucede después de la evaluación.

Hay una serie de estrategias que pueden integrarse en los procesos organizativos para garantizar que el proceso de realizar una evaluación (o realizar una evaluación) no termine con la presentación de informes sobre los hallazgos. Algunos de estos incluyen:

• Desarrollar una respuesta de la gestión a los hallazgos, que luego se puede incluir en un informe de evaluación.
• Seguimiento de las respuestas a las recomendaciones, incluyendo si se han implementado o no (y cómo) si se han aceptado.
• Puede haber un proceso de transición de una evaluación externa que produce hallazgos a procesos internos que apoyan el cambio.

6. Asegurar que haya recursos adecuados para apoyar las actividades de seguimiento y el desarrollo de productos de conocimiento adicionales.

Cuán factible o razonable es para l@s evaluador@s realizar trabajo adicional después de la aceptación del último entregable, como producir informes adicionales o participar en otros procesos.

Algunas de las opciones para mitigar este problema pueden ser:

• Incorporar un número teórico de días para que el evaluador participe después del informe final, con estos días para ser asignados a procesos particulares o desarrollar material adicional según sea necesario – o la asignación de fondos no utilizada
• Financiar un proyecto posterior que produzca productos de conocimiento adicionales y / o trabaje con personas para pensar en las implicaciones específicas de los hallazgos para su práctica.
• Asignar el tiempo de las personas internas para realizar estas actividades como parte de su papel en la evaluación.

7. Documentar estas estrategias en un plan formal de comunicación y difusión que documente todo esto, y actualizarlo según sea necesario.

Algunas organizaciones ahora exigen que los planes de evaluación incluyan un plan para comunicar y difundir los hallazgos, incluido el suministro de resultados provisionales.

 

Las limitaciones de la planificación anticipada

A pesar del énfasis en la planificación de la evaluación para su uso desde el principio, no es sencillo anticipar todas las formas en que los hallazgos de la evaluación podrían ser útiles en el futuro.

El proceso de identificar y priorizar los usos principales previstos de una evaluación no es un proceso simple y lineal que pueda realizarse al comienzo de una evaluación y luego usarse para desarrollar un plan de comunicación de evaluación estático. Para empezar, puede resultar difícil identificar todos los usos potenciales de una evaluación.

(1) El uso de procesos iterativos de presentación de informes sobre algunos datos y la discusión de su interpretación e implicaciones puede ayudar a desarrollar más capacidad para usar evaluaciones e idealmente ayudar a dar forma a los tipos de información que se están generando y cómo y cuándo están disponibles.

(2) Y las evaluaciones pueden tener más uso e impacto cuando cuentan con el apoyo de campeones internos que pueden conectar a los usuarios potenciales de manera oportunista.

 

Hoy traemos varios usos (y adaptaciones) de una misma canción:

 

Bizarre Love Triangle

New Order

Every time I think of you

I feel shot right through with a bolt of blue

It’s no problem of mine, but it’s a problem I find

Livin’ a life that I can’t leave behind

There’s no sense in telling me

The wisdom of the fool won’t set you free

But that’s the way that it goes and it’s what nobody knows

Well, every day my confusion grows

Every time I see you falling

I get down on my knees and pray

I’m waiting for that final moment

You say the words that I can’t say

I feel fine and I feel good

I’m feeling like I never should

Whenever I get this way, I just don’t know what to say

Why can’t we be ourselves like we were yesterday?

I’m not sure what this could mean

I don’t think you’re what you seem

I do admit to myself that if I hurt someone else

Then I’ll never see just what we’re meant to be

Every time I see you falling

I get down on my knees and pray

I’m waiting for that final moment

You say the words that I can’t say

Every time I see you falling

I get down on my knees and pray

I’m waiting for that final moment

You say the words that I can’t say

Every time I see you falling

I get down on my knees and pray

I’m waiting for that final moment

You say the words that I can’t say

Every time I see you falling

I get down on my knees and pray

I’m waiting for that final moment

You say the words that I can’t say