TripleAD

Hoy, la comunidad de evaluación internacional tuvimos un gran intercambio de ideas desde la campaña #Eval4Action. Tod@s somos aliados para lograr estos objetivos. Ha sido una experiencia trepidante al ritmo de este #TwitterChat sobre #Eval4Action No será fácil recopilar tanto, espero que lo hagan pronto, escuchemos.

A continuación las preguntas del #TwitterChat, lo que fueron mis respuestas, y añadiré más adelante algunas de las que considero mejores respuestas. Les animo a visitar el sitio de discusión.

Q1. El Secretario General de las Naciones Unidas ha lanzado una “Década de Acción” para acelerar el logro de los ODS para 2030. ¿Por qué la evaluación es un acelerador para lograr los ODS, incluso durante la crisis sanitaria y socioeconómica de COVID-19?

A.1.1 # La evaluación contribuye a la rendición de cuentas, el aprendizaje y la toma de decisiones basadas en la evidencia en apoyo de la Agenda 2030 y los ODS #Eval4Action #TwitterChat

A.1.2 La #evaluación contribuye a la rendición de cuentas, el aprendizaje y la toma de decisiones basadas en la evidencia en apoyo de la respuesta #COVID19 a corto, mediano y largo plazo

Q2. ¿Cómo puede contribuir la evaluación a acelerar el progreso hacia los ODS, incluso durante la crisis socioeconómica y de salud de COVID-19? #Eval4Action #DecadeOfAction #VOPEs

A.2 La #evaluación puede fortalecer aprendizaje y rendición de cuentas para mejorar la relevancia, la coherencia, la eficacia, la eficiencia, la sostenibilidad y el impacto de los procesos hacia los #SDG, incluso durante la crisis sanitaria y socioeconómica #COVID19

Q3. ¿Cuál es el papel de los evaluadores y los encargados de formular políticas para garantizar que la evaluación contribuya al progreso hacia los ODS, incluso durante la crisis socioeconómica y de salud de COVID-19?

A.3.1 L@s #Evaluador@s y #Polític@s deben (a) proporcionar liderazgo y capacidades (b) para asegurar #rigor, #independencia #credibilidad, #legitimidad, #uso, #utilidad & #participación (c) para #aprendizaje y #rendiciondecuentas contribuir al progreso hacia los #ODS

A.3.2 L@s #Evaluador@s y #Polític@s deben (a) proporcionar liderazgo y capacidades (b) para asegurar #rigor, #independencia #credibilidad, #legitimidad, #uso, #utilidad & #participación (c) para #aprendizaje y #rendiciondecuentas en la respuesta a crisis #COVID19

Continuando con la Evaluación Centrada en el Uso: Usos y usuarios directos definidos,  seguimos en torno a  este texto de Patton, traducción desde la plataforma Better evaluation de una referencia a su “Utilisation Focused Evaluation”:

UFE se puede utilizar para diferentes tipos de evaluación (formativa, sumativa, de proceso, de impacto) y puede basarse en diferentes diseños de evaluación y tipos de datos.

El marco UFE se puede utilizar de varias maneras según el contexto y las necesidades de la situación. Se puede consultar la Lista de Verificación de la Evaluación Centrada en el Uso (U-FE) y la última actualización, que consta de 17 pasos, se describe a continuación:

1. Evaluar y desarrollar el programa y la preparación organizacional para la evaluación centrada en el uso
2. Evaluar y mejorar la preparación y competencia del evaluador para emprender una evaluación centrada en el uso
3. Identificar, organizar e involucrar a los principales usuarios previstos: el factor personal
4. Analizar la situación conjuntamente con los principales usuarios previstos
5. Identificar y priorizar los principales usos previstos al determinar los propósitos prioritarios
6. Considerar y prever (diseñar / construir) usos del proceso si corresponde y según corresponda
7. Enfocar y acotar las preguntas prioritarias de evaluación
8. Comprobar que las áreas fundamentales para la evaluación de la evaluación se están abordando adecuadamente: proceso de ejecución, resultados y preguntas de atribución
9. Determinar qué modelo de intervención o teoría de cambio se está evaluando
10. Negociar métodos apropiados para generar hallazgos creíbles que respalden el uso previsto por los usuarios previstos
11. Asegurar de que los usuarios previstos entiendan los retos de los posibles métodos y sus implicaciones
12. Simular el uso de los hallazgos: el equivalente de la evaluación de un ensayo general
13. Recopilar datos con atención continua para su uso
14. Organizar y presentar los datos para interpretación y uso por parte de los principales usuarios previstos: análisis, interpretación, juicio y recomendaciones
15. Preparar un informe de evaluación para facilitar el uso y difundir los hallazgos significativos para expandir la influencia
16. Seguimiento con los principales usuarios previstos para facilitar y mejorar el uso
17. Meta-evaluación de uso: ser responsable, aprender y mejorar.

En ocasiones podemos caer en la tentación de pensar que toda evaluación se centra en el uso, pero no es cierto. Especialmente con “Evaluación Centrada en el Uso”, nos referimos a un enfoque con pasos sistemáticos, en el que uso y usuarios de la evaluación están bien definidos:

La Evaluación Centrada en el Uso (UFE, por sus siglas en inglés), desarrollada por Michael Quinn Patton, es un enfoque basado en el principio de que una evaluación debe ser juzgada por su utilidad para los usuarios previstos. Por lo tanto, las evaluaciones deben planearse y llevarse a cabo de manera que se mejore el posible uso tanto de los hallazgos como del proceso en sí para informar las decisiones y mejorar el desempeño.

La UFE tiene dos elementos esenciales.

En primer lugar, los principales usuarios previstos de la evaluación deben estar claramente identificados y comprometidos personalmente al comienzo del proceso de evaluación para garantizar que puedan identificarse sus principales usos previstos.

En segundo lugar, los evaluadores deben asegurarse de que estos usos previstos de la evaluación, por parte de los principales usuarios previstos, guíen todas las demás decisiones que se tomen sobre el proceso de evaluación.

En lugar de centrarse en usuarios y usos generales y abstractos, UFE se centra en usuarios y usos reales y específicos. El trabajo del evaluador no es tomar decisiones independientemente de los usuarios previstos, sino facilitar la toma de decisiones entre las personas que utilizarán los resultados de la evaluación.

Patton argumenta que la investigación sobre la evaluación demuestra que: “Es más probable que los usuarios previstos utilicen las evaluaciones si entienden y tienen sentido de apropiación del proceso y los hallazgos de la evaluación [y que] es más probable que entiendan y se sientan adueñados si han participado activamente. Al involucrar activamente a los principales usuarios previstos, el/la evaluador/a está preparando las bases para su uso”.

Utilisation Focused Evaluation (Patton, 2008, Capítulo 3).

Parte de la Agenda 2030 y de la Agenda de Evaluación 2020 están enfocadas al desarrollo de la Capacidad Nacional de Evaluación (NEC) y de los Sistemas Nacionales de Evaluación (NES). Aquí tratamos de clarificar estos dos conceptos:

A. La Capacidad Nacional de Evaluación (NEC) es la capacidad colectiva del sistema de evaluación nacional (1) para lograr, alinear y mantener sus objetivos, estructura, procesos, cultura, capital humano y tecnología (2) para producir conocimiento evaluativo que informe prácticas y toma de decisiones para (3) mejorar la efectividad y la rendición de cuentas.

B. Un Sistema Nacional de Evaluación (NES) es (1) el conjunto de (a) instituciones, (b) personas y  (c ) actividades, junto con (d) las políticas, procedimientos y relaciones que los vinculan y guían, (2) involucrados en la demanda, oferta y uso de evaluación (3) para apoyar (a) la rendición de cuentas, (b) el aprendizaje y (c) la toma de decisiones.

La Agenda de Evaluación 2020 identificó cuatro dimensiones de un Sistema de Evaluación Nacional: (1) entorno propicio, (2) capacidades institucionales y (3) capacidades individuales para la evaluación, así como (4) integración entre estas tres dimensiones

Los pasos para fortalecer el entorno propicio para un Sistema Nacional de Evaluación son: (1) evaluar la necesidad de evaluación, (2) mapear el interés de las partes interesadas, (3) identificar vías para el crecimiento y (4) crear partenariados, asociaciones y/o grupos de interés.

Muy relevante post en su blog “Agilefacile” del gurú de la gestión del conocimiento y la facilitación, pero sobre todo excelente persona, Ewen LeBorgne, sobre la “Facilitación en línea: Una visión meta de los recursos para trabajar y facilitar a distancia más efectivamente” (“A meta look at resources to work and facilitate online more effectively“)

De forma muy resumida nos indica que la facilitación en línea en realidad sigue muchos principios de facilitación cara a cara. Sin embargo debemos tener en cuenta algunos elementos prácticos, logísticos, de diseño y emocionales:

• Necesitamos conversaciones sincrónicas (al mismo tiempo) o asincrónicas (en momentos diferentes), según la distribución geográfica.
• La mejor división del tiempo.
• Cómo romper el hielo o ‘leer las emociones de las personas”

Da varias fuentes, pero a modo de recomendación estrella recientemente se ha diseñado el “Kit de herramientas de recursos para reuniones en línea para facilitadores” durante la pandemia de coronavirus,  gracias al “Grupo de facilitadores para la respuesta a la pandemia” donde podemos profundizar sobre conceptos relacionados básicos y avanzados: “mudarse al completo” al trabajo en línea, equipos virtuales, e incluso sobre artefactos de facilitadores para reuniones de zoom durante la respuesta al Covid19. Facilitemos la facilitación a distancia en estos tiempos inciertos