Control de calidad de las evaluaciones durante el desarrollo (o adaptativas)

La Oficina de Evaluación de UNFPA ha desarrollado un nuevo y relevante “Marco de Garantía de calidad y valoración de las evaluaciones durante el desarrollo (o adaptativas) en UNFPA” para ayudar a la Oficina de evaluación y a terceros a valorar la calidad de las evaluaciones durante el desarrollo (o evaluaciones adaptativas) ejecutadas por/para la agencia. En este informe se señalan algunas tensiones que hay que afrontar para garantizar la calidad de las evaluaciones durante el desarrollo (o adaptativas)

Varias tensiones son inevitables en la aplicación de los principios de la evaluación durante el desarrollo en las evaluaciones gestionadas por organizaciones y afectarán la calidad de la evaluación. Estas tensiones no pueden (re) resolverse; más bien, deben abordarse como desafíos de diseño y gestionarse de forma creativa.

Grandes tensiones: Existen tres tensiones principales para garantizar la calidad en las evaluaciones de desarrollo gestionadas por las organizaciones. Se relacionan con (a) propósito, (b) relaciones y (c) gestión y/o administración.

1 Tensiones relacionadas con el propósito

La tensión de propósito principal es (a) entre la evaluación durante el desarrollo como un proceso interno para apoyar el desarrollo y (b) la adaptación de una intervención y el uso más tradicional de la evaluación como un mecanismo para informar y rendir cuentas a un organismo superior o externo.

(1) Por un lado, el objetivo de la evaluación durante desarrollo es (a) proporcionar a las partes interesadas de la iniciativa retroalimentación en tiempo real sobre los resultados de sus esfuerzos, (b) generar nuevos aprendizajes sobre los desafíos que están tratando de abordar, identificar y (c) reflexionar críticamente sobre las fortalezas y debilidades en su trabajo y (d) para permitir adaptaciones basadas en datos a sus objetivos y enfoque general. Esto incluye la necesidad de que (e) los usuarios principales de la evaluación utilicen conjuntamente los hallazgos, las implicaciones y las opciones que surgieron en el proceso para tomar decisiones sobre dónde y cómo desarrollar la intervención, en lugar de confiar en las recomendaciones del equipo de evaluación.

(2) Por otro lado, las prácticas y la cultura de evaluación de las organizaciones suelen girar en torno a un enfoque de evaluación formativo y sumativo más tradicional, y adoptan el principio de informar públicamente los hallazgos y resultados de la evaluación, generalmente a los altos responsables de la toma de decisiones y / o organismos externos, señalando conclusiones concretas y recomendaciones. Esta orientación tradicional puede dificultar que los participantes y evaluadores durante el desarrollo adopten la autorreflexión crítica, fundamental para el éxito de la evaluación del desarrollo.

El desafío de diseño para las partes interesadas involucradas en las evaluaciones durante el desarrollo organizacional es el siguiente: ¿Cómo se pueden gestionar las evaluaciones durante el desarrollo organizacional (a) de una manera que mantenga un enfoque interno en el desarrollo y la adaptación de una intervención, (b) mientras se opera en un entorno institucional diseñado para una evaluación orientada de forma más tradicional, informado públicamente, externamente ?

2 Tensiones en las relaciones de los evaluadores

Los evaluadores involucrados en contextos de desarrollo deben navegar por la tensión entre varios principios de calidad clave relacionados con las relaciones entre los evaluadores y los usuarios principales: cocreación, imparcialidad e independencia.

(1) Por un lado, la evaluación durante el desarrollo, orientada a la utilidad, requiere que los evaluadores co-creen el diseño de la evaluación con los usuarios principales. Esto significa (a) seleccionar fuentes de datos y métodos que reflejen las preferencias “filosóficas y organizativas” de los usuarios, (b) empleando procesos facilitados para la comprensión compartida de los hallazgos y (a menudo) facilitado o co-desarrollo de las implicaciones para el desarrollo posterior de la intervención (p. Ej. puntos de apalancamiento, opciones, escenarios, preguntas adicionales).

(2) Por otro lado, los evaluadores deben poder operar sin la influencia indebida de las partes interesadas de la evaluación (por ejemplo, usuarios principales, comisionados, beneficiarios), incluso en la elección de los métodos de evaluación para la recopilación y el análisis de datos, la discusión de los hallazgos y la preparación de conclusiones y camino a seguir.

El desafío de diseño para las partes interesadas involucradas en las evaluaciones durante el desarrollo es: ¿Cómo pueden los “evaluadores durante desarrollo” (a) crear conjuntamente diseños de evaluación de manera significativa e involucrar a los usuarios de la evaluación en otras prácticas centradas en la utilización, (b) al tiempo que garantizan su propia independencia e imparcialidad continuas en el proceso?

3 Tensiones en la gestión y/o administración

La Oficina de Evaluación de la Organización y los evaluadores durante el desarrollo contratados deben lidiar con las tensiones en la gestión, adquisición y administración de las actividades de evaluación durante el desarrollo.

(1) Por un lado, para que sean útiles, los diseños de evaluación del desarrollo deben poder adaptarse para reflejar los objetivos, las preguntas y el contexto en evolución de las partes interesadas de la iniciativa. De lo contrario, se establece el “rigor-mortis”, lo que reduce la utilidad del diseño. En estos casos, las partes interesadas de la iniciativa  (i) ignoran por completo los resultados de la evaluación o, en algunos casos, (ii) socavan el esfuerzo de desarrollo al presionar a las partes interesadas para que adopten un diseño de evaluación que ya no es relevante.

(2) Por otro lado, las evaluaciones organizacionales se guían por políticas, directrices y prácticas para encargar evaluaciones que requieren que los contratos de evaluación identifiquen cuidadosamente las actividades de evaluación y los entregables, los plazos clave para su finalización y los calendarios de desembolsos que se organizan en torno a la presentación y aprobación de los resultados clave de la evaluación o productos (por ejemplo, informes).

El desafío de diseño para la evaluación durante el desarrollo organizacional es el siguiente: ¿Cómo pueden la Oficina de Evaluación de la Organización y los evaluadores desarrollar un diseño de evaluación preliminar (a) que sea lo suficientemente completo como para finalizar la financiación y un contrato de evaluación, pero (b) que sea lo suficientemente flexible como para adaptarse en tiempo real para reflejar (i) la evolución de las partes interesadas y (ii) las necesidades de evaluación en evolución?

Más herramientas van surgiendo para operacionalizar y aterrizar las evaluaciones durante el desarrollo: Positivo para apoyar los procesos de desarrollo, entre sus políticas, su “economía política” y las singularidades de cada uno sus procesos. La procesión va por dentro…