TripleAD

Fuente: https://www.flacso.edu.ec/

Continuando con el pasado post sobre “La función de evaluación central en el Sistema de Naciones Unidas“, la evaluación descentralizada se planifica, gestiona y realiza fuera del departamento de evaluación central de una organización. En un principio se la denominó “autoevaluación”, pero ese término se abandonó debido a que la autoevaluación figuraba incluso en algunas funciones centrales.

Las evaluaciones descentralizadas se sitúan fuera de la Oficina Central de Evaluación, en las oficinas o dependencias de programas junto con funciones de la dirección ejecutiva o de gestión que responden de la planificación y ejecución de proyectos y programas. Esto incluye proyectos y programas en los niveles o departamentos de las oficinas técnicas, regionales y en los países.

Así pues, la función de evaluación descentralizada suele operar como parte esencial de la gestión de los programas e incluye la evaluación, el seguimiento y otras actividades analíticas conexas con el fin de apoyar la adopción de decisiones asociada a las distintas etapas de la ejecución de proyectos y programas.

Desde el punto de vista estructural, las evaluaciones descentralizadas de ese tipo no son independientes del control de los directores de los programas por lo que respecta a la planificación, gestión, realización y aprobación de la evaluación, así como la presentación de los informes correspondientes. Esto es aplicable tanto a (1) las evaluaciones gestionadas y realizadas a discreción por el personal de los programas como a (2) las evaluaciones encargadas o contratadas a consultores externos, en algunos casos donde los directores de los programas incluso dan la aprobación final del informe.

-Las evaluaciones descentralizadas no independientes las lleva a cabo el personal, o se encargan a consultores externos bajo el control de la dirección ejecutiva por lo que respecta a la planificación, la elaboración y la presentación de informes.

-Las evaluaciones descentralizadas independientes se planifican a nivel descentralizado y en otros niveles bajo el control de otros órganos independientes fiables, y la aprobación final y la publicación del informe son independientes. No obstante, su credibilidad en tales circunstancias depende de la transparencia en cuanto a la participación de interesados clave.

Fuente: ANÁLISIS DE LA FUNCIÓN DE EVALUACIÓN EN EL SISTEMA DE LAS NACIONES UNIDAS (2014)

La función de evaluación del sistema de las Naciones Unidas ha evolucionado. A medida que evolucionaba se han ido desarrollando diversos conceptos y constructos y, en relación con estos, una terminología bastante confusa. Los términos empleados significan cosas distintas o tienen matices diferentes.

A continuación definimos el concepto de “Función de evaluación central”

En el sistema de las Naciones Unidas, la función de evaluación central se apoya en dependencias de evaluación que operan independientemente del control de la dirección ejecutiva y la dependencia programática por lo que respecta a la planificación, la gestión y la realización de la evaluación, así como la presentación de informes conexos.

Podemos encontrar diferentes casos de “función de evaluación”, según organizaciones donde la oficina de evaluación central:

1) Opera como oficina autónoma, y puede hacerlo de dos maneras, a saber:

a) fuera de la oficina del jefe ejecutivo; o

b) como dependencia autónoma en dicha oficina.

2) Opera en la oficina del jefe ejecutivo como parte integrante de las dependencias de investigación, políticas y planificación estratégica (y, por tanto, no es autónoma).

3) Opera junto con otras funciones de supervisión en la oficina de supervisión de la organización, y nuevamente lo hace de dos formas, a saber:

a) como dependencia separada en la oficina de supervisión; o

b) como parte integrante de otras funciones de supervisión.

La característica distintiva de la función central es que:

(1) Produce evaluaciones para apoyar de manera general la adopción de decisiones sobre políticas, programas y estrategias de la organización a nivel central, si bien son numerosas las funciones centrales que llevan a cabo evaluaciones de proyectos en diversa medida.

(2) Los informes se dirigen principalmente a órganos intergubernamentales, órganos consultivos de alto nivel y personal directivo superior con miras a introducir cambios en toda la organización y mejorar las políticas, los programas generales (en los ámbitos nacional, regional o mundial), así como las cuestiones transversales y las reformas institucionales.

(3) Las funciones centrales presentan niveles variables de independencia:

(a) Según los distintos criterios de valoración de la independencia estructural, funcional, profesional, inclusiva y con respecto a las conductas.

(b) El nivel de independencia puede ser bajo, alto o medio.

(c) Esa independencia no es automática, sino que conlleva la puesta en marcha de mecanismos que persigan la independencia estructural, funcional, técnica y respecto de la transparencia y las conductas.

Algunas organizaciones describen la función central como institucional, dando a entender que las evaluaciones tienen más efecto en ese nivel. Sin embargo, ese término también es aplicable a las evaluaciones descentralizadas.

Fuente: ANÁLISIS DE LA FUNCIÓN DE EVALUACIÓN EN EL SISTEMA DE LAS NACIONES UNIDAS (2014)

Como indicábamos en el post anterior “Algunos retos de la función de evaluación en el sistema de Naciones Unidas“, el informe “ANÁLISIS DE LA FUNCIÓN DE EVALUACIÓN EN EL SISTEMA DE LAS NACIONES UNIDAS (2014)”  contiene los resultados de un estudio de la “UN Joint Inspection Unit (JIU)”  sobre la evolución, el desarrollo y el avance de la función de evaluación en el sistema de las Naciones Unidas. El estudio abordó las siguientes preguntas: ¿Ha habido avances en el crecimiento y desarrollo de la función de evaluación en el sistema de las Naciones Unidas? ¿Cuál es el nivel de desarrollo de la función de evaluación? ¿Cuál es su capacidad para apoyar a las organizaciones del sistema de las Naciones Unidas y su respuesta a demandas, cambios y desafíos? ¿Cómo ha añadido valor? ¿Qué enfoques alternativos existen para una función de evaluación eficaz que sirva al sistema de las Naciones Unidas en el contexto actual?

El siguiente es un resumen de las principales recomendaciones abordadas en el informe:

Recomendación 1 Mejora de la función

Los jefes ejecutivos de las organizaciones del sistema de las Naciones Unidas cuya función de evaluación central está coubicada e integrada con otras funciones de supervisión, o integrada con las funciones de gestión ejecutiva, deben mejorar la función y velar por su calidad, integridad, visibilidad y valor añadido.

Recomendación 2 Aprendizaje y Rendición de cuentas

Los jefes ejecutivos de las organizaciones del sistema de las Naciones Unidas deben adoptar un enfoque equilibrado al abordar el propósito de la evaluación, tomando en consideración la rendición de cuentas, así como el desarrollo de una cultura del aprendizaje que incluya sistemas apropiados de incentivos a la innovación, la asunción de riesgos y al empleo de perspectivas multidisciplinares.

Recomendación 3 Marcos y planes presupuestarios 

Los órganos legislativos deben solicitar a los jefes ejecutivos de las organizaciones del sistema de las Naciones Unidas que desarrollen marcos presupuestarios y planes de asignación de recursos amplios para sus respectivas funciones de evaluación, sobre la base del costo de mantenimiento de una función de evaluación efectiva y sostenible que añada valor a la organización. Los planes deben someterse al examen de los órganos legislativos con arreglo a los procesos y mecanismos vigentes de elaboración de presupuestos y presentación de informes.

Recomendación 4 Jefes de las Oficinas de Evaluación

Los órganos legislativos deben instar a los jefes ejecutivos de las organizaciones del sistema de las Naciones Unidas a que, en caso necesario, examinen y revisen las políticas vigentes relativas al nombramiento de los jefes de las oficinas de evaluación, con el fin de promover la independencia, la integridad, la ética, la credibilidad y la inclusión, teniendo debidamente en cuenta los criterios siguientes:

• Debe establecerse un único mandado no renovable de cinco a siete años, sin posibilidad de que el titular del cargo se reincorpore a la organización;
• El jefe de evaluación debe tener las calificaciones requeridas y amplia experiencia en materia de evaluación, además de experiencia en las esferas conexas de planificación estratégica, investigación básica y operacional, y gestión de los conocimientos, y debe poseer excelentes capacidades de gestión y liderazgo.

Recomendación 5 UNEG contribuye a garantizar la calidad

El Secretario General de las Naciones Unidas, en su calidad de Presidente de la Junta de los Jefes Ejecutivos del Sistema de las Naciones Unidas para la Coordinación, debe solicitar al UNEG que colabore en el desarrollo de un sistema sólido y armonizado de garantía de la calidad de la función de evaluación en todo el sistema.

Recomendación 6 Marcos, planes e indicadores de actividades de evaluación

Los jefes ejecutivos de las organizaciones del sistema de las Naciones Unidas deben otorgar prioridad al empleo de la evaluación sobre la base de metas, estrategias y marcos de resultados bien definidos para la función, y deben informar a sus órganos legislativos sobre el nivel, la naturaleza y el impacto del empleo de la evaluación.

Recomendación 7 Pertinencia de la función de evaluación

Los jefes ejecutivos del sistema de las Naciones Unidas deben solicitar a las dependencias de evaluación que valoren de nuevo las políticas, estrategias y prioridades de la función de evaluación. Deben posicionar la función de evaluación en sus respectivas organizaciones de forma estratégica para aumentar su pertinencia, con miras a que el sistema de las Naciones Unidas pueda afrontar los cambios y desafíos actuales y lograr impacto y sostenibilidad.

Recomendación 8 Innovación para la colaboración

El Secretario General, en su calidad de Presidente de la Junta de los Jefes Ejecutivos del Sistema de las Naciones Unidas para la Coordinación, debe adoptar medidas y apoyar la innovación respecto de la colaboración entre las organizaciones del sistema de las Naciones Unidas así como con otros asociados, a fin de fortalecer las capacidades nacionales de evaluación de manera que se tengan en cuenta la rendición de cuentas, el aprendizaje y el desarrollo de conocimientos que aporten valor a escala nacional y mundial.

Recomendación 9 Calidad y valor añadido de la evaluación

Los jefes ejecutivos de las organizaciones del sistema de las Naciones Unidas deben elaborar el marco institucional y los sistemas de apoyo necesarios para aumentar la calidad y el valor añadido de la evaluación descentralizada e intensificar el apoyo que prestan al sistema de las Naciones Unidas con el fin de afrontar los desafíos emergentes, por ejemplo los contemplados en la agenda para el desarrollo después de 2015, y para mejorar la coherencia y las alineaciones respecto de la evaluación en las organizaciones del sistema y entre ellas, así como con las instituciones nacionales.

El informe “ANÁLISIS DE LA FUNCIÓN DE EVALUACIÓN EN EL SISTEMA DE LAS NACIONES UNIDAS (2014)” preparado por Sukai Prom-Jackson y George A. Bartsiotas contiene los resultados de un estudio de la “UN Joint Inspection Unit (JIU)”  sobre la evolución, el desarrollo y el avance de la función de evaluación en el sistema de las Naciones Unidas. El estudio abordó las siguientes preguntas: ¿Ha habido avances en el crecimiento y desarrollo de la función de evaluación en el sistema de las Naciones Unidas? ¿Cuál es el nivel de desarrollo de la función de evaluación? ¿Cuál es su capacidad para apoyar a las organizaciones del sistema de las Naciones Unidas y su respuesta a demandas, cambios y desafíos? ¿Cómo ha añadido valor? ¿Qué enfoques alternativos existen para una función de evaluación eficaz que sirva al sistema de las Naciones Unidas en el contexto actual?

El siguiente es un resumen de las principales conclusiones y los hallazgos de apoyo y los temas clave abordados en el informe:

A.Función de evaluación central

1.La función de evaluación central ha crecido a lo largo de los años, esforzándose por lograr la calidad y la eficiencia, pero el nivel de compromiso con la evaluación en todo el sistema de las Naciones Unidas no está a la altura de la creciente demanda e importancia de la función.

2.La calidad de los sistemas, mecanismos, procesos y productos de evaluación varía en todo el sistema de las Naciones Unidas. Las organizaciones se pueden categorizar en cuatro grupos según el nivel de desarrollo de sus respectivas funciones de evaluación. En la mayoría de los casos, el nivel de desarrollo se ve afectado por el tamaño de la organización, los recursos asignados a la evaluación y la ubicación estructural de la función.

Entorno/Contexto adecuado

3.En el desarrollo de sus funciones de evaluación, las organizaciones se han centrado más en responder a las demandas de rendición de cuentas y no han abordado plenamente otros elementos importantes, como el desarrollo de una cultura de evaluación y el uso de la evaluación como un instrumento de aprendizaje para la organización. Eso limita la sostenibilidad de la función y el valor agregado de la evaluación. No hay una visión y una estrategia global para la evaluación en el marco institucional, que esté anclada en el mandato de la organización, los objetivos corporativos y las agendas de reforma, lo que daría como resultado un enfoque equilibrado del desarrollo de la función.

4.La función de evaluación del sistema de las Naciones Unidas carece de recursos y está sobrecargada.

Credibilidad de la función: independencia y calidad

5.Se ha avanzado en mejorar la credibilidad de la función aumentando su independencia y emitiendo informes de evaluación de mejor calidad, pero es necesario hacer más, en particular para abordar la independencia estructural, la garantía externa de calidad de la función y la calidad de la informes.

Utilidad: uso de la evaluación y efecto del uso

6.Las organizaciones no están predispuestas a un alto nivel de uso de la evaluación para respaldar la política basada en la evidencia y la toma de decisiones para el establecimiento de la dirección estratégica, la mejora programática de las actividades y las innovaciones.

Disponibilidad para apoyar el cambio

7.Factores como los diferentes mandatos y modelos operativos de las organizaciones de las Naciones Unidas, la tendencia hacia el “efecto silo” – sin pensar en términos estratégicos amplios ni considerar alianzas y alineaciones más amplias dentro y entre los organismos de las Naciones Unidas – y el nivel generalmente bajo de la capacidad de evaluación en varias organizaciones obstaculiza la capacidad de la función de evaluación para desempeñar un papel clave en impulsar el cambio en el sistema de las Naciones Unidas. A ello se asocia la estructura funcional desagregada del sistema de las Naciones Unidas.

B.Función de evaluación descentralizada

8.La ausencia de un marco institucional global y bien definido, basado en políticas de evaluación o gestión basada en resultados, hace que la función descentralizada sea frágil.

9Las políticas, normas y estándares y los recursos para las evaluaciones descentralizadas son inadecuados.

10.La credibilidad de la función descentralizada ha mejorado, pero aún queda mucho por hacer.

11.El uso y el aprendizaje de la evaluación descentralizada están limitados por una cultura organizativa que se centra sobre todo en la rendición de cuentas y la capacidad de respuesta a los donantes.

12.La función descentralizada tiene un papel importante que desempeñar para abordar los cambios actuales y emergentes y las reformas del sistema de las Naciones Unidas, pero debe ser parte integral de un enfoque estratégico general para el desarrollo de la función de evaluación para que pueda hacer una contribución

Fuente: cdn.shrm

Aunque intuitivamente podemos pensar que “la evaluación es esencial para nuestro correcto desarrollo”, en la práctica la evaluación no está muy extendida. Todavía hay desconocimiento, mitos y conceptos erróneos acerca de lo que es y cómo se debe utilizar.

Lo cierto es que a veces estamos tan acostumbrados a dar por supuesta la importancia de la evaluación o a hablar entre nosotr@s mismos, el gremio “friki/geek/nerd” de l@s evaluador@s, que cuando queremos convencer a un/a profan@ sobre nuestro “dogma evaluativo”: “que la evaluación vale la pena, tiene valor añadido”, nos damos cuenta de lo difícil que puede ser comunicar un conjunto complicado de ideas a un público no experto.

El desafío de hablar con diferentes audiencias es paralelo/similar a los desafíos de comunicar los resultados de una evaluación: ¿cómo captar la variación y el matiz, al tiempo que presenta un conjunto conciso de mensajes claros?

Como en el caso de la comunicación de los resultados de las evaluaciones, tenemos que seguir trabajando en el advocacy en evaluación dirigido a diferentes perfiles de audiencia. De otra forma, desde el sector de la evaluación corremos el riesgo de hacer eficientemente (y con cada vez más calidad) “nuestras” cositas en evaluación, aunque l@s no evaluador@s en el fondo lo sigan considerando como irrelevante (u otra carga burocrática – o de control- más)

Con la intención de reflexionar en torno a la “comunicación en evaluación a no evaluador@s“,  retomamos primero el post “Diez cosas que hay que saber sobre evaluación“, basado en la experiencia  (tanto en evaluación, como en su comunicación) del ODI’s Research and Policy in Development Programme (RAPID) , que compilaron “diez cosas que hay que saber sobre evaluación” en 10 infografías. Los mensajes incluían:

• No podemos mejorar y contribuir al desarrollo sin la evaluación.

• Todo está en el detalle

• La evaluación implica a tod@s

• Seguimiento y evaluación no son lo mismo.

• Los ‘fallos’ son importantes (fuentes de aprendizaje/mejora)

• La evaluación se puede dar en diferentes formas y escalas.

• La evaluación está basada/empieza en preguntas (a priorizar y responder)

• El contexto es primordial en la evaluación

• La evaluación no es solo al final.

• Los hallazgos deben ser comunicados