TripleAD

En general los enfoques de Gestión Basada en Resultados en las organizaciones de desarrollo son (a) inconsistentes, (b) subóptimos, incluso (c) contraproducentes y, a veces, (d) todos a un tiempo.

Además la mala aplicación de la Gestión Basada en Resultados tiene con frecuencia “efectos no esperados” como (a) la fijación en la medida, (b) la fijación en la rendición de cuentas externa (subóptimo) o (c) la burocracia.

1. Los retos organizacionales para implantar la GBR son complejos y sistémicos.

2. Es por ello que se necesita un “liderazgo” al más alto nivel, que ofrezca apoyo, dirección y adaptación continuos., para lograr una acción colectiva en la organización hacia esa GBR.

ii Atención !! Aquí entendemos “Liderazgo“ como comprensión, apropiación y compromiso “práctico y continuo” por la GBR. Sin duda este es el tramo o punto que más se acerca a la (pura) ciencia ficción en este relato: me gustaría que me indicaseis si conocéis algún liderazgo organizacional que haya tenido tal “comprensión, apropiación y compromiso práctico y continuo” por la GBR.

3. Este liderazgo puede posibilitar integrar capacidades y estructura en una “agenda común” para encontrar soluciones integrales a esos problemas, a través de planes “integrales” en diferentes tiempos y niveles.

4. Con este liderazgo, planes y capacidades conjuntas, las organizaciones conseguirán (1) mejorar el nivel de apropiación de la cultura de aprendizaje y se podrá entonces (2) crear un marco de incentivos adecuados y (3) dotar de capacidades evaluativas e incluso pensamiento evaluativo, que permitan el uso de métodos de medición adecuados.

5. Un enfoque apropiado para llevarlo a la práctica puede ser la gestión adaptativa, que implica la rendición de cuentas y evaluación continua para adaptarse a los cambios de contexto y organizacionales.

Pero ii Atención ii aquí otro cuello de botella o toque de ciencia ficción en el relato: hoy en día hablar de rendición de cuentas interna (de arriba abajo) y gestión adaptativa sigue siendo utopía (leyenda, quimera, fantasía…) en muchas organizaciones.

6. Mejor una aplicación de la GBR evolutiva (acumulativa) que revolucionaria (“adanista”): Antes de cambiar a otro enfoque/forma de aplicar la GBR se “capitalizará” lo hecho hasta entonces.  Esto evitará la inconsistencia y el carácter errático de la GBR, y la consiguiente “fatiga evaluativa”.

Dentro de nuestra sección de “Competencias“, continuamos y profundizamos el pasado post ¿Qué son las competencias? donde se definían las competencias en evaluación  basadas en el informe de UNEG El marco de competencias de evaluación de Naciones Unidas (2016).

Las secciones de este informe están organizadas por competencias, indicando las expectativas para los diferentes niveles de evaluador@s, jef@s de unidad de evaluación y comisionados. Las competencias se expresan intencionalmente como habilidades y destrezas y no como una lista de acciones o tareas.

Se basa en el supuesto de que l@s evaluador@s deben tener las bases profesionales necesarias y habilidades técnicas para asegurar que el diseño y los procesos de evaluación sean consistentes con los principios y requisitos éticos, que las evaluaciones cumplan con las normas y estándares apropiados del UNEG, que las evaluaciones se gestionen de manera eficiente y que los hallazgos se comuniquen claramente de una manera apropiada para la audiencia.

Sin embargo, aunque l@s evaluador@s tienen la mayor responsabilidad por la calidad y credibilidad de las evaluaciones, l@s jef@s de las unidades de evaluación y l@s que comisionan también desempeñan funciones clave. Los roles de l@s usuari@s de la evaluación también son importantes, ya que los usuari@s participan en la identificación de la necesidad de evaluaciones, la seguridad financiera y la promoción del uso de la información de las evaluaciones en la programación basada en evidencia para mejorar los logros hacia los ODS.

1. Fundamentos profesionales: aquellas competencias que son fundamentales para la práctica de la evaluación. Incluyen ética, estándares, una base de conocimientos y práctica reflexiva. Tod@s l@s involucrad@s en el proceso de evaluación deben estar familiarizados con las Normas y Estándares de Evaluación del UNEG. Sin embargo, l@s evaluador@s son responsables de un conocimiento profundo de los estándares y de ponerlos en práctica.

• Ética e Integridad

• Normas y estándares de evaluación

• Base de conocimientos

• Derechos humanos e igualdad de género

• Práctica reflexiva

2. Las habilidades técnicas de evaluación son fundamentales para garantizar evaluaciones de alta calidad que sean relevantes, confiables y que respalden la traducción y el uso de los hallazgos de la evaluación para informar e influir en las decisiones futuras de programas y políticas. Las habilidades de evaluación técnica incluyen: conocimiento para identificar las necesidades de evaluación y desarrollar diseños de evaluación con preguntas de evaluación enfocadas; conocimientos sólidos sobre enfoques y métodos de evaluación; y las habilidades analíticas para interpretar los hallazgos y formular conclusiones y, si es relevante, recomendaciones que estén claramente relacionadas con los hallazgos y conclusiones.

• Normas de calidad

• Propósito y diseño de la evaluación

• Enfoques, métodos y análisis de datos de evaluación

• Informe de hallazgos, conclusiones y recomendaciones

3. Habilidades de gestión. Las habilidades de gestión son fundamentales para liderar equipos que realizan evaluaciones (por ejemplo, para ser el líder del equipo de evaluación) y para gestionar o supervisar de otras formas la implementación de la evaluación. Si bien las habilidades de gestión incluyen muchas de las habilidades necesarias para gestionar cualquier proyecto, las habilidades de gestión para la evaluación se relacionan con las habilidades específicas para gestionar las evaluaciones.

• Planificación del trabajo

• Coordinación y Supervisión

• Adaptar la evaluación a las circunstancias

4. Las habilidades interpersonales son importantes para asegurar que el compromiso con las partes interesadas involucradas en el proceso de evaluación en todas las etapas sea efectivo y que se fortalezca el uso posterior de la evaluación. Estas habilidades a menudo se denominan “habilidades blandas” que ayudan a mejorar la influencia que la evaluación tiene en sus partes interesadas. Las habilidades incluyen comunicación, facilitación, negociación e intercambio de conocimientos.

• Planificación del trabajo

• Coordinación y Supervisión

• Adaptar la evaluación a las circunstancias

5. Las habilidades para promover una cultura de aprendizaje para la evaluación dentro de una organización, para involucrar a los usuarios y beneficiarios en los procesos de evaluación y para ampliar el uso de la evidencia en la toma de decisiones son importantes, como algunos de los principales propósitos de la evaluación.

• Integración de la evaluación en políticas y programación

• Centrado en la utilización

El conocimiento debe destilarse antes de que esté listo para su aplicación. Es esencial sintetizar la información existente para contextualizar e integrar los hallazgos de un estudio de investigación individual dentro de un cuerpo de conocimiento más amplio.

El trabajo de ODI, para traducir el conocimiento y promover debates de políticas más informados por la evidencia, ha arrojado seis lecciones clave:

1. Las capacidades básicas para la traducción de conocimientos deben abordarse de manera integrada.

2. Se necesita un enfoque específico para garantizar que se creen vínculos entre las capacidades a diferentes niveles.

3. La traducción de conocimientos se basa en las capacidades tanto de la oferta como de la demanda para promover la adopción de la investigación.

4. Adaptar las iniciativas a los contextos locales es fundamental para su éxito, por lo que una buena comprensión del contexto político es fundamental.

5. El fortalecimiento de las capacidades para influir en las políticas consiste en fomentar una cultura de aprendizaje y reflexión continuos, lo que requiere desarrollar relaciones lo suficientemente fuertes como para desafiar las dinámicas de poder desiguales.

6. Abordar las motivaciones e incentivos es clave para fortalecer las capacidades de traducción del conocimiento. Convertir a un investigador en un emprendedor de políticas o un instituto de investigación en un grupo de expertos centrado en políticas es extremadamente difícil. Si bien las capacidades funcionales son importantes, la motivación para cambiar es un aspecto crucial, que puede facilitar u obstruir el desarrollo de capacidades. El liderazgo es un factor clave aquí.

Referencia

Nicola Jones, Ajoy Datta y Harry Jones con EDPN partners (2009) Seis dimensiones de la interfaz de políticas de desarrollo y conocimiento. ODI. Box 9: Six key lessons on capacity building for knowledge translation (p.32)

Continuando con un post anterior sobre el “sueño del aprendizaje de evaluaciones y revisiones de la gestión basada en resultados“, adentrándonos un poco más en el contenido de este documento, de marzo de 2019, desde la OCDE: “Aprendizaje de evaluaciones y revisiones de la gestión basada en resultados” por Janet Vähämäki y Chantal Verger.

El propósito último de la cooperación al desarrollo es lograr resultados, (1) lo que significa generar un cambio tangible y sostenible para (a) las personas, (b) las sociedades y ( c)  el medio ambiente. (2) Para que esto suceda, la gestión basada en resultados requiere que los actores responsables del desarrollo establezcan: (a) objetivos claros con los resultados esperados, (b) metas e indicadores, y (c) un sistema para medir cómo se están desempeñando en relación con sus metas. También necesitan (3) utilizar la información generada sobre el desempeño y los resultados de la cooperación para el desarrollo (a) para la rendición de cuentas y la comunicación, así como (b) para la toma de decisiones y el aprendizaje.

¿Qué hemos aprendido de la implementación de la gestión basada en resultados en las organizaciones de cooperación al desarrollo durante los últimos 20 años? ¿Qué avances y beneficios se pueden ver? ¿Cuáles son los principales desafíos y efectos no deseados? ¿Existen buenas prácticas para abordar estos desafíos?

Este documento resume y analiza los hallazgos sobre el progreso, los desafíos y las consecuencias no deseadas de la implementación de la gestión basada en resultados (GBR) en la cooperación para el desarrollo. La reseña:

(1) se basa principalmente en los hallazgos de varias evaluaciones y revisiones de los sistemas de GBR realizadas por miembros del Comité de Asistencia para el Desarrollo (CAD), la Secretaría de la OCDE y otros órganos en los últimos cuatro años (2015-2018).

(2) compara estos hallazgos con estudios anteriores y se basa en las lecciones que surgen de los nuevos métodos de gestión de la cooperación al desarrollo que están llevando a cabo varias instituciones e iniciativas mundiales.

El examen de las evaluaciones recientes revela tanto las áreas de progreso como los desafíos pendientes, de la siguiente manera:

• Los proveedores han avanzado en la integración de la GBR en sus sistemas internos (planificación, implementación e informes). Como resultado, (1) están mejor equipados para monitorear e informar sobre datos de productos y datos de resultados a corto plazo, y (2) utilizan cada vez más los datos de resultados para fines de comunicación y rendición de cuentas a nivel nacional.

• Si bien algunas evidencias apuntan a (1) una correlación positiva entre la calidad del seguimiento y la evaluación a nivel de proyecto y las valoraciones de los resultados del proyecto, (2) se observa un progreso desigual en el uso de la información de resultados para la orientación y el aprendizaje. Esto podría reducir la contribución potencial de la GBR a los resultados de desarrollo, un área que debería explorarse más a fondo.

• Los desafíos observados con la implementación de la GBR, a menudo ya mencionados en revisiones anteriores de la GBR, se relacionan con las dimensiones de gestión estratégica, organizativa y técnica. Estos incluyen: i) orientación e incentivos insuficientes sobre la GBR que, combinados con la falta de una cultura de resultados, llevan al personal a interpretar y aplicar la GBR de manera inconsistente; ii) problemas estructurales y de sistema que afectan la cadena de resultados; iii) limitaciones de capacidad; iv) problemas de medición y método, que dificultan la evaluación de cómo las intervenciones contribuyen a los resultados del desarrollo; yv) asimilación limitada de las dimensiones de apropiación y armonización en los países socios, en contra de los compromisos recientes de apoyar y utilizar los datos de resultados impulsados ​​por los países.

• La revisión también identificó tres consecuencias no deseadas que no fueron previstas y limitan el potencial de la GBR. Los proveedores tienden a:

i) priorizar lo que se puede medir fácilmente (fijación en la medición);

ii) perseguir el propósito de la rendición de cuentas a expensas del aprendizaje y la dirección de las políticas (suboptimización); y

iii) se vuelven demasiado burocráticos y rígidos, lo que aumenta los costos de transacción y obstaculiza la innovación (implementación contraproducente).

Estos desafíos y consecuencias no deseadas se vuelven más importantes cuando una organización no ha comunicado claramente el propósito de su enfoque y sistema de resultados. Sin embargo, las revisiones y evaluaciones no llevan a las organizaciones a reconsiderar drásticamente el enfoque de la GBR. Las recomendaciones apuntan más bien a mejorar el funcionamiento del enfoque en la práctica (por ejemplo, mediante una mejor orientación y formación).

Mientras tanto, una serie de nuevas iniciativas tenían como objetivo desarrollar o probar herramientas de gestión que promuevan la adaptabilidad y el aprendizaje para abordar la complejidad. Éstas se basan en enfoques que se centran en (a) cómo se comprenden los problemas y (b) cómo se utilizan la evidencia y el aprendizaje para resolver estos problemas. Si bien estos enfoques a veces se presentan como “alternativas” a la GBR, la revisión en realidad muestra que el aprendizaje, la apropiación y la adaptación fueron características clave de los enfoques de la GBR, en particular cuando se desarrollaron en el momento de la Declaración de París sobre la Eficacia de la Ayuda (2005). El renovado énfasis puesto en estos aspectos es útil ya que la práctica de la GBR se ha reducido en algunos casos a enfoques basados ​​en el desempeño y necesita evolucionar para responder mejor al nuevo contexto de desarrollo que implica lidiar con la complejidad y múltiples tipos de asociaciones.

Adaptarse a los contextos locales y ser lo suficientemente flexible para responder a los cambios y la retroalimentación del desempeño requiere:

i) centrarse en comprender mejor el contexto local;

ii) adaptar las intervenciones a los contextos locales;

iii) adaptar las intervenciones a medida que evoluciona el contexto: (a) mientras los resultados esperados se mantienen sin cambios, (b) el camino para alcanzarlos (y por lo tanto los productos) puede evolucionar donde sea necesario. (a) Esto implica delegar más autoridad sobre el terreno.

La gestión adaptativa también es importante a nivel corporativo (en sede):

(A) Una teoría del cambio que capte cómo los diferentes canales e instrumentos de ayuda contribuyen a los objetivos generales establecidos para la política de cooperación al desarrollo puede apoyar una mayor comprensión de la cadena de resultados.

(B) Si bien no existe un enfoque de “talla única” dado que las organizaciones operan en varios entornos y están sujetas a diferentes procesos de gobierno, existen elementos esenciales de los sistemas de GBR, tales como: (1) un propósito claro para GBR, (2) teoría (es) del cambio, (3) marcos de resultados, (4) procesos de seguimiento y evaluación, (5) ciclos de retroalimentación documentados y (6) procesos relacionados de toma de decisiones y presentación de informes, (7) gestión del conocimiento y sistemas de aprendizaje, así como (8) incentivos para el personal.

Fuente

El pensamiento evaluativo puede reforzar el ciclo de gestión y planificación, mejorando la calidad del diseño y del sistema de seguimiento de las intervenciones:

1.Desarrollo y diseño de la intervención

• Cómo incorporar aprendizajes y hallazgos de evaluaciones previas en el diseño de intervenciones.
• Seguimiento sistemáticamente y regularmente: (1) el contexto para identificar brechas, redundancias y tendencias, (2) estructura y capacidad organizacional
• Participación: Involucrar a múltiples grupos de partes interesadas (beneficiarios, personal, gestores, expertos, etc.) en el diseño y la planificación del programa.
• Desarrollar y documentar teorías del cambio y modelos de intervención para guiar la implementación.
• Mejorar la evaluabilidad y desarrollar estrategias/sistemas de seguimiento y evaluación desde el diseño
• Integrar procesos de reflexión, aprendizaje y mejora en los ciclos regulares de gestión del programa.

2.Seguimiento (Gestión de la intervención)

• Seguimiento y reflexionar regularmente sobre los datos e informes que describen el proceso de implementación y la calidad del programa.
• Tiempo y espacio para (a) reflexionar regularmente: lo que funciona y lo que no funciona, (b) oportunidades de mejora, (c) Incorporar los datos recopilados para adaptaciones y correcciones de rumbo en tiempo real