TripleAD

Fuente: http://facilitationprocess.com/the-critical-need-for-program-accountability-evaluation/

En el artículo “Evaluar ahora, y no cuando ya sea tarde“ Cristina Monge indicaba que “adolecemos de una falta de cultura de evaluación en el conjunto de las administraciones públicas y en otras organizaciones privadas que resulta todo un hándicap para la gestión”. “Probablemente porque se ve como un proceso en busca de culpables, con ánimo inquisitorial y estigmatizador; pero siendo cierto que, en algunos casos, quien lo propone puede estar buscando ese efecto, tal situación podría combatirse sistematizando la evaluación de manera que forme parte de los procesos de gestión habituales.”

En varias ocasiones en declaraciones recientes sobre la evaluación  se hace referencia a que “la evaluación no busca culpables”, sino aprendizajes. Mi experiencia me dice que si por culpables nos referimos a “responsables”, habría que matizarlo. Las instituciones no suelen tener en su deseo el aprender por aprender, ya que suelen tener siempre otras prioridades y urgencias.  Sin una rendición del cuentas hacia ese aprendizaje organizacional. la evaluación nunca será una prioridad institucional. Quizás la forma de reposicionar la importancia de la evaluación, es mejorar la rendición de cuentas de las instituciones públicas. Y esto está relacionado con lo que Cristina Mongue llama “institucionalizar la evaluación”

Lo cierto es que una parte de una evaluación puede clarificar de alguna forma (a) cómo debieron o podrían ser en diseño o en teoría y (b) cómo fueron, en la práctica, las líneas de responsabilidad durante la ejecución de una intervención y establecer conclusiones y recomendaciones al respecto…como una forma de aprender y sacar conclusiones sobre esa distribución de responsabilidades de cara a las futuras mejoras.

Por tanto la verdadera madurez para la evaluación de políticas sólo llegará (a) con esa asunción de responsabilidades y (b) con la cultura (institucional, social…) de aceptación y comprensión del fallo, del error, (a) como norma, como parte del proceso de aprendizaje y mejora, y (b) no como parte de un proceso de aniquilación partidista del contrario. Entonces (progresando hacia esa madurez) la evaluación se institucionalizará y pasará de sueño a realidad.

Retomamos el post Barreras culturales para el Aprendizaje Gubernamental, basado en ¿Por qué nuestros gobiernos no aprenden?,  porque es muy relevante ahora con la pandemia del COVID (y las olas y segundas olas y las que tengan que venir…). Observamos que los gobiernos (a diferentes niveles nacional, regional, local..) tienen aciertos y cometen errores , pero ¿por qué no aprenden de estos aciertos y  errores? ¿Por qué seguir repitiendo los mismos errores? Mirando esto en términos de Aprendizaje Organizacional, y comparando con las dimensiones de una Cultura de Aprendizaje, existen varias barreras culturales para el Aprendizaje Gubernamental:

• Corto plazo.  Todos los incentivos están a favor de ser decisivos y no deliberativos, de actuar y de ser vistos, y luego seguir adelante. 

• Una cultura  del “conocedor/a” en lugar de una cultura “aprendiz/a”. Existen vacíos masivos de habilidades y conocimientos en el gobierno y, sin embargo, no parece haber un deseo ardiente de llenar estos vacíos.

• Falta de honestidad y “decir la verdad al poder”.

• Una falta de desafío a “la verdad o el saber que se dan por buenos y aceptados”. Sin este desafío, el problema de el Pensamiento de Grupo nunca desaparece. ¿Dónde estaba la voluntad de preguntar” nos estamos perdiendo algo”? Sin desafío y discusion, los errores se perpetúan.

Comenzamos en el post anterior “Criterios de evaluación del CAD en la práctica: éxito a partir de fracasos y malas prácticas ala discusión sobre de la reforma de los criterios, y cómo esto implicaba oportunidades, aunque los viejos retos continúan, estos retos tienen que ver con su (I) propósito, (II) uso, (III) claridad y (IV) aplicabilidad·práctica”. Sigamos en este post con los principios de uso evaluativo:

I. Principios de uso de los criterios de evaluación

1. Criterios no contextualizados: los criterios (y preguntas) “cortar y pegar” versus los criterios deben ser contextualizados, entendidos en el contexto de (a) evaluación individual, (b) intervención y (c) partes interesadas.
2. Aplicación mecánica:

En muchas ocasiones se observa (a) la aplicación mecánica de todos los criterios y (b) demasiadas preguntas en relación con los recursos disponibles. En lugar de ello son buenas prácticas:

(a) Aplicación adaptativa / flexible en función de la “evaluación de necesidades / evaluabilidad” (necesidades de la intervención, contexto y partes interesadas)

(b) Enfoque y enmarcar los usuarios, prioridades, criterios y preguntas en relación con la valoración de la evaluabilidad

(c) Priorizar las preguntas y establecer 10 preguntas máximo. (las más relevantes para los usuarios directos y ninguna más)

3. Retórica en relación a prioridades transversales (género, equidad, igualdad, humanitario…). Estas prioridades deben ser coherentes y adaptadas: normalmente existe una brecha entre estos niveles de “principios” transversales y los enfoques / herramientas de evaluación práctica (¿qué implicaciones a nivel operativo? ¿Cómo se aplican en la práctica?). Surgen y surgen guías de temas transversales específicos que quizás sólo puedan llegar a ser seguidas por especialistas en esas prioridades, en lugar de tratar de integrar diversos enfoques de una manera consistente, sencilla y práctica.
4. Foco en el proyecto versus enfoque en programas, políticas, prioridades transversales. A veces las evaluaciones son poco útiles porque el objeto evaluativo (el proyect(it)o normalmente) es poco relevante, si lo comparamos con la mayor relevancia que podría tener la evaluación de intervenciones de mayor cobertura (programas, políticas, prioridades transversales.

No dejemos de creer en el uso correcto de los criterios de evaluación…

Continuará

Comenzamos en el post anterior “La reforma criterios de evaluación del CAD: una oportunidad, los retos continúan” a hablar de la reforma de los criterios, y cómo esto implicaba oportunidades, aunque los viejos retos continúan, estos retos tienen que ver con su (I) propósito, (II) uso, (III) claridad y (IV) aplicabilidad·práctica”:

(I) Propósito de los criterios: En la práctica evaluativa, el propósito de los criterios de evaluación normalmente no está claro, ya que suelen verse como una imposición más que como soluciones alternativas para nuestro proceso de evaluación:

1. Normativo (imposición): Los criterios juegan un papel de apoyo (lentes o perspectivas alternativas para ver la intervención) PERO normalmente, “en la práctica”, se perciben con un papel normativo (obligatorio), es decir, no se entienden…

2. Perspectiva de silos (fragmentada / reduccionista). Los criterios se utilizan normalmente de forma reduccionista, aislada y como parte de un lenguaje y un mundo (el nuestro, es de l@s evaluador@s) en algunos momentos abstracto, complejo e ininteligible:

-Criterios (sólo) de/para la evaluación, CUANDO/PERO podrían usarse más allá de la evaluación, para el seguimiento y la gestión de resultados, y para la planificación estratégica y el diseño de intervenciones.

-Criterios (sólo) después de la intervención, CUANDO/PERO podrían integrarse mejor con el ciclo de la intervención, y utilizarse también antes y durante la intervención

Continuará

En diciembre de 2019, el CAD de la OCDE [Comité de Asistencia para el Desarrollo de la Organización para la Cooperación y el Desarrollo Económicos] adoptó los ‘Criterios de evaluación: definiciones adaptadas y principios de uso‘ aprobados anteriormente (actualmente disponible en inglés y francés, y casi en fase final la traducción al español).

La reciente reforma de los criterios de evaluación del CAD trató de abordar algunas fallas y malas prácticas relacionadas con (a) confusión de la aplicabilidad de los criterios de evaluación, (b) adecuación a las nuevas prioridades políticas (Agenda 2030…).

Pero hemos de gestionar expectativas: si no internalizamos, aprendemos y mejoramos de manera continua (a nivel institucional e individual) mucho de esto seguirá sucediendo, ya que las (buenas o malas) prácticas en relación a estos criterios dependen y dependerán del propósito y de cómo se interpreten y utilicen los criterios de evaluación “en la práctica”.

Muchos de estos desafíos podrían evitarse mediante: (1) una valoración adecuada de la evaluabilidad antes del diseño final de los TdR (verificando la calidad de los datos disponibles, los usuarios / usos y la accesibilidad en relación con el propósito / criterios / preguntas de la evaluación), (2) un sistema adecuado de aseguramiento de la calidad (fases de diseño, inicio y presentación de informes / difusión)