TripleAD

Dados los retos que supone la situación actual para la práctica tradicional de la evaluación, empezamos una serie de posts sobre “evaluabilidad”. Entre las agencias internacionales de desarrollo parece haber un acuerdo generalizado sobre el significado del término “evaluabilidad”. La siguiente definición de la Organización para la Cooperación Económica y el Comité de Ayuda al Desarrollo-Desarrollo (OCDE-CAD) es ampliamente citada y utilizada:

“La medida en que una actividad o proyecto puede evaluarse de manera confiable y creíble” (OCDE-CAD 2010; p.21)

El documento de trabajo del DFID (Davies 2013) sobre la valoración de la evaluabilidad identificó las siguientes dimensiones de evaluabilidad:

• La evaluabilidad “en principio” analizará (1) la claridad de los fundamentos conceptuales y (2) el diseño de la intervención, incluida (a) la teoría subyacente del cambio y (b) cómo se ha traducido en el marco de resultados de la intervención.

• Evaluabilidad “en la práctica”, valorará cómo la teoría de intervención ha sido operativizada, ejecutada o traducida en la práctica dada (1) la disponibilidad de datos relevantes y (2) la capacidad de los sistemas de gestión capaces de proporcionarlos.

• La utilidad y practicidad de una valoración de evaluabilidad examinará la posible utilidad de una evaluación futura en relación con las áreas de evaluación y posibles preguntas de evaluación. Es en la practicidad, o cómo se puede llevar la evaluación a la práctica, donde habrá que rependar las estrategias en la situación actual.

La valoración de la evaluabilidad definirá el diseño, alcance, enfoque y metodología de la evaluación del programa

Referencias

Davies R (2013). Planning Evaluability Assessments: A Synthesis of the Literature with Recommendations. DFID Working Paper 40. Disponible en: https://www.gov.uk/government/uploads/system/uploads/attachment_data/file/248656/wp40-planning-eval-assessments.pdf

OECD-DAC (2010). Glossary of key terms in evaluation and results based management. Paris: OECD-DAC. Available at: http://www.oecd.org/development/peer-reviews/2754804.pdf

Una de las Iniciativas que indica Zenda Ofir en “Transformando las evaluaciones y COVID-19, Parte 4. Acelerando el cambio en la práctica”  para fomentar la alineación de l@s evaluador@s en la práctica actual es el Foro de Transformación de ODS

En la página del Foro de Transformación de ODS  se expone que dicho Foro: (1 )ayuda a las personas, instituciones y redes a comprender mejor los sistemas en los que trabajan, (2) los conecta a través de las muchas barreras disciplinarias y sectoriales, y (3) toma o apoya acciones radicales destinadas a marcar la diferencia.

Seis (todavía voluntarios) ‘equipos de administradores’ apoyan las prioridades que los expertos (en el texto original, dice expertos) identificaron como cruciales para desbloquear restricciones severas para una transformación exitosa: (1) Capacidades, (2) Gobernanza, (3) Finanzas, (4) Innovaciones, (5) Narrativas y (6) Evaluaciones.

También está surgiendo un grupo transversal de Mapeo y Análisis de Sistemas. El Foro ofrece una oportunidad única para que los profesionales de evaluación se conecten con diversos tipos de experiencia relevantes para el cambio de sistemas, la transformación y el desarrollo sostenible.

Hay tres actividades simples del Foro: (1) Compernder la escala y la complejidad con claridad, con esa claridad (2) discutir las acciones más estratégicas e impactantes para tomar con agrupaciones inusuales, y (3) tomar medidas. Pero el corazón del Foro es el espacio que proporciona para salir de nuestro entorno diario para una mayor creatividad, nuevas ideas y conexiones inusuales, para una poderosa acción transformadora.

La visión del Foro es un mundo transformado en un planeta floreciente que sea inclusivo y justo.

La misión del Foro es cocrear y amplificar urgentemente la infraestructura y las iniciativas de transformación que apoyan sistemáticamente el surgimiento de ese futuro alineado e ir más allá de los ODS y la Agenda 2030.

Sus valores inspiran una acción informada radical, basada en relaciones que honran la reciprocidad, la responsabilidad, el respeto y la sabiduría de los siglos.

He visto en una de las fotos al ilustre M. Q. Patton, sin duda un foro a entender mejor y a explorar y, viendo los miembros y leyendo el origen de los nombres de los fundadores o miembros actuales, al que dotar de un tono un poco más multicolor y multi geográfico

Como de costumbre inspirardor y positivo mensaje de Zenda Ofir en “Transformando las evaluaciones y COVID-19, Parte 4. Acelerando el cambio en la práctica”, (20 de abril de 2020), donde Zenda Ofir indica que es el momento adecuado para que l@s profesionales de evaluación se alineen. Por “alinearse” Zenda se refiere a:

(1) Compartir algunos objetivos generales como profesionales de evaluación que desean contribuir al mundo. Compartir algunas prioridades, métodos y recursos comunes. Trabajando hacia una comunicación impactante sobre estos.

(2) Fomentar la práctica evaluativa que puede contribuir significativamente a un mundo sostenible en este momento.

(3) Desarrollar y compartir activamente conocimientos de vanguardia sobre temas prioritarios entre los silos de los profesionales de evaluación, mientras se mantiene la diversidad en el propósito y la acción.

(5) Apoyar a las generaciones actuales y futuras con todo esto en mente, utilizando algunos temas y puntos de vista comunes sin dejar de adaptar los planes de estudio y acciones para cada contexto.

(6) Acelerar las contribuciones de la práctica evaluativa a los cambios dramáticos de los que somos parte, o que necesitamos ayudar a fomentar.

Hay mucho potencial en nuestro campo de la evaluación, tanto por lo que estar entusiasmado, tanto por hacer y aprender.

A través de COVID-19, muchas viejas formas de trabajo, viejas normas y viejos sistemas en todo el mundo serán desafiados. Este es el momento de trabajar con nuevos conceptos, expertos y decisor@s políticos en campos con los que no estamos familiarizados, y trabajar creativamente para alinear nuestros esfuerzos.

Sin embargo, nos resulta difícil trabajar entre los silos de nuestro campo. O más allá de los silos en nuestras cabezas.

¿Es este el momento de comprometerse a utilizar el pensamiento sistémico y la ciencia de la complejidad con mayor frecuencia para promover el cambio y la transformación de los sistemas hacia el desarrollo sostenible? ¿Y para estar más “junt@s” mientras lo hacemos?

Estas son as observaciones de Zenda, (sin pretensión,  se alinean con algunos de los temas que venimos tratando en este blog):

Uno: nuestro campo de trabajo como profesionales de evaluación es emocionante, valioso y evoluciona continuamente.

Dos: tenemos que hacer mucho más para mostrar el valor total de la evaluación para una nueva era.

Tres: tenemos que avanzar más rápido hacia una visión informada de los sistemas y la complejidad de un mundo que necesita una transformación hacia el desarrollo sostenible.

Cuatro: tenemos que mejorar para demostrar, compartir y aprender a través / entre los muchos tipos de silos.

Cinco: tenemos que trabajar para ver y avanzar más allá de las narrativas, los marcos y las prácticas dominantes.

Zenda es una referencia en evaluación, una visionaria que marca la dirección, pero cómo no perdernos en el camino. En el detalle, en la práctica, cómo evitar caer en lo mismo, en la retórica, ¿cómo dejar de alimentar, con nuevas sabrosas razones, la inmortal inmoral y santa burocracia institucional, o los penosos y empobrecedores”ismos”, -por citar algunos-, el “egocentrismo”, el “partidismo”/ “sectarismo”/”integrismo”, el “nepotismo”, el “racismo” y el “machismo”? ¿cómo encontrar conductores, incentivos efectivos y eficientes? ¿cómo alinear todas esas “almas brillantes”? Seguimos, seguiremos…

Esta semana participé junto a otr@s siete miembros de UNICEF en dos webinars para la difusión de la caja de herramientas sobre Gestión del Conocimiento de UNICEF (UNICEF Knowledge Exchange Toolbox). El objetivo es que esta herramienta sea útil al personal de UNICEF para la respuesta a la actual pandemia.

Una experiencia muy interesante preparar e impartir este webinar con Ian Thorpe (líder en gestión del conocimiento de UNICEF) y otr@s gurús de la gestión del conocimiento de UNICEF (Ivan Butina, Nima Fallah, Jasmin Suministrado, Adebayo Adekola, Bea Lumanas y Eric Mullerbeck). La idea / el propósito en el webinar fue presentar las herramientas, a partir de experiencias personales e indicando su aplicación en la situación actual del COVID 19 (colaboración y trabajo a distancia, teletrabajo y tal y tal…).

Esta caja de herramientas fue diseñada para ayudar al personal y los socios de UNICEF a planificar e implementar eventos exitosos de intercambio de conocimientos. Un evento exitoso es aquel que crea o comparte conocimiento práctico significativo, conocimiento que es relevante para lograr resultados. Esto puede ser académico o técnico, o puede ser “know-how”, basado en experiencias de cómo lograr resultados en un contexto particular, o cómo abordar desafíos específicos.

Pero esta caja de herramientas es para cualquier persona que necesite tomar decisiones efectivas, facilitar o guiar procesos efectivos de toma de decisiones, o administrar o coordinar el trabajo grupal en el desarrollo que requiere el conocimiento de varias personas para tener éxito.

Los usuarios de esta caja de herramientas pueden ser especialistas a tiempo completo en intercambio de conocimiento / gestión del conocimiento, mientras que otr@s pueden ser gestores y líderes de equipo que necesitan soluciones efectivas para problemas desafiantes. Aún otros serán especialistas técnicos que desean algunas herramientas adicionales en su haber, para complementar sus propias habilidades analíticas y de investigación.

Aquí están las herramientas, algunas de las cuales hablaremos en una futura ocasión:

Herramientas

Procesos

• Online Communities

Seguimos/sigamos colaborando, seguimos/sigamos buscando, siempre buscando…

Las circunstancias actuales nos animan a repensar cómo evaluamos teniendo en cuenta los desafíos (a) éticos, (b) conceptuales y (c) metodológicos que afectarán nuestra capacidad para realizar evaluaciones. De nuevo un interesante post del Banco Mundial sobre la “Realización de evaluaciones en tiempos de COVID-19 (Coronavirus)”. 8 de abril de 2020, por Jos Vaessen & Estelle Raimondo

Este momento también es un reto para aquell@s que trabajamos en funciones de evaluación en el campo del desarrollo internacional, donde generalmente tenemos el lujo del tiempo, operamos dentro de teorías claras de cambio y hacemos nuestro mejor trabajo cuando podemos mezclar métodos, usar múltiples fuentes de datos y realizar entrevistas en profundidad con una variedad de partes interesadas.

Estas circunstancias nos  animan a repensar cómo realizar nuestro trabajo evaluativo. En una serie  posts los autores discuten tres desafíos principales (éticos, conceptuales y metodológicos) que afectarán a nuestra capacidad para realizar evaluaciones.

En una publicación de blog posterior discutirán con más detalle algunas opciones metodológicas que podemos considerar aprovechar. Esta discusión se centra en el contexto de evaluación de las funciones de evaluación (independientes) establecidas en organizaciones internacionales o ministerios nacionales que trabajan principalmente en evaluaciones programáticas de alto nivel de programas sectoriales, temáticos o de país.

Las evaluaciones programáticas enfrentan diferentes tipos de desafíos, ya que recopilan principalmente datos a nivel institucional, por ejemplo, entre ministerios, entidades gubernamentales subnacionales o socios de desarrollo.

1.Desafíos éticos:

Desde un punto de vista ético, los planes de trabajo de evaluación inevitablemente necesitarán ajustes. La consideración cuidadosa del coste de oportunidad, de la relación riesgo-ganancia/recompensa, de las actividades de evaluación será más importante que en escenarios pasados. En primer lugar, donde la evaluación es un componente clave para comprender si las intervenciones de salud pública y otras intervenciones prioritarias (por ejemplo, protección social y redes de seguridad social para ciudadan@s (vulnerables)) funcionan y cómo funcionan, l@s evaluador@s deben estar integrad@s  (1) no solo para poder recopilar los mejores datos posibles y realizar las mejores evaluaciones posibles para informar a los responsables de la toma de decisiones durante la crisis, (2) sino también para corroborar debates críticos que tendrán lugar una vez que la crisis esté terminando. Recordemos también que en varios de los países donde operan nuestras organizaciones, especialmente en estados frágiles y afectados por conflictos, COVID-19 es solo uno de los muchos desafíos críticos que enfrentan.

Para otros sectores y para otros tipos de trabajo evaluativo (la mayoría de las evaluaciones programáticas realizadas por las funciones de evaluación caen en esta categoría), los evaluadores deben, ante todo, preocuparse por no ejercer presión innecesaria sobre un sistema público demasiado sobrecargado. Por lo tanto, el mejor enfoque sería reducir (y priorizar) las interacciones directas con colegas operativos que trabajan en sectores relacionados con la crisis, mientras se intensifican los esfuerzos para llevar a cabo el trabajo evaluativo de manera diferente dadas las limitaciones.

Una consideración ética más sutil es preguntar si se pueden cumplir las condiciones necesarias para que las evaluaciones sean útiles y se utilicen. ¿Podemos esperar que nuestra audiencia escuche? L@s evaluador@s no deben ser sord@s y depender de mecanismos institucionales bien engrasados ​​que regulan la producción de evaluaciones para preservar “el trabajo tradicional, lo de siempre”.

Avanzando con los planes de trabajo de evaluación y el diseño de la evaluación, se necesita un cambio conceptual. En una pandemia global de las proporciones que estamos experimentando actualmente, los efectos repercuten mucho más allá del sector de la salud pública y los efectos (in) directos sobre la salud de COVID-19 en l@s ciudadan@s. La pandemia global, las medidas de contención impuestas por el gobierno y los cambios de comportamiento durante la crisis del sector privado y la ciudadanía,  pueden tener efectos significativos y duraderos en una amplia gama de temas de importancia social.

2.Desafíos metodológicos:

Desde una perspectiva metodológica, identifican cuatro desafíos principales para los evaluadores.

El primer desafío se refiere a las restricciones actuales sobre la recopilación de datos empíricos a nivel institucional. Debido a las restricciones de viaje, las prioridades institucionales cambiantes y el acceso institucional (como resultado de las condiciones impuestas de “cierre”), algunas de las partes interesadas clave no están disponibles para entrevistas. Como resultado, los evaluadores pueden recurrir al muestreo de conveniencia / propositivo / intencional, pero hay que conscientes de la propensión al sesgo de selección.

En segundo lugar, cualquier ejercicio de evaluación se verá significativamente limitado debido a la incapacidad de realizar la recopilación de datos en el terreno. Los evaluadores tendrán dificultades para desarrollar una perspectiva rica y contextualizada del evaluando. Las estrategias de recopilación de datos, como la observación discreta, la construcción de una buena relación con las partes interesadas (observando las costumbres locales y las normas culturales), así como todo tipo de indagación inductiva (incluida la muestra in situ, con el enfoque de bola de nieve de los entrevistados). Las entrevistas remotas (por teléfono, teleconferencias) constituyen solo una solución parcial a este desafío. Solo aliviará en parte el problema de acceso y es propenso a sesgos (especialmente cuando las entrevistas cubren temas complejos o delicados).

El tercer desafío está estrechamente relacionado con los dos anteriores: es justo decir que incluso antes de COVD-19, algunas evaluaciones programáticas pueden haber estado sujetas a algún tipo de “sesgo del gobierno central” en cuanto a su recopilación de datos. Dependiendo de la naturaleza de la evaluación, es probable que muchas entrevistas involucren a las partes interesadas de gobiernos federales directamente involucradas en la planificación, financiación e ejecución de intervenciones. Las entrevistas con las partes interesadas en los niveles descentralizados del gobierno federal (por ejemplo, subnacionales, provinciales…) y especialmente en las zonas rurales pueden ser más difíciles de planificar en las circunstancias actuales, lo que refuerza el sesgo mencionado anteriormente.

Finalmente, un cuarto desafío se refiere a aprovechar el potencial de la revisión y análisis documental durante la fase ​​de gabinete.  En las evaluaciones se dan cada vez más revisiones y sistematizaciones de los conocimientos y datos existentes. Las revisiones de evaluaciones existentes, las revisiones de estrategia, las revisiones estructuradas académicas y de literatura institucional (y así sucesivamente), en la medida de lo posible, se pueden realizar de manera más rigurosa e inteligente. Esto también se aplica al análisis de datos existentes, tanto convencionales (por ejemplo, datos corporativos, datos de encuestas) como “big data” (por ejemplo, datos de imágenes, datos de redes sociales).