TripleAD

Continuamos con el anterior post “La evaluación en tiempo real en emergencias” basado en un resumen que hizo INTRAC sobre el tema, y compartimos algunas ideas sobre cómo se ejecuta una RTE. Hay algunas características de las Evaluaciones en Tiempo Real (RTE) que pueden ser diferentes a las de las evaluaciones más convencionales. Algunos de éstas son los siguientes (ver Cosgrave et al. 2009, Polastro 2012, Herson y Mitchell 2005):

Las RTE ejecutadas por organizaciones a título individual generalmente se llevan a cabo durante cortos períodos de tiempo, como 2-3 semanas. Esto se debe a que la intención es proporcionar retroalimentación en tiempo real que pueda ser accionada de inmediato. Los RTE a menudo son ejercicios ligero que lleva a cabo un equipo de evaluación de entre una y a cuatro personas, básicamente un número lo suficientemente pequeño como para caber dentro de un vehículo, ahora con COVID incluso sin necesidad de vehículo (pero hay que añadir algo de innovación e imaginación). El equipo puede ser interno, externo o una combinación. Debido a que generalmente se llevan a cabo en intervenciones humanitarias, los RTE tienden a ser más rápidos, flexibles y receptivos que los tipos de evaluación más tradicionales.

En un RTE a menudo (1) no hay una línea de base y (2) no hay necesidad (o tiempo) de utilizar metodologías complejas de recopilación y análisis de datos. Las RTE tienden a depender de (1) métodos cualitativos como entrevistas, discusiones de grupos focales y observación, ahora (2) con COVID, todas esas herramientas han de pasar a “remoto”. Las encuestas o cuestionarios pueden ser difíciles de implementar debido a los cortos plazos. Por el contrario, la observación puede ser más importante en RTE que en otros tipos de evaluación y esto (la observación) es algo, de nuevo, en lo que deberíamos de innovar en tiempos de COVID.

Las RTE son generalmente participativas porque dependen de interacciones con múltiples partes interesadas, incluidos los beneficiarios previstos. El propósito y la metodología de un RTE generalmente están dictados por las circunstancias y son seleccionados por la organización en cuestión. Sin embargo, diferentes partes interesadas tienen un papel importante en la definición de cómo se puede mejorar una intervención y quién debe actuar para asegurarse de que los cambios sucedan.

Durante los RTE, a menudo hay (1) un mayor énfasis en el proceso que en el impacto y la sostenibilidad. Hay menos enfoque en la evaluación de impacto y más en el aprendizaje inmediato de lecciones. En parte como consecuencia, (2) existe una necesidad menos obvia de garantizar que los hallazgos sean “rigurosos”; es más necesario generar hallazgos de manera rápida y económica para garantizar que las respuestas se puedan realizar de manera oportuna. Nuevamente, esto tiende a hacer que un RTE parezca más un ejercicio de seguimiento que uno de evaluación, lo que (iii por fin iii) desdibuja los límites entre el seguimiento y la evaluación.

En un RTE, un informe de evaluación puede ser menos importante de lo que habitualmente son. Aunque es importante como un registro a largo plazo, y tal vez útil cuando se recopilan las lecciones aprendidas de muchas intervenciones, el enfoque principal de un RTE debe estar en las recomendaciones hechas (y las decisiones tomadas en cuenta) mientras la evaluación está en progreso. Siempre existe el riesgo de que cualquier informe final esté desactualizado para cuando se publique, ya que los eventos durante las respuestas humanitarias pueden avanzar muy rápidamente.

Fuentes

 Cosgrave, J; Ramalingan, B and Beck T (2009). Real-time evaluations of humanitarian action: An ALNAP Guide. ODI, 2009.

 Herson, M and Mitchell, J (2005). “Real-Time Evaluation: Where does its value lie?” Humanitarian Exchange, 32, pp. 43-45.

 Polastro, R (2012). Real Time Evaluations: Contributing to system-wide learning and accountability. 

 INTRAC. Real Time Evaluation

En estos momentos con el contexto del Covid 19, vivimos en un entorno de crispación social (y algo más que crispación, por desgracia, en Estados Unidos). La escucha activa se hace más necesaria que nunca.

Escuchar, argumenta Erich Fromm, es “es un arte como la comprensión de la poesía” y, como cualquier arte, tiene sus propias reglas y normas. A partir de su práctica de medio siglo como terapeuta, Fromm ofrece seis pautas para dominar el arte de la comprensión desinteresada:

1. La regla básica para practicar este arte es la concentración completa del oyente.
2. No debe tener en mente nada importante, debe estar óptimamente libre de ansiedad y de avaricia.
3. Debe poseer una imaginación que funcione libremente y que sea lo suficientemente concreta como para expresarse en palabras.
4. Debe estar dotado de una capacidad de empatía con otra persona y lo suficientemente fuerte como para sentir la experiencia del otro como si fuera la suya.
5. La condición para tal empatía es una faceta crucial de la capacidad de amar. Comprender a otro significa amarlo, no en el sentido erótico, sino en el sentido de llegar a él y superar el miedo a perderse.
6. Comprender y amar son inseparables. Si están separados, es un proceso cerebral y la puerta a la comprensión esencial permanece cerrada.

La escucha activa es un “arte” que (a) requiere “disponibilidad, interés por la persona, comprensión del mensaje, espíritu crítico y prudencia en los consejos”, (b) consiste en una forma de comunicación que demuestra al hablante que el oyente le ha entendido. Escuchar activamente no se limita a dejar hablar al interlocutor sin interrumpir su discurso, sino que necesita de una atención física, psicológica y verbal que, por suerte, todos podemos mejorar. La escucha activa se refiere, como su nombre indica, a (1) escuchar activamente y con conciencia plena. No es oír a la otra persona, sino a (2) estar totalmente concentrados en el mensaje que el otro individuo intenta comunicar. (3) Es una técnica y estrategia específica de la comunicación humana, es utilizada en campos como la enfermería, la psicoterapia y la resolución de conflictos. (4) Implica asimismo,  ofrecer disponibilidad y mostrar interés por la persona que habla. Se refiere a (5) la habilidad de escuchar no sólo (a) lo que la persona está expresando directamente, sino también los (b) sentimientos, ideas o pensamientos que subyacen a lo que se está diciendo. (6) Consiste en una forma de comunicación que demuestra al hablante que el oyente le ha entendido.

Las barreras para la escucha activa tienen un gran impacto negativo en la moral y la productividad de la colaboración y del trabajo en equipo. Esta situación generalmente resulta en conflictos y malentendidos entre los miembros del equipo, y crea un ambiente negativo. Afortunadamente, las habilidades de escucha se pueden aprender. 1.Hablar excesivamente, 2.Prejuzgar, 3.Distracciones, 4.Esperar o dar por supuesto que otros comparten nuestras creencias y valores personales, 5.Malentendido, 6.Interrumpir o interrupciones, 7.Hacer que escuchamos: Falsificando la atencion, 8.Dejarse llevar por las emociones, 9.El Ruido, 10.El miedo o el temor

La comunicación es un proceso de interacción en el que se produce un intercambio de sentimientos, información, ideas, emociones, conocimiento y todo lo que conlleva la trasmisión de un mensaje que necesita ser retroalimentado. La mayor dificultad de la comunicación es pensar que es fácil. Comprender los procesos de comunicación implica ser mucho más minucioso y elaborado que solo articular los mensajes. La comunicación eficaz es aquella que establece una conexión de doble vía, la cual siempre tendrá una conducta de reciprocidad y respeto para con los demás.

La asertividad y la escucha activa no son conceptos contrapuestos. Debemos ser asertivos mientras practicamos la escucha activa y, por otra parte, una asertividad basada en la escucha activa suele ser más eficaz. Cuando nos encontremos ante afirmaciones, ataques o peticiones que no podamos hacer frente, debemos comunicárlo claramente, honestamente y con el máximo respeto.

Haz clic para acceder a UNICEF_ADAP_GuidanceNote.pdf

En octubre de 2019 UNICEF ha publicado la nota de orientación sobre Participación de adolescentes en el monitoreo y evaluación (PA M&E)

Esta nota de orientación fue creada en respuesta a ese desafío, para ayudar al personal de UNICEF a determinar qué forma de PA M&E (1) puede dotar de mayor valor añadido; (2) cómo los adolescentes pueden participar de manera significativa, segura y ética en diferentes contextos; (3) qué cuestiones prácticas deberían ser consideradas al diseñar e implementar actividades participativas de M&E; y (4) qué herramientas y recursos se pueden usar para apoyar dicho proceso.

La nota de orientación es interactiva, lo que permite a los usuarios acceder a herramientas de soporte y orientación o navegar dentro del documento fácilmente. Su objetivo es ser un recurso práctico para el personal de UNICEF y por los socios de UNICEF.

Si bien ha habido un progreso considerable en la mejora de la participación de los adolescentes, sigue siendo limitada la participación de adolescentes en el monitoreo y la evaluación (M&E). Sin embargo, los beneficios de la participación adolescente en el monitoreo y la evaluación (PA M&E) son ampliamente reconocidos: credibilidad, empoderamiento,  dignidad, asociaciones intergeneracionales y cambio colectivo basado en la evidencia.

En la práctica, parte de l@s profesionales pueden tener (a) una experiencia limitada con respecto a los pasos a seguir y (b) unos recursos limitados para comprometerse significativamente con los adolescentes en las actividades de M&E. (c) Otr@s pueden preocuparse de que la participación sea explotadora, insegura o poco ética. Por tanto, cómo se hace la participación en M&E, es un desafío clave.

• La participación de los adolescentes puede ayudar a los esfuerzos de M&E a obtener datos mejores y más auténticos sobre temas relevantes para los jóvenes, para una mejor toma de decisiones. Por lo tanto, puede reforzar la credibilidad de la evidencia y de las decisiones tomadas en base a esa evidencia.
• La participación de los adolescentes puede fomentar el empoderamiento, tanto a través del desarrollo de habilidades específicas de M&E (“pensamiento evaluativo”) como a través de la participación en un proceso significativo con otros adolescentes y adultos.
• Los adolescentes son tratados con dignidad y pueden forjar asociaciones intergeneracionales que pueden impulsar un cambio colectivo basado en la evidencia.

La Oficina de Investigación – Innocenti es un centro de investigación de UNICEF que tiene el mandato de liderar en la investigación que se centren en lagunas de conocimiento relevantes para los objetivos estratégicos de UNICEF y sus socios clave.

La Oficina de Investigación Innocenti emprende investigaciones:

-Prospectivas para identificar desafíos y oportunidades para la comunidad global en temas que afectan a los niños.

-Sobre temas delicados y emergentes, probando y proponiendo políticas y soluciones alternativas

La Oficina de Investigación Innocenti ha realizado una revisión de metodologías de investigación contemporáneas para el bienestar de los adolescentes en países de bajos y medianos ingresos (2017)

El objetivo: mejorar los esfuerzos para recopilar evidencias rigurosas para programas y políticas sobre salud y bienestar de los adolescentes.

Estos son los siete documentos de investigación que ha generado:

1.Mejora de la calidad metodológica de la investigación sobre el bienestar de los adolescentes

2. Datos e indicadores para medir la salud de los adolescentes, el desarrollo social y el bienestar

3.Inclusión y protección: obtener el consentimiento informado al realizar investigaciones con adolescentes

4.Investigación con adolescentes desfavorecidos, vulnerables y / o marginados

5. Participación de los adolescentes en la investigación: innovación, justificación y próximos pasos

6. Cómo medir los sistemas habilitadores y de apoyo para la salud de los adolescentes

7. Metodologías para capturar los efectos multidimensionales de las intervenciones de fortalecimiento económico

En Gran #TwitterChat sobre #Eval4Action comenzaba con la pregunta: ¿Por qué la evaluación es un acelerador para lograr los ODS, incluso durante la crisis sanitaria y socioeconómica de COVID-19? Mis respuesta fueron:

La evaluación contribuye a la rendición de cuentas, el aprendizaje y la toma de decisiones basadas en la evidencia en apoyo de (a) la Agenda 2030 y los ODS y (b) de la respuesta #COVID19 a corto, mediano y largo plazo

La #evaluación puede fortalecer aprendizaje y rendición de cuentas para mejorar la relevancia, la coherencia, la eficacia, la eficiencia, la sostenibilidad y el impacto de los procesos hacia los #SDG, incluso durante la crisis sanitaria y socioeconómica #COVID19

Sin embargo, a esta altura del partido, algun@s presentimos ya que solo porque sepamos y comuniquemos (a) lo que tenemos que hacer, e incluso (b) cómo y cuándo se tienen que hacer los cambios, no significa que vayan a hacerse realidad las reformas estructurales para que la evaluación cumpla su teórica función social. Las barreras estructurales están ahí y no son fáciles de sortear.

Aquí algunas de las barreras que hemos ido anotando en este blog, que pueden también aplicarse a las barreras estructurales que no permiten que la función de evaluación cumpla su función social:  barreras (1) para el impacto colectivo, (2) para la colaboración, (3) para la coordinación, (4) para el aprendizaje institucional y la gestión del conocimiento:

(1) Barreras para el impacto colectivo en el sector de ayuda al desarrollo

Hay cuatro barreras importantes e interrelacionadas para el impacto colectivo:

1.“Biznificación” del desarrollo social: La primera barrera es la tendencia del sector del desarrollo de búsqueda de comparaciones en el sector privado, en las dinámicas de los sectores privado y no lucrativo. La principal diferencia es la falta de fuerzas reales competitivas en el sector del desarrollo.

2.Incentivos de medición desalineados: El segundo factor que trabaja en contra de la colaboración es un esfuerzo excesivo en la causalidad y la atribución. Una medida que los líderes de la organización intentan demostrar su responsabilidad y mostrar a sus juntas directivas sus logros, han creado las consecuencias negativas no deseadas.
Esas consecuencias incluyen demasiado enfoque en obtener crédito o en construir una “marca”. Esto lleva a un esfuerzo excesivo en la institución individual como la unidad de análisis que en realidad socava la fuerza colectiva.

3.Dinámica de poder: La dinámica de poder entre los financiadores y sus colaboradores más importantes, así como los intermediarios y los beneficiarios, es otro impedimento para una colaboración exitosa. Rodeados de becarios y aspirantes a obtener financiación, las fundaciones viven en una burbuja de positividad.
Esta dinámica se traduce en la forma en la que los usuarios se reparten los problemas compartiendo problemas con sus financiadores. En el peor de los casos, los beneficiarios retienen información crucial de sus financiadores por temor. Los financiadores, a su vez, están protegidos y desconectados, no solo de los beneficiarios, sino también de las personas que deben ser más importantes.

4.Ego: El cuarto factor que conspira para inhibir la colaboración organizacional es el ego pasado de moda:  “Quiero que colabores conmigo, pero no quiero colaborar contigo”. Escuchamos interminables charlas de liderazgo, apalancamiento,  e “influencia sobre otros actores”. Pero  a veces lo que estamos buscando en realidad un buen número de seguidores.
Y aquí está la cuestión: una buena colaboración entre los donantes y  los beneficiarios, del tipo que supera estas cuatro barreras, puede suceder. El trabajo colaborativo lleva tiempo y requiere paciencia. En última instancia, superar las barreras para la colaboración tiene que ver con el liderazgo, una concepción de liderazgo que es menos comando y control, más consejo y facilitación.

(2) Algunas barreras para la colaboración: Una de las habilidades de liderazgo clave que se necesitan hoy es la colaboración. Esto no minimiza la importancia del coraje, el optimismo, la motivación, la comunicación, la innovación o el espíritu emprendedor. Pero en el entorno actual, los líderes más exitosos serán aquellos que puedan superar los viejos límites e inspirar a otros a imaginar nuevas formas de colaborar. Esos límites son tanto físicos como mentales, desde la imaginación de nuevas asociaciones, productos y procesos hasta la re-estructuración del flujo de trabajo, el espacio de trabajo, los equipos y los roles.

Para sobresalir en la colaboración, debemos superar algunos obstáculos tradicionales. Los obstáculos de colaboración  pueden existir en cualquier lugar de trabajo, especialmente aquellos con largas historias y tradiciones. Identificar barreras nos ayuda a derribarlas. Aquí están las cuatro barreras para la colaboración:

Distancia: Cuanto mayor es la distancia entre colegas, mayor es la posibilidad de comunicación defectuosa.

Dominio: No colaboramos porque existe una jerarquía real o percibida en el lugar de trabajo. Con los años, el liderazgo ha desarrollado una cultura que parece valorar a un grupo sobre otro.

Disonancia: Se refiere a prioridades en conflicto. Sucede cuando los jefes le dicen a las personas que quieren que todos colaboren, pero, al mismo tiempo, asignan tareas, metas y objetivos a varios individuos y equipos, agendas que varían mucho y pueden variar desde complementarias hasta conflictivas. Las órdenes disonantes desde la gestión son una garantía de que nuestro equipo colapsará.

Incomodidad: Si no te conozco, profesional o personalmente, si no tengo ni idea de cómo haces lo que haces, es menos probable que colabore cómodamente contigo. Puedo ser intimidado por su experiencia o desconocer lo que se necesita para hacer su trabajo. Cuanto más sepamos sobre las habilidades necesarias para todos los aspectos del nuestro sector, mejores colaboradores seremos. L@s gestor@s, se comprometen con una capacitación de calidad. No esperemos que alguien nos invite o nos asigne para  aprender. Todos, comprometemenos a conocer a nuestr@s colegas como personas, no solo como coproductores.

(3) ¿Por qué no nos coordinamos? y  Algunas barreras para la coordinación

Aunque parece intuitiva, “en teoría”, la bondad de la coordinación para contribuir a la eficiencia y eficacia, “en la práctica” normalmente las barreras existentes para la coordinación de los actores de desarrollo son subestimadas. A pesar de la retórica de los grandes manifiestos o agendas, en la práctica, los  impulsores del cambio existentes para la coordinación efectiva de actores implicados no suelen ser suficientes (o suficientemente tenidos en cuenta) para superar estas barreras.

Algunos de estos  impulsores del cambio son: (1) Liderazgo efectivo, (2) Existencia de marcos para el trabajo y capacidades conjuntas, (3) Fortalecimiento de la (a) confianza y continuidad en la comunicación entre los miembros de los espacios de coordinación, (b) seguimiento, evaluación y aprendizaje/gestión del conocimiento de los espacios de coordinación, (c) sistema de incentivos y sanciones a los sujetos de coordinación y (d) transversalización de género en espacios de coordinación.

Una teoría del cambio para hacer que estos impulsores se pongan en juego es crear o fortalecer: (1) En los mandos o gestores senior responsables de la coordinación, por este orden: (a) comprensión, (b) conciencia, (c) apropiación, (d) compromiso y (e) liderazgo para la coordinación, (2) Capacidades / marcos de coordinación conjuntos, (3) Capacidad de autoevaluación de los procesos de coordinación, incluyendo la autoevaluación del adecuado despliegue de incentivos para la coordinación.

La existencia de un marco de responsabilidad mutua (mutual accountability) es un factor clave para que estos incentivos o conductores del cambio para la coordinación funcionen en la correcta dirección.

A continuación enumeramos otras barreras para esa coordinación, y no son pocas:

• Falta de comprensión colectiva de potenciales objetivos comunes, roles y responsabilidades de los implicados
• Competición por recursos financieros muy escasos
• Falta de liderazgo centralizado o descentralizado
• Demasiados actores
• Diferentes expectativas (compartir o recibir información, conseguir recursos, controlar…)
• Falta de valoración en la práctica de la función de coordinación (especialmente por los gestores senior)
• Falta de valoración de los recursos técnicos, financieros y humanos necesarios (especialmente por los gestores senior): recursos inadecuados
• Falta de inclusión explícita de la coordinación en los Términos de Referencia del personal
• Falta de acceso a la información o de gestión de la información/conocimiento
• Miedo a perder la libertad
• Falta de confianza
• Falta de habilidades, conocimiento y experiencia de coordinación
• Rotación de personal
• Falta de compromiso con enfoques colaborativos
• Comportamiento oportunista y preferencia de enfoques bilaterales
• No inversiones específicas en reforzar la relación de los actores
• Orientación al corto plazo
• Pobre capacidad de gestión de relaciones
• Falta de incentivos o de sanciones
• Centrado en compartir información y nunca en planificación y ejecución conjunta
• Todos reconocemos la necesidad de coordinación pero ninguno queremos ser coordinados
• Falta de seguimiento de los insumos, productos y resultados de los procesos de coordinación
• Falta de un espacio de mutua rendición de cuentas de los actores implicados

Bueno, pues esto es lo que hace que aunque bonita es, la coordinación es tan quimera…

(4) Barreras culturales para el Aprendizaje Gubernamental e Institucional

En ¿Por qué nuestros gobiernos no aprenden?, todavía a la estela de Nick Milton, observamos que los gobiernos cometen errores, pero ¿por qué no aprenden de estos errores? ¿Por qué seguir repitiendo los mismos errores? Mirando esto en términos de Aprendizaje Organizacional, y comparando con las dimensiones de una Cultura de Aprendizaje, existen varias barreras culturales para el Aprendizaje Gubernamental . Estos son los siguientes:

1.Corto plazo. Este es quizás el mayor problema: que la mayoría o todos los incentivos gubernamentales e institucionales son a corto plazo: La próxima elección, la próxima reunión parlamentaria, el próximo ciclo de noticias. Una semana es mucho tiempo en política, entonces, ¿a quién le molesta pensar con 5 años por delante? Todos los incentivos están a favor de ser decisivos y no deliberativos, de actuar y de ser vistos, y luego seguir adelante. Los incentivos a largo plazo para el aprendizaje y la deliberación simplemente no existen, como lo demuestra la falta de responsabilidad y rendicion de cuentas.

2.Una cultura  del “conocedor/a” en lugar de una cultura “aprendiz/a”. Existen vacíos masivos de habilidades y conocimientos en el gobierno y en las instituciones y, sin embargo,no parece haber un deseo ardiente de llenar estos vacíos. Los tomadores de decisiones parecen confiar en lo que saben que saben, incluso cuando ese conocimiento está desconectado culturalmente y tiene prejuicios intelectuales. Cuando se identifican las lagunas de conocimiento, estas parecen tardar en cubrirse.

3.Falta de honestidad y “decir la verdad al poder”. La naturaleza poderosa, decisiva y ambiciosa de los ministros o dirigentes hace que sea difícil decir “esto nunca funcionará”. Es difícil decirle a un político poderoso lo que no quieren escuchar, o por qué su proyecto favorito está condenado al fracaso.

4.Una falta de desafío a “la verdad o saber aceptados”. Sin este desafío, el problema de el Pensamiento de Grupo nunca desaparece. ¿Dónde estaban los grupos focales, los pilotos, los “defensores de los demonios? ¿Dónde estaba la voluntad de preguntar” nos estamos perdiendo algo”? ¿Nuestras suposiciones resisten el desafío? Sin desafío y discusión, los errores se perpetúan.