La evaluación no está siendo una prioridad durante la pandemia: desafíos pasados

Retomamos el post Evaluando en tiempos de pandemia: Estos últimos 8 meses en la gestión y ejecución de evaluaciones hemos tenido desafíos (a) éticos, (b) conceptuales y (c) metodológicos que han afectado/están afectado a nuestra capacidad para realizar evaluaciones:

1.Desafíos éticos:

Desde un punto de vista ético, los planes de trabajo de evaluación inevitablemente han necesitado/están necesitando ajustes y plazos más largos/dilatados. En primer lugar, donde la evaluación es un componente clave para comprender si las intervenciones de salud pública y otras intervenciones prioritarias (por ejemplo, protección social y redes de seguridad social para ciudadan@s (vulnerables)) están funcionando y cómo funcionan, l@s evaluador@s deberían haber estar integrad@s (aunque por desgracia no ha sido integrada en demasiados casos, debido a que la evaluación no ha sido una prioridad):  (1) no solo para poder recopilar los mejores datos posibles y realizar las mejores evaluaciones posibles para informar a los responsables de la toma de decisiones durante la crisis, (2) sino también para corroborar debates críticos que tendrán lugar una vez que la crisis esté terminando.

La evaluación ha tratado/está tratado de no ejercer presión innecesaria sobre un sistema público demasiado sobrecargado, el enfoque ha sido reducir (y priorizar) las interacciones directas con colegas operativos que trabajan en sectores relacionados con la crisis, mientras se han intensificado los esfuerzos para llevar a cabo el trabajo evaluativo de manera diferente dadas las limitaciones.

Una consideración ética más sutil ha sido/está siendo cumplir las condiciones necesarias para que las evaluaciones sean útiles y se utilicen. ¿Podemos esperar que nuestra audiencia escuche? L@s evaluador@s están tratando de ser proactiv@s y no depender de mecanismos institucionales no tan bien engrasados ​​para regular la producción de evaluaciones para preservar. Sin embargo, de nuevo, en general la evaluación no está siendo una prioridad durante la respuesta al C-19.

2.Desafíos conceptuales

Avanzando con los planes de trabajo de evaluación y el diseño de la evaluación, se necesita un cambio conceptual. En una pandemia global de las proporciones que estamos experimentando actualmente, los efectos repercuten mucho más allá del sector de la salud pública y los efectos (in) directos sobre la salud de COVID-19 en l@s ciudadan@s. La pandemia global, las medidas de contención impuestas por el gobierno y los cambios de comportamiento durante la crisis del sector privado y la ciudadanía,  pueden tener efectos significativos y duraderos en una amplia gama de temas de importancia social.

3.Desafíos metodológicos:

Desde una perspectiva metodológica, ha habido/está habiendo cuatro desafíos principales para l@s evaluador@s.

El primer desafío se refiere a las restricciones sobre la recopilación de datos empíricos a nivel institucional: algunas de las partes interesadas clave no han estado/están disponibles para entrevistas. Como resultado, los evaluadores han recurrido/están recurriendo al muestreo de conveniencia / propositivo / intencional, aun siendo conscientes de la propensión al sesgo de selección.

En segundo lugar, la mayoría de los ejercicios de evaluación se han visto significativamente limitados debido a la incapacidad de realizar la recopilación de datos en el terreno. Los evaluadores han tenido dificultades para desarrollar (1) una perspectiva rica y contextualizada del evaluando, (2) las estrategias de recopilación de datos, como (a) la observación directa, (b) la construcción de una buena relación con las partes interesadas (observando las costumbres locales y las normas culturales), así como (c) todo tipo de indagación inductiva (incluida la muestra in situ, con el enfoque de bola de nieve de los entrevistados). Las entrevistas remotas (por teléfono, teleconferencias) constituyen solo una solución parcial a este desafío. Se ha mitigado sólo en parte el problema de acceso y es propenso a sesgos (especialmente cuando las entrevistas cubren temas complejos o delicados).

El tercer desafío está estrechamente relacionado con los dos anteriores: es justo decir que incluso antes de COVD-19, algunas evaluaciones programáticas pueden haber estado sujetas a algún tipo de “sesgo del gobierno central” en cuanto a su recopilación de datos. Dependiendo de la naturaleza de la evaluación,  muchas entrevistas ha involucrado a las partes interesadas de gobiernos federales directamente involucradas en la planificación, financiación e ejecución de intervenciones (garantes de derechos). Las entrevistas con las partes interesadas en los niveles descentralizados del gobierno federal  (por ejemplo, subnacionales, provinciales…) y los sujetos de derecho/beneficiarios, y especialmente en las zonas rurales, han sido más difíciles de planificar en las circunstancias actuales, lo que ha reforrzado el sesgo mencionado anteriormente.

Finalmente, un cuarto desafío se refiere a aprovechar el potencial de la revisión y análisis documental durante la fase ​​de gabinete.  Estos meses se han difundido revisiones y sistematizaciones de los conocimientos y datos existentes (aunque otra historia es si los hemos podido internalizar e institucionalizar). Podrían haber tenido mayor importancia/relevancia práctica: Las revisiones de evaluaciones existentes, las revisiones de estrategia, las revisiones estructuradas académicas y de literatura institucional (y así sucesivamente) y el análisis de datos existentes, tanto convencionales (por ejemplo, datos corporativos, datos de encuestas).