TripleAD

Tras hacer una presentación general de diseños de evaluación de impacto, vamos a profundizar en la técnica de pareamiento (matching) para la evaluación de impacto

(a) Conceptos

Pareamiento (Matching): Es una técnica que empareja participantes del grupo de tratamiento con participantes del grupo de control que tienen características similares. Esto se hace para crear un grupo de comparación que sea lo más parecido posible al grupo de tratamiento, permitiendo así una evaluación más precisa del impacto de la intervención.

Variables No Observables: Son aquellas características o factores que no se pueden medir o no están disponibles en los datos, pero que pueden influir en los resultados. Por ejemplo, la motivación personal o el apoyo familiar. Estas variables pueden sesgar los resultados si no se controlan adecuadamente.

(b) Casos de (no) Uso

Cuándo Usarlo:

• Disponibilidad de Datos Detallados: Cuando se tiene acceso a datos detallados sobre las características de los participantes.
• Grupo de Comparación Adecuado: Cuando se puede identificar un grupo de comparación adecuado que sea similar al grupo de tratamiento.

Cuándo NO Usarlo:

• Insuficiencia de Coincidencias: Cuando no se pueden encontrar suficientes coincidencias entre los grupos de tratamiento y control.
• Variables No Observables Importantes: Cuando hay variables no observables que pueden influir significativamente en los resultados y no se pueden controlar

(c ) Ejemplos de Evaluaciones de Impacto en América Latina

1. Bolsa Familia en Brasil
   • Nombre: Evaluación del Impacto del Programa Bolsa Familia
   • Fecha: 2003 – presente
   • País: Brasil
   • Organización: Gobierno de Brasil
   • Sector: Educación y Salud
   • Coste: Variable según el año y la extensión del estudio
   • Efectos: Mejoras en la asistencia escolar y tasas de vacunación¹.
2. Progresa/Oportunidades en México
   • Nombre: Evaluación del Impacto del Programa Progresa/Oportunidades
   • Fecha: 1997 – presente
   • País: México
   • Organización: Gobierno de México
   • Sector: Educación y Salud
   • Coste: Variable según el año y la extensión del estudio
   • Efectos: Mejoras en la asistencia escolar y salud infantil².
3. Impacto del Bullying en América Latina
   • Nombre: Evaluación del Impacto del Bullying en el Aprendizaje
   • Fecha: 2015
   • País: 15 países de América Latina
   • Organización: UNESCO
   • Sector: Educación
   • Coste: Variable según el alcance del estudio
   • Efectos: Impacto negativo significativo en el rendimiento académico y el bienestar emocional de los estudiantes³.

(d) Valoración de la Correcta Aplicación del Pareamiento

Para asegurarse de que una evaluación de impacto usando matching esté correctamente diseñada y aplicada, se deben considerar los siguientes factores:

1. Calidad de los Datos: Asegurarse de que los datos sobre las características de los participantes sean detallados y precisos.
2. Selección del Grupo de Comparación: Verificar que el grupo de comparación sea adecuado y que las coincidencias sean lo más exactas posible.
3. Control de Variables No Observables: Identificar y controlar las variables no observables que puedan afectar los resultados.
4. Pruebas de Balance: Realizar pruebas de balance para asegurarse de que las características de los grupos de tratamiento y control sean similares después del pareamiento.
5. Errores Comunes:
   • Sesgo de Selección: Asegurarse de que el proceso de selección no introduzca sesgos.
   • Insuficiencia de Coincidencias: Evitar situaciones donde no se puedan encontrar suficientes coincidencias adecuadas.
   • Variables No Observables: Controlar adecuadamente las variables no observables que puedan influir en los resultados.

(e) Interpretación de Resultados

No Encontrar Diferencias entre Grupos:

• Problema del Diseño: Puede ser un problema del diseño si no se controlaron adecuadamente las variables no observables o si el grupo de comparación no es adecuado.
• Intervención sin Efecto: También puede indicar que la intervención o tratamiento realmente no tuvo efecto.

Corrección e Interpretación:

• Revisar el Diseño: Asegurarse de que el diseño del estudio y la selección de los grupos de comparación sean adecuados.
• Control de Variables: Mejorar el control de variables no observables.
• Análisis Adicional: Realizar análisis adicionales para verificar la robustez de los resultados

Hoy nos adentramos en un arte de medir el cambio: una lista esencial sobre diseños de evaluaciones de impacto. Incluye consejos prácticos sobre cuándo es mejor usarlas, cuándo no, y estudios de caso ilustrativos que demuestran la eficacia de cada método

1. Diseño Experimental (Aleatorizado)

Descripción: Asignación aleatoria de participantes en grupos de tratamiento y control.

Cuándo usarlo: Ideal cuando se puede controlar la asignación de los participantes y se busca obtener resultados robustos y libres de sesgo.

Cuándo NO usarlo: No es adecuado cuando la asignación aleatoria no es ética o factible.

Ejemplo 1: Evaluar el impacto de un nuevo programa educativo en el rendimiento académico de los estudiantes. Los estudiantes se asignan aleatoriamente a recibir el programa (grupo de tratamiento) o no (grupo de control).

Ejemplo 2 : Un estudio en Kenia evaluó el impacto de la distribución de mosquiteros tratados con insecticida en la reducción de la malaria. Los resultados mostraron una disminución significativa en los casos de malaria¹.

2. Diseño Cuasi-Experimental

Descripción: Métodos como el diseño de regresión discontinua, diferencias en diferencias, y pareamiento.

Cuándo usarlo: Útil cuando la asignación aleatoria no es posible, pero se pueden identificar grupos comparables.

Cuándo NO usarlo: No es adecuado cuando no se pueden encontrar grupos comparables o cuando hay cambios simultáneos que afectan los resultados.

Ejemplo 1: Evaluar el impacto de una política de subsidios en el empleo. Se puede comparar el empleo antes y después de la implementación de la política en regiones con y sin subsidios.

Ejemplo 2: Un estudio en México utilizó diferencias en diferencias para evaluar el impacto del programa Oportunidades en la educación y salud de los niños. Se encontró que el programa mejoró significativamente la asistencia escolar y la salud infantil².

3. Diseño No Experimental

Descripción: Observación y análisis de datos sin manipulación directa de variables.

Cuándo usarlo: Adecuado cuando no es posible realizar experimentos o cuasi-experimentos, pero se dispone de datos relevantes para el análisis.

Cuándo NO usarlo: No es adecuado cuando se requiere establecer una relación causal clara.

Ejemplo: Un análisis de la campaña de concienciación sobre el reciclaje en una ciudad mostró un aumento en las tasas de reciclaje, aunque no se pudo atribuir directamente a la campaña debido a la falta de un grupo de control³.

4. Diseño de Regresión Discontinua

Descripción: Utiliza un umbral claro para la asignación al tratamiento.

Cuándo usarlo: Ideal cuando existe un criterio de corte claro y se puede comparar a los que están justo por encima y por debajo del umbral.

Cuándo NO usarlo: No es adecuado cuando el umbral no es claro o cuando hay manipulación alrededor del umbral.

Ejemplo 1: Un estudio en Colombia evaluó el impacto de las becas educativas otorgadas a estudiantes con calificaciones justo por encima de un umbral específico. Se encontró que las becas aumentaron significativamente la probabilidad de graduación⁴.

5. Diferencias en Diferencias

Descripción: Compara los cambios en los resultados a lo largo del tiempo entre un grupo de tratamiento y un grupo de control.

Cuándo usarlo: Útil cuando se tienen datos longitudinales y se puede asumir que las tendencias habrían sido similares en ausencia del tratamiento.

Cuándo NO usarlo: No es adecuado cuando las tendencias preexistentes entre los grupos son diferentes.

Ejemplo: Un estudio en Estados Unidos utilizó diferencias en diferencias para evaluar el impacto de la reforma laboral en las tasas de empleo. Se encontró que la reforma aumentó las tasas de empleo en las regiones afectadas⁵.

6. Pareamiento (Matching)

Descripción: Empareja participantes del grupo de tratamiento con participantes del grupo de control que tienen características similares.

Cuándo usarlo: Adecuado cuando se dispone de datos detallados sobre las características de los participantes y se puede identificar un grupo de comparación adecuado.

Cuándo NO usarlo: No es adecuado cuando no se pueden encontrar suficientes coincidencias o cuando hay variables no observables importantes.

Ejemplo: Un estudio en India utilizó pareamiento por puntaje de propensión para evaluar el impacto de un programa de microcréditos en el empoderamiento de las mujeres. Se encontró que el programa mejoró significativamente el acceso a recursos financieros y la toma de decisiones en el hogar⁶.

Fuente

Las metodologías ágiles son enfoques de gestión de programas o proyectos que priorizan la flexibilidad, la colaboración y la entrega continua de valor. Surgieron en el ámbito del desarrollo de software, pero sus principios se han extendido a diversos sectores, incluyendo las organizaciones de cooperación para el desarrollo.

¿Qué son las metodologías ágiles?

Las metodologías ágiles se basan en el Manifiesto Ágil, que promueve la interacción entre individuos, la colaboración con el usuario, la respuesta al cambio y la entrega continua de productos funcionales. En lugar de seguir un plan rígido, las metodologías ágiles permiten adaptarse a las circunstancias cambiantes y a las necesidades emergentes.

¿Qué ventajas ofrecen las metodologías ágiles?

1. Flexibilidad: Permiten ajustar los proyectos en función de los cambios y necesidades.
2. Colaboración: Fomentan la comunicación y el trabajo en equipo.
3. Entrega continua: Facilitan la entrega de resultados de manera regular y frecuente.
4. Mejora continua: Promueven la revisión y mejora constante de los procesos y productos.

¿Y las desventajas de las metodologías ágiles?

1. Requieren compromiso: Necesitan un alto nivel de compromiso y colaboración de todos los miembros del equipo.
2. Pueden ser caóticas: Sin una adecuada gestión, pueden generar desorganización.
3. No siempre son adecuadas: No todos los proyectos o equipos se benefician de un enfoque ágil.

¿Cuáles son las metodologías ágiles más utilizadas?

1. Scrum: Se centra en la entrega de productos en ciclos cortos llamados sprints.
2. Kanban: Utiliza un tablero visual para gestionar el flujo de trabajo.
3. Lean: Enfocado en la eliminación de desperdicios y la maximización del valor.
4. XP (Extreme Programming): Promueve la mejora continua y la entrega frecuente de software de alta calidad.

Implementar metodologías ágiles en una organización de cooperación para el desarrollo puede transformar la manera en que se gestionan la organización, los programas, los proyectos, mejorando la eficiencia y la capacidad de respuesta ante los desafíos.

Estos son los hitos más importantes en la historia de la psicología social:

1.Primeros trabajos (siglo XIX):

• Wilhelm Wundt (1832-1920): Este psicólogo alemán estudió los productos mentales generados en comunidad y los vínculos que producían. Su enfoque estaba en comprender cómo la mente individual se relaciona con la mente colectiva.
• Sigmund Freud (1856-1939): El famoso psicoanalista austriaco sostenía que el vínculo se sostiene por los lazos afectivos y los procesos de identificación colectiva, especialmente en relación a un mismo líder.
• Émile Durkheim (1858-1917): Desde la sociología, Durkheim hablaba sobre la existencia de una conciencia colectiva (un saber normativo) que no puede ser entendida como conciencia individual sino como un hecho social y una fuerza coactiva1.

2. Surge la psicología social (1908) como disciplina con los trabajos de William McDougall (énfasis en lo psicológico) y Edmund A. Ross (énfasis en lo social). Ambos académicos norteamericanos contribuyeron al desarrollo de esta disciplina.

3.Hitos notables:

• Norman Triplett (1861-1931): Realizó uno de los primeros estudios sobre la influencia social en el rendimiento humano. Observó que la presencia de otras personas afectaba el desempeño en tareas como el ciclismo.
• Solomon Asch (1907-1996): Condujo el famoso experimento de conformidad, donde participantes debían elegir la línea más parecida a otra línea de referencia. Reveló cómo la presión del grupo puede influir en las respuestas individuales.
• Stanley Milgram (1933-1984): Investigó la obediencia en su controvertido experimento. Los participantes administraban supuestos choques eléctricos a otras personas bajo la autoridad de un investigador, mostrando la disposición a seguir órdenes incluso cuando causaban daño.
• Experimento de la cárcel de Stanford (1971): Philip Zimbardo llevó a cabo este estudio, donde estudiantes voluntarios asumieron roles de guardias y prisioneros en una simulación de prisión. El experimento reveló cómo las situaciones pueden influir en el comportamiento y la identidad de las personas.
• Efecto Pigmalión o Profecía autocumplida: Investigado por Robert Rosenthal, este fenómeno muestra cómo las expectativas de los demás pueden afectar el rendimiento de una persona. Si se espera que alguien tenga éxito, es más probable que lo logre.
• Experimentos sobre adicción a la heroína con ratas: Bruce K. Alexander y Rat Park: Desafiaron la idea de que la adicción es simplemente una cuestión de droga versus cerebro. Mostraron que el entorno y las conexiones sociales son cruciales para comprender la adicción.

En resumen, la psicología social ha evolucionado a lo largo del tiempo, explorando la interacción entre individuos y la sociedad desde diferentes perspectivas y con contribuciones valiosas de diversos autores

El libro recientemente publicado, “Theories of Change in Reality | Strengths, Limitations and Future Directions”, es un análisis profundo de las teorías del cambio y su aplicación en la evaluación y desarrollo de intervenciones. Durante más de medio siglo, los evaluadores han empleado estas teorías para esbozar la lógica causal que subyace en cómo una intervención busca lograr el cambio deseado.

Desde su concepción en la evaluación de programas, este enfoque se ha adoptado de manera más generalizada para propósitos que abarcan desde el diseño hasta la gestión de programas. Dado que las teorías del cambio siguen siendo utilizadas para múltiples propósitos, es un momento oportuno para que la comunidad de evaluación (donde se originó el enfoque) ofrezca su perspectiva sobre las fortalezas y limitaciones del enfoque, así como sus direcciones futuras.

Para proporcionar estas perspectivas, se invitó a casi 30 de los principales evaluadores y teóricos de programas del mundo a proporcionar un breve ensayo sobre el pasado, el presente y el futuro de las teorías del cambio. Este libro presenta sus ideas, organizadas en cinco temas principales:

1. El uso de teorías del cambio en contextos más amplios de políticas públicas.
2. Utilizar teorías del cambio para establecer la causalidad.
3. Desarrollar teorías de cambio que reflejen las perspectivas de múltiples partes interesadas.
4. Utilizar teorías del cambio para comprender procesos de cambio social más amplios.
5. Aplicar enfoques de teorías del cambio para múltiples propósitos.

Al compartir estas diversas perspectivas, el libro busca proporcionar a los evaluadores y a los teóricos de programas emergentes, perspectivas críticas para informar la práctica futura.

Resumen de las ideas principales del libro:

• El libro aborda la importancia de las teorías de cambio en la evaluación y el desarrollo de intervenciones.
• Las fortalezas de las teorías de cambio incluyen su capacidad para establecer la lógica causal de una intervención y su amplio uso en diversos contextos.
• Las teorías de cambio se utilizan para modelar los procesos y las consecuencias de las evaluaciones.
• Los propósitos de las teorías de cambio incluyen la construcción de modelos causales, procesos compartidos y visiones futuras.
• Los desafíos pendientes incluyen avanzar en la incorporación efectiva de múltiples perspectivas en los diagramas y en la comprensión de la complejidad en los procesos de cambio.
• Se sugiere explorar futuros alternativos y apoyar el cambio y la transformación de sistemas a gran escala.
• Las limitaciones discutidas se centran en la falta de un enfoque único o mejor para participar en un proceso de teoría de cambio y en el desafío de incorporar múltiples perspectivas de manera efectiva en los diagramas.
• Además, se menciona la importancia de considerar quién está incluido o excluido en el proceso de desarrollo de teorías de cambio y cómo esto puede tener consecuencias significativas.

El propósito principal de desarrollar un modelo causal de cómo funcionan las cosas es desarrollar una explicación de los procesos de cambio entendidos como procesos causales y mecanismos. Se enfatiza la importancia de la lógica, el razonamiento crítico, las relaciones causales y la evidencia de la teoría de las ciencias sociales para el desarrollo y la refinación del modelo. La complejidad es crucial al modelar cómo funcionan las cosas, especialmente cuando hay múltiples componentes interactivos y relaciones no lineales y dinámicas.

El enfoque propuesto para co-desarrollar una visión compartida de cómo deberían ser las cosas o los futuros deseados es comenzar con un pensamiento radicalmente abierto y creativo, alejándose de la comprensión de problemas pasados o presentes. Se sugiere articular la visión o el objetivo deseado, incluso si parece distante de la situación actual, para inspirar la imaginación y la creatividad. Se destaca que el modelado en este contexto se centra en la imaginación, la creación y la visualización de futuros deseables, más que en la representación de la realidad actual.