allblogs

Apr 30 2024

New Template: Canva design templates for creating your own Theory of Change!

This article is rated as:

Eval Academy just released a new template, “Canva design templates for creating your own Theory of Change”

Who’s it for?

Whether you’re new to evaluation or if evaluation is your main role, this Canva design template is for anyone who wants to design a Theory of Change to be more visually appealing. To use this template, you will need to set up or log in to your own account in Canva.

What’s the purpose?

This Canva design template can be used to present your own Theory of Change for any type of intervention in a more distinct format. It’s great for sharing your Theory of Change with a wider audience, such as when you want to share your model on your website.

What’s included?

One customizable Canva template that provides you with the space you need to input your Theory of Change components.

Learn more: related articles and links

You can learn more about Theories of Change on Eval Academy through the following links:

You can also find many other templates in our list of resources to support you in planning and implementing an evaluation. Some of our most popular templates include:

Apr 29 2024

Survey Design: Unsure about Unsure

This article is rated as:

Designing a quality survey isn’t as easy as it seems. I’m sure we’ve all been asked to take surveys that frustrate us for one reason or another. Maybe the answer we want to choose isn’t available, the questions are confusing and poorly worded, or maybe it’s just too long and tedious.

Understanding what can lead to respondent frustration and mitigating that risk is one way to ensure your survey will get answered! One of the common sources of frustration is when the response you want to give isn’t available to you. This is where options like “Not Applicable”, “Don’t Know”, or a neutral response come into play. Let’s delve into when and how to use these options effectively.

Not Applicable

The “Not Applicable” option (often abbreviated N/A or NA) is useful when a question might not pertain to all respondents. Including a “Not Applicable” option can prevent respondents from abandoning the survey or providing an inaccurate response. Having a “Not Applicable” option, as opposed to leaving a question blank, is clearer when you are analyzing the data. Blanks are difficult to interpret: were the response options not adequate? Did they miss the question? Was the wording confusing? N/A gives you clarity when you are interpreting results.

To add even more clarity, you can add a description to the N/A option to ensure respondents understand what it means to select it:

You could also provide an orientation in your instructions, e.g., “If you did not use the service listed, please select ‘Not Applicable’.”

If your question type uses a Likert scale, typically, an N/A option would be outside of the Likert scale. That is, if your scale is 1 – 5, N/A would be a 6th option.

An option to avoid using a “Not Applicable” response is to use skip logic in a survey. First, ask your respondents IF something applies, e.g., “Do you do this, do you own this, do you have experience with this” and IF yes, ask questions about feelings/experience and IF no, skip to the next question. This is easier to do in digital survey formats than paper formats, which can be confusing.

Another consideration when using “Not Applicable” is data entry or data coding. You likely want to be able to differentiate “Not Applicable” from blank responses and even neutral responses.

Don’t Know/Unsure

The “Don’t Know” option is beneficial when a question requires specific knowledge. Including a “Don’t Know” option can prevent guesswork and maintain the integrity of your data.

“Don’t Know” can also be used when asking an opinion-based question (e.g., how much do you agree…). In this case, “Don’t Know” may be your anchor point in the middle of your other response options. This allows your respondents to report that they don’t have a clear stance. More on this in the “Neutral Response” section below.

“Don’t Know” can also be used when asking about a future prediction, e.g., if you want to know if your respondents plan to use a service in the next six months.

I think most often “Don’t Know” and “Unsure” can be used interchangeably, but sometimes minor differences matter. I propose that “Don’t Know” is more about knowledge and “Unsure” is more about feelings.

Don’t Recall

Similar to “Don’t Know” and “Unsure”, “Don’t Recall” is a useful option when you are asking about a memory, past experience, or behaviour. Allowing respondents to select “Don’t Recall” reduces the risk of them reporting a false memory or a best guess.

Neutral Response

A neutral response, often labelled as “Neither Agree nor Disagree”, is a staple of the Likert scale. It allows respondents to choose a middle ground if they don’t have a strong opinion on a statement. However, there’s ongoing debate about the use of a neutral option. Some argue that it can lead to fence-sitting, while others believe it provides a valid choice for respondents without a clear opinion. Consider your survey goals and your audience before deciding to include a neutral option.

If you choose to omit a neutral option in a two-sided response list, you are doing what’s called “forced choice”, and your results may be more likely to provide you with insights and interpretations that align with the purpose of the survey. Sometimes that middle point gives respondents a way to answer quickly without thinking more deeply about their selection, leading to the potential that the collected data are not accurate.

Interpretation of the middle point can be problematic: does it reflect true neutrality or just indifference? Did the respondent not understand the question? Forced choice can offer more declarative data and reporting, but it can also turn off respondents who may genuinely be in that middle ground, and lead to more questions left blank.

Have you ever analyzed survey data and found that one or two questions have an abnormally high rate of neutral responses? This may actually be an indication that the wording is off, or you’re using a double negative that confuses people, so they select neutral in hopes of not being ‘wrong’.

Other, Please Specify

“Other, please specify” is a helpful option when you want to avoid short answer questions but know that your multiple choice or drop-down lists may not be exhaustive. If you know the top choices that are likely to be selected but know there may be some outliers, “Other, please specify” limits your need to analyze qualitative data and allows your respondents to give a true answer. I often use this for job titles or roles:

Summary

Including these middle-ground or opt-out response choices can help maintain data integrity and improve response rates. However, they should be used thoughtfully and sparingly, as overuse can result in non-committal responses and make it more difficult to find insights based on findings. However, they are absolutely necessary for some questions and if they’re missing, they can lead to frustration and survey abandonment, or worse, false responses. Always pilot test your survey to ensure that these options enhance, not detract from, your data collection.

Have you heard of “satisficing”? It sounds like a made-up word but it’s not. Satisficing is when respondents give a “good enough” answer instead of cognitively taxing themselves to come up with a true-er response. It makes surveys easier to do because you don’t have to think deeply about each question, but it’s terrible for interpretation and findings!

Whether or not you choose to include these response options may involve considering your sample size and your target audience. If your sample is small and you want to avoid fence-sitting, forcing choices may be appropriate. If your target sample may already have some barriers or struggles with responding to a survey, allowing for some opt-out responses may also be appropriate.

Check out some of our other survey design content:

Apr 28 2024

Aplicaciones de la Inteligencia Artificial en la evaluacion basada en la teoría

El artículo del Banco Mundial «¿Puede la inteligencia artificial acelerar la evaluación de programas complejos basados en la teoría?» (2022) presenta la metodología y los resultados utilizados para poner a prueba y validar la aplicabilidad, utilidad y valor agregado del uso de inteligencia artificial para el análisis de contenido avanzado basado en la teoría de prograa.

Tradicionalmente, la síntesis cualitativa se utilizaría para realizar un análisis estructurado basado en la teoría de los informes de proyectos.

Este piloto buscó evaluar las ganancias de eficiencia generadas por el análisis de contenido asistido por inteligencia artificial al etiquetar y clasificar texto de acuerdo con un marco conceptual basado en resultados.

El enfoque utilizó un conjunto de intervenciones asociadas con la cartera de evaluación del retraso en el crecimiento y la desnutrición crónica del Banco Mundial, que consta de 392 informes de proyectos de 64 países.

En primer lugar, se utilizó el aprendizaje automático supervisado para etiquetar deductivamente el contenido en tres categorías principales: (a) desafíos nutricionales abordados, (b) intervenciones y (c) logro de indicadores de resultados.

Aunque el rendimiento en la predicción de subetiquetas exactas (n = 74) fue modesto, el alto nivel de precisión logrado en la predicción de categorías de nivel superior sugirió que la posibilidad de desarrollar un modelo clasificador de texto con una precisión de codificación aceptable es prometedora.

En segundo lugar, se utilizó el aprendizaje automático no supervisado (unsupervised machine learning) para identificar ideas emergentes a partir de un texto denominado «factores que afectan el éxito de la intervención». En general, el modelo temático mostró un desempeño excelente en la identificación de temas inductivos que no solo eran novedosos y relevantes para el dominio, sino que demostraron ser predictores clave del desempeño y las buenas prácticas del proyecto. Luego se visualizaron las similitudes semánticas entre el texto etiquetado con aprendizaje automático (machine learning) mediante la incrustación de vecinos estocásticos distribuidos en t (t-distributed stochastic neighbor). Esto resultó eficaz para identificar patrones importantes en los datos que no serían obvios para un analista humano, lo que facilitó el establecimiento de características únicas de los programas de país.

Finalmente, se utilizaron enfoques de gráficos de conocimiento para estructurar los resultados del aprendizaje automático (machine learning) de acuerdo con el marco conceptual y explorar las relaciones entre los componentes de la teoría del cambio.

El razonamiento basado en reglas realizó con éxito análisis estadísticos simples sobre las tasas de éxito de las intervenciones, pero se requiere más investigación antes de que los gráficos de conocimiento puedan permitir una evaluación basada en la teoría del desempeño del programa

Apr 27 2024

Aprendizajes para Talleres con Estructuras Liberadoras

Encontré este post de mi colega y amigo Ewen Le Borgne, «3 lecciones aprendidas al planificar un taller con Estructuras Liberadoras». Aquí sus tres lecciones:

Lección #1 – Escuchemos las preocupaciones del grupo durante la planificación. Involucrar a partes del grupo en la fase de planificación da como resultado un proceso de taller completamente diferente, que contribuye funcionar mucho mejor que sin participación.

Lección #2 – Centrarse en el propósito antes que en la estructura: definir el propósito nos ayuda a mantener el enfoque en el proceso de obtener nuevas ideas y explorar oportunidades.

Lección #3 – Dedicar tiempo a las invitaciones para el diálogo. Con un logro deseado (propósito) definido y una Estructura Liberadora seleccionada para lograr este propósito, es hora de formular las preguntas que deberían desencadenar el diálogo necesario en el grupo, las llamadas: invitaciones.

Durante el proceso de planificación del taller, las invitaciones son un elemento clave de cualquier Estructura Liberadora. Una mala invitación dejará al grupo de participant@s confundido sobre qué hacer. Mientras que una buena invitación favorecerá inmediatamente el pensamiento y el diálogo.

Algunas especificaciones mínimas para la invitación: si a nosotros mismos se nos presentara esta pregunta, ¿nos inspiraría esto a pensar/hablar, y la conversación desencadenada iría en la dirección correcta para lograr el propósito? Esto nos ayuda a desafiar nuestras sugerencias de invitaciones y podríamos terminar dedicando bastante tiempo a las invitaciones.

¡El tiempo dedicado a las invitaciones está muy bien invertido!

Dado que las invitaciones son un elemento clave en la estructura liberadora, podríamos leer este artículo sobre las características de las invitaciones poderosas para las estructuras liberadoras.

Apr 25 2024

Oportunidades y desafíos del uso de Inteligencia Artifical en evaluación

En el artículo ¿Cuáles son los beneficios y desafíos del uso de la IA en la evaluación?, nos cuentan sobre dos desafíos, dos desafíos, y dos consejos de la Inteligencia Artificial (IA) en la práctica de la evaluación:

1 Beneficio: Eficiencia y precisión

2 Beneficio: Innovación y creatividad

3 Desafío: Cuestiones éticas y sociales

4 Desafío: barreras técnicas y prácticas

5 Consejo: Aprende y experimenta

6 Consejo: Colabora y reflexiona

1. Beneficio: Eficiencia y precisión: La IA puede ayudar a automatizar y optimizar diversas tareas y procesos, como la recopilación de datos, el análisis, la síntesis y la generación de informes. Por ejemplo:

-podemos usar IA para diseñar y administrar encuestas, escanear y codificar datos cualitativos, identificar patrones y tendencias, generar información y recomendaciones, y crear visualizaciones y paneles

-podemos ahorrar tiempo y recursos, reducir el error y el sesgo humano y mejorar la calidad y fiabilidad de sus datos y hallazgos.

2.Beneficio: Innovación y creatividad: La IA puede ayudar a innovar y crear nuevas formas de realizar y presentar la evaluación. Por ejemplo:

-podemos usar IA para explorar nuevas fuentes y métodos de datos, como redes sociales, mensajes de texto, sensores y procesamiento de lenguaje natural.

-podemos usar IA para generar preguntas e hipótesis novedosas, probar diferentes escenarios y suposiciones, y descubrir nuevas conexiones e implicaciones.

-podemos usar la IA para comunicar con e involucrar a las partes interesadas de maneras más interactivas y dinámicas, como chatbots, realidad virtual y gamificación.

3.Desafío: Cuestiones éticas y sociales: La IA en la evaluación también conlleva algunos problemas éticos y sociales que debemos considerar y abordar. Por ejemplo:

-debemos asegurarnos de que los sistemas de IA sean transparentes, responsables y justos, y que respeten la privacidad, la dignidad y los derechos de sus participantes y clientes.

-debemos ser consciente de los posibles riesgos y daños del uso de la IA, como las violaciones de datos, la manipulación, la discriminación y el desplazamiento.

-debemos equilibrar el uso de la IA con el juicio, los valores y la participación humanos, y evitar la dependencia excesiva o el mal uso de la IA.

4.Desafío: Barreras técnicas y prácticas: La IA en la evaluación es que puede implicar algunas barreras técnicas y prácticas que debemos superar. Por ejemplo:

-debemos tener acceso a datos, infraestructura y herramientas adecuados y apropiados para usar la IA de manera efectiva y eficiente.

-debemos tener las habilidades y el conocimiento para diseñar, implementar y evaluar sus sistemas de IA, y para interpretar y comunicar sus resultados de IA.

-debemos contar con el apoyo y la colaboración de las partes interesadas, compañeros y gerentes para adoptar e integrar la IA en nuestra práctica y cultura de evaluación.

5.Consejo: Aprendamos y experimentemos con la IA tanto como podamos:

-podemos tomar cursos en línea, leer blogs y libros, ver seminarios web y podcasts, y unirse a comunidades y redes relacionadas con la IA y la evaluación.

-podemos probar diferentes herramientas y plataformas de IA, como Google Forms, IBM Watson, NVivo, Tableau y SurveyMonkey.

-podemos aplicar la IA a nuestros propios proyectos de evaluación, ya sea como piloto o como complemento de nuestros métodos y técnicas existentes.

6.Consejo: Colaboremos y reflexionemos con otras personas que están usando o interesadas en usar la IA en la evaluación:

-podemos buscar asesoramiento y comentarios de expertos y mentores, compartir experiencias y lecciones aprendidas con colegas y amigos, y participar en eventos y foros relacionados con la IA y la evaluación.

-podemos involucrar a nuestras partes interesadas y clientes en el diseño, la implementación y el uso de sus sistemas de IA, y solicitar sus opiniones y expectativas.

-podemos reflexionar sobre nuestra propia práctica y valores, y cómo la IA afecta o se alinea con ellos.