allblogs

Dec 23 2020

More than a feeling

It’s the end of the year, when we reflect on the past year and look forward to new beginnings.

I haven’t done any rigorous data collection about this, but I think it’s fair to assume that most people would rate 2020 as a giant dumpster fire.

So let’s take it back to 2019.

Last year was challenging for me in a different way. I had moved to Ohio from Maryland the previous year, and I naively thought that I could transition my business to my new home with relative ease since most of my work was remote.

WRONG!

As it took time for new connections to materialize into new contracts, I knew that things weren’t headed in the right direction.

Now, I had a few metrics I used to measure my business:

Income, of course
Number of contracts
Number of speaking engagements
Number of contacts made
Some basic analytics regarding email open rates, website visits, and social media engagement

At the time, those weren’t pretty.

However, what was most telling for me was how I FELT.

I was discouraged, uncertain, and anxious. And in terms of my business, I didn’t know what to do to make it better.

Certainly, the quantitative data was informing how I was feeling, but the numbers alone did not compel me to act.

I just wanted to feel better! I knew it was time to make a change.

Around that time, I met a new neighbor who specialized in website design and SEO. I heard about a marketing consultant whose approach resonated with me. I saw that the American Evaluation Association’s (AEA) conference was featuring a lot of workshops and resources for independent consultants.

I sprang into action. I met with these new specialists, went to the conference, and got to work. And ultimately, I turned my business (and outlook) around.

While there is always room to grow, the numbers I mentioned earlier do reflect the changes I’ve made to my business. Yet I don’t think they show HOW or WHY those changes happened.

From my neighbor, I learned something new and gained hope that some simple strategies could make my website work better for me.

From the marketing consultant, I felt understood and discovered a new way to communicate what I do and why I love it.

From AEA, I gained a large group of new colleagues, friends, and referral partners – but most of all, I felt accepted, validated, and supported.

To me, those feelings and networks are what helped me turn the page in my business – the fuzzy, not easily measurable, qualitative stuff.

Had I not reflected on those things, I might have stayed in my rut.

Maybe you already track your data, and maybe you don’t, but if you’re getting the feeling that something’s not right, think about the qualitative data you can explore to see what’s up.

How do your families feel when they interact with you? How do the staff feel? What is the tone of your interactions? How engaged are students in relationships with peers and staff and with their learning?

These things matter.

One thing I’m grateful for from 2020 is that a lot of educators are seeing just how vital family engagement is for student achievement.

So while we’re reflecting on this crazy, crazy year, let’s take a second to examine how our students, families, and staff FELT and how we helped them feel better.

If that’s what we take with us into 2021, then I think we’re off to a good start.

Missed the other two posts about qualitative data in this series? Check them out here and here.

Dec 21 2020

El pensamiento evaluativo en nuestro trabajo cotidiano

Fuente: Ciclo del pensamiento evaluativo

Siguiendo con nuestra línea sobre “Pensamiento evaluativo” (PE), en el post de la aea365, “El pensamiento evaluativo como una forma de trabajar “, (24 de enero de 2017) por Guy Sharrock (Catholic Relief Services), Tom Archibald y Jane Buckley, como continuación de otra publicación de l a aea365 del 29 de abril de 2012, “Pensamiento evaluativo: El “Je Ne Sais Quoi“, describieron lo que aprendieron de su trabajo acerca del pensamiento evaluativo en Etiopía y Zambia.

Indicaban que se está produciendo un cambio de paradigma en la comunidad de ayuda que se aleja de los modelos lineales de cambio a modelos más dinámicos, reflexivos y receptivos. Esto requiere un manejo adaptativo. Requiere “equipos con habilidades e intereses en el aprendizaje y la reflexión” y el reconocimiento de que “el pensamiento evaluativo es indispensable para tomar decisiones informadas”.

Definido como pensamiento crítico en el contexto de M&E motivado por una actitud de curiosidad y una creencia en el valor de la evidencia, el proceso de pensamiento evaluativo se resume en los siguientes puntos (Buckley, Archibald & Rochim, 2015):

Supuestos/Hipótesis: descubriendo las hipótesis que guían nuestras decisiones, acciones y elecciones
Validando: Animar a cuestionar y a tomar múltiples perspectivas para validar nuestros supuestos/hipótesis para perseguir comprensión más profunda
Tomar decisiones: posibilitando decisiones basadas en la evidencia en la preparación de acción y gestión adaptativa

Después de incorporar las técnicas de PE en los procesos de trabajo existentes, el personal indicó que consiguieron un diálogo más sustantivo y productivo durante las reuniones regulares de seguimiento y reflexión. Esto surgió de la mejora de la calidad de la indagación (investigación, seguimiento, evaluación…) mediante la cual las perspectivas del personal de campo, los voluntarios, los participantes del proyecto y los directores de programas pudieron generar nuevos conocimientos para informar las decisiones del programa. A su vez, esto enriqueció el contenido de los informes y la comunicación con los donantes y otras partes interesadas clave.

Consejos:

Garanticemos un entorno seguro para los participantes involucrados en conversaciones potencialmente polémicas sobre suposiciones.
El liderazgo de apoyo es un requisito previo en la atmósfera febril de una cultura impulsada por los resultados y los objetivos que puede fácilmente desplazar la práctica más reflexiva.
Distinguir entre cuestionar y criticar para fomentar el debate y la transparencia.

Lecciones aprendidas:

Una relación de confianza con el donante es fundamental para crear espacios seguros para el aprendizaje.
Tomemos el tiempo para escuchar y encontrar formas de involucrar al personal de primera línea en la toma de decisiones.
Fomentemos la curiosidad suspendiendo la prisa hacia una conclusión fácil y encontrando formas tangibles de manejar la incertidumbre.

Recursos:

Gestión adaptativa: lo que significa para las OSC: un informe escrito por Michael O’Donnell en 2016
Trabajar con supuestos: enfoques existentes y emergentes para mejorar el diseño, el seguimiento y la evaluación de programas: un número especial de diciembre de 2016 sobre evaluación y planificación de programas.
Alcanzar los ODS reflexionando sobre la forma (s) en que razonamos, planificamos y actuamos: La importancia del pensamiento evaluativo: Un resumen de octubre de 2016 de IIED y EvalPartners.

Dec 17 2020

Word Clouds and Key Quotations: Making Qualitative Data Work for You

This week I’ve got a co-author to help me continue my qualitative data series!

Sarah Dunifon is Founder and Principal Evaluator of Improved Insights LLC, an educational evaluation firm focused on STEM and youth-based programming. She is based in Cleveland, Ohio and is a fellow board member of the Ohio Program Evaluators Group.

We hope you enjoy our post below.

Qualitative data can be a bit elusive.

It’s not usually too hard to find data for things that are measurable. We know we can do surveys, or count the number of attendees, or track patterns over time.

Qualitative data though – the context for those numbers – often takes a little more work to track down. Of course, we can always do interviews and focus groups with stakeholders to learn about their experiences, our usual go-to’s.

However, if you think of qualitative data for what it is – simply put, another information source – you’ll find that so many other forms of it are hiding in plain sight.

Think about the chatbox in your last Zoom session – you may not have realized it, but that’s a source of qualitative data! Other sources you may have readily available include the phone call logs that your teachers keep when they call families or even the observations you did of an event (online, drive-up, or fully in-person).

If you need more, there are lots of ways of collecting qualitative data, and many of them are even more prevalent now in our almost fully virtual world.

This makes our lives a lot easier, as we prepare to write our annual reports, apply for grants, or share the impact that our program had during this unusual year.

Like I mentioned in my last post, sharing the context for our quantitative findings can make those reports tell a much richer story.

Yet it’s not always intuitive to know how to turn a whole bunch of text into these powerful programmatic insights.

So when you find these sources of qualitative data, what do you do with them?

We can actually find patterns in our data by assigning thematic codes to different words, phrases, or even images. Sometimes, you start with a set of codes that have to do with your program goals, or the research concepts underlying your program.

Other times, you just code as you go. If you start to see a lot of mentions of a particular topic, that topic can become a code.

Coding can take many forms, and there is fancy software that can help you do it, but sometimes all you need is a notebook and some markers or a color-coded spreadsheet.

Below you can see some sample data about an after-school program focused on science and animals that we’ve color-coded according to the themes we saw.

In one glance, you can see that our participants liked a lot of aspects of the program, but games and activities (in blue) and the food (in pink), got the most mentions.

Coding allows us to see what’s happening across the dataset and pull out themes or key insights that we need to highlight.

Sharing your qualitative data analysis can be an important addition to your data story when demonstrating the impact of your work. It can add relevance, personality, and context to quantitative data by illustrating individual effects.

By reviewing our datasets systematically, we can also find some incredible quotes – the kind you would never attempt to paraphrase if you were writing a paper because they were so perfectly worded — and let our stakeholders’ words shine.

You can feature key quotations by offsetting them or putting them in a different color in your report to highlight individual experiences and catch readers’ attention.

Another popular way to display qualitative data is in a word cloud.

Word clouds are visual representations of keywords that come up frequently in a set of qualitative data. Typically, the bigger the word, the more frequently it appeared in a data set.

There are plenty of critiques of word clouds in the data visualization space and rightly so – word clouds can often obscure meaning rather than clarify it. So if you are going to use them, here are three things you should know:

1. Give the data a good cleaning to remove anything that you don’t want represented in the visual.
Here, we’d recommend removing any responses that do not give value (e.g., “idk,” “I’m not sure,” “Nothing,” etc.) as well as any text surrounding the main themes (e.g., “I like the […],” “I love […],” “my favorite thing is […],” etc.).

2. Consider the messages or key points you see in the data that you wish to convey visually. If it is possible to condense themes further or pull out important words, now is the time to do so.
This might mean collapsing phrases as best as possible to a single word, or perhaps a few words of important meaning.

3. Make sure to keep the essence of the data – meanings can be misconstrued when collapsing phrases into single words or shorter phrases.
If you’re finding this is happening, perhaps a word cloud is not the best way to display your data.

However, with data cleaning and basic analysis, the word cloud can change drastically.

Take a look here at three versions of the same word cloud we generated on WordItOut using the data we shared earlier. The first was created with original – or “raw” – data, the second with cleaned data, and the third with some basic analysis and condensing.

Notice how the prominent words change with each version, and how the meaning and key messages can shift.

Word Cloud 1 – Original Data

Word Cloud 2 – Cleaned Data

Word Cloud 3 – Basic Analysis

As you can see, while word clouds are one of the most accessible forms of qualitative data displays, they take some work to be most effective.

However, word clouds aren’t your only option. Data visualization experts like Stephanie Evergreen, Storytelling with Data, and Depict Data Studio all have great resources on different qualitative data displays.

The case is clear – with some simple analysis and visualization, qualitative data can be a powerful addition to your data story.

Dec 17 2020

El pensamiento evaluativo en el ciclo de gestión y planificación

Fuente: https://aea365.org/blog/a-picture-worth-60000-words-putting-learning-at-the-heart-of-evaluation-by-michael-quinn-patton-and-katherine-haugh/

De nuevo sobre “Pensamiento evaluativo“(PE), contamos con este post “Pensamiento evaluativo en el diseño, gestión y evaluación de programas” en el que se analiza el PE aplicado al diseño, la gestión, la prestación de servicios y la evaluación de programas.

La Fundación Bruner ha identificado una lista elaborada de algunos de los comportamientos en las organizaciones que son indicativos del pensamiento evaluativo en cada área central de operaciones. Éstos son algunos ejemplos de este informe, indicando que las organizaciones utilizan el pensamiento evaluativo en:

1.Desarrollo y diseño del programa

• Evaluar sistemáticamente el contexto de los servicios y programas para identificar brechas, redundancias y tendencias.

• Evaluar sistemática y regularmente (con datos) nuestra propia capacidad de crecimiento y nuestras capacidades para nuevos servicios.

• Incorporar los hallazgos de la evaluación en el diseño del programa.

• Involucrar a múltiples grupos de partes interesadas (beneficiarios, personal, gerentes, expertos, etc.) en el diseño y la planificación del programa.

• Desarrollar y documentar teorías y modelos de programas para guiar la implementación.

• Mejorar la evaluabilidad y desarrollar estrategias de evaluación desde/en el momento del diseño del programa para asegurar que la recopilación de datos sea significativa y manejable y esté integrada en las operaciones del programa.

• Integrar procesos de evaluación, reflexión, aprendizaje y mejora en los ciclos regulares del programa.

2.Gestión de programas

• Monitorear y reflexionar regularmente sobre los datos e informes que describen el proceso de implementación y la calidad del programa.

• Establezcamos tiempo y espacio para reflexionar regularmente como equipo sobre lo que funciona y lo que no funciona.

• Identifiquemos continuamente oportunidades de mejora.

• Incorporemos datos recopilados para adaptaciones y correcciones de rumbo en tiempo real.

3.Evaluación del Programa

• Recopilar datos con regularidad para describir y evaluar las características, actividades, productos y resultados del programa.

• Involucrar a múltiples grupos de partes interesadas (beneficiarios, personal, gerentes, expertos, etc.) en el desarrollo y revisión de planes y herramientas de evaluación, así como en la interpretación y uso de datos.

• Compartamos los resultados de la evaluación del programa con múltiples grupos de partes interesadas en formatos útiles y significativos.

• Utilicemos los resultados de la evaluación del programa para el aprendizaje y la mejora del programa en sí, así como de las estrategias y herramientas de evaluación.

• Garanticemos la formación, las herramientas y el apoyo adecuados para los esfuerzos de evaluación continuos y significativos.

4.Interacción con las poblaciones objetivo

• Evaluar periódicamente las necesidades de las poblaciones objetivo, así como de los beneficiarios individuales, y utilizar esos datos para informar la estrategia organizacional, el diseño y la mejora del programa, el aprendizaje y la mensajería.

• Evaluar periódicamente la satisfacción de l@s beneficiari@s y otros indicadores de calidad (compromiso, retención, etc.).

• Usar la satisfacción de los beneficiari@s y los datos de resultados conjuntamente para mejorar los programas.

5.Desarrollo de capacidades del personal

• Llevar a cabo una evaluación anual del desarrollo del personal necesario para asegurar la implementación exitosa de los programas existentes, para prepararse para cambios en el entorno o programa y para adoptar las mejores prácticas emergentes.

• Desarrollar un plan y evaluar el desarrollo del personal.

• Evaluar el impacto de los esfuerzos de desarrollo profesional (talleres, seminarios web, etc.) sobre las capacidades y el desarrollo del personal.

La línea de fondo

El pensamiento evaluativo:

Se aplica de manera más amplia y está profundamente arraigado que las actividades de evaluación.
Está integrado en toda una organización y todas sus operaciones.
No está aislado de un programa, un propósito, una persona o departamento, o un punto en el tiempo.
Está motivado por una curiosidad natural y deseos de aprender y mejorar. La evaluación requiere ciertas habilidades, recursos y capacidades.
Requiere ciertas actitudes, motivos y hábitos.
Es la actitud y el enfoque que da vida, significado y valor a actividades que de otro modo serían requeridas y a menudo resentidas.
Es una forma en la que nos aseguramos de que nuestro trabajo esté enfocado, basado en hechos y dirigido a objetivos.

Al cultivar una cultura organizacional con y un hábito de pensamiento evaluativo, las organizaciones pueden elevar sus esfuerzos de evaluación, mejora de la calidad y gestión del desempeño para que ya no sean cargas requeridas sino consultas valiosas.

Dec 16 2020

El pensamiento evaluativo en la práctica

Fuente: https://www.insightsintoimpact.com/

Siguiendo con nuestra serie sobre “Pensamiento Evaluativo“, el post “Fomentar y practicar el pensamiento evaluativo” comparte algunos consejos para fomentar y practicar el pensamiento evaluativo dentro de nuestras organizaciones.

1. El contexto adecuado

Hay cinco principios clave para promover el pensamiento evaluativo (PE) en las organizaciones:

1. Seamos oportunistas. Aprovechemos las oportunidades para desarrollar la motivación intrínseca.

2. Empecemos poco a poco y vayamos despacio.

3. Brindemos oportunidades para aprender y practicar el pensamiento evaluativo.

4. Estemos preparad@s para combatir los prejuicios y la resistencia.

5. Practiquemos en múltiples contextos y junto a compañer@s.

2.Comenzar

El pensamiento evaluativo es un enfoque más que un conjunto de prácticas o estrategias distintas. Pero hay algunas estrategias tácticas que construyen el hábito y desarrollan las habilidades.

3.Oportunidades

¿Cuándo debería pensar de forma evaluativa? Todo el tiempo. Puede comenzar a pensar de manera evaluativa cuando:

• Desarrollamos de un plan estratégico

• Organizamos reuniones del equipo

• Sesión informativa después de eventos y actividades

• Diseñar o cambiar programas

• Informar a los financiadores y otras partes interesadas

• Incorporación, capacitación y evaluación del personal

4.Hacer preguntas

El pensamiento evaluativo puede comenzar simplemente haciendo algunas preguntas e invirtiendo en el proceso de responderlas. A veces, la reflexión y la discusión en sí mismas son tan importantes como cualquier respuesta que se le ocurra.

• Identificar y cuestionar supuestos y afirmaciones: “¿Qué estamos asumiendo? ¿De verdad lo sabemos? “

• Busquemos cabos sueltos: “¿Qué nos estamos perdiendo?”

• Capturemos reflexiones y preguntas para el aprendizaje: “Si supiera __________, podría _________”.

5.Herramientas

Los campos de evaluación, gestión del desempeño y mejora de la calidad están llenos de herramientas que pueden ayudar a catalizar, organizar y probar el pensamiento de un equipo. A continuación, presentamos algunos que parecen particularmente útiles para respaldar el pensamiento evaluativo.

• Teorías del cambio y modelos lógicos

• Cuadros de mando

• Mapas mentales, diagramas de afinidad, diagramas de relaciones

• Estacionamientos, registros maravillosos y registros de problemas / oportunidades

Referencias

Buckley, J., Archibald, T., Hargraves, M., & Trochim, W.M. 2015. “Defining and Teaching Evaluative Thinking: Insights from Research on Critical Thinking.” American Journal of Evaluation, 36(3), 375-388.

allblogs

La línea de fondo

Footer

Follow our Work