cplysy

Apr 20 2020

Indicators: choose the right angle

Once we have agreed on a clever, limited set of indicators, all seems good. However, we are not yet there. For most indicators, we can choose a specific ‘angle’.

What do I mean?

For example, we are considering the “Number of female members of Parliament” as an indicator. Which may be fine. However, we may prefer the “Proportion of parliamentarians that are women” instead (and often is preferable). On the other hand, we may want to compare it with the % of voters that are women. Or we want to capture the change over time – or even the funds invested in political leadership by women.

Soooo many options. But we need to get the angle right.

The post Indicators: choose the right angle appeared first on Thomas Winderl.

Apr 20 2020

What Will Be Your Story?

It’s not always easy to measure the impact of family and community engagement efforts. Some aspects of education — like test scores or report card grades — (notwithstanding the wide variety of controversies around their use) are pretty straightforward to measure. They’re already quantified. They’re known entities. We can tell that story. But when we talk about measuring the impact of, say, a super successful family science night, our minds go blank.

Thinking of our present situation, in which family and community engagement is more critical than ever, how can we tell the story of how a school or organization engaged and supported its students and families and even its neighbors during the pandemic? How do we collect and measure both the individual or personal impacts and the large-scale results?

Erica Green and Lola Fadulu did such an effective job of this in a recent New York Times story about how school cafeterias across the country have become “relief kitchens” for not only students and their families, but also community members in need. The cafeteria manager featured in the story effortlessly rattles off the incredible numbers of people she and her team have served and also shares stories of individuals she’s encountered. Not only is she a hero in her community, but she’s a perfect example of one of my core beliefs — that you don’t need to be a statistician to effectively use data in your work.

If your team is not sure how to start measuring your COVID-19 impact and telling its story, here are three steps to get started:

Brainstorm the different types of data you already have. There will be more than you thought! Traditional sources of school data, such as attendance records, event sign-in sheets, or academic data, may be less available right now, so get creative. For example, think about all that you can learn from a log of phone calls made to families. You’ll know which numbers worked and which didn’t (which is basically a list of hard-to-reach families who need additional support), you’ll know which staff members have made the most calls, you’ll know how the families who were reached are doing, and you’ll know where subsequent outreach is needed. Pop that information into a spreadsheet, add some labels or color-coding to indicate who needs what, and you’ve got yourself a working database for the students in your school. If you add in all of your other data sources, your team will be data-rich and able to act.
Consider collecting other data that you need. There are many ways to collect information from students, families, and community members right now. Think of all of your touch points with your key stakeholders. Students may be logging in for online class, families may be checking social media for updates, and all of your stakeholders may be accessing meal sites, like the one I mentioned above. At all of these venues, you can easily ask about needs, satisfaction with the school’s efforts, or any other questions you may have. You could have teachers post a poll for their students on Zoom, you could post an online survey on social media (or on the district website, like my home district in Columbus has done), or you could have surveys on half-sheets of paper available at meal sites. For families you can’t reach in one of these ways, there are always mailed surveys or text message options. You could also invite families you do reach to virtual focus groups, to learn more about their experiences and collect their insights.
Make data analysis a team effort. Using these rich sources of data should not be the sole responsibility (or luxury!) of the principal or district evaluators. Building a culture of data means getting everyone involved and modeling for them how to use data and why it’s so important. Consider hosting virtual staff meetings to work together on this data. I’ve seen a lot of districts hosting virtual PTA or PTO meetings as well – that’s the perfect place to get families involved. You could even make posters of important data and hang it on the walls at your meal sites. If you need some ideas for how to engage stakeholders in data analysis and interpretation, here is a blog post from the American Evaluation Association and here is a great list of resources from Better Evaluation about hosting data parties.

This is just a short list of ways to use data to measure your impact and involve your community in doing so. Of course, if your school or organization needs some guidance, I’m here for you. I offer three different packages to support schools, districts, and organizations with this work. I’m also happy to do phone consultations to help you brainstorm.

Regardless of how you do it, this is the time to make data a priority. What will be your story?

Apr 19 2020

Nonprofit Data Adjustments to COVID-19

Apr 18 2020

There are words I really hate right now

There are words I really hate right now.

First is the C-word. Along with that nasty little picture of the virus. I also hate the p-word, the s- d- word, and the term F-T-C. I hate the term “living in the time of uncertainty.” I hate them so much I don’t even want to spell them out.

What I really hate, though, is when people talk about “returning to normal.” My email and social media feeds are inundated with things I need to know about, funding sources, business opportunities, how things will be different and dire warnings that I better get ready. There are also several articles on how to make money during the crisis.

The last thing I want to think about right now is what I should be doing businesswise.

What do I think about?

My family. We have not seen them for a month now. We have two little grans and this separation is HARD.

My clients and community coalitions and collaboratives I work with and what can I possibly do to support them. They are working 24/7 to get people in their communities fed. Many are rural communities where there is no wi-fi, no laptops for students, and where transportation and healthcare access are a constant struggle when things are going well. I think about past clients and wonder if they are doing OK.

When I wake up in the middle of the night, which is just about every night, my thoughts turn to those who are sick and dying alone without their families. I think about the nurses, doctors, respiratory therapists, janitorial staff and pray for them.

I think about how I am being called to change. What I need to let go of and what I want to take forward. That means choosing the people I want in my life, those that love me in spite of myself, just as I am. It also means really wrestling with the type of work I want to do and making some hard choices.

Finally, I think about how this country and how the world needs to change. I really hope when the light switches to go, we don’t all rush back to the life we knew. I hope people really don’t fall for what is being sold right now, gaslighting it’s called in case you didn’t know.

I don’t know about you, but I don’t want to return to normal.

If it’s not abundantly clear by now, there are some deep-seeded inequities in our country. Black and brown people are getting sick and dying at higher rates than more affluent white Americans. My colleague Amanda Klein wrote a recent blog about this.

And it should be crystal clear that isolationism as a national policy does not work. Viruses just don’t give a —- about borders. One can only imagine how a global response to a global pandemic might have changed the course of the last five months and how many lives could have been saved.

So no, I don’t want us to return to normal. I want us to use this an opportunity to change, to create systems and social structures that create deep and lasting equity and a world where we work together for the common good. One can dream, right? If anything, this crisis should teach us that we are all connected.

Apr 17 2020

Evaluando en tiempos de pandemia

Las circunstancias actuales nos animan a repensar cómo evaluamos teniendo en cuenta los desafíos (a) éticos, (b) conceptuales y (c) metodológicos que afectarán nuestra capacidad para realizar evaluaciones. De nuevo un interesante post del Banco Mundial sobre la “Realización de evaluaciones en tiempos de COVID-19 (Coronavirus)”. 8 de abril de 2020, por Jos Vaessen & Estelle Raimondo

Este momento también es un reto para aquell@s que trabajamos en funciones de evaluación en el campo del desarrollo internacional, donde generalmente tenemos el lujo del tiempo, operamos dentro de teorías claras de cambio y hacemos nuestro mejor trabajo cuando podemos mezclar métodos, usar múltiples fuentes de datos y realizar entrevistas en profundidad con una variedad de partes interesadas.

Estas circunstancias nos animan a repensar cómo realizar nuestro trabajo evaluativo. En una serie posts los autores discuten tres desafíos principales (éticos, conceptuales y metodológicos) que afectarán a nuestra capacidad para realizar evaluaciones.

En una publicación de blog posterior discutirán con más detalle algunas opciones metodológicas que podemos considerar aprovechar. Esta discusión se centra en el contexto de evaluación de las funciones de evaluación (independientes) establecidas en organizaciones internacionales o ministerios nacionales que trabajan principalmente en evaluaciones programáticas de alto nivel de programas sectoriales, temáticos o de país.

Las evaluaciones programáticas enfrentan diferentes tipos de desafíos, ya que recopilan principalmente datos a nivel institucional, por ejemplo, entre ministerios, entidades gubernamentales subnacionales o socios de desarrollo.

1.Desafíos éticos:

Desde un punto de vista ético, los planes de trabajo de evaluación inevitablemente necesitarán ajustes. La consideración cuidadosa del coste de oportunidad, de la relación riesgo-ganancia/recompensa, de las actividades de evaluación será más importante que en escenarios pasados. En primer lugar, donde la evaluación es un componente clave para comprender si las intervenciones de salud pública y otras intervenciones prioritarias (por ejemplo, protección social y redes de seguridad social para ciudadan@s (vulnerables)) funcionan y cómo funcionan, l@s evaluador@s deben estar integrad@s (1) no solo para poder recopilar los mejores datos posibles y realizar las mejores evaluaciones posibles para informar a los responsables de la toma de decisiones durante la crisis, (2) sino también para corroborar debates críticos que tendrán lugar una vez que la crisis esté terminando. Recordemos también que en varios de los países donde operan nuestras organizaciones, especialmente en estados frágiles y afectados por conflictos, COVID-19 es solo uno de los muchos desafíos críticos que enfrentan.

Para otros sectores y para otros tipos de trabajo evaluativo (la mayoría de las evaluaciones programáticas realizadas por las funciones de evaluación caen en esta categoría), los evaluadores deben, ante todo, preocuparse por no ejercer presión innecesaria sobre un sistema público demasiado sobrecargado. Por lo tanto, el mejor enfoque sería reducir (y priorizar) las interacciones directas con colegas operativos que trabajan en sectores relacionados con la crisis, mientras se intensifican los esfuerzos para llevar a cabo el trabajo evaluativo de manera diferente dadas las limitaciones.

Una consideración ética más sutil es preguntar si se pueden cumplir las condiciones necesarias para que las evaluaciones sean útiles y se utilicen. ¿Podemos esperar que nuestra audiencia escuche? L@s evaluador@s no deben ser sord@s y depender de mecanismos institucionales bien engrasados que regulan la producción de evaluaciones para preservar “el trabajo tradicional, lo de siempre”.

Avanzando con los planes de trabajo de evaluación y el diseño de la evaluación, se necesita un cambio conceptual. En una pandemia global de las proporciones que estamos experimentando actualmente, los efectos repercuten mucho más allá del sector de la salud pública y los efectos (in) directos sobre la salud de COVID-19 en l@s ciudadan@s. La pandemia global, las medidas de contención impuestas por el gobierno y los cambios de comportamiento durante la crisis del sector privado y la ciudadanía, pueden tener efectos significativos y duraderos en una amplia gama de temas de importancia social.

2.Desafíos metodológicos:

Desde una perspectiva metodológica, identifican cuatro desafíos principales para los evaluadores.

El primer desafío se refiere a las restricciones actuales sobre la recopilación de datos empíricos a nivel institucional. Debido a las restricciones de viaje, las prioridades institucionales cambiantes y el acceso institucional (como resultado de las condiciones impuestas de “cierre”), algunas de las partes interesadas clave no están disponibles para entrevistas. Como resultado, los evaluadores pueden recurrir al muestreo de conveniencia / propositivo / intencional, pero hay que conscientes de la propensión al sesgo de selección.

En segundo lugar, cualquier ejercicio de evaluación se verá significativamente limitado debido a la incapacidad de realizar la recopilación de datos en el terreno. Los evaluadores tendrán dificultades para desarrollar una perspectiva rica y contextualizada del evaluando. Las estrategias de recopilación de datos, como la observación discreta, la construcción de una buena relación con las partes interesadas (observando las costumbres locales y las normas culturales), así como todo tipo de indagación inductiva (incluida la muestra in situ, con el enfoque de bola de nieve de los entrevistados). Las entrevistas remotas (por teléfono, teleconferencias) constituyen solo una solución parcial a este desafío. Solo aliviará en parte el problema de acceso y es propenso a sesgos (especialmente cuando las entrevistas cubren temas complejos o delicados).

El tercer desafío está estrechamente relacionado con los dos anteriores: es justo decir que incluso antes de COVD-19, algunas evaluaciones programáticas pueden haber estado sujetas a algún tipo de “sesgo del gobierno central” en cuanto a su recopilación de datos. Dependiendo de la naturaleza de la evaluación, es probable que muchas entrevistas involucren a las partes interesadas de gobiernos federales directamente involucradas en la planificación, financiación e ejecución de intervenciones. Las entrevistas con las partes interesadas en los niveles descentralizados del gobierno federal (por ejemplo, subnacionales, provinciales…) y especialmente en las zonas rurales pueden ser más difíciles de planificar en las circunstancias actuales, lo que refuerza el sesgo mencionado anteriormente.

Finalmente, un cuarto desafío se refiere a aprovechar el potencial de la revisión y análisis documental durante la fase de gabinete. En las evaluaciones se dan cada vez más revisiones y sistematizaciones de los conocimientos y datos existentes. Las revisiones de evaluaciones existentes, las revisiones de estrategia, las revisiones estructuradas académicas y de literatura institucional (y así sucesivamente), en la medida de lo posible, se pueden realizar de manera más rigurosa e inteligente. Esto también se aplica al análisis de datos existentes, tanto convencionales (por ejemplo, datos corporativos, datos de encuestas) como “big data” (por ejemplo, datos de imágenes, datos de redes sociales).

cplysy

Footer

Follow our Work