allblogs

Jun 09 2020

DAC Evalnet: Equilibrio para una respuesta al COVID rápida y flexible

Nos hablan de equilibrio entre rapidez y flexibilidad en la respuesta al COVID, pero también de liderazgo y apropiación, desde la Red de Evaluación del Comité de Ayuda al Desarrollo (EvalNet DAC / OCDE) en este post, parte de una serie sobre cómo abordar COVID-19 en países en desarrollo: “COVID-19 y Cooperación al Desarrollo: sabemos mucho sobre lo que funciona, usemos la evidencia” del 30 de abril de 2020.

La reciente declaración del Comité de Asistencia para el Desarrollo de la OCDE sobre el COVID, exige una acción sostenida para abordar la crisis en los países más pobres del planeta. En estas sociedades, la pandemia se encontrará con sistemas de salud pública débiles. Las medidas de confinamiento aplastarán las estructuras económicas frágiles y empeorarán la situación social de muchas personas, particularmente entre los grupos más vulnerables de la sociedad. La violencia contra las mujeres y los niños está aumentando en todo el mundo. En otras palabras, a corto plazo es probable que la pandemia cause un desastre humanitario. En el mediano plazo, conducirá a una crisis económica estructural que pondrá en peligro el progreso reciente en el logro de los objetivos de desarrollo sostenible.

Si bien los países de la OCDE todavía están trabajando para contener las consecuencias de largo alcance de COVID-19 en sus países, los responsables políticos están dando un paso adelante para ayudar a los países en desarrollo asociados. Muchos países de la OCDE, instituciones multilaterales y organizaciones internacionales han comprometido fondos, y cada día se hacen más anuncios.

Si bien estos esfuerzos brindan esperanza, como evaluadores, nos preocupa que la presión para una acción urgente pueda conducir a pasos críticos en falso . La evidencia de intervenciones pasadas durante crisis mundiales o regionales ha demostrado que no todas las acciones bien intencionadas son efectivas. Lo más importante, y al mismo tiempo más desafiante, es lograr el equilibrio adecuado entre respuestas rápidas y flexibles, por un lado, y coordinación, planificación de calidad y sensibilidad al contexto, por otro lado.

Los esfuerzos deben basarse en las lecciones del pasado, incluida la abundante evidencia de las evaluaciones de otros esfuerzos de ayuda (como la síntesis, “Abordar el nuevo coronavirus” por la Oficina de Evaluación Independiente del BAD). Además, recomendamos encarecidamente que todas las próximas respuestas de asistencia humanitaria y de desarrollo se acompañen de monitoreo, evaluación e investigación de resultados de alta calidad. Ignorar la evidencia pasada y no invertir en generar nueva evidencia creíble sobre lo que funciona y lo que no funciona, en qué contextos y para quién, puede costar vidas.

Si se tienen en cuenta las lecciones relevantes y aplicables de las experiencias y evaluaciones pasadas, la efectividad y la relevancia de los esfuerzos actuales aumentarán sustancialmente.

Para apoyar este proceso, los socios de desarrollo y los gobiernos nacionales y subnacionales ya deberían comenzar a invertir en datos sólidos, sistemas de monitoreo y evaluación. Después de todo, estos procesos toman tiempo para construirse, mientras que las preguntas legítimas sobre la efectividad de las políticas surgirán casi de inmediato. Esto no tiene por qué ser laborioso, pero debe tener los fundamentos correctos para permitir la responsabilidad y el aprendizaje a medida que avanzamos. Implica definir claramente nuestros objetivos (como expandir las capacidades de tratamiento), recopilar datos de referencia (cuántos ventiladores están disponibles ahora) y garantizar capacidades suficientes para rastrear los resultados (la proporción de ventiladores a las personas que los necesitan; acceso para personas en grupos vulnerables ) También implica comenzar análisis de impacto rigurosos lo antes posible, rastrear cómo el soporte relacionado con COVID-19 está afectando a diferentes personas y protegerse contra los efectos negativos no deseados.

Como evaluadores tenemos tres roles: (1) asesorar sobre la mejor manera de medir y monitorear, (2) proporcionar evidencia de alta calidad y (3) hacer que la evidencia y las lecciones sean mucho más accesibles para los formuladores de políticas. En el DAC EvalNet, están revisando lecciones pasadas, para producir un resumen de políticas basado en evidencia. También están trabajando con los miembros y socios en las unidades de evaluación de las Naciones Unidas y multilaterales, para lanzar una coalición de evaluación COVID-19 para proporcionar una evaluación independiente y creíble del progreso y los resultados y coordinar los esfuerzos. Veamos si la rendición de cuentas mutua que eso supondría, podría mejorar la respuesta.

Cumpliendo estos tres roles, l@s evaluador@s podemos hacer cierta contribución. Pero solo si los políticos y los gestores están abiertos y dispuestos a (a) contar con / situar la función de evaluación o a (b) aplicar el conocimiento, esto se traducirá en una asistencia efectiva para el desarrollo.

Y hoy damos un hasta pronto a Pau, que tantas veces nos acompañó e ilusionó, i Pau que tanto nos dio i

Jun 09 2020

Visualizing Equity in Education

In this article, guest author Molly Hanlon shares how she uses data to create visualizations and stories that help school staff make decisions to better serve their students. Please comment below with your own tips! Let’s learn with each other. –Ann

We use stories to affirm our beliefs. This is especially true in conversations about equity.

Over many years, I’ve observed countless situations in which school administrators were presented data that showed unjust equity in their system. Most often, administrators told themselves stories to justify that result. A common story was, “That data is confusing, and it can’t be right.”

Many school systems are not using data to make informed decisions. Too often, they are making decisions on what feels right to them, based on a story that isn’t consistent with the evidence. My goal is to use data to create visualizations and stories that are consistent with the evidence, and to help staff focus on how to make schools more equitable and just for all students.

It has felt so gratifying to me to create and share data visualizations that help people accept stories consistent with the evidence. Those stories empower them to identify and accept the challenges faced by their systems, and to inform possible solutions.

Producing Data Visualizations for the Seattle Public Schools

In 2019, I was tasked with presenting data to an Advanced Learning taskforce within the Seattle Public Schools. Advanced Learning programs are designed for students who demonstrate an exceptional ability or potential to learn and reason beyond their same-age classmates.

The taskforce examined disparities among students of color who participated in the program, how students were selected for the program, the program’s delivery, and institutional best practices.

The following two examples are a small sample of the visualizations I provided the taskforce, to help them understand the demographic student populations in the advanced learning programs.

Visualizing White vs. Non-White Students

This first visualization illustrates the percentage of white versus non-white students in the Seattle Public Schools Advanced Learning program over time.

These graphs were presented in-person to the taskforce, and then included into a “fact pack” for later reference.

Before: A Clustered Column Chart with Default Software Settings

Here’s what our graphs used to look like: a clustered column chart with default software settings.

After: A Stacked Column Chart with a Takeaway Title

Here’s what our graphs look like now.

Here are the improvements we made. We:

changed the font and color schemes to match the Seattle Public Schools style guide;

wrote a more descriptive title;

eliminated the superfluous legend, which distracts the viewer’s attention;

changed the chart type from a clustered column to a 100% stacked column for easier reading;

increased the font size of percentages for easier reading; and

eliminated the border and x-axis line, which introduced unhelpful visual distractions.

Visualizing Disparities of Students of Color

The second example shows the disparities of students of color compared to their overall representation in the district.

Before: A Clustered Column Chart with Default Software Settings

Here’s what our graphs used to look like:

Before our graphs were a clustered column chart that used default software settings.

After: Adding Color-Coded Annotations

Here’s what our graphs look like now:

Now our charts use color-coded annotations that make them easier to read and understand.

Here are the improvements we made. We:

changed font and color schemes to match the Seattle Public Schools style guide;

wrote a descriptive title and inserted a text box to further explain the significance of the data;

eliminated or used a lighter shade for the data that wasn’t as significant;

increased the font of the percentages that were more significant;

eliminated the legend by coloring the font in the descriptive text box; and

eliminated the border and x-axis line.

The Impact of Intentional Data Visualization

These graphs challenged the task force to think about the inequities in Advanced Learning programs given the change in district demographics.

Collect with Molly

Connect with Molly Hanlon on LinkedIn: https://www.linkedin.com/in/molly-hanlon-b701305a/

Jun 08 2020

Aprendiendo rápido para salvar vidas durante el COVID

Fuente: https://blog.evalcentral.com/wp-content/uploads/2020/06/do51285dkrrxp0823li16c5oggt0wm3e.jpg

Hemos estado introduciendo en posts pasados las Evaluaciones en Tiempo Real, pero hay otras herramientas más rápidas desde el aprendizaje, (aunque más “sucias” desde el rigor), pero que pueden también ser útiles frente al COVID, como las descritas en la “Caja de herramientas de Gestión del Conocimiento” de UNICEF.

Sobre estas herramientas rápidas de gestión del conocimiento también nos hablan en “¿Qué se necesitará para aprender rápido para salvar vidas durante el COVID-19 (coronavirus)?“, Lauren Kelly y Christopher Nelson en su post del 20 de mayo de 2020: A medida que los países y las organizaciones se mueven rápidamente para responder a la crisis de COVID-19, se necesitan herramientas ágiles para iluminar y evaluar lo que funciona y lo que no. Los enfoques tradicionales de monitoreo y evaluación, basados en teorías establecidas y líneas de base de proyectos, son de uso limitado en una crisis en rápido cambio y en constante cambio. Se debe apoyar a los equipos de proyecto para apropiarse de un conjunto más amplio de herramientas de aprendizaje emergente (1) para una mayor capacidad de respuesta, y (2) para crear un ambiente de aprendizaje constante y (3) donde se reconozcan los errores, y (4) donde ambos contribuyan a mejorar el impacto de las intervenciones. Hay mucho en juego: durante los tiempos de COVID-19, aprender rápido puede ayudar a proteger a los más vulnerables y, en última instancia, a salvar vidas.

En una sala de emergencias, al igual que en la respuesta a una crisis global como la pandemia de coronavirus, salvar vidas requiere que (1) los equipos aprendan rápido, (2) cambien su pensamiento y (3) adapten sus prácticas en tiempo real. Requiere (1) la aplicación de prácticas simples y ágiles para evaluar, aprender y reaccionar, (2) no la creación de una planificación detallada o listas de verificación, sino (3) procesos para recopilar y compartir conocimientos sobre lo que está funcionando, lo que está fallando y por qué.

Hay un conjunto de herramientas ágiles, vinculadas a una práctica llamada Aprendizaje Emergente que los equipos que trabajan en la respuesta a la crisis pueden adaptar fácilmente. El campo del aprendizaje emergente ofrece cuatro herramientas esenciales para que el enfoque de la pandemia actual sea más eficaz:

1. La “Pregunta de encuadre“ se construye con una fase simple: “¿Qué se necesitará para …” [brindar asistencia médica a los pacientes con COVID-19 más vulnerables?]. Crea un enfoque para el aprendizaje colectivo al preguntar qué se necesitará para lograr el resultado deseado. Es un desafío centrado en el futuro y orientado a la acción para el grupo para garantizar la alineación en torno a una premisa o idea acordada. Cuando se hace bien, la pregunta de encuadre es a la vez un mecanismo para fusionarse en torno a un resultado deseado y un medio para definir contribuciones individuales. Una buena pregunta enmarcada tiene la capacidad de “entrenar la atención de un grupo hacia adelante, en una investigación colectiva que conduzca a la acción”.

2. Tablas de aprendizaje emergentes necesarias para emerger y capturar datos, ideas, formular hipótesis e identificar oportunidades para acciones futuras. Una forma de “acercar al equipo a la mesa”: la herramienta alienta a los equipos a reflexionar preguntando: ¿qué sabemos hasta ahora? Es importante destacar que el proceso ayuda al equipo a establecer una conexión deliberada entre el pasado y el futuro para garantizar que las lecciones anteriores informen las acciones posteriores.

3. “Revisión Antes de la Acción” es una oportunidad para discutir en detalle cómo será el éxito, y para establecer los resultados previstos e identificar los escollos anticipados. La revisión coloca al equipo en una vía de aprendizaje, vinculada a la ‘Revisión después de la acción’ iterativa, y a menudo realizada, (ver más abajo).

4. “Revisión Después de la Acción“ permite una reflexión en tiempo real sobre cómo se comparan los resultados reales con los previstos. ¿Qué causó los resultados y qué los sostendrá o mejorará?

Aquí hay una presentación rápida sobre estas 4 herramientas de aprendizaje emergente.

Jun 07 2020

White Evaluators: Step Up

Background

On May 25, 2020, George Floyd was killed by police officers.
This news is not new. George’s cries of “I can’t breathe” echo the same cries
by Eric Garner, who was also killed by police officers on July 17, 2014. Black,
indigenous, and people of color (BIPOC) are all disproportionately more likely to be stopped,
arrested, incarcerated, and killed by police than White people: indigenous
people are 3.5 times more likely and Black people are 3 times more likely to
be killed by police than White people.

The problem is not just with police or prisons. Segregation still exists, with both racially homogeneous schools and neighborhoods. Black and Latinx families are less likely to live in owner-occupied housing compared with White families. Voter suppression disproportionately affects BIPOC. The employment rate is around 15% lower for Black people than for White people. The end of affirmative action policies across states and colleges have led to significant declines in the number of BIPOC at large state schools. Black and Brown students are much less likely to graduate college with a degree compared to White and Asian students. People of color have poorer health outcomes (e.g., diabetes, heart disease, worse life expectancy) and are more likely to die from Covid-19. The list goes on.

I bring up this information to show the racial disparities
present in a variety of areas: health, education, voting, policing and incarceration,
housing, and more. These areas are many of those that we evaluators study.
And those programs and policies disproportionately
serve BIPOC. When a white person evaluates a program serving BIPOC, then
there is even greater need for a culturally responsive evaluation approach.

Culturally Responsive Evaluation

In 2011 the American Evaluation Association issued a statement on cultural competence in
evaluation. In it, they describe that culture affects all parts of an
evaluation, and “evaluations cannot be culture free.” It is part of our ethical
duty as evaluators to attend to culture in our evaluations and to make valid
inferences. However, to do so requires a “shared understanding within and
across cultural contexts.”

Although an evaluator can develop such a shared
understanding through deliberate practice and training, a number of
studies in cross-cultural evaluation suggest that culturally competent
evaluation is best done by evaluators who share the same cultural identity as
the evaluands. Therefore, the field of evaluation should focus on training
and promoting BIPOC evaluators so that our field can promote culturally
responsive evaluation.

Indeed, culturally responsive evaluation should be the default
evaluation approach. If culture is everywhere, and no evaluation can be culture-free,
then culturally responsive evaluation is good evaluation. If we truly
care about the validity of our evaluation findings, then we need to employ
culturally responsive evaluation practices in all our evaluations.

White Culture in Evaluation

Yet this can be difficult for White evaluators like myself.
We naïvely believe that we have no culture, but we come to that conclusion
because the White culture is the dominant culture in society. White culture has
become the one in power, the one that becomes the “default” and the “norm.”

What are the characteristics
of a White dominant culture? Perfectionism, a sense of urgency,
defensiveness, quantity over quality, worship of the written word, paternalism,
either/or thinking, power hoarding, fear of open conflict, individualism,
objectivity, and a right to comfort for those in power. One need only peruse
EvalTalk to see all these characteristics come full bloom once the White
dominant culture is threatened (as evident in the early June 2020 conversations).

When White culture is the dominant culture, then the
evaluations designed by White evaluators become the default evaluation. If you
want to see the White dominant frame in evaluation, look at our predominantly
White evaluation theory tree. Look out who we call the “fathers” of evaluation.
Look at who is being cited (and,
therefore, read). Look at how we call non-White evaluation culturally
responsive evaluation (instead of just evaluation).

When AEA put together the Race and Class Dialogues in 2017,
there was incredibly low attendance across the sessions. The 2018
Member Survey revealed that of the 1,484 respondents who answered the
question 582 (39%) were not aware of them and 629 (42%) did not participate. Of
the 273 (%) that did respond, 15.8% found them “not at all useful,” 29% said
they were “somewhat useful,” and 55% said they were “useful.” If evaluators
were not oblivious, then they decided not to participate. And for those that
did participate, nearly half decided they were not very useful, despite our
statement on cultural competence. However, further reading of the 2018 Member
Survey shows that 18% of members were not aware of the statement on cultural
competence, 24% had not read it, but at least most who did take the time to
read it found it useful (68%). White evaluators need to become familiar with
these resources and incorporate them into their regular evaluation practices.

Stepping Up

We live in a society[1] in
which the dominant frame is that of the White, male, Christian, heterosexual,
well-educated, affluent, and able-bodied person. Each of us may identify with
none, one, some, or all of these dominant frames, and each of these dominant frames have
a form of oppression associated with it: racism, sexism, religious oppression,
heterosexism, classism, ageism, and ableism.

We should first recognize our identities for what they are.
For example, I have the privileges and systematically receive the benefits of
being a White, heterosexual, well-educated, middle-class, and able-bodied
person. I may be systematically disadvantaged by my gender, and perhaps my age,
but my privileges are numerous. And because these privileges are part of the
dominant culture, they are often taken for granted and considered “normal.”

It is the responsibility of the privileged to use that power
and privilege. Too often, we have placed the burden of change on those
experiencing the oppression. There are many things we can do to improve our
evaluation practices as White evaluators:

1. Learn about Your White Privilege

Take time to learn about the privileges you hold. This blog
post focuses on white privilege, and so here are some resources to begin
understanding your white privilege. The first step we can take as White
evaluators is to understand our White dominant culture.

Here are a list of books I have read or are highly
recommended by my evaluator colleagues:

White
Fragility: Why It’s So Hard for White People to Talk About Racism by Robin
DiAngelo
How to Be An
Antiracist by Dr. Ibram X. Kendi
So
You Want to Talk About Race by Ijeoma Oluo
Why
Are All the Black Kids Sitting Together in the Cafeteria? And Other
Conversations About Race by Beverly Daniel Tatum
Me
and White Supremacy: Combat Racism, Change the World, and Become a Good
Ancestor by Layla F. Saad
Witnessing
Whiteness: The Need to Talk About Race and How to Do It by Shelly Tochluk
My
Grandmother’s Hands: Racialized Trauma and the Pathway to Mending Our Hearts
and Bodies by Resmaa Menakem

If you’re interested in podcasts, articles, films and TV
series, or organizations to follow, I highly recommend this
resource.

I also recommend building racial equity habits. Eddie Moore
Jr. and Debby Irving created a 21-day racial equity habit
building challenge. They suggest for 21 days that you do at least one
action to further your understanding of power, privilege, supremacy,
oppression, and equity. They provide suggestions in the categories of things to
read, listen, watch, notice, connect, engage, act, reflect, and stay inspired. Although
they named it a 21-day challenge, it does not have to be 21 days nor do the
days have to be continuous. Just like we can never become culturally competent
(rather we can only do culturally competent actions), our work here is never
done.

2. Learn about and incorporate Culturally Responsive Evaluation Practices

The AEA statement on cultural competence points to a need to
have a shared understanding. Although evaluators who share the culture of the
program and its participants are best positioned to do culturally responsive
evaluation, White evaluators can still deliberately practice and receive
training to better do culturally responsive evaluation in contexts they do not
share the culture.

There is a great deal of humility needed to do this type of
work. A humility that the program knows what is best for them. A humility to
set aside the White dominant culture and all the assumptions and norms you have
internalized from birth. It is hard work, and you will mess up. Think of
yourself as a beginner in this work and be open to learning.

3. Critically reflect on your
evaluation practices

As you are incorporating culturally responsive evaluation
practices, you should be attending to the defaults, assumptions, and norms you
have carried into your evaluation practice. You will have many thoughts and
feelings going through this process. Create a space with other White
evaluators to discuss these thoughts and feelings and help each other through
this process. Do not rely on your BIPOC colleagues to help you through
this. They have told us for years, and they tell us now they are tired. Listen
to them and do your own work.

Some ideas of questions and comments you may want to ponder
regarding your evaluation practices:

Think critically about for whom in your
evaluation work. For whom does the program work? For whom does the program unintentionally
(or intentionally!) harm?
When you think of evaluation of a program, what
comes to mind? When you think of evaluation of the sameprogram
serving BIPOC, what comes to mind? Are they the same, or different? What do
you think that says about you and your evaluation practice?
If you work with other evaluators, who are you hiring?
Do they primarily look like you? Does your evaluation team share the lived
experiences of the people in the programs you are working with?
Who do you include in the evaluation process? Madison
concluded in her review of 20 years of New Directions for Evaluation volumes
that “underrepresented groups continue to be presented as subjects of
evaluation rather than as invested stakeholders.” The stakeholders most often
to be included in the evaluation consist primarily of the program leaders who,
like evaluators, are less likely to
be BIPOC.
What choices do you routinely make in your
evaluation practices? Some major choices include the design and methods you
use. For each of those choices, examine how race, class, gender, sexual
orientation, and more affect the decisions you make. Refrain from thinking that
they do not make a difference. For example, the creators
of modern statistics did so to promote a eugenics agenda and data is not value-neutral,
equitable, or unbiased.

4. Critically Reflect on the Field of Evaluation

Recognize that racism is everywhere, including at the AEA conference,
on EvalTalk, and more. BIPOC evaluators have called out evaluation spaces for
being racist and unsafe spaces for them for years. Start listening to them,
believing them, and supporting them.

The AEA conference in 2019 made one step forward when it
offered “A
Respite & Healing Space” for BIPOC attendees to rest, heal, and connect
with other BIPOC attendees. White allies and accomplices were invited to
contribute financially as their way to support the space. Listen and act when
other opportunities are presented for you to show your allyship for our BIPOC
colleagues.

If you are a teacher in evaluation, think critically
about who you accept as students and what you teach. Recruit and accept BIPOC
students into your program. Encourage your institution to hire and create
safe work environments for BIPOC. Check your syllabus: who do you assign as
readings? What topics are covered? How are race, class, gender, and other
topics infused into your curriculum? A week on culturally responsive evaluation
is a starting point, but it is not enough.

If you are a researcher of evaluation, think critically
about who you cite. Our BIPOC colleagues are not cited at the same rates as
White evaluators. Check your reference list that you have a balance of
representation by race, gender, nationality, and more.

Conclusion

Listening, stepping back, and critically reflecting is hard work. But what is harder and just as necessary is for us to speak up, stand up, and step up in alliance of our BIPOC colleagues. Advocate for change in your institution, in our association, and in our field in general. Advocate for change with the organizations you partner with, citing our guiding principles and statement of cultural competence when you write an evaluation proposal. Speak up when you see prejudiced behaviors or racist systems. It is time. Step up.

Do you have comments, questions, feedback, or suggestions? Add a comment below or use the contact form to email me on my website.

[1] I focus on the United States in this blog post because that is the nation I know best, but this is likely true for other nations as well. I mention because Khalil Bitar rightfully pointed out that these conversations are largely USA-centered, mostly reactive, and there is limited participation by the often unheard voices.

Jun 05 2020

La evaluación en tiempo real en emergencias: ¿cómo?

Continuamos con el anterior post “La evaluación en tiempo real en emergencias” basado en un resumen que hizo INTRAC sobre el tema, y compartimos algunas ideas sobre cómo se ejecuta una RTE. Hay algunas características de las Evaluaciones en Tiempo Real (RTE) que pueden ser diferentes a las de las evaluaciones más convencionales. Algunos de éstas son los siguientes (ver Cosgrave et al. 2009, Polastro 2012, Herson y Mitchell 2005):

Las RTE ejecutadas por organizaciones a título individual generalmente se llevan a cabo durante cortos períodos de tiempo, como 2-3 semanas. Esto se debe a que la intención es proporcionar retroalimentación en tiempo real que pueda ser accionada de inmediato. Los RTE a menudo son ejercicios ligero que lleva a cabo un equipo de evaluación de entre una y a cuatro personas, básicamente un número lo suficientemente pequeño como para caber dentro de un vehículo, ahora con COVID incluso sin necesidad de vehículo (pero hay que añadir algo de innovación e imaginación). El equipo puede ser interno, externo o una combinación. Debido a que generalmente se llevan a cabo en intervenciones humanitarias, los RTE tienden a ser más rápidos, flexibles y receptivos que los tipos de evaluación más tradicionales.

En un RTE a menudo (1) no hay una línea de base y (2) no hay necesidad (o tiempo) de utilizar metodologías complejas de recopilación y análisis de datos. Las RTE tienden a depender de (1) métodos cualitativos como entrevistas, discusiones de grupos focales y observación, ahora (2) con COVID, todas esas herramientas han de pasar a “remoto”. Las encuestas o cuestionarios pueden ser difíciles de implementar debido a los cortos plazos. Por el contrario, la observación puede ser más importante en RTE que en otros tipos de evaluación y esto (la observación) es algo, de nuevo, en lo que deberíamos de innovar en tiempos de COVID.

Las RTE son generalmente participativas porque dependen de interacciones con múltiples partes interesadas, incluidos los beneficiarios previstos. El propósito y la metodología de un RTE generalmente están dictados por las circunstancias y son seleccionados por la organización en cuestión. Sin embargo, diferentes partes interesadas tienen un papel importante en la definición de cómo se puede mejorar una intervención y quién debe actuar para asegurarse de que los cambios sucedan.

Durante los RTE, a menudo hay (1) un mayor énfasis en el proceso que en el impacto y la sostenibilidad. Hay menos enfoque en la evaluación de impacto y más en el aprendizaje inmediato de lecciones. En parte como consecuencia, (2) existe una necesidad menos obvia de garantizar que los hallazgos sean “rigurosos”; es más necesario generar hallazgos de manera rápida y económica para garantizar que las respuestas se puedan realizar de manera oportuna. Nuevamente, esto tiende a hacer que un RTE parezca más un ejercicio de seguimiento que uno de evaluación, lo que (iii por fin iii) desdibuja los límites entre el seguimiento y la evaluación.

En un RTE, un informe de evaluación puede ser menos importante de lo que habitualmente son. Aunque es importante como un registro a largo plazo, y tal vez útil cuando se recopilan las lecciones aprendidas de muchas intervenciones, el enfoque principal de un RTE debe estar en las recomendaciones hechas (y las decisiones tomadas en cuenta) mientras la evaluación está en progreso. Siempre existe el riesgo de que cualquier informe final esté desactualizado para cuando se publique, ya que los eventos durante las respuestas humanitarias pueden avanzar muy rápidamente.

Fuentes

Cosgrave, J; Ramalingan, B and Beck T (2009). Real-time evaluations of humanitarian action: An ALNAP Guide. ODI, 2009.

Herson, M and Mitchell, J (2005). “Real-Time Evaluation: Where does its value lie?” Humanitarian Exchange, 32, pp. 43-45.

Polastro, R (2012). Real Time Evaluations: Contributing to system-wide learning and accountability.

INTRAC. Real Time Evaluation

allblogs

Producing Data Visualizations for the Seattle Public Schools

Visualizing White vs. Non-White Students

Before: A Clustered Column Chart with Default Software Settings

After: A Stacked Column Chart with a Takeaway Title

Visualizing Disparities of Students of Color

Before: A Clustered Column Chart with Default Software Settings

After: Adding Color-Coded Annotations

The Impact of Intentional Data Visualization

Collect with Molly

Background

Culturally Responsive Evaluation

White Culture in Evaluation

Stepping Up

1. Learn about Your White Privilege

2. Learn about and incorporate Culturally Responsive Evaluation Practices

3. Critically reflect on your evaluation practices

4. Critically Reflect on the Field of Evaluation

Conclusion

Footer

Follow our Work

3. Critically reflect on your
evaluation practices