• Skip to main content
  • Skip to footer
  • Home

The May 13 Group

the next day for evaluation

  • Get Involved
  • Our Work
  • About Us
You are here: Home / Archives for cplysy

cplysy

Jan 11 2021

Algunas recomendaciones para la función de evaluación en el sistema de Naciones Unidas

Como indicábamos en el post anterior “Algunos retos de la función de evaluación en el sistema de Naciones Unidas“, el informe “ANÁLISIS DE LA FUNCIÓN DE EVALUACIÓN EN EL SISTEMA DE LAS NACIONES UNIDAS (2014)”  contiene los resultados de un estudio de la “UN Joint Inspection Unit (JIU)”  sobre la evolución, el desarrollo y el avance de la función de evaluación en el sistema de las Naciones Unidas. El estudio abordó las siguientes preguntas: ¿Ha habido avances en el crecimiento y desarrollo de la función de evaluación en el sistema de las Naciones Unidas? ¿Cuál es el nivel de desarrollo de la función de evaluación? ¿Cuál es su capacidad para apoyar a las organizaciones del sistema de las Naciones Unidas y su respuesta a demandas, cambios y desafíos? ¿Cómo ha añadido valor? ¿Qué enfoques alternativos existen para una función de evaluación eficaz que sirva al sistema de las Naciones Unidas en el contexto actual?

El siguiente es un resumen de las principales recomendaciones abordadas en el informe:

Recomendación 1 Mejora de la función

Los jefes ejecutivos de las organizaciones del sistema de las Naciones Unidas cuya función de evaluación central está coubicada e integrada con otras funciones de supervisión, o integrada con las funciones de gestión ejecutiva, deben mejorar la función y velar por su calidad, integridad, visibilidad y valor añadido.

Recomendación 2 Aprendizaje y Rendición de cuentas

Los jefes ejecutivos de las organizaciones del sistema de las Naciones Unidas deben adoptar un enfoque equilibrado al abordar el propósito de la evaluación, tomando en consideración la rendición de cuentas, así como el desarrollo de una cultura del aprendizaje que incluya sistemas apropiados de incentivos a la innovación, la asunción de riesgos y al empleo de perspectivas multidisciplinares.

Recomendación 3 Marcos y planes presupuestarios 

Los órganos legislativos deben solicitar a los jefes ejecutivos de las organizaciones del sistema de las Naciones Unidas que desarrollen marcos presupuestarios y planes de asignación de recursos amplios para sus respectivas funciones de evaluación, sobre la base del costo de mantenimiento de una función de evaluación efectiva y sostenible que añada valor a la organización. Los planes deben someterse al examen de los órganos legislativos con arreglo a los procesos y mecanismos vigentes de elaboración de presupuestos y presentación de informes.

Recomendación 4 Jefes de las Oficinas de Evaluación

Los órganos legislativos deben instar a los jefes ejecutivos de las organizaciones del sistema de las Naciones Unidas a que, en caso necesario, examinen y revisen las políticas vigentes relativas al nombramiento de los jefes de las oficinas de evaluación, con el fin de promover la independencia, la integridad, la ética, la credibilidad y la inclusión, teniendo debidamente en cuenta los criterios siguientes:

  • Debe establecerse un único mandado no renovable de cinco a siete años, sin posibilidad de que el titular del cargo se reincorpore a la organización;
  • El jefe de evaluación debe tener las calificaciones requeridas y amplia experiencia en materia de evaluación, además de experiencia en las esferas conexas de planificación estratégica, investigación básica y operacional, y gestión de los conocimientos, y debe poseer excelentes capacidades de gestión y liderazgo.

Recomendación 5 UNEG contribuye a garantizar la calidad

El Secretario General de las Naciones Unidas, en su calidad de Presidente de la Junta de los Jefes Ejecutivos del Sistema de las Naciones Unidas para la Coordinación, debe solicitar al UNEG que colabore en el desarrollo de un sistema sólido y armonizado de garantía de la calidad de la función de evaluación en todo el sistema.

Recomendación 6 Marcos, planes e indicadores de actividades de evaluación

Los jefes ejecutivos de las organizaciones del sistema de las Naciones Unidas deben otorgar prioridad al empleo de la evaluación sobre la base de metas, estrategias y marcos de resultados bien definidos para la función, y deben informar a sus órganos legislativos sobre el nivel, la naturaleza y el impacto del empleo de la evaluación.

Recomendación 7 Pertinencia de la función de evaluación

Los jefes ejecutivos del sistema de las Naciones Unidas deben solicitar a las dependencias de evaluación que valoren de nuevo las políticas, estrategias y prioridades de la función de evaluación. Deben posicionar la función de evaluación en sus respectivas organizaciones de forma estratégica para aumentar su pertinencia, con miras a que el sistema de las Naciones Unidas pueda afrontar los cambios y desafíos actuales y lograr impacto y sostenibilidad.

Recomendación 8 Innovación para la colaboración

El Secretario General, en su calidad de Presidente de la Junta de los Jefes Ejecutivos del Sistema de las Naciones Unidas para la Coordinación, debe adoptar medidas y apoyar la innovación respecto de la colaboración entre las organizaciones del sistema de las Naciones Unidas así como con otros asociados, a fin de fortalecer las capacidades nacionales de evaluación de manera que se tengan en cuenta la rendición de cuentas, el aprendizaje y el desarrollo de conocimientos que aporten valor a escala nacional y mundial.

Recomendación 9 Calidad y valor añadido de la evaluación

Los jefes ejecutivos de las organizaciones del sistema de las Naciones Unidas deben elaborar el marco institucional y los sistemas de apoyo necesarios para aumentar la calidad y el valor añadido de la evaluación descentralizada e intensificar el apoyo que prestan al sistema de las Naciones Unidas con el fin de afrontar los desafíos emergentes, por ejemplo los contemplados en la agenda para el desarrollo después de 2015, y para mejorar la coherencia y las alineaciones respecto de la evaluación en las organizaciones del sistema y entre ellas, así como con las instituciones nacionales.

Written by cplysy · Categorized: TripleAD

Jan 08 2021

What is Summative Evaluation? Cartoon Glossary

This is a series of posts providing quick of overviews of important topics in research and evaluation. Each post in this series will include 3 cartoons from my archives along with 3 links to recommended resources.

Summative Evaluation can be the Scary One for Program People

What is Summative Evaluation Cartoon by Chris Lysy.

So is summative evaluation the one where we dash the program's hopes and dreams?

BOTTOM LINE – Summative evaluation requires rigorous evidence because the stakes are high. The evaluation data must be high quality and credible to external stakeholders interested in the model.

Evaluation Flash Cards [PDF] – by Michael Quinn Patton for Otto Bremer Trust

Making Sure that a Program Works

What is Summative Evaluation Cartoon by Chris Lysy.

Our program is amazing, we need to bring it to the world!
Okay...but before we do that let's make sure it actually works and doesn't lead to any harmful outcomes.

An evaluation is a systematic and purposeful collection and analysis of data used to document the effectiveness of programs or interventions. Rigorous evaluation can determine if programs or interventions should be maintained, improved, or eliminated. The term summative evaluation (sometimes referred to as ex-post evaluation or outcome evaluation) was first introduced in the mid-1960s by Lee Cronbach and Michael Scriven and refers to a process of evaluating a program’s or intervention’s impact or efficacy through careful examination of program design and management. It is often used to assess the accountability of a program or intervention.

Summative Evaluation – from The SAGE Encyclopedia of Educational Research, Measurement, and Evaluation

Summative, Formative, Developmental Evaluation

What is Summative Evaluation Cartoon by Chris Lysy.

Summative is the customer eating the soup, formative is the chef tasting the soup, developmental evaluation is visiting the farmer's market.

Distinguished evaluation theorist and practitioner Bob Stake has explained, “When the cook tastes the soup, that’s formative; when the guests taste the soup, that’s summative” (quoted in Scriven, 1991, p. 169). More generally, anything done to the soup during preparation in the kitchen is improvement oriented; when the soup is served, summative judgment is rendered by the guests who consume the soup. And what of developmental evaluation in this metaphor?

Developmental evaluation begins when, before cooking, the chef goes to the market to see what vegetables are the freshest, what fish has just arrived, and meanders through the market considering possibilities, thinking about who the guests will be, what they were served last time, what the weather is like, and considers how adventurous and innovative to be with the meal.

Michael Quinn Patton from his book on Developmental Evaluation

Written by cplysy · Categorized: freshspectrum

Jan 08 2021

Relevance Revisited

I wrote this blog post before the outrageous events of January 6, 2021 when a mob of Trump supporters made a violent, anti-democratic attack on the United States Capitol.  I hesitated to post this so soon afterward, fearing poor timing, especially as the aftermath of the event continues to unfold as I write.   But I stand by my words in this blog-“Be bold”- and a promise to myself to not avoid difficult topics or try to “wait it out,” and I ask the same of museums. 

As we enter 2021, we in the museum profession have hard work ahead of us.  In 2020, the museum field as a whole showed itself to be out of step with society, which led me to reconsider a word I hear over and over from museums professionals—relevance.  Over the past twenty years, when I ask (as all evaluators do) “how do you want to benefit your visitors or potential visitors?” the common response from museum professionals is that they want their offerings to be relevant.  I have observed that the pursuit of relevance is a common denominator among museums types.  Consequently, it has been jarring and discouraging as we watched museums in 2020 reveal themselves to be irrelevant. 

Obviously, museums didn’t become irrelevant overnight, but rather the events of 2020—the pandemic, social injustice, economic disparity—shined a light on the ways museums are out of step with their time.  2020 has swiftly exposed much of what museum professionals have been saying about museums amongst themselves for years—that they lack diversity among museum staff, their collections, and museum visitors; that they avoid confronting challenging societal and world problems; and that they are governed by skewed power structures, to name a few.  2020 tore away the status quo that protected many museums from addressing these issues transparently and directly. 

A green road sign in the foreground reads "Vulnerability Just Ahead." The sky is cloudy in the background.
Image credit: Vulnerability Just Ahead Green Road Sign with Dramatic Storm Clouds and Sky, Andy Dean Photography

It is with these thoughts about museums and relevance churning in my mind that I had a stimulating conversation with Emlyn Koster and read his recent article in Informal Learning Review (ILR), Relevance of Museums to the Anthropocene.  Emlyn is a field geologist with three decades of experience as a nature and science museum CEO; he is also a prolific writer and thought leader.  His recent publications and presentations have increasingly infused the largest challenges that confront the Earth with a holistic, past-present-future, all-species perspective.  In his ILR article, Emlyn emphasizes the urgency for relevance and asks museum professionals questions about their museums like, “Why does it exist? How does it align with surrounding environmental and/or societal needs?”  As I read Emlyn’s argument for relevance, one idea kept bubbling up to my consciousness over and over—”Be bold.”  I was speaking to myself as well as the museum profession as a whole.  Now is not the time to skirt around issues, to avoid addressing critical societal problems that are literally right in front of us screaming to be heard.  For museums and museum professionals to be relevant post-2020 is to be bold, to question the status quo, to take risks.  Boldness relates to vulnerability, which I wrote about in the early weeks of the pandemic.  Being truly bold requires that one be vulnerable and being vulnerable requires exposing oneself authentically, faults and all. 

It is within this context that I introduce Emlyn as a guest blogger for RK&A in 2021.   From his vantage point as a geoscientist, museologist, and humanist, Emlyn will explore difficult topics of our time through a series of op-ed style blog posts, imploring museums to be leaders in addressing these issues.  We are looking forward to what Emlyn has to say. 

The post Relevance Revisited appeared first on RK&A.

Written by cplysy · Categorized: rka

Jan 08 2021

Algunos retos de la función de evaluación en el sistema de Naciones Unidas

El informe “ANÁLISIS DE LA FUNCIÓN DE EVALUACIÓN EN EL SISTEMA DE LAS NACIONES UNIDAS (2014)” preparado por Sukai Prom-Jackson y George A. Bartsiotas contiene los resultados de un estudio de la “UN Joint Inspection Unit (JIU)”  sobre la evolución, el desarrollo y el avance de la función de evaluación en el sistema de las Naciones Unidas. El estudio abordó las siguientes preguntas: ¿Ha habido avances en el crecimiento y desarrollo de la función de evaluación en el sistema de las Naciones Unidas? ¿Cuál es el nivel de desarrollo de la función de evaluación? ¿Cuál es su capacidad para apoyar a las organizaciones del sistema de las Naciones Unidas y su respuesta a demandas, cambios y desafíos? ¿Cómo ha añadido valor? ¿Qué enfoques alternativos existen para una función de evaluación eficaz que sirva al sistema de las Naciones Unidas en el contexto actual?

El siguiente es un resumen de las principales conclusiones y los hallazgos de apoyo y los temas clave abordados en el informe:

A.Función de evaluación central

1.La función de evaluación central ha crecido a lo largo de los años, esforzándose por lograr la calidad y la eficiencia, pero el nivel de compromiso con la evaluación en todo el sistema de las Naciones Unidas no está a la altura de la creciente demanda e importancia de la función.

2.La calidad de los sistemas, mecanismos, procesos y productos de evaluación varía en todo el sistema de las Naciones Unidas. Las organizaciones se pueden categorizar en cuatro grupos según el nivel de desarrollo de sus respectivas funciones de evaluación. En la mayoría de los casos, el nivel de desarrollo se ve afectado por el tamaño de la organización, los recursos asignados a la evaluación y la ubicación estructural de la función.

Entorno/Contexto adecuado

3.En el desarrollo de sus funciones de evaluación, las organizaciones se han centrado más en responder a las demandas de rendición de cuentas y no han abordado plenamente otros elementos importantes, como el desarrollo de una cultura de evaluación y el uso de la evaluación como un instrumento de aprendizaje para la organización. Eso limita la sostenibilidad de la función y el valor agregado de la evaluación. No hay una visión y una estrategia global para la evaluación en el marco institucional, que esté anclada en el mandato de la organización, los objetivos corporativos y las agendas de reforma, lo que daría como resultado un enfoque equilibrado del desarrollo de la función.

4.La función de evaluación del sistema de las Naciones Unidas carece de recursos y está sobrecargada.

Credibilidad de la función: independencia y calidad

5.Se ha avanzado en mejorar la credibilidad de la función aumentando su independencia y emitiendo informes de evaluación de mejor calidad, pero es necesario hacer más, en particular para abordar la independencia estructural, la garantía externa de calidad de la función y la calidad de la informes.

Utilidad: uso de la evaluación y efecto del uso

6.Las organizaciones no están predispuestas a un alto nivel de uso de la evaluación para respaldar la política basada en la evidencia y la toma de decisiones para el establecimiento de la dirección estratégica, la mejora programática de las actividades y las innovaciones.

Disponibilidad para apoyar el cambio

7.Factores como los diferentes mandatos y modelos operativos de las organizaciones de las Naciones Unidas, la tendencia hacia el “efecto silo” – sin pensar en términos estratégicos amplios ni considerar alianzas y alineaciones más amplias dentro y entre los organismos de las Naciones Unidas – y el nivel generalmente bajo de la capacidad de evaluación en varias organizaciones obstaculiza la capacidad de la función de evaluación para desempeñar un papel clave en impulsar el cambio en el sistema de las Naciones Unidas. A ello se asocia la estructura funcional desagregada del sistema de las Naciones Unidas.

B.Función de evaluación descentralizada

8.La ausencia de un marco institucional global y bien definido, basado en políticas de evaluación o gestión basada en resultados, hace que la función descentralizada sea frágil.

9Las políticas, normas y estándares y los recursos para las evaluaciones descentralizadas son inadecuados.

10.La credibilidad de la función descentralizada ha mejorado, pero aún queda mucho por hacer.

11.El uso y el aprendizaje de la evaluación descentralizada están limitados por una cultura organizativa que se centra sobre todo en la rendición de cuentas y la capacidad de respuesta a los donantes.

12.La función descentralizada tiene un papel importante que desempeñar para abordar los cambios actuales y emergentes y las reformas del sistema de las Naciones Unidas, pero debe ser parte integral de un enfoque estratégico general para el desarrollo de la función de evaluación para que pueda hacer una contribución

Written by cplysy · Categorized: TripleAD

Jan 07 2021

We need teachers today.

When I was a senior in high school, I thought the coolest job would be to serve as a member of Congress. 

I was lucky to be part of an amazing course (in a public school, might I add!) called Government and Law-Related Experiences, affectionately known as GALRE.

Our teacher, Doug Martin, a hero of mine, is a Vietnam veteran who continued to serve his country by educating thousands of students about their civic rights and duties, in honor of his friend who didn’t make it home from the war.

He taught us to be good citizens, but more importantly, he modeled for us how to be good people and to enjoy life in the process.

We had frequent guest speakers in the course — GALRE alumni, community leaders, and elected officials on all levels — who would come talk to us and answer our questions.

We also had to complete “outside experiences,” where we immersed ourselves in the local community and political scene. I was canvassing and registering voters before I was old enough to vote myself.

The class culminated in a three-day, whirlwind trip to Washington, DC, where we got to see the federal government operate in real life. 

GALRE inspired me to pursue a degree in Political Science and spend my career in service of others and the common good. 

As I watched the horrific news of the insurgence of white supremacist domestic terrorists on the nation’s Capitol yesterday, I found myself thinking back to our trip to DC, sitting on the steps of the Capitol building with my classmates, imagining working there one day.

More importantly, I keep thinking how safe I felt being with a teacher like Mr. Martin during times of national (9-11 occurred when I was a sophomore) and even personal times of crisis.

That level of security — that my teachers could help me process what was happening and reassure me that, by learning from history, we would pull through any challenge — is something I wish for all students. 

Mr. Martin was a huge inspiration for me when I became a Social Studies teacher in Baltimore.

I brought in guest speakers, helped my students participate in a civics education competition, and took them on field trips to see where history happened in their local communities. Following the guidance of a veteran teacher at my school, I tried my best to teach my students the “real” version of early U.S. history and impart the lessons I learned from Mr. Martin.

As I watched yesterday’s events unfold, I kept thinking about today’s generation of students and all the challenges they have faced over the past year.

I worry about the quality of social studies education they are receiving. 

Are they receiving the white-washed, textbook version of history that will only perpetuate the bigoted culture that we’re seeing on display?

Or are they learning about the suffering and triumph of people from all racial and ethnic groups, the truth about how government has perpetuated inequity, and how they can play a role in making things better?

Worse, are they learning about history at all?

Most of all, I find myself wondering if they have a Mr. Martin in their lives to help them feel safe and make sense of what’s tearing our country apart during this scary time. 

I may not be a social studies teacher anymore, but the lessons I learned in G.A.L.R.E. and my time in the classroom have informed my work today.

I truly believe that we can all begin chipping away at the ills of our society through our own actions: how we support others, how we engage and empower children and families, and how we ensure that everyone gets what they need to thrive. 

To all the social studies (or other!) teachers having difficult conversations with their students today and making them feel safe in an increasingly unstable world, thank you. You are making a difference.

Written by cplysy · Categorized: engagewithdata

  • « Go to Previous Page
  • Go to page 1
  • Interim pages omitted …
  • Go to page 209
  • Go to page 210
  • Go to page 211
  • Go to page 212
  • Go to page 213
  • Interim pages omitted …
  • Go to page 304
  • Go to Next Page »

Footer

Follow our Work

The easiest way to stay connected to our work is to join our newsletter. You’ll get updates on projects, learn about new events, and hear stories from those evaluators whom the field continues to actively exclude and erase.

Get Updates

Want to take further action or join a pod? Click here to learn more.

Copyright © 2026 · The May 13 Group · Log in

en English
af Afrikaanssq Shqipam አማርኛar العربيةhy Հայերենaz Azərbaycan dilieu Euskarabe Беларуская моваbn বাংলাbs Bosanskibg Българскиca Catalàceb Cebuanony Chichewazh-CN 简体中文zh-TW 繁體中文co Corsuhr Hrvatskics Čeština‎da Dansknl Nederlandsen Englisheo Esperantoet Eestitl Filipinofi Suomifr Françaisfy Fryskgl Galegoka ქართულიde Deutschel Ελληνικάgu ગુજરાતીht Kreyol ayisyenha Harshen Hausahaw Ōlelo Hawaiʻiiw עִבְרִיתhi हिन्दीhmn Hmonghu Magyaris Íslenskaig Igboid Bahasa Indonesiaga Gaeilgeit Italianoja 日本語jw Basa Jawakn ಕನ್ನಡkk Қазақ тіліkm ភាសាខ្មែរko 한국어ku كوردی‎ky Кыргызчаlo ພາສາລາວla Latinlv Latviešu valodalt Lietuvių kalbalb Lëtzebuergeschmk Македонски јазикmg Malagasyms Bahasa Melayuml മലയാളംmt Maltesemi Te Reo Māorimr मराठीmn Монголmy ဗမာစာne नेपालीno Norsk bokmålps پښتوfa فارسیpl Polskipt Portuguêspa ਪੰਜਾਬੀro Românăru Русскийsm Samoangd Gàidhligsr Српски језикst Sesothosn Shonasd سنڌيsi සිංහලsk Slovenčinasl Slovenščinaso Afsoomaalies Españolsu Basa Sundasw Kiswahilisv Svenskatg Тоҷикӣta தமிழ்te తెలుగుth ไทยtr Türkçeuk Українськаur اردوuz O‘zbekchavi Tiếng Việtcy Cymraegxh isiXhosayi יידישyo Yorùbázu Zulu