• Skip to main content
  • Skip to footer
  • Home

The May 13 Group

the next day for evaluation

  • Get Involved
  • Our Work
  • About Us
You are here: Home / Archives for allblogs

allblogs

Jan 12 2021

The Data Strategy Show with Samir Sharma

How can we design the best possible dashboards for business leaders? I addressed this question on the Data Strategy Show with Samir Sharma.

Samir Sharma is a data strategy and analytics leader, CEO and Founder of datazuum. He has a history of helping data executives and leaders craft and execute their data strategies. His passion for data strategy led him to launch the Data Accelerator Workshop and host the Data Strategy Show.

Watch the Podcast

Listen to the Podcast

You can also listen to the podcast here:

  • Stitcher
  • Apple Podcasts

What’s Inside 

Here are some of the topics we talked about.

Challenges Faced by Companies Trying to Visualize Their Data

Samir asked what are typical data visualization challenges that come up again and again. Ann said, “I think a big challenge I see with organizations is the people with data backgrounds, I think it’s so easy for us to forget that not everybody is a data person. I have to constantly remind myself, ‘Most people hate spreadsheets. They see it as a chore, and a burden, it’s just overly detailed and they can’t find what they need.”

While Samir serves as the bridge between business leaders and more data focused people, Ann noted that “if you’re trained in the weeds and details like I was, you’re never exposed to those business leaders. You have no training on how to work with those people necessarily.

Ann said she sees, “Organizations that will spend weeks or months creating the perfect dashboard or the perfect such and such tool. But they’ve never really tested it along the way. And they’ll get user feedback like, “I don’t like the colors.” Something really irrelevant but it just show the user is not really thinking deeply about the data because they weren’t engaged in the process.”

What We Should be Thinking About When Creating or Re-Designing Dashboards

“I see people assuming that developing a dashboard is going to take forever and cost a ton of money. That it’s going to be this months long process where they have to buy this new software program, they have to send their staff to training on this software program, they have to link all these data sources…”, Ann said. “They think it’s going to be this huge process so they think as long as this dashboard is taking forever, it better serve all of our needs. It better be this audience and this audience and this audience.”

Ann shared that during the planning process of each new project, she asks, “Who is this dashboard for?”

How to Learn More about Data Visualization

Samir asked what Ann’s advice would be for someone who wants was starting out in data visualization. Ann said, “I think a lot of us get wrapped up in tools, but there are so many tools available, more being invented. I think it’s really stressful, daunting, overwhelming for someone entering the field [to think], do I learn coding? Do I do the spreadsheet route? Do I do a drag-and-drop-dashboard route like Tableau or Power BI? There’s also the more graphic design route like do you specialize in Illustrator? Publisher? I think we feel like we have to master all of them and that’s just not possible. You’d spend your whole career just learning tools.

She advises to earn what’s out there and then specialize in just one tool. “I had this big crossroads maybe five years ago where I felt this pressure to go learn R. I just felt so much pressure and I just had to kind of let that go,” Ann said.

“The first step to getting started is letting go of this ridiculous, ambitious goal that we have that, ‘I’m going to learn every single tool, get certifications in it. I’m going to put all these skills in my resume.’ Just learn a tool and very, very comfortable and confident with that.”

Connect with Samir Sharma

LinkedIn: @samirsharma1

Website: www.datazuum.com

Written by cplysy · Categorized: depictdatastudio

Jan 11 2021

Algunas recomendaciones para la función de evaluación en el sistema de Naciones Unidas

Como indicábamos en el post anterior “Algunos retos de la función de evaluación en el sistema de Naciones Unidas“, el informe “ANÁLISIS DE LA FUNCIÓN DE EVALUACIÓN EN EL SISTEMA DE LAS NACIONES UNIDAS (2014)”  contiene los resultados de un estudio de la “UN Joint Inspection Unit (JIU)”  sobre la evolución, el desarrollo y el avance de la función de evaluación en el sistema de las Naciones Unidas. El estudio abordó las siguientes preguntas: ¿Ha habido avances en el crecimiento y desarrollo de la función de evaluación en el sistema de las Naciones Unidas? ¿Cuál es el nivel de desarrollo de la función de evaluación? ¿Cuál es su capacidad para apoyar a las organizaciones del sistema de las Naciones Unidas y su respuesta a demandas, cambios y desafíos? ¿Cómo ha añadido valor? ¿Qué enfoques alternativos existen para una función de evaluación eficaz que sirva al sistema de las Naciones Unidas en el contexto actual?

El siguiente es un resumen de las principales recomendaciones abordadas en el informe:

Recomendación 1 Mejora de la función

Los jefes ejecutivos de las organizaciones del sistema de las Naciones Unidas cuya función de evaluación central está coubicada e integrada con otras funciones de supervisión, o integrada con las funciones de gestión ejecutiva, deben mejorar la función y velar por su calidad, integridad, visibilidad y valor añadido.

Recomendación 2 Aprendizaje y Rendición de cuentas

Los jefes ejecutivos de las organizaciones del sistema de las Naciones Unidas deben adoptar un enfoque equilibrado al abordar el propósito de la evaluación, tomando en consideración la rendición de cuentas, así como el desarrollo de una cultura del aprendizaje que incluya sistemas apropiados de incentivos a la innovación, la asunción de riesgos y al empleo de perspectivas multidisciplinares.

Recomendación 3 Marcos y planes presupuestarios 

Los órganos legislativos deben solicitar a los jefes ejecutivos de las organizaciones del sistema de las Naciones Unidas que desarrollen marcos presupuestarios y planes de asignación de recursos amplios para sus respectivas funciones de evaluación, sobre la base del costo de mantenimiento de una función de evaluación efectiva y sostenible que añada valor a la organización. Los planes deben someterse al examen de los órganos legislativos con arreglo a los procesos y mecanismos vigentes de elaboración de presupuestos y presentación de informes.

Recomendación 4 Jefes de las Oficinas de Evaluación

Los órganos legislativos deben instar a los jefes ejecutivos de las organizaciones del sistema de las Naciones Unidas a que, en caso necesario, examinen y revisen las políticas vigentes relativas al nombramiento de los jefes de las oficinas de evaluación, con el fin de promover la independencia, la integridad, la ética, la credibilidad y la inclusión, teniendo debidamente en cuenta los criterios siguientes:

  • Debe establecerse un único mandado no renovable de cinco a siete años, sin posibilidad de que el titular del cargo se reincorpore a la organización;
  • El jefe de evaluación debe tener las calificaciones requeridas y amplia experiencia en materia de evaluación, además de experiencia en las esferas conexas de planificación estratégica, investigación básica y operacional, y gestión de los conocimientos, y debe poseer excelentes capacidades de gestión y liderazgo.

Recomendación 5 UNEG contribuye a garantizar la calidad

El Secretario General de las Naciones Unidas, en su calidad de Presidente de la Junta de los Jefes Ejecutivos del Sistema de las Naciones Unidas para la Coordinación, debe solicitar al UNEG que colabore en el desarrollo de un sistema sólido y armonizado de garantía de la calidad de la función de evaluación en todo el sistema.

Recomendación 6 Marcos, planes e indicadores de actividades de evaluación

Los jefes ejecutivos de las organizaciones del sistema de las Naciones Unidas deben otorgar prioridad al empleo de la evaluación sobre la base de metas, estrategias y marcos de resultados bien definidos para la función, y deben informar a sus órganos legislativos sobre el nivel, la naturaleza y el impacto del empleo de la evaluación.

Recomendación 7 Pertinencia de la función de evaluación

Los jefes ejecutivos del sistema de las Naciones Unidas deben solicitar a las dependencias de evaluación que valoren de nuevo las políticas, estrategias y prioridades de la función de evaluación. Deben posicionar la función de evaluación en sus respectivas organizaciones de forma estratégica para aumentar su pertinencia, con miras a que el sistema de las Naciones Unidas pueda afrontar los cambios y desafíos actuales y lograr impacto y sostenibilidad.

Recomendación 8 Innovación para la colaboración

El Secretario General, en su calidad de Presidente de la Junta de los Jefes Ejecutivos del Sistema de las Naciones Unidas para la Coordinación, debe adoptar medidas y apoyar la innovación respecto de la colaboración entre las organizaciones del sistema de las Naciones Unidas así como con otros asociados, a fin de fortalecer las capacidades nacionales de evaluación de manera que se tengan en cuenta la rendición de cuentas, el aprendizaje y el desarrollo de conocimientos que aporten valor a escala nacional y mundial.

Recomendación 9 Calidad y valor añadido de la evaluación

Los jefes ejecutivos de las organizaciones del sistema de las Naciones Unidas deben elaborar el marco institucional y los sistemas de apoyo necesarios para aumentar la calidad y el valor añadido de la evaluación descentralizada e intensificar el apoyo que prestan al sistema de las Naciones Unidas con el fin de afrontar los desafíos emergentes, por ejemplo los contemplados en la agenda para el desarrollo después de 2015, y para mejorar la coherencia y las alineaciones respecto de la evaluación en las organizaciones del sistema y entre ellas, así como con las instituciones nacionales.

Written by cplysy · Categorized: TripleAD

Jan 08 2021

What is Summative Evaluation? Cartoon Glossary

This is a series of posts providing quick of overviews of important topics in research and evaluation. Each post in this series will include 3 cartoons from my archives along with 3 links to recommended resources.

Summative Evaluation can be the Scary One for Program People

What is Summative Evaluation Cartoon by Chris Lysy.

So is summative evaluation the one where we dash the program's hopes and dreams?

BOTTOM LINE – Summative evaluation requires rigorous evidence because the stakes are high. The evaluation data must be high quality and credible to external stakeholders interested in the model.

Evaluation Flash Cards [PDF] – by Michael Quinn Patton for Otto Bremer Trust

Making Sure that a Program Works

What is Summative Evaluation Cartoon by Chris Lysy.

Our program is amazing, we need to bring it to the world!
Okay...but before we do that let's make sure it actually works and doesn't lead to any harmful outcomes.

An evaluation is a systematic and purposeful collection and analysis of data used to document the effectiveness of programs or interventions. Rigorous evaluation can determine if programs or interventions should be maintained, improved, or eliminated. The term summative evaluation (sometimes referred to as ex-post evaluation or outcome evaluation) was first introduced in the mid-1960s by Lee Cronbach and Michael Scriven and refers to a process of evaluating a program’s or intervention’s impact or efficacy through careful examination of program design and management. It is often used to assess the accountability of a program or intervention.

Summative Evaluation – from The SAGE Encyclopedia of Educational Research, Measurement, and Evaluation

Summative, Formative, Developmental Evaluation

What is Summative Evaluation Cartoon by Chris Lysy.

Summative is the customer eating the soup, formative is the chef tasting the soup, developmental evaluation is visiting the farmer's market.

Distinguished evaluation theorist and practitioner Bob Stake has explained, “When the cook tastes the soup, that’s formative; when the guests taste the soup, that’s summative” (quoted in Scriven, 1991, p. 169). More generally, anything done to the soup during preparation in the kitchen is improvement oriented; when the soup is served, summative judgment is rendered by the guests who consume the soup. And what of developmental evaluation in this metaphor?

Developmental evaluation begins when, before cooking, the chef goes to the market to see what vegetables are the freshest, what fish has just arrived, and meanders through the market considering possibilities, thinking about who the guests will be, what they were served last time, what the weather is like, and considers how adventurous and innovative to be with the meal.

Michael Quinn Patton from his book on Developmental Evaluation

Written by cplysy · Categorized: freshspectrum

Jan 08 2021

Relevance Revisited

I wrote this blog post before the outrageous events of January 6, 2021 when a mob of Trump supporters made a violent, anti-democratic attack on the United States Capitol.  I hesitated to post this so soon afterward, fearing poor timing, especially as the aftermath of the event continues to unfold as I write.   But I stand by my words in this blog-“Be bold”- and a promise to myself to not avoid difficult topics or try to “wait it out,” and I ask the same of museums. 

As we enter 2021, we in the museum profession have hard work ahead of us.  In 2020, the museum field as a whole showed itself to be out of step with society, which led me to reconsider a word I hear over and over from museums professionals—relevance.  Over the past twenty years, when I ask (as all evaluators do) “how do you want to benefit your visitors or potential visitors?” the common response from museum professionals is that they want their offerings to be relevant.  I have observed that the pursuit of relevance is a common denominator among museums types.  Consequently, it has been jarring and discouraging as we watched museums in 2020 reveal themselves to be irrelevant. 

Obviously, museums didn’t become irrelevant overnight, but rather the events of 2020—the pandemic, social injustice, economic disparity—shined a light on the ways museums are out of step with their time.  2020 has swiftly exposed much of what museum professionals have been saying about museums amongst themselves for years—that they lack diversity among museum staff, their collections, and museum visitors; that they avoid confronting challenging societal and world problems; and that they are governed by skewed power structures, to name a few.  2020 tore away the status quo that protected many museums from addressing these issues transparently and directly. 

A green road sign in the foreground reads "Vulnerability Just Ahead." The sky is cloudy in the background.
Image credit: Vulnerability Just Ahead Green Road Sign with Dramatic Storm Clouds and Sky, Andy Dean Photography

It is with these thoughts about museums and relevance churning in my mind that I had a stimulating conversation with Emlyn Koster and read his recent article in Informal Learning Review (ILR), Relevance of Museums to the Anthropocene.  Emlyn is a field geologist with three decades of experience as a nature and science museum CEO; he is also a prolific writer and thought leader.  His recent publications and presentations have increasingly infused the largest challenges that confront the Earth with a holistic, past-present-future, all-species perspective.  In his ILR article, Emlyn emphasizes the urgency for relevance and asks museum professionals questions about their museums like, “Why does it exist? How does it align with surrounding environmental and/or societal needs?”  As I read Emlyn’s argument for relevance, one idea kept bubbling up to my consciousness over and over—”Be bold.”  I was speaking to myself as well as the museum profession as a whole.  Now is not the time to skirt around issues, to avoid addressing critical societal problems that are literally right in front of us screaming to be heard.  For museums and museum professionals to be relevant post-2020 is to be bold, to question the status quo, to take risks.  Boldness relates to vulnerability, which I wrote about in the early weeks of the pandemic.  Being truly bold requires that one be vulnerable and being vulnerable requires exposing oneself authentically, faults and all. 

It is within this context that I introduce Emlyn as a guest blogger for RK&A in 2021.   From his vantage point as a geoscientist, museologist, and humanist, Emlyn will explore difficult topics of our time through a series of op-ed style blog posts, imploring museums to be leaders in addressing these issues.  We are looking forward to what Emlyn has to say. 

The post Relevance Revisited appeared first on RK&A.

Written by cplysy · Categorized: rka

Jan 08 2021

Algunos retos de la función de evaluación en el sistema de Naciones Unidas

El informe “ANÁLISIS DE LA FUNCIÓN DE EVALUACIÓN EN EL SISTEMA DE LAS NACIONES UNIDAS (2014)” preparado por Sukai Prom-Jackson y George A. Bartsiotas contiene los resultados de un estudio de la “UN Joint Inspection Unit (JIU)”  sobre la evolución, el desarrollo y el avance de la función de evaluación en el sistema de las Naciones Unidas. El estudio abordó las siguientes preguntas: ¿Ha habido avances en el crecimiento y desarrollo de la función de evaluación en el sistema de las Naciones Unidas? ¿Cuál es el nivel de desarrollo de la función de evaluación? ¿Cuál es su capacidad para apoyar a las organizaciones del sistema de las Naciones Unidas y su respuesta a demandas, cambios y desafíos? ¿Cómo ha añadido valor? ¿Qué enfoques alternativos existen para una función de evaluación eficaz que sirva al sistema de las Naciones Unidas en el contexto actual?

El siguiente es un resumen de las principales conclusiones y los hallazgos de apoyo y los temas clave abordados en el informe:

A.Función de evaluación central

1.La función de evaluación central ha crecido a lo largo de los años, esforzándose por lograr la calidad y la eficiencia, pero el nivel de compromiso con la evaluación en todo el sistema de las Naciones Unidas no está a la altura de la creciente demanda e importancia de la función.

2.La calidad de los sistemas, mecanismos, procesos y productos de evaluación varía en todo el sistema de las Naciones Unidas. Las organizaciones se pueden categorizar en cuatro grupos según el nivel de desarrollo de sus respectivas funciones de evaluación. En la mayoría de los casos, el nivel de desarrollo se ve afectado por el tamaño de la organización, los recursos asignados a la evaluación y la ubicación estructural de la función.

Entorno/Contexto adecuado

3.En el desarrollo de sus funciones de evaluación, las organizaciones se han centrado más en responder a las demandas de rendición de cuentas y no han abordado plenamente otros elementos importantes, como el desarrollo de una cultura de evaluación y el uso de la evaluación como un instrumento de aprendizaje para la organización. Eso limita la sostenibilidad de la función y el valor agregado de la evaluación. No hay una visión y una estrategia global para la evaluación en el marco institucional, que esté anclada en el mandato de la organización, los objetivos corporativos y las agendas de reforma, lo que daría como resultado un enfoque equilibrado del desarrollo de la función.

4.La función de evaluación del sistema de las Naciones Unidas carece de recursos y está sobrecargada.

Credibilidad de la función: independencia y calidad

5.Se ha avanzado en mejorar la credibilidad de la función aumentando su independencia y emitiendo informes de evaluación de mejor calidad, pero es necesario hacer más, en particular para abordar la independencia estructural, la garantía externa de calidad de la función y la calidad de la informes.

Utilidad: uso de la evaluación y efecto del uso

6.Las organizaciones no están predispuestas a un alto nivel de uso de la evaluación para respaldar la política basada en la evidencia y la toma de decisiones para el establecimiento de la dirección estratégica, la mejora programática de las actividades y las innovaciones.

Disponibilidad para apoyar el cambio

7.Factores como los diferentes mandatos y modelos operativos de las organizaciones de las Naciones Unidas, la tendencia hacia el “efecto silo” – sin pensar en términos estratégicos amplios ni considerar alianzas y alineaciones más amplias dentro y entre los organismos de las Naciones Unidas – y el nivel generalmente bajo de la capacidad de evaluación en varias organizaciones obstaculiza la capacidad de la función de evaluación para desempeñar un papel clave en impulsar el cambio en el sistema de las Naciones Unidas. A ello se asocia la estructura funcional desagregada del sistema de las Naciones Unidas.

B.Función de evaluación descentralizada

8.La ausencia de un marco institucional global y bien definido, basado en políticas de evaluación o gestión basada en resultados, hace que la función descentralizada sea frágil.

9Las políticas, normas y estándares y los recursos para las evaluaciones descentralizadas son inadecuados.

10.La credibilidad de la función descentralizada ha mejorado, pero aún queda mucho por hacer.

11.El uso y el aprendizaje de la evaluación descentralizada están limitados por una cultura organizativa que se centra sobre todo en la rendición de cuentas y la capacidad de respuesta a los donantes.

12.La función descentralizada tiene un papel importante que desempeñar para abordar los cambios actuales y emergentes y las reformas del sistema de las Naciones Unidas, pero debe ser parte integral de un enfoque estratégico general para el desarrollo de la función de evaluación para que pueda hacer una contribución

Written by cplysy · Categorized: TripleAD

  • « Go to Previous Page
  • Go to page 1
  • Interim pages omitted …
  • Go to page 211
  • Go to page 212
  • Go to page 213
  • Go to page 214
  • Go to page 215
  • Interim pages omitted …
  • Go to page 310
  • Go to Next Page »

Footer

Follow our Work

The easiest way to stay connected to our work is to join our newsletter. You’ll get updates on projects, learn about new events, and hear stories from those evaluators whom the field continues to actively exclude and erase.

Get Updates

Want to take further action or join a pod? Click here to learn more.

Copyright © 2026 · The May 13 Group · Log in

en English
af Afrikaanssq Shqipam አማርኛar العربيةhy Հայերենaz Azərbaycan dilieu Euskarabe Беларуская моваbn বাংলাbs Bosanskibg Българскиca Catalàceb Cebuanony Chichewazh-CN 简体中文zh-TW 繁體中文co Corsuhr Hrvatskics Čeština‎da Dansknl Nederlandsen Englisheo Esperantoet Eestitl Filipinofi Suomifr Françaisfy Fryskgl Galegoka ქართულიde Deutschel Ελληνικάgu ગુજરાતીht Kreyol ayisyenha Harshen Hausahaw Ōlelo Hawaiʻiiw עִבְרִיתhi हिन्दीhmn Hmonghu Magyaris Íslenskaig Igboid Bahasa Indonesiaga Gaeilgeit Italianoja 日本語jw Basa Jawakn ಕನ್ನಡkk Қазақ тіліkm ភាសាខ្មែរko 한국어ku كوردی‎ky Кыргызчаlo ພາສາລາວla Latinlv Latviešu valodalt Lietuvių kalbalb Lëtzebuergeschmk Македонски јазикmg Malagasyms Bahasa Melayuml മലയാളംmt Maltesemi Te Reo Māorimr मराठीmn Монголmy ဗမာစာne नेपालीno Norsk bokmålps پښتوfa فارسیpl Polskipt Portuguêspa ਪੰਜਾਬੀro Românăru Русскийsm Samoangd Gàidhligsr Српски језикst Sesothosn Shonasd سنڌيsi සිංහලsk Slovenčinasl Slovenščinaso Afsoomaalies Españolsu Basa Sundasw Kiswahilisv Svenskatg Тоҷикӣta தமிழ்te తెలుగుth ไทยtr Türkçeuk Українськаur اردوuz O‘zbekchavi Tiếng Việtcy Cymraegxh isiXhosayi יידישyo Yorùbázu Zulu