The May 13 Group

the next day for evaluation

You are here: Home / Archives for cplysy

cplysy

Muestreo con Propósito: de la Paella con Plátano al Menú Degustación

🌶PRÓLOGO: ¿QUÉ NOS ESTAMOS COMIENDO?

Hay cosas que deberían tener criterio.

Una es la comida.

Otra es la selección de casos en una evaluación.

Y sin embargo, más de una vez, alguien dice:

“Haremos muestreo intencional… iremos a donde parezca interesante”.

Eso, traducido al lenguaje culinario, es:

“Hice una paella… con lo que había en la nevera”.

Y así acabas comiéndote mejillones con plátano y salchichas.

Lo mismo pasa en evaluación: sitios mal elegidos, visitas inútiles, narrativas sin sentido.

El resultado: un trabajo de campo indigesto y conclusiones flojas.

🍽 ¿QUÉ ES (Y QUÉ NO ES) EL MUESTREO INTENCIONAL?

Es:

  • Seleccionar sitios y personas porque aportan valor directo a las preguntas de evaluación.
  • Hacerlo con base en la teoría del cambio, hipótesis claras y brechas de información.
  • Asegurar variedad estratégica (zonas, resultados, modelos, públicos).

No es:

  • Ir “donde queda cerca del aeropuerto”.
  • Visitar “lo que propone la contraparte”.
  • Elegir casos “raros” o “fotogénicos” sin razón clara.
  • Armar un recorrido “para quedar bien” con todo el mundo.

👨‍🍳 ¿CUÁNDO SABE BIEN Y CUÁNDO SE TE INDIGESTA?

🥇 Ejemplos de muestreo con estrella Michelin:

  • Diversidad útil: visitas a proyectos en diferentes contextos (urbanos/rurales, con y sin apoyo institucional, exitosos y fallidos).
  • Contraste de resultados: selección deliberada de experiencias positivas y negativas para entender qué factores marcan la diferencia.
  • Diseño combinado: mayoría de sitios intencionales + unos pocos aleatorios para evitar sesgos.

🥴 Ejemplos de paella con plátano (basados en la vida real):

  • El tour decorado: solo se visitan los proyectos “lindos” que la contraparte quiere mostrar. El informe queda edulcorado.
  • Logística por encima de lógica: visitas solo a lugares accesibles. Se ignoran contextos remotos clave.
  • El proyecto unicornio: se dedica medio informe a un piloto muy llamativo… que representa menos del 3 % del presupuesto.

CÓMO HACERLO BIEN (Y QUEDAR COMO UN CHEF DE LA EVALUACIÓN)

Paso 1: Partir de las preguntas

Identifica qué subpreguntas puedes realmente responder en campo. Define qué información necesitas validar, triangular o completar.

Paso 2: Formular hipótesis

Antes de visitar nada, plantéate qué supuestos quieres verificar. Eso te ayuda a saber dónde ir y a quién escuchar.

Paso 3: Establecer criterios claros

Define y documenta por qué vas a cada sitio:

  • ¿Es representativo?
  • ¿Contrasta con otros?
  • ¿Tiene valor para validar hipótesis?

Incluye también criterios de exclusión (por ejemplo, si un sitio ya ha sido evaluado recientemente o si no aporta nueva información).

Paso 4: Diseña la visita como una matriz

Relaciona cada sitio con:

  • Subpreguntas de evaluación
  • Hipótesis a validar
  • Técnicas a aplicar (entrevistas, grupos focales, observación)

Paso 5: Un toque de aleatoriedad

Aunque el enfoque sea intencional, incluir uno o dos casos seleccionados al azar te da credibilidad y te ayuda a romper sesgos.

Paso 6: Chequeo previo

Haz llamadas o entrevistas exploratorias para confirmar la pertinencia de los sitios antes de cerrar el itinerario.

Paso 7: Transparencia

Para cada sitio, deja constancia escrita de:

  • Por qué se eligió
  • Qué se espera aprender
  • Qué riesgos de sesgo existen y cómo se manejan

🛠 ANEXO PRÁCTICO PARA EL TRABAJO DE CAMPO

Objetivo del anexo:

Asegurar que la estrategia de muestreo permita un trabajo de campo eficiente, relevante, riguroso e independiente.

Elementos clave:

1. Evaluabilidad de las preguntas

  • ¿Qué subpreguntas pueden responderse en campo?
  • ¿Qué métodos (cualitativos o cuantitativos) son adecuados?
  • ¿Qué información falta y debe buscarse en terreno?

2. Marco de hipótesis e información pendiente

  • ¿Qué supuestos o mecanismos clave quieres verificar?
  • ¿Qué datos faltan para completar tu teoría del cambio?
  • ¿Cómo los vas a triangular?

3. Criterios de selección

  • Relevancia del sitio en relación a las preguntas
  • Diversidad (geográfica, de resultados, de beneficiarios)
  • Disponibilidad de información y actores clave

4. Itinerario lógico y técnicas de recolección

  • Organiza un recorrido coherente
  • Relaciona cada visita con una técnica y propósito
  • Considera riesgos de sesgo (por ejemplo, solo oír voces favorables)

5. Matriz para planificar las visitas (ejemplo de columnas)

Pregunta de evaluación Evaluabilidad Hipótesis / Información clave Técnicas Criterios de selección Propósito de la visita Sitio propuesto

🚀 IDEAS INNOVADORAS PARA EVALUACIONES CON SABOR

  • Mapa de hipótesis: selecciona sitios donde se puedan probar hipótesis críticas.
  • Muestreo de historias: casos que representen diferentes trayectorias (éxito, crisis, estancamiento, innovación fallida).
  • Casos contradictorios intencionales: incluye sitios donde no pasó lo que se esperaba.
  • Mini panel ciudadano: involucra a usuarios en la priorización de sitios.
  • Auditoría de sesgos del equipo: revisa tus propias inclinaciones antes de definir el plan.

📋 TABLA RESUMEN: GOURMET vs. PAELLA SORPRESA

Muestreo Gourmet 🥇 Muestreo Caótico 🌀
Basado en teoría del cambio Basado en logística o intuición
Criterios claros y documentados Decisiones improvisadas
Diversidad estratégica Casos repetidos o decorativos
80 % intencional + 20 % aleatorio 100 % conveniencia
Pre-chequeo remoto Itinerario cerrado sin revisión
Transparencia en decisiones Criterios no explicitados

📚 REFERENCIAS

📊ANEXO INFOGRAFÍA FINAL: Muestreo con Propósito, con Sabor

1. ¿Qué es el muestreo intencional?

✅ Elegir casos clave para responder preguntas y validar hipótesis

❌ No ir “donde sea”, ni elegir solo lo más bonito

2. Pasos para hacerlo bien

  • Partir de preguntas claras
  • Formular hipótesis
  • Establecer criterios de selección y exclusión
  • Relacionar cada sitio con técnica y propósito
  • Incluir una pizca de aleatoriedad
  • Chequear previamente la relevancia
  • Documentar todo de forma transparente

3. Ejemplos buenos y malos

✅ Visitar comunidades diversas

✅ Contrastar éxitos y fallos

❌ Tour turístico de proyectos estrella

❌ Elegir lo más fácil o lo más exótico sin razón

4. Diferencias clave

Gourmet 🍷 Sorpresa 🥴
Basado en TdC y hipótesis Basado en logística
Criterios justificados Criterios ocultos o inexistentes
Variedad relevante Muestra homogénea o decorativa
Control de sesgos Reproducción de narrativas
Iteración y chequeo Improvisación

Nota: Este artículo fue redactado con apoyo de inteligencia artificial, que también sugirió algunas de las referencias bibliográficas incluidas. Sin embargo, las ideas centrales, el enfoque y la selección final del contenido son completamente mías

Behind the Scenes: Developing a FreshSpectrum Content Strategy

Where do I start?

If you read my last blog post, you’ll know a little about my plans to turn FreshSpectrum from being my personal/consulting blog into a kind of evaluation forever conference.

At this moment in time, early August of 2025, I have lots of ideas and zero funding. I have done a little work rewriting some of the website copy, and restructuring pages a bit. But the biggest fuel for growth on the web is not intent or structure, but content.

Whether it’s blog posts, videos, newsletters, or podcasts, the act of regularly producing content anchors any website. And when you have little time, focus is critically important.

Building on my strengths.

Here’s what I know about myself.

First, I write like I speak. And apparently, I speak like a middle school teacher.

I’ve been using AI lately to analyze content on different resource websites. I’ve also turned that analysis on myself. Even my more technical blog posts rarely go above an 8th grade reading level. And most of the time I’m writing at like a 5th or 6th grade level.

For the last decade I thought my cartoons and illustrations were my differentiator, and they are to some extent. But I didn’t really consider my writing style as being all that unique. Sure, I’m more informal than a lot of sources, but I still talk about technical stuff.

Turns out, at least in evaluation, the way I write is super rare.

To give you an example, here is what the AI analysis says about how I write here at FreshSpectrum and the content written at Better Evaluation.

FreshSpectrum is 6+ grade levels more accessible than BetterEvaluation, reflecting fundamentally different communication philosophies:

  • BetterEvaluation serves as a comprehensive professional resource, using academic language appropriate for its expert audience
  • FreshSpectrum functions as an accessible learning platform, using conversational language to make complex topics approachable

Both styles are effective for their intended purposes, but FreshSpectrum’s approach would reach a much broader audience while BetterEvaluation’s style maintains the precision and authority expected in professional evaluation contexts.

Analysis by Claude.AI

What should I focus on creating, first?

Until I’m able to generate at least some sponsorship or partnership funding, I’m going to be limited in how much time I can commit to creating stuff. So I need to make a choice.

I think there are four different types of content that could anchor this site. This is beyond my regular blogging/cartooning.

Evaluation Simple Tutorials.

When I talked about “recipes” this is what I had in mind. Basically, the idea would be to create short focused step by step tutorials for different evaluation activities (ex. How to create a simple logic model, Creating a basic evaluation rubric, Designing a one page report). These could eventually be organized into collections.

Evaluation Practitioner Guides.

Evaluation practitioner guides are deeper dives into practical evaluation topics. The posts would be longer and more comprehensive but still written with my middle teacher voice. I could also adapt popular, academically written, guides and pdfs into accessible long-form blog posts (ex. FreshSpectrum guide to Formative, Summative, and Developmental Evaluation, a Practitioners Guide to Systems Evaluation, Breaking Down the CDC’s 2024 Evaluation Framework).

Evaluation Expert Webinars.

Webinars are about tapping into the broader evaluation community. The idea would be to have casual conversations with Evaluators to talk about their work. So if someone publishes an interesting paper, let’s talk to them about it. The evaluation world is filled with authors, presenters, bloggers, and practitioners that might join me for a little bit to talk about their work in front of a live audience.

Evaluation Courses

On this list, courses are the most involved. These would be created with my style but built against a set of learning objectives. My idea for these would be to launch each as a series of live webinars. Then I will adapt these webinars into self-paced courses.

The Other Stuff

I have no shortage of ideas, that’s never been my problem. So I do have a bunch of other things I have been considering. But I think in the short term, those four represent what I think would be a good first step.

Want to provide me with your input?

So if you’re reading this soon after I’ve published it, I have a poll going on LinkedIn. Please visit the poll and let me know what you think I should focus on.

Sponsorship & Partnership Updates

So as I mentioned early, I don’t currently have any funding for this work. But I have talked to a bunch of smart people about it and it’s helped me come up with a strategy.

I don’t think I should just go after grant funding. It would take a good amount of time and energy to do so, and that would take away from just diving in and creating content.

Instead, I plan to search for Sponsors and Partners.

My Sponsor Pitch.

My sponsor pitch is pretty simple. I’m going to ask companies who usually sponsor events like live conferences to sponsor this website. I already reach more people than most conferences and get really high open rates on my newsletters.

I don’t plan to fill this website up with ads, instead I want to get sponsors to help me develop specific pieces of content. This would naturally put them in front of my audience via my emails, this website, and any social media sharing I would do for that piece of content.

My Strategic Partnership Pitch

My partnership pitch is a bit different. I want to work with organizations interested in increasing the accessibility and engagement of their own evaluation resources. To do this, I would adapt one (or a few) of their resources into FreshSpectrum Practitioner Guides and share them on this website.

The act of adapting materials naturally results in a set of illustrations and social media assets. Taking a PDF written at a graduate reading level and adapting it to a series of blog posts, illustrated with comics, and written with my middle school teacher voice would greatly increase reach. I’d also provide the evaluation analytics to prove it along with some content strategy consulting.

This would be perfect for organizations already publishing evaluation resources in PDFs that really want to do something to spread their work beyond just a few downloads.

Want to help?

In the future I’ll be looking for experts, but in the meantime if you know anyone who make a good sponsor or partner, could you provide an introduction? And if you have any questions, just reach out and let me know (https://freshspectrum.com/contact/).

Duelo Final: Realist, Contribution y Theory-Based en la Corte de la Evaluación

Una sala imponente. Mármoles brillantes. El eco de pasos firmes resuena mientras se abren las puertas del Gran Tribunal Evaluativo. En el estrado, un jurado severo observa en silencio. Tres evaluadores —con estilos distintos, trajes de lógica y argumentos afilados— se preparan para defender su enfoque. El caso: evaluar un programa de prevención comunitaria en municipios priorizados. El reto: demostrar cuál enfoque evaluativo explica mejor cómo, por qué y con qué efectos funciona.

Escena I: El caso a resolver

Objeto evaluativo:

Un programa implementado por una Agencia y aliados locales para fortalecer capacidades municipales, prevenir violencia en comunidades y usar un sistema de información (SIGADENAH) en decisiones locales.

Preguntas evaluativas clave (EQs):

  • ¿Cómo cambiaron las capacidades institucionales?
  • ¿Qué facilitó la adopción del modelo?
  • ¿Cómo se integraron las acciones preventivas?
  • ¿Qué tan útil es el Programa?

Escena II: Entran los tres enfoques

El Realista – voz grave, mirada penetrante, carpeta de C–M–R en mano

“Honorables miembros del jurado… yo no busco demostrar si el programa funcionó. Busco comprender qué funcionó, para quién y en qué condiciones.”

Método:

Mapeo de Contextos (C) – Mecanismos (M) – Resultados (R)

Ejemplo realista:

“En municipios con liderazgo político comprometido (C), la inversión en prevención (M) activa un sentido de agencia local (R).”

Evidencia:

Entrevistas contextuales, teoría media-range, comparación entre municipios con y sin contexto favorable.

Fuerza:

✔ Explica la lógica interna y los factores que activan el cambio.

Debilidad:

❌ No siempre cuantifica la magnitud de resultados ni atribuye causalidad.

La Theory-Based – didáctica, pizarrón en mano, lógica impecable

“Mi enfoque no narra. Mi enfoque verifica. Evalúo si la Teoría del Cambio del programa es válida y útil con base en evidencia.”

Método:

  • Validación o refutación de la lógica causal: de insumos a impacto.
  • Verificación de supuestos y condiciones intermedias.

Ejemplo:

“¿Las actividades comunitarias realmente llevan a mayor cobertura del modelo, como plantea la ToC? ¿Se cumplen los supuestos socioculturales?”

Evidencia:

Matriz de Preguntas de Evaluacion cruzadas con resultados esperados, supuestos y datos. Triangulación rigurosa.

Fuerza:

✔ Rigurosidad lógica. Claridad en hipótesis evaluables.

Debilidad:

❌ Puede resultar rígida en contextos de cambio no lineal.

El Contribution Analyst – con voz firme, paso teatral, y un “story of change” entre manos

“Señoría, no vengo a probar causalidad como en un laboratorio. Vengo a mostrar que este programa contribuyó significativamente al cambio, en interacción con otros factores.”

Método:

  • Reconstrucción de la “historia de cambio”.
  • Identificación de evidencia que respalde los eslabones causales.
  • Análisis de alternativas plausibles.

Ejemplo:

“Los municipios con más cobertura de intervenciones coinciden con mayor percepción de legitimidad del modelo. Pero… ¿fue la Agencia, fue el contexto, o ambos?”

Evidencia:

Encuestas, revisión documental, entrevistas, comparación entre casos.

Fuerza:

✔ Explica contribución sin caer en determinismo.

Debilidad:

❌ No establece relaciones causales fuertes, sino plausibles.

Escena III: El veredicto del Jurado

El mazo suena. El juez habla:

“Tras escuchar sus argumentos, declaro que… ¡ninguno gana solo! Y, al mismo tiempo, todos ganan.”

Argumento del jurado:

  • El Realist nos muestra los porqués profundos: qué activa o bloquea el cambio según el contexto. Fundamental para diseñar mejoras adaptativas.
  • La Theory-Based nos da el mapa lógico: nos obliga a contrastar supuestos, verificar coherencia, y conectar datos con teoría.
  • La Contribution Analysis aporta una narrativa robusta y empírica sobre cómo se dio el cambio, evitando juicios erróneos de atribución.

“Solo cuando se combinan sus enfoques tenemos una visión polifónica, densa, y verdaderamente útil.”

Epílogo: Una evaluación rica es un coro metodológico

En vez de pelear por supremacía, los tres enfoques nos enseñan que:

✅ Podemos usar la Teoria del Cambio como punto de encuentro.

✅ Diseñamos Preguntas de Evaluacion para cada uno: unos para contextos (Realist), otros para lógica (TBE), otros para contribución (CA).

✅ Triangulamos datos, pero también triangulamos enfoques.

✅ No buscamos verdades absolutas, sino explicaciones útiles para decidir y mejorar.

¿Qué puedes hacer como evaluador/a?

Diseña una TdC con hipótesis, supuestos y caminos claros.

Elige enfoques según los desafíos del programa.

¡No tengas miedo de combinar voces evaluativas!

Recuerda: como en una buena obra, la evaluación es un arte narrativo… pero también un método riguroso.

 ¿Qué te pareció este duelo?

  • ¿Te ha tocado defender un enfoque frente a otros?
  • ¿Combinas metodologías en tus evaluaciones?
  • ¿Te gustaría que hiciéramos una segunda parte con ejemplos visuales y fichas por enfoque?

Déjamelo en comentarios

Y si necesitas facilitación metodológica en tu próximo desafío, tenemos capa de superhéroes lista

What’s Next: Building a FREE Forever Conference

I believe the evaluation world is underserved, let’s change that.

I started this blog a little over 15 years ago as a hobby and creative outlet sharing my work with just a handful of people.  A year and a half later, I started including cartoons in my posts and growing a following on Twitter.

Flash forward to today, I’ve now published 718 blog posts and shared thousands of single-panel comics.  My cartoons can be found in presentations, resource websites, course materials, and textbooks world wide. 

I reach just about 3,000 evaluators through my regular email newsletter. Through LinkedIn, in the past year, my posts have reached 40K with 228K impressions. Also in the past year, I have also served 155K+ users across 219 countries through FreshSpectrum.com alone.  This includes 1,000+ users in each of 22 different countries.

But I think we’re barely scratching the surface of what’s possible.

There is a monitoring & evaluation professionals group on LinkedIn that has 88K+ members.  Just based on that, I think we can fairly say that the global evaluation audience is over 100K.

But then you should also consider the evaluation “home cooks.” These are the nonprofit staff, program managers, researchers, government employees, and all the other folks who do some evaluation work but don’t tend to identify as evaluators.  Just from experience, I would estimate that these home cooks outnumber self-identified evaluators by at least 20 to 1.

Putting it all together.  20 * 100K = 2 million.

The evolution of FreshSpectrum.com

This website has become a hub for the global evaluation community…accidentally.  My new goal is to intentionally build and strengthen that community.  This means leveraging the existing platform and amplifying what works.

Here is exactly what I would like to do.

Reach

  • Develop evaluation “recipe” collections, step by step tutorials designed to make evaluation methods and theory more approachable for evaluation home cooks. 
  • Offer regular free live webinars (monthly) on a variety of evaluation topics, featuring guest evaluators from all around the world. 
  • Continuing to create comics and other easy to share resources.

Teach 

  • Deliver free premium live evaluation workshops through platforms that do not require registration and are auto translatable.
  • Adapt the free live workshop recordings into self-paced courses available through the website without requiring registration.
  • Offer monthly free live office hours sessions, including expert guests when possible, with staggered times to reach different global audiences.

Connect & Amplify

  • Lead intentional asynchronous community discussions through multi-voice blog posts.
  • Review and share resources and feature resource creators to help amplify good work.
  • Community Q&A posts with individual evaluators from across the global community.

What is a conference really?

Networking, education, belonging.  There is no reason that these things have to happen in a hotel over the course of a few days.  My theory, supported by substantial evidence, is that we can reach, teach, and connect more people to evaluation through content creation via WordPress and YouTube.  And not just for a few days, but year round.

Why now?

In terms of interest, evaluation is at a 20 year high point.  In terms of developing effective resources, we are creating less original content than we did 10 years ago.  At the same time, recent U.S. federal funding cuts have eliminated several major evaluation training resources just when they’re needed most.  

Partnership and Sponsor Opportunities:

Creating content (live workshops, courses, recipes) and building community takes a lot of time and energy.  So in order to make this happen, while keeping everything free and low barrier, I need funding.  My personal goal is to move away from consulting and spend full time developing this forever conference.

I’m seeking sponsors who believe in democratizing evaluation information.  Partnership levels ($10K-$50K annually) are similar in structure and cost to conference sponsorships but with year-round engagement and better reach than you could get by paying online marketing firms.

As a strategic partner I can also offer additional benefits you will not get through traditional conference sponsorships.  This includes strategic support, co-branded content creation, website and resource evaluation, private training, comic illustration, and the ability to help inform the direction of FreshSpectrum.com.

How You Can Help:

Know someone who might sponsor this? – I need partners who believe evaluation knowledge should be accessible to everyone, not just the few who consider themselves professional evaluators and can afford conferences. If you are someone who could sponsor, or know someone, reach out via email and/or schedule a time to chat > https://freshspectrum.com/contact.

Pledge your support – Want to pledge support as a community member? Fill out our form and help me prove the value to potential sponsors. Click here to join the community waitlist.

en English
af Afrikaanssq Shqipam አማርኛar العربيةhy Հայերենaz Azərbaycan dilieu Euskarabe Беларуская моваbn বাংলাbs Bosanskibg Българскиca Catalàceb Cebuanony Chichewazh-CN 简体中文zh-TW 繁體中文co Corsuhr Hrvatskics Čeština‎da Dansknl Nederlandsen Englisheo Esperantoet Eestitl Filipinofi Suomifr Françaisfy Fryskgl Galegoka ქართულიde Deutschel Ελληνικάgu ગુજરાતીht Kreyol ayisyenha Harshen Hausahaw Ōlelo Hawaiʻiiw עִבְרִיתhi हिन्दीhmn Hmonghu Magyaris Íslenskaig Igboid Bahasa Indonesiaga Gaeilgeit Italianoja 日本語jw Basa Jawakn ಕನ್ನಡkk Қазақ тіліkm ភាសាខ្មែរko 한국어ku كوردی‎ky Кыргызчаlo ພາສາລາວla Latinlv Latviešu valodalt Lietuvių kalbalb Lëtzebuergeschmk Македонски јазикmg Malagasyms Bahasa Melayuml മലയാളംmt Maltesemi Te Reo Māorimr मराठीmn Монголmy ဗမာစာne नेपालीno Norsk bokmålps پښتوfa فارسیpl Polskipt Portuguêspa ਪੰਜਾਬੀro Românăru Русскийsm Samoangd Gàidhligsr Српски језикst Sesothosn Shonasd سنڌيsi සිංහලsk Slovenčinasl Slovenščinaso Afsoomaalies Españolsu Basa Sundasw Kiswahilisv Svenskatg Тоҷикӣta தமிழ்te తెలుగుth ไทยtr Türkçeuk Українськаur اردوuz O‘zbekchavi Tiếng Việtcy Cymraegxh isiXhosayi יידישyo Yorùbázu Zulu