Evaluación de impacto. Potencialidades y limitaciones

Hola Rafael,

Interesante cuestión. Creo que las evaluaciones de impacto son posibles para proyectos pequeños y medianos, sobre todo si los costes de evaluación son reducidos o incluso nulos si los evaluadores se prestan a su trabajo desde un punto de vista voluntario o académico.
No estoy familiarizado con lo de promoción del enfoque experimental RCT, quizá podrías ampliarnos a los posibles participantes del debate la información al respecto, y su relación con el rediseño de políticas

Saludos JMT

Como tecnica de proyectos y evaluadora externa, comentarte que, la mayoria de las veces, incluyo una evaluacion de impacto en mis proyectos, aun siendo estos pequeños.
Creo que estas evaluaciones son fundamentales, puesto que realmente recibimos subvenciones, ayuda y apoyos precisamente por el bien que hacemos a la sociedad y que, como receptores de fondos, debemos mostrar que esta ayuda es eficiente, es decir, que llega a la gente.
Por supuesto que, en funcion del tipo de proyecto, tiempo y presupuestos la evaluacion de impacto estara mas completa o no.
No obstante, previendo desde el principio que es necesaria una evaluacion de impacto, y tomando como referencia indicadores tales como interes, participacion u oportunidad entre otros, no resulta tan difici no costoso incluirla.

Hola !!

Pienso que para la evaluación de impacto lo principal no es si el proyecto es pequeño o grande sino el periodo de tiempo transcurrido desde la fecha final de proyecto, puesto que a corto plazo es dificil valorar el impacto.

Saludos,

El objetivo de una evaluación de impacto es discernir los resultados de esa acción por sí misma, sin atribuírla efectos que puedan ser originarios o causados por otras acciones. Esto ya es en sí una dificultad importante, pues los entornos en que la relación cuantitativa proyecto/resultado es unívoca son muy difíciles de establecer en el mundo real.

Al mismo tiempo la evaluación de impacto requiere la formación de al menos un ‘grupo control’ para poder medir qué hubiera pasado si la acción a evaluar no hubiera tenido lugar. El proceso de identificación de ese grupo o grupos, la recolección de datos pertinentes y la realización del correspondiente análisis implica un gran esfuerzo de planificación, racionalidad metodológica, tiempo, personal y… recursos financieros.

Ya que no hay un sistema estándar de evaluación de impacto, el diseño de la misma han de efectuarla profesionales suficientemente cualificados, con conocimiento de las especificidades del proyecto y los contextos geopolíticos del mismo, además de manejo de aplicaciones informáticas por ejemplo del tipo SPSS (Statistical Package for the Social Sciences, programa estadística informática de IBM muy utilizado en ciencias sociales) que requieren cierto dominio técnico una vez que los datos hayan sido obtenidos de manera fiable por las varias metodologías de investigación social.

En internet tenemos múltiples referencias a evaluaciones de impacto en las que la cuestión del coste ocupa un lugar destacado, sobre todo por la necesidad de recursos humanos cualificados en medios donde la información estadística preexistente es generalmente escasa y a veces de dudosa fiabilidad, como lamentablemente es la publicada por los gobiernos de tantos países pobres en gran medida debido a esa falta de recursos.

Estimados colegas y amigos:

Gracias por vuestras aportaciones. Lancé esta cuestión a debate porque en estos momentos, en el plano internacional de la evaluación, el debate sobre la importancia de “medir” el impacto de las acciones de desarrollo, y en general las acciones de política pública, ha cobrado un peso realmente sorprendente. Y digo sorprendente porque algunos de los debates que se han generado son en realidad viejos debates metodológicos.

La cuestión no es tanto si los proyectos deben o no tener impacto. Si por impacto entendemos el nivel más trascendente de resultado, esto es, el que se refiere a cambios significativos en aspectos esenciales de la calidad de vida de las personas, creo que nadie pondrá en duda que es necesario que los proyectos contribuyan a ello. La dificultad llega cuando hablamos de ATRIBUCION de un efecto (el cambio) a una causa (el proyecto). Aquí es donde abrimos el melón, y donde no sólo hay un debate metodológico (casi ese sería el menos problemático), sino un debate político, incluso ético. ¿A quién le interesa medir el impacto como atribución? ¿A todos los actores involucrados o, por ejemplo a los gestores de proyecto, o a los donantes? Por otro lado, los “tomadores de decisión” (tenemos que inventarnos una mejor traducción para “decision makers”) necesitan información sobre políticas que “funcionen” entendido funcionar como un cierto grado de seguridad en el alcance de cierto nivel de resultado cuando invertimos cierto nivel de recurso. Es lógico, y por supuesto legítimo, dado su rol.

Intentaba centrar el debate en la cuestión de el uso de un tipo de enfoque evaluativo precisamente porque el debate internacional también ha transitado los últimos años por ahí. Ha habido un corriente importante de defensores de un modelo muy específico para medir atribución, el diseño experimental (José María, RCT son las siglas en inglés de Randomized Controlled Trial, o diseños de control aleatorio, básicamente lo que comentabas de los grupos de control, pero con una definición muy específica y unas condiciones particulares). De mi experiencia en evaluar proyectos pequeños en terreno, gestionados la mayoría por ONGD, creo que estos modelos no son útiles en el contexto en el que nos estamos moviendo. Pero eso no significa que no sea posible emplearlos y que ofrezcan información de utilidad. Poniendo un ejemplo quizá demasiado simplista, no nos va a servir para medir el incremento de autoestima de un grupo de mujeres que sufría violencia intrafamiliar, pero sí nos servirá para saber si el proyecto ha promovido un mejor mecanismo para incrementar los ingreso de las familias.

Sin embargo, hay más. Parecería que la distinción apunta a la típica dicotomía cuantitativo/cualitatvo. Sin duda, hay una buena parte de ello. Sin embargo, no es lo único. Cuando hago misiones en el terreno, rara es la vez que tengo información sistematizada de lo que ha ido aconteciendo en el proyecto. Y cuando digo “sistematizada” lo digo a propósito, porque sí hay información, hay informes de seguimiento, a veces hay diagnósticos pero…¿bajo qué diseño de evaluación? ¿Qué preguntas de evaluación alimentan? ¿Fueron diseñadas antes del inicio del proyecto, de forma que puedan ser trazadas durante el proceso? Como en la realidad poca gente trabaja así, en una evaluación final de proyecto es casi imposible soñar con un diseño que permita si quiera usar ya no un experimental, sino algún quasi-experiental con restricciones.

En definitiva, pues habría mucho que hablar, yo creo que este tipo de evaluación es útil en un contexto determinado y más aconsejable para valorar cierto tipo de alcances, pero no puede convertirse en lo que se ha dado en llamar en el debate internacional la “regla de oro”. Sin duda, necesitamos una mayor variedad de enfoques, necesitamos combinar, necesitamos seguir innovando.

¿qué pensáis de todo esto? ¿conocíais este debate?

Un saludo,