¿Y si evaluamos las políticas públicas? Claves para entender la necesidad de la evaluación, a partir del diagnóstico de Mendoza. 

 

Por  Alejandro Belmonte, Tania Marino y Vanina A. Pereyra

Observatorio de Políticas Públicas. Área de Políticas Públicas. Universidad Nacional de Cuyo.

​

Octubre 2016

​

Este artículo se inscribe en el marco de un estudio impulsado desde la Red EvaluAR (Red Argentina de Evaluación), cuya principal finalidad consistió en elaborar un diagnóstico de la evaluación de políticas públicas en Argentina. Para ello, desde el Observatorio de Políticas Públicas de la Universidad Nacional de Cuyo, se impulsó el estudio del caso específico de la provincia de Mendoza, en el cual se trabajó sobre distintos aspectos de los procesos evaluativos mediante entrevistas a distintos actores estatales, funcionarios y académicos relacionados con la temática.

Antes de abordar los hallazgos que surgen del citado estudio, respecto de la necesidad de contribuir al fortalecimiento de la cultura de la evaluación en la provincia,  es necesario repasar el concepto fundamental  en torno a ello: ¿Qué es la evaluación de políticas públicas?

 

  

I- ¿De qué hablamos cuando hablamos de evaluar?

 

La definición que se adopte respecto a qué significa la evaluación de políticas públicas dependerá, en buena medida, del enfoque o perspectiva teórica en la cual se inscriba.  Algunas de las más difundidas definen la evaluación como:

 

• “El análisis objetivo y científico de los efectos a corto y largo plazo de las políticas, tanto sobre los grupos sociales o situaciones para los cuales se diseñó la política como sobre la sociedad en general, y el análisis del ratio de costes actuales y futuros sobre cualquiera de los beneficios identificados” (Dye 1995, 315)

•  “La aplicación sistemática de los procedimientos de la investigación social para valorar la conceptualización y el diseño, la ejecución y la utilidad de los programas de intervención social”. (Rossi y Freeman 1989, 14)

• Mientras que Patton, uno de los principales referentes, la expone como: “La recopilación sistemática de información sobre actividades, características y resultados de un programa para su utilización por un grupo específico, de cara a reducir incertidumbres, mejorar la eficacia y tomar decisiones en función de qué se está haciendo con el programa y a quién está afectando” (Osuna Llaneza y Vélez Méndez 2004, 4)

 

Siguiendo a María Bustelo Ruesta (Bustelo Ruesta 2001), para desarrollar un concepto completo, debería tenerse en cuenta el objeto, el o los procedimientos y las funciones de la evaluación de políticas públicas.

En cuanto al objeto, claramente puede evaluarse cualquier intervención social que es delineada para afrontar una problemática pública, comenzando por su diseño y llegando a los impactos que produce a mediano y largo plazo. 

Acerca de los procedimientos, es importante tener en cuenta que además de la sistematicidad en el análisis (objetivo y científico) y en la recopilación de información, la evaluación incluye además un juicio de valor respecto a lo que se está evaluando (la política o programa) y recomendaciones (sugerencias o propuestas de mejora de una actuación pública determinada). 

Por último, respecto a las funciones y utilidad, debe considerarse que “... la evaluación no se hace en abstracto sino con la intención de mejorar los programas y  políticas  evaluadas, rendir cuentas y/o ejemplificar o ilustrar acciones futuras”. (Bustelo Ruesta 2001, 32)

Por ello, y dado su alto contenido práctico/aplicado, los componentes de valoración sobre resultados e interpretaciones junto a las recomendaciones, son elementos necesarios y diferenciadores dentro de la evaluación de las políticas públicas.

 

 II- ¿Por qué evaluar?

 

Son muchos los fundamentos para defender la implementación de sistemas de evaluación de políticas públicas o la consolidación de la cultura de la evaluación en el ámbito de gobierno.

A modo de tormenta de ideas, puede sostenerse que la realización de evaluaciones de políticas públicas aporta a:

-Generar información confiable, útil, necesaria y oportuna del programa o política evaluado.

-Realizar mejoras en el programa o política evaluado, ya que permite la retroalimentación y el aprendizaje a la luz de los resultados.

-Aumentar la calidad de las intervenciones públicas y servicios.

-Promover la rendición de cuentas o responsabilidad por parte de los funcionarios públicos frente a la ciudadanía, no sólo en cuanto al manejo de fondos y asignación de recursos sino además, respecto de los resultados de los programas y políticas formuladas.

-Fomentar el aprendizaje y la retroalimentación, influyendo (además) en posibles acciones futuras.  

 

Realizando una síntesis, el principal aporte de la incorporación efectiva de evaluaciones en el ciclo de vida de las políticas públicas es el mejoramiento y fortalecimiento de la calidad y el alcance de las políticas públicas.  

 

III- ¿Vamos camino a? (Antecedentes)

 

Distintos debates y una importante actividad académico-científica vienen contribuyendo al proceso de consolidación de las prácticas evaluativas en América Latina y en Argentina en particular.

La Asamblea General de Naciones Unidas, por ejemplo, declaró el 2015 como año internacional de la evaluación con la intención de promover el monitoreo de los avances en los Objetivos de Desarrollo del Milenio. Como antecedente, el Grupo de Evaluación de las Naciones Unidas (UNEG) realizó un trabajo en el cual se formularon recomendaciones para el Desarrollo de Capacidades Nacionales de Evaluación, donde el marco de referencia es el paradigma que pone de manifiesto el apoyo a la creación de capacidades de evaluación dentro de un contexto de desarrollo de un sistema nacional propio, y cuyo objetivo general es -en última instancia- lograr una buena gobernabilidad (UNEG, 2013).

En la misma dirección, se observa un crecimiento de organizaciones y redes de evaluación que promueven distintas acciones en la agenda pública y en los espacios institucionales para la incorporación de prácticas de evaluación de programas y políticas. 

En Argentina este tema comienza a adquirir cada vez más relevancia y se plantea como un aspecto necesario a implementar en los distintos niveles de gobierno: En el plano nacional, la Jefatura de Gabinete de Ministros creó en 2013 el Programa de Evaluación de Políticas Públicas que apunta a fortalecer las capacidades técnicas, políticas y administrativas del estado en materia de evaluación. Con este programa se propuso contribuir a institucionalizar la evaluación en la Administración Pública y potenciar las capacidades para su desarrollo con miras a mejorar la gobernabilidad, la calidad de las políticas y los resultados en la gestión de los asuntos públicos. En este marco, la Jefatura brindó apoyos para el diseño e implementación de evaluaciones, gracias a los cuales algunos ministerios llevan adelante sistemas y enfoques que garantizan el monitoreo y la evaluación de sus planes y programas. Sin embargo, una mirada integral que evalúe el desempeño global del plan de gobierno, está aún pendiente en Argentina.

En el año 2015, se presentó en el Congreso Nacional un proyecto de ley para la Creación de la Agencia Nacional de Evaluación de Políticas Públicas. Este proyecto, con una clara vocación por la institucionalización de la evaluación de las políticas públicas, busca la creación de un organismo descentralizado, que funcionando en el ámbito de la Jefatura de Gabinete de Ministros, posea autarquía económica financiera, personería jurídica propia y capacidad de actuar en el  ámbito del derecho público y privado.

El objetivo, consiste en promocionar y realizar  “...evaluaciones de las políticas, programas y proyectos gubernamentales, de manera de orientar una asignación de recursos basada en evidencia sobre el impacto de las acciones de gobierno”[1].

A nivel provincial, el panorama es heterogéneo en términos de capacidades, marcos legales y culturas de evaluación. Algunas provincias han avanzado en la formulación de planes estratégicos de gobierno de mediano y largo plazo, lo que constituye una buena base para tornar viable la evaluación de los resultados de las políticas públicas. Tal ha sido el caso de Chaco, Corrientes, CABA, Tucumán, Salta, San Luis y Santa Fe, entre otros. Otras provincias, en cambio, han logrado desarrollar capacidades en gestión por resultados, en muchos casos con apoyo de los organismos internaciones, Córdoba y Tucumán son buenos ejemplos. A su vez, existen casos (Santa Fe) donde se han desarrollado sistemas de monitoreo y evaluación de calidad para planes o programas puntuales, especialmente en el área social social. Finalmente, otras jurisdicciones están avanzando en la evaluación del desempeño de sus funcionarios políticos fijando objetivos y metas de impacto y gestión.

Entonces, ¿cuál es la situación actual de la provincia de Mendoza? algunas claves se desprenden del diagnóstico realizado en el año 2015.

 

IV- Evaluación de Políticas Públicas en la provincia de Mendoza

 

El trabajo realizado en Mendoza (Belmonte, Marino y Letelier 2015), se enmarca en un mapa diagnóstico de la evaluación en Argentina sobre un conjunto de factores orientados a dar cuenta de distintos aspectos del proceso evaluativo. Para llevarlo adelante y capturar esos factores se adoptó una estrategia predominantemente cualitativa que rescata a los actores que intervienen en distintos aspectos de la evaluación a nivel estatal y provee insumos críticos para conocer: algunos aspectos conceptuales acerca de cómo se entiende a la evaluación, la normativa nacional y provincial vigente, la calidad del diseño de planes y programas para ser evaluados, algunas experiencias de evaluación reconocidas, la relación de la evaluación con la calidad de las políticas públicas, las oportunidad y desafíos que se presentan para fortalecer la mirada evaluativa y la cultura de evaluación en Argentina.

 

En este estudio, se realizaron entrevistas en profundidad a ocho profesionales de diferentes ámbitos: universitario, administración pública provincial y municipal, y poder judicial. De manera complementaria a las entrevistas, se realizó una búsqueda y análisis de normas (leyes, decretos, resoluciones) provinciales vinculadas a la evaluación.

La evaluación desde la perspectiva de los actores

 

El primer análisis está centrado en las características especiales de la evaluación en el sector público, su complejidad e imposibilidad de comparación con criterios del sector privado.

“La evaluación en el ámbito de lo público es muy compleja, porque no existen los parámetros de eficiencia de los órganos privados”.

“Hoy hay una crisis de los paradigmas de políticas públicas donde los indicadores clásicos de evaluación ya no sirven más. La evaluación está focalizada en la medición de impacto, pero se mide mal, no hay indicadores significativos para lo que se necesita saber, lo importante de saber. No se alcanza a medir los intangibles”.

Los sistemas de información también ponen en evidencia algunos problemas sobre la definición de criterios de evaluación. En este tema, la experiencia de la creación de la Dirección de Planificación, Seguimiento y Control de Políticas Públicas del Gobierno de Mendoza, produjo avances y desafíos. El esfuerzo de centralización de la información proveniente de distintos ministerios abrió un proceso de articulación con una red de referentes ministeriales para acordar la forma de medir y el método de evaluación en vistas de la política o del programa a implementar.

“Existen algunas dificultades en acordar parámetros de medición, evaluación e impacto debido a las diferencias de criterios entre distintas disciplinas. Por ejemplo, en el caso de las prestaciones de obras públicas, hay diferencias entre ingenieros y cientistas sociales”.

La evaluación está asociada directamente al análisis de los resultados generados por las intervenciones públicas. En algunos casos se la asocia a instrumentos de planificación (plan estratégico, gestión por resultados) y en otros, al cumplimiento de estándares de calidad (normas ISO). También se plantea la diferencia entre la evaluación orientada al resultado y aquella orientada a la medición del impacto.

“La evaluación tiene que ver con la disponibilidad de algún resultado de las políticas que se están implementando”

Sin embargo, una de las asociaciones más fuertes tiene que ver con los mecanismos de seguimiento y control de ejecución de políticas públicas. Se considera a la evaluación como una forma de medir diferencias entre lo planeado y lo ejecutado, para poder conocer en qué grado evoluciona la prestación de un servicio. El seguimiento de ‘metas de gobierno’ es un fuerte mecanismo de seguimiento de las políticas.

“Una política pública tiene un estudio, agenda y concreción, y la evaluación consiste en el seguimiento de esa política pública. Una vez tomada la decisión de cumplir el objetivo definido, luego hay que hacer un seguimiento para ver si se concreta y detectar si hay algún tipo de desviación. Dentro del esquema de políticas públicas esto es la retroalimentación, con lo cual evaluar política pública es el seguimiento y la realización de modificaciones o ajustes para llegar al objetivo que se definió, o reformularlo en el caso de que se evalúe que está mal planteado”

En las áreas en que se desempeñan los entrevistados se realizan diferentes tipos de evaluación y, en consonancia con la anterior, es posible destacar: el monitoreo anual presupuestario; la autoevaluación de medio término; la coordinación de procesos de evaluación externa; el control de gestión en algunas áreas sensibles para los vecinos (agua, limpieza, mantenimiento de espacios verdes); encuestas de satisfacción ciudadana; gestión de calidad de procesos; presupuesto participativo; plan de metas; auditorías internas; auditorías externas y reuniones de revisión.

Otra de las consideraciones se enfoca en la evaluación como un proceso formativo y la importancia de fortalecer esa perspectiva.

“Es importante que todo acto evaluativo se plantee de entrada como un proceso de aprendizaje, de mejoramiento, y eso inclusive mejora las posibilidades de la obtención de la evidencia que necesita la evaluación, cambia la actitud del evaluado respecto al evaluador y frente al proceso”

Desde esta perspectiva se redefinen los ‘momentos’ de la evaluación. Si por lo general se entiende como el proceso final de una actividad, de una política o de un programa; con este enfoque se incluye desde el inicio de la intervención.

“En primer lugar, debe encontrarse al inicio de cualquier política, porque toda evaluación contiene el acto de comparar… debe haber un punto de partida para comparar. Por esto debe estar concebida desde el principio, sino se convierte en un acto “como si”. Luego debe discutirse cómo se compara y demás. En segundo lugar, debe realizarse a lo largo de la implementación, cuestión complicada porque para lograrlo hay que tener recursos. Muchas veces, cuando se producen restricciones presupuestarias, lo primero que se eliminan son los recursos para la evaluación”

 

Evolución de la práctica de la evaluación en los últimos años.

 

Respecto a la evolución de las prácticas de evaluación, en el estudio, en general se reconoce un mejoramiento del proceso, con la salvedad que algunos entrevistados señalan la falta de utilización de los datos como herramienta de gestión. Los que reconocen avances destacan una mejora de la receptividad de los actores involucrados, fundamentalmente por la importancia que asume en el ciclo de políticas públicas.

También se valora -en el sector educativo- un gran avance en la implementación de sistemas de información para la evaluación, es decir, en la producción de la evidencia. Ese mejoramiento tendría que ver con dos factores:

“En primer lugar, con la incorporación del software libre. El gobierno nacional tiene una fuerte definición con el software libre, lo cual permite una continuidad y mejora tecnológica respecto a lo que existía antes. No se disponía ni del software en todos los lugares de trabajo ni de las actualizaciones necesarias, actualmente, la situación está cambiando. En segundo lugar, a través de la generalización y profundización de la utilización de los sistemas georeferenciales para la evaluación, es posible que las perspectivas se multipliquen enormemente y que la evaluación incida en la implementación porque si se observa que se está aplicando una medida donde no es necesaria, y por otro lado existe un universo al cual no se le están aplicando medidas, se puede incidir sobre el  redireccionamiento y la corrección de la política de manera mucho más precisa”

Pese a este reconocimiento, se expresa con claridad que las prácticas de evaluación aún no están consolidadas. Ya que existen pocos acuerdos sobre cómo hacerlas, limitaciones en la disponibilidad de recursos humanos a la hora de salir a terreno.

“La evaluación es un proceso muy largo y complejo que se está trabajando de manera muy incipiente”

Algunos entrevistados reconocen que en el avance de los mecanismos de evaluación, ha sido central el proceso de certificación de normas de calidad. La implementación de estas normas en los últimos años ha preparado un ambiente favorable para la evaluación.

“Con la retroalimentación que se produce a partir de la percepción de quien recibe el servicio, se ha incrementado la necesidad de evaluar las políticas públicas en el sentido de su mejora”

 

Incidencia de la evaluación en la calidad de las políticas públicas. Principales aportes.

 

En primer lugar, se considera que la evaluación tiene un impacto central en la calidad de las políticas públicas. El acceso a la información, la transparencia y la discusión sobre los criterios de evaluación ha jugado un papel clave para aumentar la calidad de las políticas.

“La evaluación es central, sirve para saber si se va bien, mal, para profundizar o abandonar alguna acción. Debe ser permanente”

Existe un claro reconocimiento que, desde la práctica, detenerse, mirar y evaluar lo que se está haciendo es fundamental para definir si es necesario reorientar una política.

“El seguimiento hace a la eficiencia, eficacia, a la oportunidad de los programas y su corrección. A partir de la evaluación se van reconvirtiendo los programas”

Se mencionan varias experiencias en las que, a partir de la evaluación, los responsables de áreas han comprobado resultados que estaban generando y que antes no eran percibidos.

“Existe una diferencia entre lo que se percibe como una necesidad y una necesidad real, entre lo que se observa como una medida positiva y los efectos completos, reales, totales. La evaluación objetiva cumple el papel de mejorar la calidad en cuanto permite ampliar e integrar las miradas a lo ancho -entre diferentes sectores y subjetividades- y a lo largo -en el tiempo-”

Finalmente, también se reconoce la evaluación como una herramienta para fortalecer la legitimidad política de los funcionarios. Les brinda insumos e información para rendir cuentas a la ciudadanía y mostrar resultados.

Marco normativo e institucional

Dentro del estudio se realizó un trabajo de investigación de la normativa existente que mostró que la provincia de Mendoza no cuenta con un marco legal que defina y regule la evaluación de políticas públicas como proceso sistemático. La legislación se centra en la definición de actividades orientadas a la programación y gestión de recursos del sector público provincial, la generación de sistemas de información y la regulación de los sistemas de control para la ejecución presupuestaria y auditoría contable.

Sin embargo, el poder ejecutivo provincial ha impulsado la incorporación de procesos evaluativos mediante la creación de un área específica, la Dirección de Planificación, Seguimiento y Control de Políticas Públicas, dependiente de la Subsecretaría de Gestión Pública. Esta tiene a su cargo la evaluación de políticas, planes y programas a nivel interministerial; y concentra su accionar en las mediciones de impacto, priorizando la necesidad de promocionar la evaluación de manera coordinada con los ministerios, con el objetivo último de mejorar la gestión pública.

 

Condiciones necesarias para profundizar la evaluación de políticas públicas.

 

Al indagar sobre las condiciones necesarias para profundizar el desarrollo de sistemas o prácticas de evaluación, el estudio deja ver:

• La necesidad de fortalecer el diseño y planificación de las políticas deriva de la existencia de problemas en la forma en cómo se conciben las mismas (diagnósticos débiles y formulaciones imprecisas).

• La importancia de contar con sistemas de información sólidos y fiables.

• Los beneficios de generar un sistema de incentivos para los agentes estatales (capacitación, premios y agentes facilitadores).

• La necesidad de mejorar los criterios de evaluación (generación de indicadores locales para la medición de impactos en los territorios; la inclusión de criterios no basados en la racionalidad económica para repensar la medición de intangibles).

• La importancia de la continuidad, coherencia y consistencia de las prácticas que se están realizando. Se trata de evitar que constantemente se cambien o discontinúen los esfuerzos de evaluación. 

• La importancia de la articulación entre la Universidad y el Estado. No sólo para la mejora de los recursos para la evaluación, sino también en procesos de integración más profundos (ejemplos: Plan de Ordenamiento Territorial en la Provincia de Mendoza; la articulación del Ministerio de Educación de la Nación con la Universidad de La Plata, la Universidad de Luján y la Universidad de General Sarmiento, para mejorar el área de formación de evaluadores).

Uno de los temas en el que se produjo un fuerte consenso es el reconocimiento del componente cultural como un factor crucial para consolidar los procesos de evaluación. Se presenta el desafío de concientizar y desarticular lógicas culturales burocráticas contrarias a la transparencia y la evaluación.

 

V-Conclusiones y desafíos

 

A partir del trabajo de diagnóstico sobre la evaluación de políticas públicas en la provincia de Mendoza se ha podido observar una importante disparidad en la penetración de estas prácticas. En general, en las entrevistas a referentes de los organismos del estado y las universidades, se reconoce un avance en el sector, pero se resaltan diferentes restricciones vinculadas a la disponibilidad, alcance y calidad de la información; la falta de acuerdo sobre los criterios de evaluación y; la necesidad de fortalecer la ‘cultura de la evaluación’ al interior de las administraciones.

Un punto en particular también se destacó entre los hallazgos. El reconocimiento de las limitaciones que impone la estructura institucional de la provincia, especialmente en la vinculación entre los tiempos del ciclo político y el ciclo de las políticas. La imposibilidad de reelección de los máximos cargos ejecutivos de la provincia, limitaría los tiempos dedicados a la ‘plena gestión’. A su vez, las elecciones legislativas de medio término restringirán los tiempos del ciclo de las políticas, es decir, habría un espacio de un año dedicado a la planificación y ejecución de políticas públicas en el primer período y otro año más en el segundo ciclo. Es así que, una de las consideraciones presentadas es que la falta de consensos y ‘acuerdos políticos’ afectarían la calidad del diseño e implementación de políticas y programas, por lo que se diluye la posibilidad de evaluación.

Otro de los temas señalados con frecuencia es la falta de información precisa y de calidad. Muchas veces, trata de suplirse esta situación realizando cruces de bases de datos, visitas a terreno y utilizando información proveniente del sistema estadístico y de investigaciones de base que realizan las Universidades. Para los municipios es central la disponibilidad de información que contemple una desagregación territorial, se abre un campo importante para consolidar sistemas georreferenciados de información. En definitiva, la sistematización de esta información y el establecimiento de una ‘memoria institucional’ sigue siendo un importante desafío para los referentes del sector público.

Por otro lado, fue recurrente la necesidad de profundizar ‘cambios culturales’ que instalen la evaluación al interior de las administraciones y que sea orientada al mejoramiento de la gestión. En general se observó que la evaluación está fuertemente vinculada al ‘control de gestión’ y que suele predominar la dimensión sancionadora de la misma. Los entrevistados reconocieron la importante gravitación de instituciones como el Tribunal de Cuentas de la Provincia y la Fiscalía de Estado. En su percepción, estas dos instituciones tienen un fuerte peso, generando una asociación de la evaluación con el control de legalidad o de ejecución del gasto. Consideran que experiencias como el presupuesto por resultados habrían fracasado en la práctica por el ‘enfoque excesivamente contable’ que finalmente ha tenido. Por lo tanto, se vislumbró un importante reclamo por superar las lógicas y criterios parciales de las diferentes disciplinas que suelen dominar los organismos (contabilidad, abogacía).

La relación entre Nación y Provincia también es percibida como una cuestión problemática. En algunos sectores hay una fuerte dependencia de recursos provenientes de la Nación y por lo tanto se reduce la capacidad de los funcionarios provinciales para articular con las políticas y programas que se implementan localmente.

En la provincia de Mendoza se reconocen avances valiosos para consolidar la evaluación. Uno de los antecedentes destacados es el esfuerzo realizado desde la Dirección de Planificación, de la Subsecretaría de Gestión Pública, especialmente en términos de coordinación interministerial. La complejidad de las políticas públicas hace pensar en la necesidad de contar con espacios institucionales, que faciliten la sistematización de información proveniente de diferentes sectores y niveles de gobierno.

 

Recomendaciones:

• Diseñar estrategias que sostengan la evaluación de políticas públicas a lo largo del tiempo. Esto ayuda a superar el desfasaje que existe entre los tiempos electorales y los del ciclo de las políticas.

• Mejorar la forma en la que se formulan/diseñan las políticas públicas, determinando los contenidos mínimos que deben contener. Es fundamental para garantizar la ‘evaluabilidad’ de las políticas.

• Promover la coordinación interorganizacional tanto en la planificación como en el acceso a la información.

• Destinar recursos efectivos para garantizar las evaluaciones.

• Incorporar sistemas internos de información que permitan contar con mecanismos simples de registración, almacenamiento y procesamiento de datos.

• Impulsar la práctica de evaluaciones internas que fomenten el aprendizaje y la mejora de las políticas.

• Promover la socialización y difusión de los resultados de las evaluaciones.

• ​

Bibliografía

Belmonte, Alejandro; Marino, Tania y Lettelier, Dolores (2015) "La evaluación en la provincia de Mendoza", en Aquilino, Natalia y Amaya Paula (Compiladoras) "Mapa diagnóstico de la Evaluación en la Argentina", Red Argentina de Evaluación, CIPPEC.

Bustelo Ruesta, María (2001). "La evaluación de las políticas públicas de igualdad de Género de los Gobiernos Central y Autónomos en España: 1995 - 1999", Universidad Complutense, Madrid.

Dye, T. R (1995) "Understanding Public Poolicy" . Eight Edition. Prentise Hall.

Osuna Llaneza, José Luis, y Carolina Márquez (2004) "Guía para la evaluación de políticas públicas" Instituto de Desarrollo Regional, Fundación Universitaria, Sevilla.

Rossi, Peter.H., y Howard. E. Freeman (1989) "Evaluación. Un enfoque sistemático para programas sociales" Trillas, México. 

 

 

 

 

​