Compilado Resúmenes Evaluación Social de Proyectos

Vista previa del material en texto

cOMPILADO RESÚMENES EVALUACIÓN SOCIAL DE PROYECTOS
Wayne Parsons. Modalidades y etapas de la evaluación
Evaluación implica dos aspectos relacionados: 1) política específica y sus programas, 2) personas y organizaciones que implementan el programa.
El texto trata dos temas principalmente: 1) Los dos marcos dominantes hoy en día para la evaluación de proyectos que refieren a: análisis racional y herramienta para la administración de recursos humanos; 2) Repaso de las perspectivas críticas y alternativas a la evaluación en estos marcos anteriores. Ambos temas son ubicables en un desarrollo cronológico: el primer tema entre 1960-70-80 y el segundo en 1980. Los párrafos en cursiva son "extras" que el texto entregaba.
* Mary Henkel, "Goverment, Evaluation and change": Este texto indica que existe un viraje de los supuestos y valores profesionales hacia modalidades de evaluación más institucionales y gerenciales, lo que significa la promoción de las fuerzas de mercado. Detrás de esto existe una tensión entre la teoría de la evaluación que se encuentra alejada del positivismo y un intento por ser positivista en la práctica, por lo que el gerente está desbancando al profesional. Esto se manifiesta en que surge un Estado avaluador, pero que no implica esto una nueva objetividad.
La evaluación como análisis racional
Definición de investigación en evaluación de las políticas según Dye: análisis objetivo, sistemático y empírico de los efectos de las políticas y los programas públicos en cursos sobre sus objetivos, en términos de metas que pretende alcanzar.
Weis menciona seis aspectos para distinguirla de otras formas de análisis de PP: 1) Diseñada para la toma de decisiones y orientada por los tomadores de decisiones; 2) Carácter discrecional (evalúa a partir de metas del programa); 3) No arraigada en un entorno académico, sino que en el de políticas públicas; 4) Implica conflictos entre investigadores en la práctica; 5) Se publica en raras ocasiones; 6) Problemas de lealtad con financiadores.
La evaluación se ocupa de dos dimensiones: 1) Medir en función de las metas 2) Impacto real de la política. Este capítulo se ocupa más de la primera dimensión.
Técnicas principales: 1) Miden relación costo-beneficio; 2) Miden el desempeño; 3) Recurren a experimentos.
Palumbo: Sugiere entender estas técnicas relacionando el ciclo de las políticas con el de la información. A partir de esto se entenderá la evaluación en este apartado, según las etapas de el ciclo.
Diseño de las políticas: Implica técnicas para identificar medios alternativos para alcanzar los fines del programa con el objetivo de encontrar la alternativa rentable.
Legitimación de las políticas: Evaluación política de la aceptación de la política pública o programa en cuestión por parte del público y las partes interesadas. Este es el enfoque favorito de los tomadores de decisiones modernos, pues implica una racionalización de la opinión pública. Las formas que puede adquirir esta etapa son tablas publicables de satisfacción del cliente con la prestación de servicios púbicos y consultas legislativas y revisión y adjudicación jurídica.
Evaluación formativa (implementación)
Implica el grado en que se está implementando y las condiciones que promueven una implementación exitosa. Por lo tanto el objetivo es proporcionar una retroalimentación útil para mejorar el proceso de implementación. Busca responder 3 preguntas según Rossi y Freeman: 1) hasta qué punto el programa está llegando a la población objetivo, 2) la prestación de servicios es consistente con las especificaciones del diseño del programa, 3) que recursos se han gastado.
Este monitoreo se hace mediante sistemas de información de gestión (SIG) para brindar un sistema de información centralizada capaz de crear una rutina de recopilación de información. Una de las principales técnicas SIG es la aplicación de medidas de desempeño como fuente primordial de información acerca de la efectividad y eficiencia de la implementación. Una característica clave de estas medidas es que tienen por objeto llegar a un coeficiente de insumos/resultados, del servicio. Si no se pueden debe expresar la eficiencia con la que se usan determinados recursos.
Por lo tanto, la evolución de la evaluación de desempeño debe entenderse en el contexto de la necesidad de controlar las finanzas públicas y alcanzar mayores niveles de costo-efectividad. Sin embargo, cabe resaltar que estos indicadores de desempeño contienen una gran carga de valores, política y poder, ya que depende de ellos quien define los criterios de medición, por lo que la cuantificación tiene límites. Por esto estos resultados satisfacen a quienes solicitan los datos pero no a quienes los implementan en la vida real. Los más críticos creen que estos indicadores de desempeño (ID) sólo aumentan la capacidad de control del Estado sobre las organizaciones. De todas formas los ID implican un viraje de poder, de las manos de los profesionales a los contadores y auditores.
Peter Jackson menciona algunas características positivas del ID para mejorar la gestión: Incrementan la rendición de cuentas, permiten planeación y control de políticas, dan seguimiento a actividades organizacionales, sirve de sistema de evaluación del presonal. Para funcionar además deberían cumplir 9 características: mostrar consistencia en el tiempo, permtir comparación, ser claros, no ser independiente del entorno, ser exhaustivos, medir sólo la responsabilidad del gerente, limitarse a esferas claves del desempeño, ser relevantes a las necesidades y condiciones específicas de la organización, ser realistas. Por ello, el autor cree que de ser bien diseñados, los ID, mejoran el costo-beneficio en la prestación de servicios públicos. 
Evaluación acumulativa (impacto)
Busca medir la manera en que la política en cuestión realmente ha impactado los problemas que pretendía atender. Para esto se usa la evaluación de impacto (EI). Al abordar la EI durante la etapa del ciclo posterior a la implementación, la evaluación tiene por objetivo llegar a un cálculo aproximado de los efectos brutos de la intervención. Es una modalidad comparativa de la investigación y se hace mediante la experimentación, que puede darse de dos formas: estudiar un problema antes y después de la intervención, medir la efectividad de determinada intervención respecto a una situación en la que no hubo intervención. El EI igualmente implica valores en juego. Esto debido a que la experimentación por sí sola no produce resultados concluyentes, la interpretación lo es todo, y han habido estudios que así lo demuestran. Sin embargo la experimentación puede ser científicamente sólida en determinadas circunstancias y estas son, como señalan Bobrow y Dryzek, "la disponibilidad de un problema de políticas públicas bien estructurado, razonablemente estático y altamente sujeto a descomposición, con consenso acerca de los criterios por aplicar" (569). Además, en ciertos problemas sociales, es mejor contar con una experimentación para conocer los resultados: "es sumamente costoso para la sociedad comprometerse con programas y políticas de gran escala en las esferas de la educación, las prestaciones sociales, la vivienda, la salud etcétera, sin tener una idea real de lo que funciona" (569)
* Donal Campbell: cree en la idea de una sociedad experimentadora, donde la dialéctica de los argumentos experimentales generaría un proceso de políticas públicas comprometido con el idealismo, dando pie a un nivel superior de aprendizaje y un énfasis en los problemas, no en la propugnación de soluciones. 
La evaluación y la administración de recursos humanos
Thomason (1968) define la evaluación de desempeño en la administración de recursos humanos (ARH) como un proceso que implica: 1) La identificación de tareas a realizar y los criterios que miden un desempeño exitoso, 2) Medición de desempeño mediante la valoración de los resultados cuando son medibles y cuando no, definir comportamientos relevantes para el éxito, 3) determinar el monto de la recompensa.
Existenvarias técnicas que permiten esta evaluación:
1) La administración por objetivos (APO), que es un enfoque más participativo y no desarrolla mayormente en este apartado. 
2) El desarrollo organizacional (DO) que son una serie de técnicas que buscan modificar el entrono interno a fin de ayudar a las organizaciones a manejar mejor su entorno externo. Por ello, las variables de personas constituyen el principal foco del consultor, para mejorar la flexibilidad y las capacidades de las partes interesadas. Este enfoque implica diversas estrategias, con el fin de fomentar el compromiso, la autodirección y el autocontrol en las variables de las personas: descentralizar la toma de decisiones, cooperación (no competencia), desarrollo de los problemas en los que es posible ventilar conflictos, fomento de la receptividad de la gente, incremento de la comunicación, modificar estructuras que obstaculizan el desempeño, desarrollar las capacidades de las personas dentro de la organización. 
3) Otra forma de evaluación es la gestión de calidad total (GCT) que enfatiza la calidad en todas las etapas de implementación, centrándose para esto en las necesidades del cliente. Esto se logra con sistemas de monitoreo y verificación y desarrollando actitudes más receptivas pro parte del personal ante las quejas de los clientes. La British Standards Institution (BSI) define este enfoque como el establecimiento de un sistema que demostrará a sus clientes su compromiso con la calidad y capacidad de satisfacer sus necesidades de calidad, lo que fue el punto de referencia en 1980. En 1987 la Organización Internacional de Normalización (ISO) establece estándares de calidad internacionales, entre los que se encuentran los siguientes pasos: conocer al cliente, diseñar productos para satisfacer sus necesidades, contar con una garantía de desempeño, incluir instrucciones claras de los productos, entregarlos oportunamente, ofrecer servicios de apoyo, ratificar calidad con la retroalimentación del cliente, trabajar a partir de esta información. 
Por otro lado, las técnicas utilizadas en el ARH y el DO, son: 1) Esquema de pagos relacionados con el desempeño, 2) Evaluación y valoración del personal, 3) Estrategias de desarrollo organizacional. El objetivo de una estrategia de Administración de Recursos Humanos (ARH) es transformar a las personas para que se vuelvan más comprometidas, competentes, rentables y empáticas con las metas de la organización.
El enfoque del ARH tiene como objetivo según Storey, el mejorar el desempeño mediante el desarrollo de un sentido de compromiso en cada empleado en lugar del simple cumplimiento de órdenes o instrucciones jerárquicas, lo que se logra: reclutando a las personas adecuadas, enfatizando la capacitación en todos los niveles, evaluando habitualmente al personal, recompensando el desempeño. 
Los sistemas de pago para evaluar el desempeño están diseñados para generar un marco en el que es posible evaluar a los individuos y grupos con base en el grado en que han cumplido metas y objetivos definidos, en función de resultados y ganancias. Lo que se logra con estas técnicas es que se mejora la racionalidad (entendida como desempeño) cambiando la motivación, la cultura y las actitudes de las personas que trabajan en la "caja negra" de las políticas públicas. Esto implica en la práctica serias dificultades, como por ejemplo si es el dinero la mejor motivación para empleados públicos, quien define los criterios de evaluación y la competitividad que se puede generar entre personas y grupos. 
* Los gurús de la administración: La nueva agenda del sector público ha quedado definida por dos disciplinas: la economía y la administración empresarial. Respecto a esta última, estos han impactado en el desarrollo de la dimensión "humana" de la evaluación y en las palabras de moda que se usan para referirse a los recursos humanos. Los principales "gurus" de esta disciplina son: Drucker, quien desarrolla las ideas de la APO y vaticina la privatización del sector público, recalcando la importancia de una nueva gestión del sector público, a favor de las estucturas descentralizadas y el autocontrol; Peter y Waterman, quienes identifican 8 características de excelencia para la gestión empresarial, y que introducen ideas sobre la cultura y las organizaciones menos jerárquicas, la calidad, la misión, el desempeño y el liderazgo; Handy, que ha hecho legible para los gerentes del sector público la teoría de la administración empresarial; Moss Kanter, quien critica severamente a las estructuras burocráticas y enfatiza la necesidad de descentrar la autoridad, del pago al desempeño, de la cultura empresarial y las empresas individuales; Demming, quien desarrolla los círculos de calidad en la posguerra y que permitieron en parte el desarrollo de la economía japonesa.
Evaluación y control
Existe una perspectiva crítica al ARH y que se refiere a la extensión del poder del Estado de vigilar y controlar los procesos organizacionales y a sus clientes objetivos, y que responde a tres actividades clave: Recopilar, almacenar y recuperar información; supervisar personas; monitorear comportamiento. Por ello el nuevo gerencialismo representa dos giros importantes: el paso del administrador y profesional al gerente y contador; el paso de la administración del personal a la administración de recursos humanos. Lo importante es que estas fórmulas sirven para modificar la cultura y el comportamiento, más que servir de mecanismos sistémicos u organizacionales.
 Lo anterior se conceptualiza definiendo al Estado evaluador como una forma más desarrollada de vigilancia taylorista, lo que según Dandeker, es un indicio del proceso de largo plazo de la racionalización de la acción social como observaba Weber. En este sentido, el Estado evaluador es el producto consumado del racionalismo industrial, lo que para los más críticos implica una forma de vigilancia y explotación más sofisticada y depurada. 
*Control y dominación: perspectivas radicales
Foucault: el desarrollo del ARH y APO se puede interpretar como una extensión de las formas de disciplina y control, según su modelo del panóptico. Esto porque la principal característica de una disciplina panóptica es que el poder no se ejerce sobre el "exterior", sino que es internalizado por quienes son los objetos de control, lo que se puede observar en las técnicas que buscan inculcar la cultura empresarial. 
Giddens: indica que la vigilancia organizacional, que se refiere a la supervisión de poblaciones de referencia en la esfera política, está mejorando su capacidad de controlar a la gente, y que su modalidad más característica es la indirecta que funciona controlando la información, ya que esto permite el control sobre los tiempos y espacios de los individuos que forman parte de la organización.
Clegg y Dunkerly: quienes trabajan la idea de educación generencial, y que refiere a que la ideología de las técnicas científicas en las organizaciones modernas, constituyen una poderosa forma de represión que controla a los estratos compuestos de supervisores y profesionales en las sociedades capitalistas, como en el taylorismo se controla al obrero en la fábrica. 
Rose: señala que los sentimientos, los deseos y las relaciones son el objetivo de nuevas formas de poder entre diversas tecnologías de control, que son mucho más sutiles y le persuaden al trabajador a pensar conforme a la organización. Esta idea también es desarrollada por Cohen.
Lenin y Taylor: Lenin consideraba que el comunismo tenía mucho que aprender de taylor y que debían aplicarse sus preceptos a la organizción socialista de la producción.
Denhard: aplica la crítica habermasana a la racionaldiad instumental a fin de desarrollar un enfoque crítico de administración pública.
Lo central de la perspectiva crítica es que el centro de la evaluación centrada en las personas, es un gerencialismo visto como la extensión y continuación de la locura taylorista ante los grupos oficinistas y profesionales que durante tanto tiempo fueron considerados distintosde los obreros o los grupos lucrativos (Doray, 1988). Lo que ocurre entonces es un proceso de empobrecimiento gradual de las especialidades, donde la autonomía profesional y la racionalidad burocráticas on desafiadas.
Otro elemento crítico a considerar es que en la práctica la evaluación de desempeño pocas veces se dá como en el ideal, habiendo una inexistencia de monitoreo formal. La OCDE identifica al respecto un conjunto de problemas de evaluación comúnmente asociados con dichos ejercicios: falta de datos facilmente cuantificables (dificultades para medior los avances en materia de productividad, problemas para recopilar y analizar datos sobre la brecha entre objetivos y resultados y de encontrar sus causas, dificultades para establecer objetivos significativos y medir resultados, altos costos de la evaluación) y la dificultad para determinar los impactos indirectos (identificar sus factores, el entorno político y la orientación de la evluación hacia la experimentación y no hacia la reforma de esta como un todo).
Ahora la evaluación de desempeño tiene una dificultad primordial y es que la paga vinculada al desempeño y los sistemas de evaluación representan una dudosa contribución a la innovación y la creatividad, lo que implica que el sector pública podría estar caminando hacia una dirección totalmente equivocada, ya que el enfoque motivacional imita al del mundo empresarial. 
Medidas alternativas para la evaluación
Estas surgen debido a la caída de los paradigmas positivistas en las políticas públicas, y esto porque este paradigma se encuentra más fragmentado y sensible a la naturaleza políotica y basada en los valores de la actividad. De hecho, muchos de los críticos del positivismo consideran al análisis de un programa como un proceso esencialmente político, plagado de valores y carente de algún tipo de búsqueda científica de verdad y respuesta objetiva. Existen tres enfoques principales de evaluación post-positivista. 
1) Enfoque multiplicista: quien desarrolla esto es Cook, y afirma que así como no puede haber una opción de política pública correcta, es necesario tratar de usar múltiples medidas desde diversos enfoques y métodos. Esto implica que debe haber una triangulación entre los que resulten más útiles, las explicaciones u opciones no se demuestran sino que se enfrentan unas a otras a fin de ver cual es superior, no cual es certera. No ofrecen una veradad sino que ofrecen interpretaciones defendibles de lo que esta en el mundo exterior. Por esto la evaluación implica someter a prueba argumentos basados en conocimientos, no plantear soluciones correctas.
2) Enfoque de diseño: Este es desarrollado por Miller, Bobrow y Dryzek, y que afirma que el diseño es un medio para comprender la realidad y también un medio para actuar sobre ella. Esto porque los seres humanos diseñan la realidad que rodea a la formulación de políticas por eso la idea de la posibilidad de ser objetivos ante un producto de valores humanos no es un fundamento adecuado para evaluar una realidad que es siempre cambiante, moldeada por los significados que le dan los seres humanos al mundo. Miller argumenta en este sentido, la necesidad de diseñar metas de manera tal que se articulen con los valores que puedan consolidarse en distintas circunstancias. Por esto es necesario definir con claridad los valores que se buscan y no maquillar las metas con la jerga del análisis pseudo-científico. 
Por otro lado, Bobrow y Dyzek plantean una visión general más desarrollada del enfoque del diseño, y parten aclarando que su postura es que el análisis defendible de las políticas debe aliarse con la comunicación abierta y la participación irrestricta, lo que en otras palabras es la democracia participativa. Afirman que las actividades propias del diseño por su naturaleza giran en torno a factores que pueden verse afectados por la voluntad humana. A partir de estos supuestos proponen un esquema para el análisis de las políticas por diseño, el cual obedece a un proceso recursivo, no lineal:
1. Abordar los valores que se buscan.
2. Capturar el contexto: en función de los criterios de complejidad, incertidumbre, potencial de retroalimentación, control, estabilidad, y del público. 
3. Elegir los enfoques adecuados.
4. Aplicar los enfoque adecuados: interpretar las metas y el problema según distintos marcos, y que implica la identificación y recopilación de la información necesaria, la invención de alternativas de políticas públicas, evaluación y comparación de alternativas de políticas públicas. 
Es fundamental el hecho de que el objetivo de este proceso no es evaluar sino que analizar diferentes maneras de observar los problemas desde las perspectivas de diversos marcos de valores y metodologías, por lo que el énfasis se coloca en la construcción de argumentos y en la calidad del debate. Esto derivaría en una síntesis. Por eso los marcos son herramientas para el diálogo crítico. 
3) El enfoque naturalista: desarrollado por Guba y Lincon, quien establecen a diferencia de los anteriores, que la evaluación es una etapa bien diferenciada en el ciclo de las políticas públicas. Se sitúan en una cuarta generación (después de la evaluación técnica en la posguerra, descriptiva en 1940 y la valorativa en 1970 y 1960) de modelos "receptivos" de evaluación. Esta significa que la evaluación no se centra en los objetivos y efectos, sino que en las preocupaciones y temas planteados por los miembros de diversos públicos interesados. Esto implica la creencia en el pluralismo de los valores y la idea de que la evaluación es una forma de negociación más que una búsqueda de verdad objetiva, es un proceso político en el que el conocimiento es el resultado de esta negociación. El centro es el actor, y este debe estar incluido en todas las etapas de la evaluación, ya que esta es un proceso de aprendizaje, donde el evaluador es un mediador y facilitador del aprendizaje. El objetivo principal de este enfoque es que la evaluación aporte a un debate dialectico entre todas las partes interesadas lo que a la larga debería producir una síntesis. Esto implica, por supuesto una tensión ya que este enfoque desentraña relaciones de poder que no cambian fácilmente, además del problema de los costos. Es por esto que se propone que esta forma de investigación social sea la base para un nuevo tipo de política.
Cambio y continuidad en la formulación de políticas públicas 
La evaluación como resultado final debería servir para retroalimentar el proceso de la política, cambiando sus programas, lo que difícilmente ocurre en la realidad. Esto porque una evaluación es solamente un "ingrediente" en el proceso político de equilibrar intereses y tomar decisiones. Por ello, el proceso de los cambios es algo muy complejo en la realidad, lo que se concentra en dos aspectos: cambios en el espacio de las políticas públicas, cambios en el espacio organizacional. Estas dimensiones se traducen en tres tipos de enfoque que permiten entender el cambio: 1) Enfoque del ciclo, 2) Enfoque organizacional y 3) Cambios en las políticas y aprendizaje en las políticas. 
Enfoque de ciclo
Se refiere principalmente a la etapa de post-evaluación y se plantea la cuestión de la terminación: ¿Había terminación después de la evaluación: morian las políticas y las organizaciones? Para esto se partirá de la teoría de Hogwood y Peters, quienes parten del supuesto de que el cambio está ocurriendo constantemente en el proceso de las políticas públicas. Esta cambio puede ser resultado de la evaluación, pero tiene más posibilidades de ser producto de los cambios en el entorno de las políticas públicas, el aprendizaje político o el desarrollo de estructuras vigentes. Teniendo como antecedente el cambio del carácter del Estado, las políticas públicas hoy constituyen un ámbito congestionado, donde conviven programas superpuestos e incluso rivales a categorías de clientes cada vez más específicamente definidas. Por esto proponen cuatro variedades de cambio:
a. Innovación de políticas: el gobierno participa activamentede un problema o una tarea nueva. Esta implica el ingreso del gobierno en una actividad en la que antes no ha participado, por lo que es un cambio de carácter intencional. Sin embargo, estos temas nuevos tienen a estar enmarcados en el contexto de las políticas e instituciones vigentes, por lo que es más probable que la innovación de políticas implique nuevas mezclas de instrumentos de políticas públicas, y estos pueden ser: leyes, servicios, dinero, impuestos, instrumentos económicos, persuación. Por esto, el proceso de innovación puede verse como un proceso de cambio dentro de un continuo con el mantenimiento de las políticas. 
b. Sucesión de políticas: reemplazo de políticas vigentes por otras. Las características de esta pueden observarse en el grado en el que los actores, el proceso de las políticas públicas, y en los impactos sustanciales del proceso de la sucesión pretende reemplazar. Exsiten 4 tipos de sucesión.
1. Lineal: reemplazo directo de una política.
2. Consolidación: modificar la presentación de un conjunto de políticas para formar una disposición unificada. 
3. Escisión: separar una política en diversos componente independientes.
4. No lineal: compleja combinación de otros tipos de sucesión.
La sucesión se diferencia de la innovación debido a que busca mantener, en gran medida, la continuidad de los medios y fines de las políticas, y participar en cierto grado de innovación respecto a las metas o disposiciones organizacionales para seguir dicha continuidad. Sin embargo, la sucesión puede terminar cerca de la categoría de innovación.
c. Mantenimiento de políticas: adaptación de las políticas para mantenerla marchando.
d. Terminación de la política: es una política terminada, muerta. Según Hogwood y Gun, existen los siguientes aspectos de las políticas públicas y las organizaciones que son parte de la terminación: 
1. Funcional: El fin de un servicio o responsabilidad, lo que es observable claramente en las distintas modalidades de privatización.
2. Organizacional: podrian abolir una organización, aunque en general no sucede esto y son abolidas y adaptadas.
3. Políticas públicas: los diseñadores de políticas públicas abandonan un enfoque vigente y adoptan una nueva estrategia o definición de los problemas. 
4. Programas: Las políticas incorporan medidas o instrumentos para implementar una meta de política pública. 
Además los autores establecen nueve factores que influyen en las dificultades de implementar la terminación: Renuencia intelectual, falta de incentivos políticos, premanencia institucional, conservadurismo institucional, coaliciones antiterminación, obstáculos legales, altos costos iniciales, consecuencias adversas y desidia y resistencia.
Tanto innovación como terminación, son poco comunes, es más probable ver un cambio de política dentro del contexto de la sucesión de las políticas y en un entrono entre la innovación y el mantenimiento. 
¿Evaluación o ideología como fuentes de la terminación?
Cuando se termina una política, es probable que ésto sea resultado de la ideología y los reformadores que de la evaluación y los economizadores racionales. LA terminación de las políticas debe verse como un ejercicio en la toma de decisiones políticas, y no analítica, es decir, como un ejercicio dentro de los valores en el que la mayoría de los ajustes se realizan en los márgenes. A pesar de ello, la terminación total o parcial de una política no constituye una realidad precisa y objetiva. El cambio y la continuidad son marcos de valor, por definición los conceptos de innovación, sucesión, mantenimiento y terminación están totalmente cargados de valores. 
Enfoques organizacionales
El cambio tiene una dimensión organizacional, y este cambio es un complejo y contradictorio cuerpo de análisis que cumple el ámbito de la organización y el comportamiento del sector público. Desde el punto de vista weberiano, el triunfo de las modalidades burocráticas de organización fue consecuencia inevitable del desarrollo del capitalismo industrial moderno. Las formas de cambio organizacional en este modelo pueden explicarse en los cambios que tienen lugar en la motivación de las sociedades industriales por alcanzar la mayor eficiencia racional. El análisis del cambio organizacional desde una perspectiva "postindustrial" plantearía que en las condiciones del mundo postmoderno, las organizaciones se diversificarían y ya se están diversificando.
Esta perspectiva entiende el cambio en las PP como producto de cambios en las organizaciones que las producen. Toma la idea weberiana de la expansión de modalidades burocráticas, basadas en la eficiencia racional, por el triunfo del capitalismo industrial.
Enfoque de Cambio y Contingencia (Luhmann?): lo importante es la forma en que las organizaciones cambian para satisfacer la demanda de su propio entorno y tecnología. No consideran el factor del poder, muy relevante en el sector público
Enfoque de Elección Estratégica y Cambio: los que detentan el poder perciben el entorno y toman decisiones según criterios de desempeño. Los tomadores de decisiones (de organizaciones importantes, como el gobierno) también tendrían capacidad de influir en el entorno, por ejemplo adoptando la percepción de la coalición dominante sobre las condiciones económicas del “mundo real”.
Enfoque de la Ecología Poblacional: plantean una evolución organizacional semejante a la selección natural, el entorno determina los cambios organizacionales. Permite explicar el cambio en función de las relaciones de poder. Se han tomado para el sector público ideales del sector privado, de excelencia y éxito. Meyer y Rowan proponen que se han adoptado mitos (como el del mercado) y rituales (como los indicadores de desempeño), que otorgan legitimidad, estabilidad y recursos. 
Di Maggio y Powel hablan de isomorfismo institucional (tendencia de las organizaciones de una esfera a parecerse entre sí), logrado por mecanismos coercitivos (presiones de unas organizaciones sobre otras), miméticos (copiar o imitar) y normativos (siguiendo el patrón organizacional dominante). La dependencia organizacional es una fuerte fuente de convergencia. Es compatible con el enfoque de elección estratégica y con las propuestas de Meyer y Rowan.
Enfoque Gerencial del Cambio: estudia la forma de lograr el cambio y superar la resistencia a este. Considera que hay un cambio de cultura del sector público, volcado a hacerla más empresarial y menos burocrática. Puede considerarse como un proceso de aprendizaje de la institución. Enfatiza el rol del liderazgo como factor de cambio.
El cambio y el aprendizaje en las PP
El núcleo de las PP no cambia significativamente a menos que haya un viraje importante de creencias en las coaliciones dominantes. Sabatier y Jenkins-Smith son quienes desarrollan más el enfoque del aprendizaje
Aprendizaje y Cambio: Argyris y Schön proponen una paradoja en la vida organizacional: presiones para tener estabilidad y necesidad de cambio. Proponen un modelo de aprendizaje de “espiral doble”, en que la toma de decisiones en una organización se base en información obtenida abiertamente, siendo receptiva al cambio.
Metcalfe propone que el aprendizaje organizacional es un proceso político. La investigación en PP debiese estudiar aprendizaje en las redes inter-organizacionales.
Para Collingridge, el aprendizaje es un proceso de ensayo y error
Implementación y evaluación deben ser presentadas como un proceso fluido en que no hay etapas específicas (no como evolución continua)
Enfoque del aprendizaje social: en los 70, desilusión con la tecnología, tecnocracia y centralismo. Este enfoque busca formas de facilitar el desarrollo social y económico. Dunn llama a desarrollar formas de organización capaces de facilitar la experimentación social evolutiva. Sería una planeación “desde abajo” (mediante democracia, poder, política y participación), al contrario de los enfoques de aprendizaje organizacional.
Promesas y desempeño: evaluar el impacto y los resultados
· El objetivo básico de una evaluación de impacto esproducir un cálculo de efectos netos de una intervención, sin la influencia de otros procesos.
James Wilson propone dos leyes sobre las variaciones en el análisis de efectos en PP: si la investigación es hecha por los implementadores de la política, los resultados son los deseados. Si está hecha por independientes, los resultados serán negativos.
El análisis cuantitativo siempre puede ser una forma de legitimar el proceso de formulación de políticas. Para los críticos, la naturaleza política de evaluar impactos significa que se requieren formas más cualitativas.
Los impactos de las políticas tienen poco que ver con la política partidista, aparentemente es mayor la influencia del entorno socioeconómico
· Estudiando el caso británico, se sostiene que el punto de vista partidario tiene solo influencias marginales en la economía, es menor al deseado por los votantes.
La política, en sociedades democráticas, se vincula a la convicción de que la elaboración de PP marca diferencias, el riesgo es caer en la ilusión de una influencia mayor que la que se tiene realmente. Generalmente, las PP están motivadas por objetivos coyunturales (reacción ante crisis, más que resolver y prevenir problemas).
El sistema político abstrae algunas características del entorno social y económico, y les otorga trascendencia política. Son variables capaces de determinar resultados e impactos. Las PP constituyen solo una de las fuerzas (y tal vez no la más poderosa) que influyen en los problemas del “mundo real”.
El impacto de las decisiones en PP solo puede comprenderse en el largo plazo. Las decisiones tienen mayor éxito cuando se diseñan a la medida de los contextos específicos del caso, los diferentes países u sus regulaciones tienen diferentes ventajas comparativas; aunque se puede aprender de las experiencias de otros, copiar las prácticas no suele funcionar.
Puede ser que la mejor forma de comprender el impacto de las PP sea de forma simbólica y no sustancial. Declarar una “guerra contra la pobreza” puede no tener impactos significativos en los pobres, pero tranquiliza a la gente porque “al gobierno le importa”. 
Los estudios en PP deben formar una nueva relación con la sociedad y el gobierno, para que las PP no sean vistas como resultados o impactos, sino como participación y comunicación, para que los ciudadanos no sean vistos como consumidores sino como entes que influyen en los valores e instituciones.
Conclusión: más allá de la implementación y los resultados, el camino hacia la democratización
La obligación particular del gobierno es facilitar las decisiones y acciones sociales. La descentralización de los servicios tiene que aliarse con mayor control local y democrático, empoderamiento y participación ciudadana, por sobre las disposiciones gerencialistas, fomentando la rendición de cuentas y la evaluación de abajo hacia arriba.
Modelos como el del aprendizaje social implican un rediseño de las instituciones de PP. El desafío es mejorar la racionalidad comunicativa (por sobre la instrumental). El análisis de las PP debe esforzarse por llegar a un público tan amplio como sea posible.
La aclaración, la definición y el intercambio de valores para ampliar la democratización sigue siendo la tarea vital de la teoría y práctica de las PP.
DIPRES, 2009. NOTAS TÉCNICAS
A. COMPRENDIENDO UN PROGRAMA
I. Definición de Programa y Relaciones de Causalidad
Programaun conjunto de actividades necesarias, integradas y articuladas que proveen bienes y/o servicios (componentes), tendientes a lograr un propósito específico en una población objetivo y que por esta vía resuelve el problema que dio origen al mismo.
Impacto es la diferencia entre la situación real de la población beneficiaria después del programa y la situación en la que esa población habría estado si no hubiera participado en él.
Para conocer el impacto de un programa, en primer término se deben identificar las relaciones teóricas de causa-efecto entre los componentes del programa y los cambios en la situación de los beneficiarios Los instrumentos que se utilizan en DIPRES para ordenar estas relaciones causa-efecto son dos: se utilizan matrices de marco lógico (formulario E, Asistencia Técnica, Evaluaciones de Programas Gubernamentales) o Modelos Conceptuales (Evaluaciones de Impacto y Evaluaciones de Programas Nuevos).
Relaciones causa-efecto Si estas no existen o son muy débiles, los resultados de la evaluación serán negativos; a la inversa si se cumplen las relaciones causa efecto, la investigación mostrará que el programa ha alcanzado los beneficios esperados.
En el proceso de evaluación se debe incluir, si corresponde, los distintos tipos de resultados y establecer el momento en que corresponde que éstos sean medidos y analizados (horizonte de la evaluación).
Resultados a Nivel de Producto como aquellos que tiene que ver con la entrega de bienes o servicios (componentes) que el programa provee directamente, como parte de sus responsabilidades.
Resultados Intermedios eventos o cambios en el comportamiento, estado o actitud de los beneficiarios.
Resultados a Nivel de propósito cambios en la situación de los beneficiarios, producto de la entrega de los bienes y servicios producidos por el programa y los resultados intermedios alcanzados.
Resultados a Nivel de Fin cambios en la situación de los beneficiarios, producto de la entrega de los bienes y servicios producidos por el programa y los resultados intermedios y de propósito alcanzados. (no es que yo haya anotado mal, ambos niveles decían lo mismo.)
II. Población Potencial, Población Objetivo y Beneficiarios Efectivos
Población potencial corresponde a la población total que presenta la necesidad y/o problema que justifica el programa y por ende pudiera ser elegible para su atención. 
Población objetivo es aquella población que el programa tiene planeado atender en un período dado de tiempo, pudiendo corresponder a la totalidad de la población potencial o a una parte de ella. 
Beneficiarios efectivos son aquellos que están siendo o han sido atendidos por el programa.
III. Focalización
Focalización se refiere a concentrar la provisión de bienes y/o servicios en una población de beneficiarios objetivos claramente identificada, a la que se quiere llegar con determinado programa o proyecto.
Evaluar la focalización en un programa público implica centrar la atención en los elementos de diseño, aplicación y resultados.
IV. Justificaciones de la Intervención del Estado
1. Fallas de Mercado
El mercado es eficiente y no se requiere de la intervención del Estado cuando se cumplen ciertas condiciones. 
Cuando alguna de estas condiciones no se cumplen, se dice entonces que existe una falla de mercado, por lo tanto, se justifica la intervención del Estado debido a que el mercado por sí solo no es suficiente para asignar de forma eficiente los recursos.
Existen 5 tipos de fallas de mercado: 
a. Bienes Públicos, los tipos de bienes se clasifican según sean:
Rivalidad. Un bien es “rival” si el consumo de un cliente adicional del bien disminuye el consumo de los demás. Ej. Alimento, ropa, etc. 
Exclusión. Un bien está sujeto a “exclusión” si a un consumidor potencial se le puede negar el bien o excluir de su consumo, cuando este no cumple con las condiciones establecidas por el oferente, por ejemplo el pago de un precio.
De acuerdo al gráfico, se definen los siguientes cuatro tipos de bienes:
Bienes Públicos. Son aquellos en donde no existe rivalidad ni exclusión en el consumo. En este tipo de bienes no se puede cobrar por su consumo, precisamente por su característica de no exclusión. Ejemplos de este tipo de bienes son parques, áreas verdes y playas de libre acceso, etc.
Bienes de Propiedad Común. Estos bienes presentan rivalidad, pero no presentan exclusión. Toda la sociedad tiene acceso a consumir este tipo de bienes, pero el consumo del bien por parte de un individuo afecta en forma directa el consumo del mismo bien por parte de otros individuos. Ejemplos de este tipo de bienes son, por ejemplo: calles urbanas no tarificadasy con congestión, recursos pesqueros, pozos petroleros.
Bienes Reservados o Bienes de Club. No presentan rivalidad pero sí exclusión. En este tipo de bienes generalmente se cobra una tarifa a un grupo de individuos que les da derecho a usar un bien o servicio determinado. Pero una vez cancelada la tarifa no se produce rivalidad entre los que pagaron. Ejemplos de este tipo de bienes son: autopistas tarificadas, acceso a Internet y acceso telefónico, etc.
Bienes Privados. Presentan exclusividad y rivalidad a la vez. Esto implica que se puede regular el acceso al bien a través de cobrar un precio, y una vez que el bien es consumido por un cliente se reduce el consumo disponible para los demás. Ejemplos de este tipo de bienes son automóviles, casas, bienes alimenticios, etc.
Tanto los bienes privados como los reservados pueden ser tratados como bienes públicos, en el caso que tengan una alta valoración social por lo que su consumo debiera ser incentivado, independiente de la capacidad de pago de los consumidores.
Por ejemplo: nutrición infantil, educación básica y media, prevención de salud, vacunación, etc.
b. Externalidades
Éstas se producen en el momento en que los actos de una persona o empresa afectan a otras personas o empresas. Existen: Externalidades positivas, se producen toda vez que una persona o empresa genera un beneficio en los otros agentes pero no recibe ninguna retribución a cambio. Ej. Una empresa que hace un descubrimiento tecnológico, incurre en costos al realizar las investigaciones, pero finalmente el resto de las empresas se beneficia por cuanto la información es un bien no rival. Externalidades negativas, se producen toda vez que una persona o empresa impone un costo al resto de los agentes sin compensarlos. Ej. Contaminación del aire o agua. Como el costo de las externalidades negativas no recae sobre quien las emite, entonces la tendencia es que se producirá en exceso (el costo marginal privado es menor al costo marginal social), y en el caso de las externalidades positivas, los que la emiten no reciben todos los beneficios, por lo que se produce menos de lo socialmente óptimo (el beneficio marginal social es mayor al beneficio marginal privado). Por lo tanto, en ambos casos podemos decir que los niveles de producción y los gastos destinados a controlar la externalidad no son los correctos.
Soluciones privadas para resolver las externalidades
Teorema de Coase: cuando los derechos de propiedad están bien establecidos, entonces las partes pueden negociar entre sí para llegar a un resultado socialmente óptimo.
Soluciones públicas para resolver las externalidades
Subvenciones e impuestos: tienen como propósito igualar los costos marginales privados a los costos marginales sociales y los beneficios marginales privados a los beneficios marginales sociales. Regulación: en vez de imponer impuestos o subvencionar ciertas acciones, el Estado dicta normas en un intento de reducir las externalidades negativas
c. Asimetrías de Información
Por lo general los consumidores no cuentan con toda la información acerca de un producto o servicio y el mercado no siempre es capaz de proveer de forma suficiente dicha información. Ej. los gobiernos establecen normas en relación con el etiquetado de los productos, con la información sobre el contenido, la fecha de vencimiento, etc.
La intervención del Estado para solucionar los problemas de información tiene una justificación más amplia que la de establecer medidas sencillas de protección del consumidor. La información es prácticamente un bien público, ya que entregar información a una persona no disminuye la cantidad de información que se le pueda entregar a otra.
d. Mercados Incompletos
En algunas ocasiones, aun cuando el precio que están pagando los consumidores es mayor al costo de proveer un bien o servicio, éste no se produce, y por tanto se habla de la existencia de mercados incompletos. Lo anterior sucede con frecuencia en los mercados de seguros y los mercados de capitales principalmente.
Ejemplo: es el financiamiento por parte del Estado de créditos para el financiamiento de estudios universitarios o como aval los fondos concedidos por bancos privados para estos fines. La intervención del Estado se justifica dado que, ante la incertidumbre por parte de las instituciones financieras de recuperar su dinero, solicitan garantías, las que algunos agentes no pueden proporcionar.
e. Competencia Imperfecta
En algunos mercados las barreras a la entrada y salida de las firmas produce que la competencia sea escasa o nula. En estos casos las empresas pueden manejar de forma tal el precio que pueden extraerle el excedente a los consumidores. Dicho precio es mayor al socialmente óptimo por lo que se justifica la intervención del Estado. Ej. Monopolio.
2. Redistribución del Ingreso
El segundo tipo de justificación para la intervención del Estado dice relación con el hecho de que si el mercado asigna de forma eficiente los recursos, eso no implica que la distribución resultante sea justa. Es decir, el mecanismo de mercado en algunas ocasiones puede resultar en distribuciones del bienestar que son inequitativas.
3. Bienes Preferentes
Los bienes o servicios que se consideran preferentes son aquellos cuyo consumo, por lo general, no está orientado por la “soberanía del consumidor”. Es decir, aunque los consumidores posean información completa, éstos pueden tomar “malas” decisiones no actuando en su propio interés. Este es el caso de las personas que siguen fumando sabiendo que es malo para la salud.
V. Sostenibilidad del Programa
La sostenibilidad de un programa dice relación con todas aquellas condiciones que permiten que el programa logre continuidad operativa y cumplimiento de sus objetivos en el mediano y/o largo plazo.
En cuanto a las condiciones que permiten que el programa logre continuidad y cumplimiento de objetivos, éstas pueden ser de diversa naturaleza. En general, se relacionan con 
(i) Características organizacionales como, compromiso de las autoridades, acceso a los centros de decisión, espacios de coordinación inter-institucional; 
(ii) capacidades existentes en el programa tales como, capacidades profesionales, dotación de recursos. 
(iii) valoraciones de actores externos a la institución o programa, tales como legitimidad ante los beneficiarios y credibilidad por parte de actores políticos y sociales.
VI. Análisis de Género en la Formulación de Programas
Enfoque o Perspectiva de Género
El enfoque o perspectiva de género en políticas públicas es una orientación de la política destinada a considerar y modificar los roles históricos y subordinados en cada sexo, y otorgar igualdad de posibilidades de beneficiarse de las oportunidades del desarrollo y también de contribuir a éste. Dicha incorporación en los programas públicos debe entenderse como un proceso que permite aumentar la eficacia y eficiencia de las acciones y en que cada uno de los sectores, gradualmente, puede avanzar institucionalizando nuevas prácticas y procesos.
El análisis de género debe estar presente en todas las etapas de formulación del programa o proyecto:
-Diagnóstico: debe abocarse a determinar como el problema que se identifica afecta diferenciadamente a hombres y mujeres y las características particulares que éste toma en cada caso. 
-Beneficiarios/as: ¿Quiénes son?; ¿Quiénes participan?; ¿Mujeres, hombres, ambos?; ¿Cuáles son los obstáculos para la participación de mujeres y hombres?
-Componentes (bienes y/o servicios): se debe identificar con exactitud diferencias necesarias de considerar en la definición del componente específico, dependiendo de si los beneficiarios son hombres, mujeres o ambos, para que efectivamente se logre el propósito del programa.
-Indicadores: los indicadores deben medir los efectos que han tenido las intervenciones realizadas en la situación de hombres y mujeres y en las relaciones que entre ellos se establecen. Entre otros resultados, deben medir el grado de desigualdad que pudiese existir entre hombres y mujeres.
B. METODOLOGÍASDE MEDICIÓN
VII. Aspectos Cuantitativos y Aspectos Cualitativos
En general, las herramientas cualitativas son más apropiadas para entender y evaluar los procesos sociales que rodean la implementación de un programa (conflictos suscitados en torno al programa, razones por las cuales los beneficiarios no usan los servicios ofrecidos) o comportamientos organizacionales (cultura, clima organizacional).
Ventajas flexibilidad y su rapidez en la recolección y procesamiento de la información; así como la posibilidad de indagar en interrogantes más complejas que aquellas que responde un análisis cuantitativo normal.
Desventajas la subjetividad envuelta en la recolección de información: las personas pueden decir si “creen” que un programa mejora sus posibilidades de aumentar el empleo, pero no necesariamente eso sucede en la práctica.
Es recomendable combinar ambas metodologías al momento de analizar un programa.
VIII. Resultados Finales: Medición del Impacto de un Programa
1. Conceptos y Aspectos Metodológicos Básicos
Para identificar el impacto o los beneficios “netos” de un programa sobre su población beneficiaria: ¿Los bienes y servicios que entrega el programa contribuyen a lograr los beneficios esperados en la población beneficiaria?
-Aislar factores externos que ocurrieron al mismo tiempo que el transcurso del programa.
-No es una comparación antes/después
Situación contrafactual se debe responder lo más certeramente a la pregunta: ¿Cuál sería la situación actual de estos beneficiarios si no hubieran participado en el programa?
Grupo de control comparar los resultados del programa en los beneficiarios con respecto a un grupo de no beneficiarios de características similares, de modo de aislar los efectos de factores ajenos al programa.
La construcción del escenario contrafactual es el corazón de una evaluación de impacto. Esta puede ser abordada mediante varias metodologías alternativas, las cuales pueden agruparse en dos grandes categorías:
-Diseño experimental (aleatorio). Es considerado la metodología de evaluación que entrega los resultados más confiables. Consiste en la selección aleatoria de los beneficiarios dentro de un grupo de individuos elegibles creando dos grupos estadísticamente idénticos entre sí, uno que participa en el programa (grupo de tratamiento) y otro que, cumpliendo todas las condiciones para participar, esta fuera de él (grupo de control). La cuantificación o estimación del impacto del programa se realiza mediante una simple diferencia de medias (para las variables de resultado relevantes) entre el grupo de control y el grupo de tratamiento.
-Diseño cuasi - experimental (no aleatorio). Es utilizado cuando no es posible generar los grupos de control y tratamiento a través de un diseño experimental, pues la intervención del programa ya tuvo lugar y se seleccionaron los beneficiarios del programa usando métodos no aleatorios, a través de la aplicación de criterios de elegibilidad y focalización que establecen diferencias entre éstos y los no beneficiarios. El uso de este tipo de metodologías también puede ser necesario cuando el programa aún no ha designado a sus beneficiarios.
Para minimizar los posibles problemas de sesgo, es de mucha ayuda contar con una línea de base es la primera medición de las características de la población potencial. Corresponde al valor de los indicadores relevantes incorporados al diseño del programa en su punto de partida.
Las técnicas de Evaluación de Impacto generalmente se utilizan para estimar el impacto promedio del programa sobre la población de beneficiarios.
Para estimar la heterogeneidad del efecto causal del programa se debe aplicar una metodología que no sólo mida la diferencia de efectos para ciertas observaciones dadas, sino que también permita tener un grado de confiabilidad estadística sobre el resultado obtenido. La implementación de una evaluación de Impacto es la única forma rigurosa de determinar el efecto de un programa sobre su población beneficiaria. Por ello, son indispensables para realizar evaluaciones costo beneficio de programas.
2. Sustentabilidad de los Beneficios de un Programa o Componente
La sustentabilidad dice relación con el grado en que los resultados del programa se prolongan después de terminado éste y/o la participación de los beneficiarios en el mismo.
La sustentabilidad de los beneficios es un aspecto que debe ser exigido a programas, componentes o líneas de acción que posean como objetivo el desarrollo de algún tipo de capital cuyo beneficio se espera perdure en el mediano y/o largo plazo.
IX. Diseño de Muestras
Una muestra es un subconjunto de la población beneficiaria que, dada las propiedades estadísticas de su obtención, representa las principales características de ésta. La selección aleatoria de una muestra hace posible recoger con confiabilidad estadística los elementos esenciales de los beneficiarios de un programa sin la necesidad de conocer los datos de cada individuo de este universo.
Existen dos tipos de muestreo: aquellos no probabilísticos, es decir, aquellos en que el investigador selecciona los elementos de la muestra según su propio criterio y el muestreo probabilístico el cual se caracteriza por realizar una selección aleatoria de los elementos a través de distintas metodologías, por ejemplo:
- Muestreo aleatorio simple. Es aquel que asigna igual probabilidad de ocurrencia a cada unidad seleccionada (individuo, hogar, empresa), Este es el caso de una muestra aleatoria donde cada individuo representa un grupo de la población de igual tamaño.
- Muestreo Aleatorio por Estratos: Consiste en considerar categorías típicas diferentes entre sí (estratos) que poseen gran homogeneidad respecto a alguna característica que se va a estudiar (se puede estratificar, por ejemplo, según la profesión, el municipio de residencia, el sexo, el estado civil, etc.). Lo que se pretende con este tipo de muestreo es asegurar que todos los estratos de interés están representados adecuadamente en la muestra.
- Muestreo Aleatorio por Conglomerados: En este caso, en una primera etapa se selecciona aleatoriamente un cierto número de grupos denominados conglomerados, y luego, en una segunda etapa, se selecciona aleatoriamente las observaciones en el interior de cada uno de ellos. Esto genera una muestra en que individuos no están aleatoriamente asignados sobre el espacio, pero sí en el interior de cada grupo o conglomerado (por ejemplo comunas, colegios, etc.).
Estimación del tamaño muestral:
El tamaño de una muestra puede variar considerablemente dependiendo de tres factores: 
i) El propósito de la encuesta o muestra; 
ii) el tamaño de la población; 
iii) el grado en el cual se desea conocer características particulares a subconjuntos de la población
X. Indicadores de Desempeño
Son una herramienta que entrega información cuantitativa respecto al logro o resultado generado por la entrega de los productos (de la institución o programa), pudiendo cubrir aspectos cuantitativos o cualitativos de este logro. Es una expresión que comparada con períodos anteriores, productos similares o una meta o compromiso, permite evaluar desempeño.
Deben cumplir algunos requisitos básicos: la pertinencia, la comparabilidad, requerir de información a costos razonables, ser confiables, simples y comprehensivos, y constituir información de carácter pública.
El número de indicadores no puede exceder la capacidad de análisis de quienes los van a usar. Por esto es necesario diferenciar entre indicadores para propósitos de gestión o de monitoreo interno en los programas o instituciones.
Ámbitos y Dimensiones de los Indicadores. Elementos Metodológicos
1. Ámbitos de Control
Los indicadores de desempeño pueden referirse a diferentes ámbitos necesarios de controlar en la implementación de políticas y programas públicos. Estos se describen a continuación:
a) Procesos. Se refieren a actividades vinculadas con la forma en que el trabajo es realizado para producir los productos (bienes y/o servicios), incluyen actividades o prácticas detrabajo tales como procedimientos de compra, procesos tecnológicos y de administración financiera. Los indicadores de procesos ayudan en la evaluación del desempeño en áreas donde los productos o resultados son difíciles de medir.
2. Dimensiones del desempeño
El desempeño, además de los ámbitos de control mencionados, tiene también una serie de dimensiones algunas de las cuales interactúan y pueden entrar en conflicto. Las dimensiones o focos de la gestión de una institución y/o programa que son factibles y relevantes de medir a través de indicadores son su eficacia, eficiencia, economía y calidad del servicio. A continuación se describen cada uno de estos conceptos:
a) Eficacia. Se refiere al grado de cumplimiento de los objetivos planteados, es decir, en qué medida el área, o la institución como un todo, está cumpliendo con sus objetivos, sin considerar necesariamente los recursos asignados para ello. Ej: 
1. Porcentaje de cambio en el ingreso predial por agricultor-PRODECOP IV Región con respecto a un año base8
(Instituto de Desarrollo Agropecuario)
2. Cobertura de vacunación anti-influenza de la población de adultos mayores de 65 años (Subsecretaría de Salud)
b) Eficiencia. Describe la relación entre dos magnitudes: la producción física de un producto (bien o servicio) y los insumos o recursos que se utilizan para alcanzar ese nivel de producción. Ej:
1. Promedio anual de solicitudes en el área de Marcas y Patentes resueltas por funcionario (Subsecretaria de
Economía)
2. Promedio de Fiscalizaciones por Fiscalizador (Superintendencia de Instituciones de Salud Previsional)
c) Economía. Este concepto se relaciona con la capacidad para generar y movilizar adecuadamente los recursos financieros en pos de los objetivos definidos por una institución y/o programa. En el marco de consecución de los objetivos de una institución y/o programa, la administración de sus recursos exige siempre el máximo de disciplina y cuidado en el manejo de la caja, del presupuesto, de la preservación del patrimonio y de la capacidad de generar ingresos. Ej:
1. Porcentaje de ingresos por ventas y concesiones en relación al gasto total (Ministerio Bienes Nacionales)
2. Porcentaje de recursos aportados por terceros (Comisión Nacional del Medio Ambiente)
Algunos indicadores de economía de una institución o programa pueden ser su capacidad de autofinanciamiento, la eficacia en la ejecución de su presupuesto, y/o su nivel de recuperación de préstamos.
d) Calidad del Servicio. La calidad del servicio es una dimensión específica del concepto de eficacia que se refiere a la capacidad para responder a las necesidades de sus clientes, usuarios o beneficiarios. Se refiere a atributos de los productos (bienes o servicios) entregados, tales como: oportunidad, accesibilidad, precisión y continuidad en la entrega del servicio, comodidad y cortesía en la atención. Ej:
1. Porcentaje de usuarios que evalúan con nota superior o igual a 5,5 la calidad del programa de alimentación escolar
(Junta Nacional de Auxilio Escolar y Becas)
2. Tiempo promedio de entrega de viviendas (Servicio de Vivienda y Urbanización)
3. Consideraciones Metodológicas para la Elaboración de Indicadores
La identificación y elaboración de indicadores debe considerar y precisar los aspectos y elementos que se señalan a continuación:
a) Temporalidad. La identificación de los indicadores de desempeño debe considerar el momento en que los diferentes resultados deberían ocurrir, y por tanto comenzar a medirse.
b) Fuentes de información: En muchas oportunidades la información requerida para las mediciones constituye información que, razonablemente, debe formar parte de los procesos regulares de gestión de los programas, y por tanto posibles de obtener a través de instrumentos de recolección de información que formen parte de sus actividades, ya sea a nivel censal o muestral, recogidos como estadísticas, a través de encuestas, pautas de observación, etc., dependiendo del aspecto a medir.
Teniendo en consideración los elementos anteriores, una propuesta de elaboración de indicadores debe permitir disponer de indicadores factibles de medir, en momentos adecuados y con una periodicidad que equilibre adecuadamente las necesidades de información con los recursos disponibles, tanto técnicos como financieros.
Ejemplos de Indicadores de Desempeño. Ámbitos de Control y Dimensiones de Evaluación
Los ámbitos de control a través de indicadores de desempeño son los procesos, productos y resultados, sean estos intermedios y/o finales. Las dimensiones o focos de evaluación son la eficacia, eficiencia, economía y calidad. Para los diferentes bienes y servicios habrá diferentes combinaciones entre ámbitos y dimensiones que serán más relevantes que otras para los respectivos procesos de monitoreo y/o evaluación.
Ejemplo: (si desea revisar más ver página 32)
XI. Profundizando en el Concepto de Eficiencia del Programa
La eficiencia describe la relación entre dos magnitudes: resultados de un programa y los insumos o recursos (humanos, físicos y monetarios) que se utilizaron para alcanzar ese nivel de producto. Se refiere a si las actividades de un programa se ejecutaron, administraron y organizaron de tal manera que se haya incurrido en el menor costo posible para generar los productos y/o componentes esperados. Para medir eficiencia comúnmente se utilizan indicadores que relacionan gastos con productos/resultados. Las medidas de eficiencia se pueden agrupar en tres categorías:
a) Las que dicen relación con la productividad media de los distintos tipos de factores (especialmente recursos humanos) y que relacionan el nivel de actividad, expresado como número de acciones, beneficios o prestaciones otorgadas, con las unidades de producción del bien o servicio utilizado, por ejemplo: consultas diarias por médico, alumnos promedio por capacitación, etc.
Análogamente a a) las que relacionan resultados logrados con las unidades de producción del bien: Empleos ganados por capacitación, aumento en notas por computador entregado, etc.
b) Las que dicen relación con los gastos de producción del programa, tales como: gasto medio por unidad de producción del bien o servicio que entrega el programa, gasto medio por beneficiario, gasto medio por componente del programa, etc.
Análogamente a b), las que relacionan resultados logrados con los costos del programa: costo de generar un empleo en el sector privado o costo de subir un punto en la PSU por alumno. 
e) Las que dicen relación con la estructura de gastos del programa, ejemplo: el porcentaje de gastos administrativos en relación al gasto total del programa.
Idealmente, estas medidas deben ser comparadas con algún referente técnicamente válido para poder evaluar la eficiencia del programa. Una primera posibilidad es compararlas con los gastos de bienes, servicios, actividades o procesos similares a los estudiados, que sean desarrollados por otras organizaciones públicas o privadas.
Otra alternativa es la de generar estándares de eficiencia internos para los procesos más importantes del programa.
Otra forma es realizar análisis comparativos de eficiencia entre las distintas unidades que producen los bienes y servicios que entrega el programa.
Considerando las restricciones en la disponibilidad de información, también es posible evaluar el programa respecto a sí mismo, analizando el comportamiento histórico de las distintas mediciones de eficiencia desarrolladas e incorporando, además, otros antecedentes que permitan realizar un juicio evaluativo acerca de la tendencia observada.
C. ASPECTOS OPERATIVOS RELEVANTES DE LOS PROGRAMAS
XII. Proceso de Asignación y Trasferencia de Recursos
Una parte significativa de los programas públicos son ejecutados en distintos niveles territoriales (regional, provincial o comunal) a lo largo del país, siendo los recursos asignados en el nivel central.
Al respecto, se identifican dos ámbitos de acción. El primero, relativo al o los criterios que se utilizan para distribuir el total de recursos asignados a nivel centralentre las diferentes instancias territoriales, sean estas regiones, provincias y/o comunas. El segundo, relativo al mecanismo de traspaso de estos recursos a los responsables directos de la ejecución del programa.
A modo de ejemplo, el Ministerio de Educación traspasa recursos a los municipios para la provisión de educación, los cuales a su vez traspasan recursos a las escuelas, responsables directas de la entrega de este servicio.
XIII. Relación Ejecutor e Institución Responsable del Programa. Incentivos y Modalidades de Pago
El análisis de las modalidades de pago, a las instituciones ejecutoras de los bienes y servicios de un programa, debe poner especial énfasis en la estructura de los “contratos” – en algunos casos implícitos -- entre la institución responsable del programa y la entidad ejecutora. Los contratos son un mecanismo a través del cual se establecen y regulan las relaciones de intercambio.
XIV. Conceptualización de Antecedentes Presupuestarios y de Gastos.
1. Fuentes de Financiamiento del Programa
Existen principalmente dos fuentes de financiamiento de los programas gubernamentales. La primera consiste en todos aquellos recursos que aparecen consignados en la Ley de Presupuestos del Sector Público, dentro de los cuales pueden distinguirse al menos dos situaciones: (i) los recursos que son asignados en la Ley de Presupuestos a la institución administrativamente responsable del programa; (ii) los recursos financieros que aparecen contemplados en el (los) presupuesto(s) de otros organismos públicos.
La segunda fuente corresponde a recursos provenientes de fuentes extrapresupuestarias, que no aparecen en la Ley de Presupuestos; tales como: aportes de los municipios, de organizaciones comunitarias, de organismos internacionales, de donaciones de privados o de los propios beneficiarios.
2. Presupuesto de Gasto del Programa y Gasto devengado.
2.1 Presupuesto del Programa
El presupuesto del programa corresponde al presupuesto asignado cada año mediante la Ley de Presupuestos que es aprobada en el Congreso (Presupuesto Inicial), sin incorporar aquellas modificaciones que ocurren a lo largo del año por diversos motivos (reajustes de remuneraciones, leyes que incrementan la base de gastos del programa, situaciones imprevistas, etc.).
2.2 Gasto Devengado del Programa
El gasto devengado del programa corresponde al registro de todas las obligaciones financieras del programa, en el momento que se generan (es decir, cuánto del presupuesto se usa realmente), independientemente de que éstas hayan sido o no pagadas. La relación entre gasto devengado y presupuesto se denomina porcentaje de ejecución presupuestaria.
3. Gastos de Producción de los Componentes
Corresponden a los gastos directamente asociados a la producción de los componentes (bienes y/o servicios) que entrega el programa a sus usuarios o beneficiarios (gasto becas, monto subsidios, costo de raciones alimenticias, remuneraciones del personal que labora directamente en la entrega de los servicios, etc.).
3.1 Costos o Gastos Monetarios
Corresponden a los costos del programa que tienen una expresión en términos monetarios, es decir, lo que comúnmente se entiende como gasto devengado en la terminología de la Ley de Presupuestos.
3.2 Costos no monetarios
Los costos no monetarios son aquellos que no representan desembolsos y por ende no afectan el flujo de caja del programa, tal es el caso de la depreciación de los vehículos, de las oficinas y del resto de las instalaciones, y el valor del tiempo que los trabajadores ocupan en trasladarse al lugar donde se imparte la capacitación
XV. Conceptualización de los Gastos de Administración del Programa
Los gastos totales de un programa pueden desglosarse en dos grandes categorías. En primer término están los gastos directamente asociados a la producción de los componentes, como por ejemplo: monto gastado en subsidios, gastos de las becas, gastos de producción de prestaciones médicas, transferencias a entidades ejecutoras para el financiamiento de proyectos, etc. Por otra parte, están todos los gastos asociados a generar los servicios de apoyo que el programa necesita para funcionar y para producir los componentes.
XVI. Recuperación de gastos
Uno de los aspectos relevantes del análisis de economía o desempeño financiero de un programa es el relativo a la recuperación de gastos. Esto último se refiere a los mecanismos mediante los cuales se recuperan total o parcialmente los gastos que le genera al Estado la producción de los bienes y servicios que entrega el programa. En términos simples, la recuperación de gastos se manifiesta a través de mecanismos tales como: pago de derechos o tarifas por venta o acceso a servicios (certificaciones, peajes, peritajes, etc.); copagos por servicios (copago de beneficiarios FONASA en hospitales públicos, por ejemplo) y ventas de bases. El indicador más tradicional de recuperación de gastos es: ingresos propios /gasto total del programa. Un buen desempeño de un programa en esta materia, le permitirá atender más beneficiarios o entregar más prestaciones con los mismos recursos.
Francisco Alvira, Metodologías de la evaluación de programas: Un enfoque Práctico
Capítulo 3: El diseño de la evaluación
Diseñar una evaluación es plantear que información se va a recoger, como se recogerá y analizara, teniendo siempre en vista los objetivos. En el diseño de una evaluación, la conexión información-métodos-objetivos es fundamental, es el diseño mismo.
1. Determinación de objetivos
2. Diseño propiamente dicho:
a) Evaluación de las necesidades
b) La evaluación del diseño y la conceptualización de la intervención
c) Evaluación de la implementación
d) Evaluación de resultados y de impacto
e) Evaluación económica
Hay dos procesos íntimamente relacionados en esta fase: La determinación de objetivos y el diseño como tal
1) Determinación de los objetivos de evaluación: sin ellos es imposible pensar los objetivos
Existe un condicionamiento mutuo entre los objetivos, el diseño de la evaluación, el tipo de evaluación y los criterios de valor. La imagen para entenderlo es el de una pirámide, que tiene a la base las preguntas que el “cliente” formula sobre el programa y a las cuales la evaluación debe responder; y en los cuatro lados estarían los criterios de valor, el tipo de evaluación, los objetivos y el diseño, que se apoyaría en la base y se conectaría con el resto de los lados.
El punto de partida son las preguntas, que son formuladas por el evaluador a través del “cliente” o “partes interesadas”. La forma en que se formulan, es a través de una entrevista abierta con el cliente, en la que debe quedar claro: las razones de hacer la evaluación, la información que se necesita sobre el programa, la utilidad de la evaluación, etc. La mejor fórmula es que el cliente formule las preguntas en voz alta, y si este menciona más de una, lo recomendable es ordenarlas en un tipo común de preguntas, o identificar una preguntara que servirá de guía base.
Estas son tipos de preguntas según tipo de evaluación (en el texto hay muchas más, pero yo pondré 2 por tipo)
Evaluación de las necesidades: ¿se ha elaborado un inventario de recursos disponibles y necesarios?, ¿Cuál es el alcance del problema y la distribución de la población objeto o parcialmente usuaria?
Evaluación del diseño: ¿Existe una coherencia en el programa estudiado, entre análisis de la realidad, objetivos generales, objetivos específicos, actividades y metodología? ¿esta prevista una metodología de intervención secuenciando las tareas, calendario, temporización, mecanismos de control y retroalimentación, etc.?
Evaluación de resultados: ¿Cuáles son los productos del programa, se han dado en la magnitud que estaba previsto? ¿Cómo se han modificado la situación de los usuarios del programa?
Evaluación de impacto: ¿Cuáles han sido los efectos del programa? ¿Cuál ha sido el impacto sobre la comunidad y poblaciones no objeto del programa?
Evaluación del proceso y funcionamiento del programa: ¿se llega al grupo de personas previsto?¿Existen conflictos, se resuelven de manera constructiva?
Los objetivos de la evaluación deben proporcionar información para dar respuesta a las preguntas que se plantean sobre el programa (las preguntas se transforman en objetivos). Existe la evaluación formativa que tiene por objeto modificar el programa para mejorarlo, y la evaluación sumativa que busca dar información para saber la continuidad del programa.
Junto con la determinación de los objetivos, se determina el tipo de evaluación. Existen muchos tipos, pero a continuación se muestra un listado lógico, jerárquico y más frecuente de los tipos de evaluación
a) Evaluación de necesidades: identificar exactamente el problema, sus características y soluciones
b) Evaluación del diseño y conceptualización del programa: sobre el programa elaborado a nivel teórico y documental, que busca la coherencia lógica entre resultado de la evaluación de necesidades, el programa y los conocimientos básicos sobre el problema. Puede descubrir una insuficiencia de recursos, inadecuada previsión de prestación de servicios para llegar a la población objeto,etc.
c) Evaluación de la implementación/ aplicación: es durante la puesta en marcha del programa
· Evaluación de cobertura
· Evaluación del funcionamiento (según lo previsto)
d) Evaluación de resultados: estudio de los efectos (atribuibles/ no atribuibles, esperados/no esperados) del programa
e) Evaluación de impacto: efectos del programa sobre la comunidad, más alla de la población objeto.
f) Evaluación económica: es el análisis de eficiencia del programa (coste beneficio, coste utilidad, coste efectividad) que cierra el círculo al introducir el criterio de recursos escasos para buscar alternativas efectivas y eficientes.
Los criterios de valor surgen explicita o implícitamente de los objetivos, preguntas de evaluación y tipo de evaluación, que corresponde a juicios de valor relacionados con el tipo de evaluación: el criterio de valor de la evaluación económica es la eficiencia (menor coste posible); evaluación de resultados es la consecución de los efectos perseguidos (positivos), etc. Sin embargo, el criterio de valor más común es el “cumplimiento de los objetivos del programa”, que implica: delimitar operativamente los objetivos del programa, recoger información sobre la consecución de estos, donde el programa será evaluado positivamente solo si cumple con los objetivos en el nivel, grado y calidad prefijados. Otro criterio de evaluación utilizado son los que identifique el “cliente de la evaluación”.
Otra clasificación de los criterios de valor son en sentido amplio (efectividad, eficiencia, etc) o en sentido estricto si es que existen (más específicos, por ejemplo criterios de calidad: calidad de satisfacción usuaria, calidad como atención, etc)
Existen dos posturas referentes a si el evaluador debe centrarse exclusivamente en las preguntas (y por lo tanto objetivos, tipo de evaluación y criterios de valor) marcadas por el cliente:
· Enfoque descriptivo: acatar los deseos del cliente
· Enfoque prescriptivo: utilizar otros criterios. Lo complejo de esta postura es justificar los criterios, que será filosófica o éticamente, pero no empírica
La disyuntiva entre estas dos posturas, se sitúa en la propia metodología de evaluación. A veces el propio cliente no tiene muchas claridades, entonces el evaluador puede ampliar los objetivos de la evaluación, las preguntas y/o criterios de valor
2) Diseño propiamente tal
Intentar hacer un diseño de evaluación buscamos un plan de recogida de información y análisis que permita cubrir adecuadamente los objetivos de evaluación, respondiendo adecuadamente a las preguntas de evaluación. Este debe incluir: preguntas, hipótesis y/o objetivos, unidades de análisis, lógica que une los datos con los objetivos y/o hipótesis y los criterios para interpretar los datos, en resumen la información necesaria para responder a las preguntas y objetivos (datos) y como analizarlos.
Cada tipo de evaluación requiere diseños distintos
Existe una distinción en evaluación externa y evaluación interna, que implica un criterio pragmático adicional a la selección de un diseño. Los criterios para decidir entre uno u otra son: conocimientos técnicos exigidos por cada tipo /diseño de evaluación, recursos económicos y organizativos existentes, y objetivos de control/auditoria de las evaluaciones. La decisión de llevar a cabo una u otra depende finalmente del tipo de organización y de su cultura evaluadora. Las organizaciones con amplia práctica y cultura evaluadora recurren más a la evaluación interna, en el otro extremos, como organizaciones públicas sin posibilidades técnicas, ni práctica y cultura evaluadora, se lleva a cabo la externa.
a) La evaluación de necesidades:
Los diseños de este tipo de evaluación se centran en el uso de:
· Datos secundarios: tiene que ver con estadísticas provenientes de fuentes institucionales (censos de población, estadísticas de educación, etc.), también esta la utilización de la estadística generada por el programa, el funcionamiento mismo del programa sirve de base para saber cuales son los problemas y realizar la evaluación de necesidades
Ventajas: Ahorro de esfuerzo y dinero, las estadísticas oficiales permiten un análisis de los factores de riesgo, zonificación y distribución de la población de riesgo; los documentos del programa permiten analizar la cobertura y sus problemas ver las tasas de abandono y cuál es la accesibilidad del programa.
Desventajas: las estadísticas oficiales no poseen el nivel de desagregación adecuado, ni todas las variables adecuadas, además tienden a estar desfasados. En el caso del uso de documentación y archivos del programa existe ausencia de información de no usurios, junto con la necesidad que la información disponible este completa y en el formato adecuado
· Encuestas: la utilización de encuestas es el diseño más flexible, proporciona información adicional. 
Ventajas: ve la demanda no cubierta, las necesidades subjetivas y la distribución y volumen de la demanda potencial
Desventajas: no es un buen método para la búsqueda de soluciones, solo podría saber para conocer el apoyo a una solución. Además, el investigador impone su estructura cognoscitiva conceptual, que hace que termine produciendo la información
Existen 3 variantes según la población a la que se dirige:
Encuesta a la población en general: permite identificar y caracterizar a la población objeto, estimar su volumen, y avanzar en las posibles soluciones
Encuesta a expertos: la utilización de expertos puede proporcionar información adecuada sobre el problema, previsión sobre su volumen, sus características, posibles solucione, etc. El problema está en la dificultad de identificar a los expertos, que en muchas ocasiones no existen
Encuesta a usuarios del programa: continua el problema de no contar con información de no usuarios, pero recoge mucha información
· Técnicas de Grupo: incluye a los grupos de discusión, el foro y la asamblea comunitaria. Son diseños que implican participación, y por lo tanto generan motivación y movilización y búsqueda de soluciones consensuadas. Se aplican a comunidades reducidas. Sus participantes son partes interesadas en la resolución del problema (pueden ser expertos que caractericen el problema), no busca representación estadística, ni la representatividad, sino que conocer el problema desde quienes lo padecen. 
Ventajas: moviliza población y permite el avance en soluciones
b) La evaluación del diseño y la conceptualización de la intervención:
este tipo de evaluación no admite muchas variaciones. Consiste en análisis lógico conceptual del programa/intervención para valorar la adecuación
Contempla 3 grandes apartados:
· La coherencia entre el programa diseñado y los resultados de evaluación de las necesidades o con las características del problema que se quiere solucionar: analizar si el programa es coherente con las características de la población, y si respeta la priorización de necesidades.
· La adecuación del programa al modelo