Descarga la aplicación para disfrutar aún más
Vista previa del material en texto
1 Investigación Evaluativa de Políticas Públicas, Programas y/o Proyectos Sociales Andrea Peroni Dominique Keim (Comp.) Red de Seguimiento, Evaluación y Sistematización, ReLAC-Chile Núcleo de Evaluación de Políticas Públicas - Universidad de Chile- 2012, Santiago de Chile www.evaluacionpoliticaspublicas.com http://www.evaluacionpoliticaspublicas.com/ III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 2 III Congreso Internacional de Ciencia, Tecnologí a y Cultura Simposio 44 Investigación Evaluativa Organizan Patrocina CENTRO DE INVESTIGACION Y DOCENCIA ECONOMICAS, A.C. MEXICO PREVAL Plataforma Regional de Desarrollo de Capacidades en Evaluación y Sistematización de América Latina y el Caribe. PERU. Equipo Coordinador: Andrea Peroni (Chile) Pablo Rodríguez Bilella (Argentina) Emma Lucia Rotondo (Perú) Claudia Olavarría (Chile) Secretaria Ejecutiva: Natalia Yáñez y Dominique Keim http://noticiasrelac.ning.com/ http://www.evaluacionpoliticaspublicas.com/relac/ III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 3 Presentación El III Congreso Internacional de Ciencia, Tecnología y Cultura realizado durante el mes de enero del año 2013 en la Universidad de Santiago de Chile, fue sin duda un escenario muy fructífero para la ampliación de los conocimientos y reflexiones acerca de la Investigación Evaluativa, a través de la congregación de numerosos profesionales de distintos países de América Latina y el mundo, que a través de su quehacer investigativo y profesional nos entregaron valiosas luces para de alguna manera saber en dónde se posiciona hoy la Evaluación de las Políticas Públicas, Programas y/o Proyectos Sociales. Sin duda que los trabajos presentados en esta instancia de conocimiento dejaron más cuestionamientos que respuestas, las que al mismo tiempo nos animan hoy a seguir nuestra labor de promoción de las actividades en torno a la Evaluación, que más allá de aportar en el desarrollo académico permite la generación de lazos y redes de contacto que hacen más fructífera la labor aquí entregada. Un aliciente de lo que constituye hoy la Investigación Evaluativa en cuanto a su importancia y los numerosos ámbitos de trabajo académico y profesional que inspira a realizar fue el éxito en convocatoria que tuvo este simposio. A nuestro poder llegaron más de 80 resúmenes, los cuales fueron evaluados y finalmente entre los días 8, 9 y 10 de enero se presentaron 34 ponencias, las que se enmarcaban en las siguientes líneas temáticas. Evaluación para la Gestión de Calidad e Innovación Sistemas de Monitoreo, Evaluación y Sistematización Evaluación y Políticas Sociales (empleo, salud, educación, etc) Mecanismos y Metodologías de Evaluación de Políticas Públicas a nivel local, regional o nacional Enfoques Innovadores en Evaluación Derechos Humanos, Inclusión, Equidad, Género y otros temas vinculados a la Evaluación Una de las principales características de las ponencias presentadas, es que la mayoría de ellas se encuentra en el marco de la investigación aplicada, toda vez que sus resultados dan cuenta de estudios sobre la realidad empírica en torno a la implementación de diversos programas y proyectos de países como Brasil, Argentina, Canadá, Chile, Ecuador y México. Destaca dentro de ello, la exposición de evaluaciones en ámbitos como Seguridad Pública; Deporte y Recreación; Asistencia Social para personas en situación de calle; Salud III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 4 Integral Adolescente; Habitabilidad; Erradicación del Trabajo Infantil; Intervención Comunitaria en Salud Mental y Primera Infancia y Programas Culturales. Por otro lado, los trabajos evidencian que la Evaluación es una herramienta útil para revisar y analizar el desempeño institucional del aparato público y su relación con la práctica evaluativa, especialmente en el ámbito de análisis organizacional, la gestión de cambio y la mejora continua de procesos. En torno a estos temas, existe consenso en torno a la urgente necesidad de realizar ajustes a la estructura y cultura organizacional de los Estados, para hacer frente a los desafíos que impone la evaluación de las políticas, programas y proyectos que implementan. En este marco destacan algunos trabajos en específico en torno al desempeño de gobiernos locales y a la evaluación de perspectivas de género en las políticas públicas. Por último, se encuentran también estudios bibliográficos en torno a los enfoques y prácticas evaluativas, y a su relación con algunas disciplinas en particular como es el Trabajo Social. Como puede apreciarse, a lo largo del Simposio se expuso una gran diversidad de temáticas y ámbitos de aplicaciones de la Investigación Evaluativa, sin embargo, existen algunos desafíos que resultan ser transversales a todas las mesas de trabajo y que se destacan a continuación: Necesidad de incorporar e internalizar en la práctica evaluativa el aumento de complejidad de las sociedades actuales, comprendiendo que el diseño, implementación y evaluación de Políticas Públicas, son en sí mismos espacios de complejidad. Esto implica superar la mirada tecnocrática y comprender el rol que tiene la evaluación en la transformación de la realidad social. Ante la preminencia actual del enfoque de resultados avanzar en la incorporación complementaria de perspectivas interpretativas, que permitan comprender los efectos que las Políticas Públicas generan en la ciudadanía y sus territorios. Esto implica el rescate de la subjetividad de los sujetos beneficiarios de los distintos programas y proyectos Necesidad de ampliar los referentes teóricos y metodológicos para la aplicación de la Investigación Evaluativa destacando por ejemplo la Evaluación Participativa, la Investigación-Acción, el Enfoque Sociocéntrico, el Mapeo de Alcances, el Análisis de Marcos Interpretativos, Evaluación de Diseños, entre otros. III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 5 Necesidad de desplegar técnicas y herramientas que viabilicen la participación de los distintos niveles y actores en las evaluaciones, destacando el rol de los operadores y beneficiarios de los distintos programas y proyectos rescatando el espacio de aprendizaje dialógico que el proceso evaluativo genera. De esta manera, se puede retroalimentar y hacer contrapeso al proceso decisional las variables políticas y juegos de poder que tradicionalmente definen el diseño e implementación de las Políticas Públicas. La alta convocatoria del evento que alcanzó al centenar de asistentes a las distintas mesas de trabajo, se reflejó también en una alta heterogeneidad de ponencistas, quienes provenían de distintas nacionalidad, profesiones y ámbitos de desempeño laboral. Lo anterior demuestra de manera patente que la Investigación Evaluativa es por sobre todo, un campo interdisciplinario donde conviven distintas disciplinas académicas y campos de estudio. Otra de las conclusiones apunta a que no solo en nuestro país, sino que en todos los territorios representados la Evaluación se posiciona como un ámbito que hoy día, exige más que nunca una alta formación y desarrollo profesional académico, que permitan cumplir la tradicional función que tienen en el logro de los objetivosde transformación social para los cuales son diseñadas las intervenciones sociales por parte del Estado, sobre todo en un contexto de alta vulnerabilidad y cambio de nuestras sociedades. Finalmente queremos extender los agradecimientos a todas las personas que hicieron posible la realización de este Simposio, y de las actividades que a su alero se realizaron. Especialmente agradecemos a los autores de las ponencias que a continuación se presentan por ser los actores claves en el éxito de esta actividad, en tanto gentilmente dieron cuenta de su experiencia en la evaluación desde distintas veredas y al mismo tiempo compartieron sus visiones y cuestionamientos sobre un campo académico y profesional que aún tiene mucho que aprender y contribuir al cambio social como es la Evaluación. Carolina Muñoz III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 6 Nota: Las ponencias presentadas no han sido sometidas a revisión editorial, por consiguiente no expresan los lineamientos del Núcleo de Evaluación de Políticas Públicas, ni de la Red de Seguimiento, Evaluación y Sistematización de Latinoamericana y El Caribe- Chile. Los contenidos presentados a continuación son de exclusiva responsabilidad de los autores, los cuales oportunamente nos han autorizado a publicar sus trabajos. III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 7 Contenido Evaluación para la Gestión de Calidad e Innovación .............................................................. 10 "Análisis organizacional de entidades públicas en Chile: Lecciones para la gestión y el diseño de políticas” Mario Waissbluth, José Inostroza, Eduardo Acuña, César Avendaño, René Lagos. ................................................................................................................................... 11 "Los retos de la innovación y la articulación intersectorial en la política de identidad legal: un aporte desde la investigación evaluativa. El caso PRICEV- Uruguay” María del Carmen Tamargo, Mía Harbitz, María Cristina Tello ............................................................................... 45 Evaluación y Políticas Sociales (empleo, salud, educación) ..................................................... 67 "Avaliação da Política Pública de Juventude, Esporte e Lazer: uma visão dos educadores sociais do PELC/PRONASCI na Cidade do Recife” Brunna Carvalho, Katiúcia de Brito. ... 68 "Avaliação de Políticas Públicas a assistëncia social e o acochimento para populaçãoem situação de rua nas tres esferas do governo” Camila Nastari ................................................ 91 "Evaluacion de politicas sociales y la incumbencia del trabajo social, una mirada hacia la comprensión de nuevos enfoques” María Celina Aranda, Laura Ganam, Cecilia Luna.. ... 112 "Abordaje integral de la salud de adolescente Notas para diseño análisis y evaluación de Políticas, programas y proyectos” Priscila Freire Yoder ..................................................... 138 Derechos Humanos, Inclusión, Equidad, género y otros temas vinculados a la evaluación ................................................................................................................................... 168 "Evaluación y cambio social con enfoque de género: Una mirada política a los aspectos técnicos de la evaluación” Fabiola Amariles, Silvia Salinas .................................................. 169 "La observación de las políticas públicas como espacios de vinculación de complejidad” Gabriela Azócar .......................................................................................................................... 198 "Activos de capital físico. Instrumentos coadyuvantes para la aplicación de un programa para superar condiciones de pobreza” Ricardo Tapia, Ana María Ugarte. ......................... 212 "Evaluación de Diseño: “una herramienta para el análisis de Políticas Públicas” Cindy Carrizo, Margarita Moscheni, Martina Abalos .......................................................................... 229 "Propuesta de cambio organizacional en la cultura de la s.h.c.p. por medio de la aplicación del modelo de hofstede” Carlos González, Jorge Reyes, Guadalupe López. .......................... 252 III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 8 Sistemas de Monitoreo, Evaluación y Sistematización .......................................................... 277 "Desde una experiencia de monitoreo de programas: crítica de la Nueva Gestión Pública como paradigma dominante de la modernización del Estado” Adrien Quisefit ................. 278 "Técnicos, políticos y un modelo de gestión. ¿Coincidencias o desencuentros?” Alcira Mugica......................................................................................................................................... 302 "Avances y desafíos para la protección social: experiencias y prácticas de evaluación de programas sociales en la fundación hogar de cristo” Jorge Vazquez, Felipe Expósito ...... 322 "Signos vitales del Jubones – un sistema de monitoreo de indicadores clave para orientar a la gestión pública local” Ludger Niemann, Pedro Encalada Verdugo .................................. 349 "Hacia una inteligencia evaluativa: mapa de monitoreo y evaluación de impacto social” Maximiliano Luft, Agustina Budani ............................................................................................ 372 "Avaliação de desempenho individual em uma instituição pública federal no brasil: o caso da comissão nacional de energia nuclear – cnen” Sandra Campos Firmino, Christina Teixeira da Silva ......................................................................................................................... 393 "La Mesa de Diálogo como Modelo de Gestión Socio ambiental: reflexiones en torno a la experiencia del Complejo Forestal Industrial Nueva Aldea” Claudia Olavarría, Katherine Páez.. ........................................................................................................................................... 410 Mecanismos y Metodologías de Evaluacion de Políticas Públicas a nivel local, regional o nacional .................................................................................................................................... 429 "Políticas Públicas, modelos culturales y territorios: un enfoque contextual y cultural para la investigación evaluativa” Dimas Santibáñez.. ................................................................... 430 "Casos prácticos de evaluación del diseño de políticas públicas regionales: metodología y conclusiones paradigmáticas” Juan Francisco Casero, Victoria Chalot ............................. 454 "La evaluación de las políticas públicas desde un esquema complejo y transformativo” Elsa Marcela Rodríguez, Alberto Taborda, Mónica Eula, Mónica Camisasso .. ....................... 472 "Evaluación de la implementación de políticas públicas. Enfoques para indagar lo que ocurre entre la planificación y los resultados” Luis Felipe de la Vega. .............................. 494 "Gestión del Conocimiento y Transparencia: Desafíos para la Inversión Pública a Nivel Local” Eduardo Contreras, Alejandro Barros, Natalie González, Javier Fuenzalida ............ 516 "Avaliação participativa como um instrumento de transformação da realidade social” Vânia Maria Vasconcelos de Castro ........................................................................................... 541 "Metodologías participativas parala evaluación de coaliciones para la transformación social: el caso del “comité primera infancia” de la comuna de Saint-Laurent, Montreal, Quebec” Rodrigo Quiroz ....................................................................................................... 557 III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 9 Enfoques innovadores en evaluación (Teoría de cambio, Mapeo de Alcances, Vías de Impacto, etc.) .............................................................................................................................. 580 "Novos exercícios de avaliação de políticas públicas de cultura: um retrato do programa cultura viva e sua gestão cotidiana” Deborah Rebello Lima ............................................... 581 "Enfoques innovadores en evaluación: El uso de los marcos interpretativos en la evaluación de la participación ciudadana en programas sociales, el caso de los programas hacia las personas mayores y los desafíos para la política pública” Carolina Garcés ...................... 599 "Bienestar y satisfacción subjetiva (ss), fortalecimiento de capacidades (fc) en la evaluación de políticas públicas de la dirección de presupuestos (DIPRES)” Natalia Yáñez, Andrea Peroni .. ...................................................................................................................................... 620 "Giros Teóricos y Metodológicos para el Análisis de Políticas Públicas sobre Educación Inclusiva: Lógicas, Mecanismos y Configuraciones del Sujeto con Discapacidad” Ana María Valenzuela. ....................................................................................................................... 649 III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 10 Evaluación para la Gestión de Calidad e Innovación III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 11 Análisis organizacional de entidades públicas en Chile: Lecciones para la gestión y el diseño de políticas. Mario Waissbluth 1 César Avendaño 2 José Inostroza 3 Eduardo Acuña 4 René Lagos 5 Resumen Este trabajo provee inicialmente una breve revisión de literatura internacional en temas como las reformas del Estado, los sistemas complejos, el rol del liderazgo en la gestión pública y una descripción del contexto chileno en que esta gestión se desarrolla. El propósito central del estudio es presentar un meta-análisis respecto a encuestas de percepción de directivos, profesionales y otros stakeholders -realizadas entre 2005 y 2009- en relación con el desempeño de 28 entes públicos chilenos en 11 categorías de gestión, incluyendo resultados, procesos, relaciones externas, marco regulatorio, cultura organizacional, consenso estratégico, liderazgo, recursos, tecnologías de la información, indicadores de desempeño y coordinación interna. Entre las principales conclusiones obtenidas destaca la fuerte correlación entre liderazgo y buen clima organizacional, que a su vez está muy correlacionado con consenso estratégico, procesos eficientes y con una buena coordinación interna y externa. Una conclusión más general, en tanto, es que en organizaciones complejas como los servicios públicos, cuando las cosas funcionan bien -o mal- tienden, por lo general, a hacerlo en forma simultánea, 1 Ingeniero Civil Químico, Ph.D. en Ingeniería Universidad de Wisconsin 2 Ingeniero Civil Industrial, Licenciado en Ciencias de la Ingeniería U. De Chile 3 Abogado, Magíster en Gestión y Políticas Públicas U. De Chile 4 Ingeniero Civil Industrial, Magíster en Gestión y Políticas Públicas U. De Chile 5 Ingeniero Civil Industrial, Licenciado en Ciencias de la Ingeniería U. De Chile Centro de Sistemas Públicos. Departamento de Ingeniería Industrial, Universidad de Chile Mail de contacto: mariow@dii.uchile.cl mailto:mariow@dii.uchile.cl III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 12 generándose así círculos virtuosos o viciosos de retroalimentación, siendo anómalo el encontrar organizaciones que en algunas dimensiones de gestión reflejen un muy buen desempeño y en otras uno muy deficiente. Descriptores: Gestión pública, Sistemas complejos, Análisis organizacional, Liderazgo, Servicio civil Summary This work provides initially a brief review of international literature in topics like the reforms of the State, the complex systems, the role of the leadership in the public management and a description of the Chilean context in which this management develops. The main purpouse of the study is to present a meta-análisis with regard to surveys of perception of executives, professionals and other stakeholders -realized between 2005 and 2009- in relation with the performance of 28 public Chilean entities in 11 categories of management, including results, processes, external relations, regulatory frame, organizacional culture, strategic consensus, leadership, resources, technologies of information, performance indicators and internal coordination. Between the main conclusions obtained, is outlined, the strong correlation between leadership and good climate organizacional, that in turn is very correlated with strategic consensus, efficient processes and a good internal and external coordination. A more general conclusion, is that in complex organizations as the public service, when things work well –or bad- they tend to do it, in general, in simultaneous, generating virtuous or vicious cicles of feedback, what makes anomalous to find an organization that in some dimensions of management reflect a very good performance and in others a very deficient one. Key Words: Public Management, Complex Systems, Organizational Analysis, Leadership, Civil Service. III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 13 Resumen Ejecutivo Este trabajo provee inicialmente una breve revisión de la literatura internacional en temas como las reformas del Estado, los sistemas complejos y el rol del liderazgo en la gestión pública, así como una somera descripción del contexto chileno en que esta gestión se desarrolla. El propósito central del estudio es presentar un meta-análisis respecto a encuestas de percepción de directivos, profesionales y otros stakeholders 6 , en relación con el desempeño de 28 entes públicos chilenos -en 11 categorías de gestión- incluyendo resultados, procesos, relaciones externas, marco regulatorio, cultura organizacional, consenso estratégico, liderazgo, recursos, Tecnologías de la información, indicadores de desempeño y coordinación interna. Estas encuestas se desarrollaron entre los años 2005 y 2009. La percepción del desempeño resultó ser, en promedio, mediocre, variando, sin embargo, desde “malo” hasta “muy bueno” en distintas entidades. Los ámbitos mejor evaluados, en promedio, son contabilidad, control presupuestario y calidad de servicio. Las peores son gestión de personal, coordinación interna y sistemas informáticos. Cada categoría de gestión incluyó entre dos y cuatro dimensiones de gestión a un nivel más desagregado. En 29 pares de dimensiones de gestión se encontraron fuertes correlaciones, lo cual permitió ver en qué casos las diferentes categorías ocurren simultáneamente bien -o mal- dentro de las organizaciones. Entre las principales conclusiones obtenidas destaca que el buen liderazgo está fuertemente correlacionadocon el buen clima organizacional, el que, a su vez, está muy correlacionado con consenso estratégico, procesos eficientes, así como una buena coordinación interna y externa, lográndose en consecuencia mejores resultados. 6 En adelante se utilizará el término stakeholder (del inglés), que no tiene una traducción precisa al español, para referirnos a todos aquellos que poseen un legítimo interés o capacidad de influencia significativa en una organización. III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 14 Una conclusión más general, en tanto, es que en organizaciones complejas (como en el caso de los servicios públicos) cuando las cosas funcionan bien -o mal- tienden, por lo general, a hacerlo en forma simultánea, generándose así círculos virtuosos o viciosos de retroalimentación. Es raro encontrar organizaciones que en algunas dimensiones de gestión reflejen un muy buen desempeño y en otras uno muy malo. A partir de esta conclusión se entregan consejos prácticos, especialmente para aquellos directivos con menor familiaridad con el sector público, respecto a la necesidad de realizar un diagnóstico holístico de la organización, previo al diseño de cualquier estrategia o programa de modernización. Esta investigación permite además extraer algunas conclusiones de política pública para la reforma del Estado: 1. La necesidad de mejorar y administrar con rigurosidad un sistema de indicadores y convenios de desempeño fidedignos relacionados con el verdadero propósito estratégico de cada organización. Para ello, se debe aprender de las deficiencias del actual sistema de control de gestión del Estado, el cual ha derivado en un sistema excesivamente complejo, ritualista y de escaso significado. Los sistemas de control de gestión - estratégico, operacional o individual- deben ser útiles en primer lugar para la organización, y no tanto para satisfacer las demandas burocráticas del gobierno central. Para hacer bien esto, es clave conocer en profundidad los modelos de gestión o de negocio de cada una de las instituciones públicas, de lo contrario los indicadores serán impertinentes y/o no irrelevantes 2. La necesidad de terminar con la desarticulación de los sistemas informáticos, tanto intra como extra institucionalmente, dada la elevada frecuencia de esta problemática. Esto es hoy plenamente posible y menos costoso de lo que pareciera. Requeriría exigirle a cada servicio público la presentación y materialización de un plan informático de largo plazo con una arquitectura integrada (interna y externa) de bases de datos y sistemas, y posteriormente monitorear el cumplimiento de la ejecución de este plan. III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 15 3. Dada la gran relevancia que emerge de la variable de liderazgo directivo, y su muy fuerte correlación con el clima organizacional, se refuerza la necesidad de fortalecer integralmente un sistema profesional y sistemático de selección de directivos públicos con elevada capacidad técnica y habilidades relacionales, no sólo en las organizaciones adscritas al Sistema de Alta Dirección Pública, sino que en todo el aparato del Estado. Introducción Para ejemplificar la importancia que tiene mejorar la gestión de los servicios públicos, basta mencionar que el Estado chileno genera más del 20% del Producto Interno Bruto y un 15% del empleo. Atiende aproximadamente el 80% de las necesidades de salud de la población, educa directamente al 33% de los escolares y financia el 92% de ellos, entrega más de 2 millones de raciones alimenticias diarias, administra algunas de las bases de datos más grandes y relevantes del país y es la única organización que cubre el 100% del territorio. La gestión de las organizaciones públicas es una tarea compleja que tiene dificultades intrínsecas. Las recientes crisis económicas, las discusiones sobre el rol y el tamaño del Estado y las demandas de la sociedad civil han generado una creciente atención sobre este tema, el cual ha ido adquiriendo gran importancia en el mundo y en Chile. En este marco, el estudio examina las principales características de las organizaciones y programas públicos en Chile sobre la base de un meta-análisis de encuestas de percepción efectuadas a 28 organizaciones entre los años 2005 y 2009. Con él esperamos contribuir a la mejora de la gestión de las organizaciones públicas, así como a la implementación de políticas públicas relacionadas con la reforma del Estado. Para ello, en primer lugar, se presenta una revisión de la literatura internacional sobre el tema. Luego, se realiza una breve comparación de las condiciones generales de la gestión pública en Chile, en contraste con el contexto latinoamericano e internacional. Seguidamente, se explica la metodología utilizada para procesar y analizar los datos y III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 16 resultados. Finalmente, se exponen las principales conclusiones y recomendaciones, tanto de índole práctica para los directivos, como también para las políticas públicas relacionadas con la reforma del Estado. Revisión de Literatura La necesidad de reformas de la gestión pública La nueva escuela de pensamiento en Gestión Pública (New Public Management) ha estado presente desde hace ya algún tiempo reflejando un aumento del interés en la eficiencia y la calidad del gasto público (Boston, Martin, Pallot y Walsh, 1996; Barzelay, 2001). Esto trae consigo una ola de reformas en los países anglosajones, incluyendo, entre otras, el énfasis en los indicadores de desempeño y en el sistema de Servicio Civil. Este concepto, sin embargo, ha tenido detractores (Dunleavy et al., 2006), quienes enfatizan la necesidad de experimentar una serie de cambios más conectados entre sí y más centrados en las Tecnologías de la Información. Tanto Seddon (2008) como algunas conferencias TED (Schwartz, 2009; Pink, 2009) presentan una crítica a la excesiva creencia en metas, incentivos, inspección, “implementología” (“deliverology”) y control. Por otra parte, la Unidad de Implementación (Delivery Unit) del Reino Unido (Barber, 2007) ha ganado reconocimiento e incluso se comenzó a replicar en Chile a partir del año 2010, aunque todavía con baja visibilidad. La empresa consultora McKinsey, en un estudio comparativo de varios países desarrollados, plantea con firmeza la necesidad de “hacer reformas gubernamentales ahora” (Bouvard, Dohrmann and Lovegrove, 2009), destacando la necesidad de hacerse cargo de las crecientes expectativas públicas y de los imperativos fiscales. Entre otras, esta organización menciona la necesidad de realizar operaciones “sin grasa”, hacer un mejor uso de los sistemas informáticos, liderar una mejor gestión del cambio, así como focalizarse en la gestión de talentos en los más altos niveles. Como veremos más adelante, esta es una visión muy relacionada con nuestras conclusiones. III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 17 La ola de la reforma también llegó a América Latina (CLAD, 1998; Bresser-Pereira, 2004; Arellano, 2007). Como ejemplo de la importancia del tema en la región, el año 2009 el Banco Interamericano de Desarrollo prestó US$ 1,9 billones a distintos gobiernos para financiar reformas del Estado y proyectos de modernización. Varias reformas a los Servicios Civiles, por su parte, han aparecido en el subcontinente, a pesar de enfrentar una fuerte oposición de los partidospolíticos tradicionales en algunos países, incluyendo a Chile (Grindle, 2010). Sistemas complejos y gestión pública El gerente público –para ser efectivo– requiere un buen manejo de todas las herramientas de los gerentes privados, pero debe confrontar desafíos y amenazas adicionales (Tompkins, 2005). Estas complicaciones derivan de la multiplicidad de stakeholders con agendas distintas y a veces contradictorias, estructuras de poder difusas, dificultades en la evaluación del desempeño de los entes públicos, presiones políticas y de los medios, así como un rudo conjunto de normas y restricciones burocráticas. En ocasiones estos obstáculos hacen que gerentes provenientes del sector privado se frustren y retornen a su sector de origen, y algo de ello ha comenzado a ocurrir recientemente en Chile. Losada (2009) entregó una buena descripción sobre la importancia crítica de los roles, estilos y desafíos específicos de los gerentes públicos. En este trabajo se utiliza una aproximación de sistemas complejos (Gharajedaghi, 1999; Seddon, 2008; Cilliers, 1998). Estos sistemas se caracterizan por tener muchos componentes que interactúan entre sí y con el medio que los circunda, con algunos subsistemas que se auto-organizan localmente de acuerdo a sus propias reglas –a menudo informales– y de manera más bien impredecible. Los circuitos de retroalimentación en estos sistemas son intensos, generándose así círculos viciosos o virtuosos. Los sistemas complejos (por tanto, todas las organizaciones y programas públicos) son también bastante III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 18 dependientes de su trayectoria histórica (“path dependent”) (North, 1990; Pollitt, 2008) y, en ocasiones, se generan en ellos fenómenos casi irreversibles 7 . En consecuencia, es imperativo confrontar las organizaciones públicas – y también las privadas- desde una perspectiva holística e integral, evitando así caer en la “trampa analítica”, es decir, pretender explicar el todo a partir de un análisis detallado de un número limitado de dimensiones de gestión, y de la correlación de un par de variables 8 . Yang and Kassekert (2009) han planteado recientemente que “los gerentes deberían desarrollar una perspectiva de reforma estratégica holística: deben preguntarse no sólo cómo la reforma va a afectar a otras áreas de la organización y de su entorno, sino también qué cambios son necesarios en esas otras áreas para que la reforma funcione”. Por estas razones, este estudio utiliza una aproximación holística, cubriendo en cada una de las instituciones analizadas: i) resultados, en cantidad y calidad de servicios, ii) procesos, tanto sustantivos como de apoyo, iii) relaciones externas con los stakeholders, iv) marco regulatorio, v) cultura organizacional y motivación, vi) consenso estratégico, vii) liderazgo, viii) recursos, tanto humanos como financieros, ix) Tecnologías de la Información, x) indicadores de desempeño, y xi) coordinación interna. El liderazgo en las organizaciones públicas Existe una extensa literatura que menciona el rol clave que el liderazgo juega en las empresas privadas, especialmente en relación con la gestión del cambio. Las aproximaciones entregadas por Kotter, Collins, Schaffer y otros están recogidas en el 7 Un ejemplo de irreversibilidad es el fuerte incremento en la evasión de pago del transporte que se generó a raíz de la crisis del Transantiago. Cuando una parte de la ciudadanía de menos recursos se acostumbra a no pagar por su transporte, revertir ese fenómeno es una tarea muy difícil, por mucho que mejore la calidad del servicio. 8 Es frecuente observar en directivos públicos con poca experiencia una suerte de creencia mítica y simplista que basta mejorar únicamente el clima organizacional, la estructura o implantar alguna novedosa herramienta informática para obtener mejoras radicales. Dada la estrecha interacción entre fenómenos muy diversos, estos esfuerzos suelen frustrarse e incluso generar daño organizacional. III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 19 clásico libro “Harvard Business Review on Change” (HBR, 1998). Otro texto emblemático es “Good to Great” (Collins, 2001), y también existen otros (Bolman and Deal, 2008). A pesar de que las organizaciones públicas tienen muchas características peculiares, la mayor parte de los fenómenos de liderazgo se expresan en formas comunes con las empresas privadas. En resumen, el liderazgo es un asunto de elección consciente y disciplina, en ambos tipos de instituciones. Pese a esto, Collins (2005) también describe las similitudes y diferencias entre el liderazgo en empresas privadas versus instituciones sociales y públicas. Los gerentes públicos, si bien suelen no estar sometidos a la presión de la competencia del mercado, enfrentan un conjunto de desafíos adicionales a los del sector privado, tales como: i) saber calibrar el éxito sin contar con una métrica institucional precisa sobre su impacto, como lo es, por ejemplo, el balance en una empresa, ii) hacer que las cosas ocurran contando con una estructura de poder difusa, en que muchos stakeholders tienen poder de decisión sobre su institución, iii) administrar en medio de fuertes restricciones políticas, mediáticas y burocráticas, y iv) obtener recursos financieros con una aproximación muy distinta. Varios autores (Stazyk y Goerdel, 2010; Moynihan y Pandey, 2005) han descrito la influencia de los gerentes públicos y del apoyo político en la cultura organizacional, y su rol critico en la obtención de resultados. Pandey y Wright (2006) describieron la relación entre el entorno político, la ambigüedad de metas organizacionales y la ambigüedad del rol de los gerentes públicos. El Contexto Chileno III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 20 El Estado chileno, en el contexto internacional, es relativamente pequeño. Como se muestra en la Figura N° 1, el gasto y el empleo público son menores que en EE.UU. y mucho menores en comparación con Australia, Nueva Zelandia y los países de Europa. Figura N° 1 Empleo público versus gasto público entre 1998 y 2008 9 Las investigaciones del Banco Mundial (Kaufman, Kray y Mastruzzi, 2009) muestran que las percepciones de control de la corrupción y eficacia gubernamental en Chile son mucho mejores que en otros países latinoamericanos y casi comparables con los países de la OECD (Figura N° 2). La explicación más plausible de este fenómeno se relaciona con la relativamente temprana consolidación del Estado chileno en el siglo XIX (Góngora, 1986). Afonso, Schuknecht and Tanzi (2003) desarrollaron una metodología estandarizada para comparar el desempeño del sector púbico (en términos absolutos) e indicadores de eficiencia (desempeño / gasto público) para 23 países industrializados, a partir de datos del año 2000. Poco después replicamos la metodología con datos del mismo año (Waissbluth, Inostroza, 2006), incluyendo a Chile en la comparación, encontrando que el desempeño agregado de Chile, en términos absolutos, se situaba en el lugar 24, es decir, por debajo de los 23 países de la OECD. 9 Fuente: World Bank e International Labor Office Statistics. European Countries (EUR): France, Germany, United Kingdom, Austria, Sweden and Spain. Modern Emerging Countries (MOE): Australia, New Zealand, Finland and Ireland. Latin America (LAM): Brazil, Argentina, Colombia, Mexico and Venezuela. BRIC: Brazil, Russia, India and China. Asian EmergingCountries (ASE): Thailand, Malaysia, Singapore and Indonesia. Japan; 15%; 8% ASE; 17%; 9% BRIC; 17%; 16% Chile; 19%; 15% LAM; 20%; 13% USA; 21%; 16% Costa Rica; 22%; 14% Uruguay MOE; 31%; 20% EUR; 37%; 21% UK; 39%; 20% P u b lic E m p lo ym e n t Public Expenditure (%GDP) III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 21 Figura N° 2 Control de corrupción versus efectividad gubernamental Fuente: World Bank, "Aggregate Governance Indicators 2008”. Sin embargo, cabe destacar que los cálculos de eficiencia, que son aquellos que dividen el desempeño objetivo por el gasto público en cada sector -es decir, cuánto se obtiene en términos concretos comparado con lo que se gasta- elevan el ranking de Chile al 6 o lugar del mundo, por sobre Noruega y el Reino Unido. La eficiencia del sector salud de Chile, contrario a lo que pudiera creerse, clasifica en primer lugar en el mundo. La explicación, en este y otros sectores, es que se obtienen bajos resultados, pero con un aún más bajo nivel de gasto en términos comparativos. Existe mucha mitología respecto a la ineficiencia intrínseca del Estado chileno, al menos cuando se lo compara con estándares internacionales gubernamentales. Evidentemente la ciudadanía experimenta legítimas molestias frente a deficiencias en la calidad de los servicios públicos, pero no cuenta con una métrica para compararlos con el monto de recursos invertidos en otros países. En Chile existe una importante heterogeneidad entre distintas funciones públicas. Algunos servicios pueden considerarse de “clase mundial”, como el caso del Servicio de Impuestos Internos (SII), mientras que otros presentan condiciones precarias. El Informe de Competitividad Global (Schwab, 2010) ilustra esta heterogeneidad: Chile ocupa el 5º lugar en “Confiabilidad de Servicios Policiales”, y el 7º lugar en “Carga de Trámites Aduaneros”. En el otro extremo, se sitúa en el lugar 88 en “Número de trámites requeridos para iniciar III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 22 un negocio”, en el 104 en “Regulación de Bolsa de Valores” y en el 121 en “Calidad de la Educación Primaria”. En el año 2004 Chile estableció un Sistema de Servicio Civil y Alta Dirección Pública, similar al de Nueva Zelandia y otros países desarrollados, para la selección de gerentes públicos, aunque sólo para un limitado número de puestos (Grindle, 2010). Cabe destacar que la mayoría de las instituciones cubiertas en este estudio no tenían gerentes seleccionados con este sistema al momento de su análisis o, al menos, no durante un lapso significativo de tiempo. Este Sistema fue fuertemente atacado al nacer por los partidos políticos de la coalición gobernante en el período 2004 – 2007, y la misma situación se produjo con el cambio de coalición a partir del año 2010. Se trata de una “reforma contracultural” para el sistema político (Waissbluth, 2008) y, como discutiremos más adelante, los resultados de este estudio sugieren que este tipo de reformas es y será esencial para un buen desempeño gubernamental. En resumen, este estudio de instituciones públicas chilenas se desarrolla en el contexto de un país con un sector público y un gasto relativamente pequeños, que logra buenos resultados agregados cuando se le compara con otros países de Latinoamérica, con una elevada eficiencia de gasto incluso a nivel mundial, pero que es bastante heterogéneo y generalmente poco exitoso en cuanto a calidad y desempeño en algunos sectores e instituciones específicas. Metodología La metodología de investigación incluyó dos fases. La primera consideró el levantamiento y sistematización de 28 encuestas, cubriendo un período de cinco años (2005-2009) de trabajo docente y ejecución de consultorías por parte de algunos de los participantes en este III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 23 trabajo. Estos trabajos incluyeron cuestionarios administrados a un grupo de personas clave de cada institución, especialmente profesionales de capas medias, funcionarios, clientes, proveedores, usuarios y beneficiarios. La unidad de análisis es el promedio de respuestas por institución para cada una de las dimensiones de gestión incluidas en el cuestionario. La información se consolidó mediante meta-análisis de estos datos, debido a la heterogeneidad de las instituciones muestreadas y el número, a veces disímil, de dimensiones incluidas en cada encuesta. La información se presenta como el promedio de las respuestas a cada una de las afirmaciones agrupadas por institución. La encuesta se aplicó a 514 personas, es decir, un promedio de 18 profesionales por institución, y a cada encuestado se le pidió que contestara diferentes afirmaciones utilizando la escala de Likert en un rango de 1 a 5 10 . Esta herramienta de investigación se utilizó para estimar las percepciones de los stakeholders en relación al desempeño institucional en 11 categorías críticas de gestión, como se mencionó con anterioridad. Entre las instituciones incluidas en esta investigación hay hospitales, ministerios, subsecretarías, servicios públicos, gobiernos regionales, municipios y agencias reguladoras de salud y quiebras. También se incluyen entidades judiciales y programas públicos para la promoción de viviendas sociales, cultura e innovación. Si bien en algunos cuestionarios se examinaron hasta 43 dimensiones de gestión, aquí sólo se utilizan 34 de ellas, las que pasaron un filtro en el que la dimensión se tomó en consideración sólo si al menos el 50% de las instituciones, es decir, 14 de ellas, lo tenían incluido en el cuestionario. Luego se efectuó un análisis estadístico utilizando la matriz de correlación bivariada de Spearman. Sólo se seleccionaron aquellas correlaciones que al menos presentaron un nivel de 95% de confianza tendiendo, además, a un valor del 10 La escala es 1: en total desacuerdo; 2: en desacuerdo; 3: ni de acuerdo ni en desacuerdo; 4: de acuerdo; 5: totalmente de acuerdo. Algunas gráficas presentan la escala de 10 a 50, por razones técnicas derivadas de los cálculos de correlación bivariada. III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 24 coeficiente de Spearman en el rango 0.75 – 1.0, y que incluyeron 10 o más instituciones. A partir de las correlaciones de Spearman se construyó un diagrama que muestra la interacción sistémica entre distintas categorías de gestión, como se verá en la Figura N° 5. Resultados La Tabla N° 1 muestra los resultados, ordenados en forma decreciente según el grado de acuerdo con las afirmaciones (5 = muy de acuerdo, 1 = muy en desacuerdo). La columna (# org) muestra el número de instituciones o programas cubiertos en esa dimensión específica de gestión. Tabla N° 1 Respuestas al cuestionario de la encuesta (Sólo se muestran los promedios más altos y más bajos) Afirmación Promedio # Org Mín Máx La contabilidad y la información presupuestal son fidedignas y confiables. 4.1 16 2.9 5.0 La contabilidad y la información presupuestal se utiliza para tomar decisiones. 3.7 21 2.4 4.7 El servicio al cliente es adecuado. 3.6 14 2.9 4.6 La calidad de servicio es adecuada. 3.6 14 3.2 4.0 La organización está bien posicionada en su entorno. 3.6 26 2.8 5.0 Los procedimientos administrativos y presupuestales son adecuados. 3.6 19 2.5 4.7 La infraestructura de hardware, software y conectividad es adecuada. 3.5 14 2.6 4.1 …….* Hay indicadoresde desempeño fidedignos y confiables en materia de eficiencia, eficacia y calidad. 3.1 25 2.0 4.5 Hay adecuada comunicación y los mecanismos de toma de decisión están claros. 3.1 22 2.1 4.2 Los indicadores de desempeño se conocen en la organización. 3.1 20 1.0 4.5 Hay escasos conflictos de poder y no amenazan el desempeño institucional. 3.1 27 2.1 4.1 El personal es adecuado en cantidad y calidad. 3.1 26 2.1 5.0 Las políticas y procedimientos de recursos humanos son adecuados. 3.0 24 2.0 4.3 Las diferentes áreas y departamentos colaboran adecuadamente. 3.0 28 2.0 3.9 III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 25 Los sistemas de información son compatibles entre sí y están adecuadamente interconectados. 2.9 26 1.8 4.1 * Tabla completa disponible a pedido De estos resultados es posible extraer las siguientes observaciones: 1) El promedio de todas las afirmaciones es 3.3, lo que revela una percepción general mediocre sobre la gestión institucional. 2) Pese a esto, en todos los ámbitos de gestión se pueden encontrar instituciones que están mal o muy bien evaluadas. 3) Los mejores resultados, en promedio, corresponden a procesos de soporte en las áreas de contabilidad y presupuesto. Esto está probablemente asociado a la fuerte presión ejercida por el Ministerio de Hacienda, cartera que posee muchos instrumentos administrativos –quizás demasiados– para supervisar el gasto público con considerable detalle. Se genera así un fuerte sesgo en las instituciones públicas para ejecutar con celeridad sus recursos presupuestarios, aún a costa de la calidad del gasto. Esta práctica tiende a descuidar indicadores que miden estrategia, calidad o eficiencia de los servicios, los que deberían ser más relevantes para cualquier agencia pública así como para sus usuarios. 4) Hay escasa capacidad institucional (o interés político) en la selección de personas, su capacitación y gestión. Esta es una debilidad crítica en la gestión del servicio público. Políticas dudosas en este ámbito, con escasa relevancia, crean problemas organizacionales que terminan minando las relaciones sociales internas, la capacidad emprendedora, y las mejoras que podrían surgir de los miembros de estas instituciones (Vignolo, 2009). 5) La falta de coordinación interna o “insularidad inter-áreas” parece ser un fenómeno estructural en la gran mayoría de las entidades públicas, resultados que son III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 26 consistentes con trabajos anteriores (Waissbluth, 2003). La falta de cooperación y coordinación al interior de las organizaciones alcanza proporciones casi epidémicas, con efectos adversos. Ellos son: (i) reducido compromiso emocional con la institución; (ii) procedimientos burocráticos para tomar decisiones; (iii) deterioro de oportunidades de capacitación y gestión del conocimiento; (iv) disminución de la producción de valor público, y (v) como se verá más abajo, carencia de integración de sistemas informáticos. 6) La peor dimensión de gestión se refiere a severos problemas de compatibilidad, integración e interoperabilidad en sistemas informáticos, resultado que es consistente con una investigación previa realizada por dos de los autores de este trabajo (Waissbluth e Inostroza, 2005). Existe abundante inversión en hardware, software y conectividad, pero falta integración y planificación de largo plazo de la arquitectura tecnológica. En gran medida, esto está asociado a las fallas en la coordinación interna antes mencionadas. En este punto es necesario precisar que algunas instituciones chilenas han desarrollado sistemas tecnológicos de alta calidad, de clase mundial. Por ejemplo, el sistema de declaraciones tributarias del Servicio de Impuestos Internos (SII) y el portal web de Compras Públicas, ChileCompra. Ellos han sido, sin embargo, excepciones y no la regla. Salvo un breve período entre 2003 y 2006, no ha existido una autoridad de gobierno suficientemente empoderada para coordinar este tema, lo que pudiera llamarse el “Chief Information Officer” del gobierno, de alto rango jerárquico 11 . Correlaciones Significativas y Análisis Sistémico 11 Existe, pero tiene bajo rango jerárquico. EL CIO del gobierno en Chile reporta al Subsecretario de Telecomunicaciones y, además, hay otros entes encargados de la modernización del Estado en el Ministerio de Hacienda y en la Secretaría General de la Presidencia. III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 27 Entre todos los pares, de las 34 afirmaciones seleccionadas del cuestionario, se calcularon los coeficientes de correlación bivariada 12 . Del total de las 561 correlaciones 13 , sólo las que cumplían los siguientes criterios fueron seleccionadas para análisis: (i) coeficiente de correlación de Spearman mayor que 0,75, lo que es un criterio más bien estricto; (ii) nivel de significancia estadística mayor que 95%, y (iii) cada cálculo de correlación incluye a lo menos 10 instituciones. Aplicando estos criterios, 29 pares de afirmaciones pasaron el filtro, las cuales se muestran en la Tabla N° 3. Se trata de un número de correlaciones significativas sorprendentemente elevado. Además, cabe mencionar que en 44 pares adicionales se obtuvieron coeficientes de correlación de Spearman entre 0,65 y 0,75 --aunque estos casos no están incluidos en el análisis–, los que refuerzan las conclusiones sistémicas 14 . No se registraron coeficientes de correlación negativos. La Tabla N° 2 muestra la frecuencia de correlaciones significativas de Spearman entre diferentes categorías de gestión (conjunto de dimensiones de gestión agrupables dentro de un mismo concepto general). A modo de ilustración, las siguientes dos figuras muestran correlaciones significativas con un 99% de nivel de confianza, de modo que el fenómeno pueda ser apreciado visualmente. Estas figuras fueron escogidas porque muestran dos coeficientes de correlación de Spearman distintos, pero elevados. En la Figura N° 3 el coeficiente es 0.91, mientras que en la Figura N° 4 el coeficiente alcanza 0.75, el límite mínimo definido como aceptable. Tabla N° 2 12 Dado que la meta fue detectar cualquier tipo de relación entre las distintas dimensiones de gestión se utilizaron coeficientes de Spearman. De aquí que es suficiente que las correlaciones sean monotónicas. Los coeficientes de correlación de Pearson, en cambio, requieren linealidad, lo que no es pertinente en este ejercicio. 13 Número de correlaciones de Spearman distintas = n2/2 – n/2; con n=34. 14 Dicho de otro modo, hay nada menos que 73 pares de dimensiones de gestión con coeficiente de correlación superior a 0.65, lo que refuerza el concepto de que los diferentes fenómenos organizacionales están altamente interconectados. III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 28 N° de correlaciones significativas entre diferentes categorías Categoría 1 Categoría 2 N o de correlaciones Consenso Estratégico Procesos y Procedimientos 4 Clima Organizacional Coordinación Interna 3 Clima Organizacional Consenso Estratégico 2 Clima Organizacional Liderazgo Gerencial 2 Consenso Estratégico Resultados 2 Coordinación Interna Procesos y Procedimientos 1 Relaciones con el Entorno Consenso Estratégico 1 Relaciones con el Entorno Resultados 1 Indicadores de Desempeño Consenso Estratégico1 Indicadores de Desempeño Coordinación Interna 1 Procesos y Procedimientos Relaciones con el Entorno 1 Procesos y Procedimientos Resultados 1 En el ejemplo de la Figura N° 3 se puede inferir claramente que la cultura y los valores de una organización, cuando son adecuados (inadecuados), están directamente correlacionados con la presencia de gerentes con adecuadas (inadecuadas) habilidades de liderazgo. El valor de 0,91 del coeficiente de correlación es muy alto. Como se mencionó antes, esta fuerte correlación entre habilidades de liderazgo y una cultura organizacional positiva es un fenómeno que ha sido frecuentemente descrito en la literatura, y estos resultados refuerzan la teoría vigente. No podemos dejar de enfatizar la relevancia de este tema. Es virtualmente imposible lograr adecuados climas organizacionales con líderes inadecuados o negativos y, a partir de ese punto, la efectividad organizacional se desploma. En la Figura N° 4, que tiene el coeficiente de Spearman más bajo, pero de todas maneras significativo de los incluidos en este estudio, se puede apreciar una importante correlación entre la claridad de las metas estratégicas que tienen los gerentes públicos y la posibilidad de desarrollar internamente procesos de innovación y mejora continua. En forma similar se pueden construir otras 27 figuras, similares a estas dos. III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 29 Figura N° 3 Correlación entre liderazgo directivo y clima organizacional Valor de correlación 0.91: 19 instituciones. Nivel de significancia 99%. El eje X corresponde a la afirmación “Las habilidades gerenciales de los altos directivos son adecuadas, focalizan la organización en lo prioritario y ejercen un liderazgo adecuado”. El eje Y corresponde a la afirmación “La cultura y valores organizacionales son adecuados”. III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 30 Figura N° 4 Correlación entre metas claras y clima innovador Valor de correlación 0.75: 18 instituciones. Nivel de significancia 99 %. El eje X corresponde a la afirmación: “Los gerentes tienen metas claras y alineadas con la estrategia institucional”. El eje Y corresponde a la afirmación “Hay una atmósfera que favorece la innovación y el mejoramiento continuo” Tabla N° 3 Correlaciones de Spearman significativas Dimensión 1 Dimensión 2 Spear- man # org Para cada servicio hay información clara sobre su demanda, costo, atributos y expectativas de los usuarios. El servicio al usuario es adecuado. 0.97** 11 El servicio al usuario es adecuado. La información contable y presupuestaria se utiliza para la toma de decisiones. 0.94** 11 Para cada servicio hay información clara sobre su demanda, costo, atributos y expectativas de los usuarios. La información contable y presupuestaria se utiliza para la toma de decisiones. 0.91** 14 Las habilidades gerenciales de los altos directivos son adecuadas, focalizan la organización en lo prioritario y ejercen un liderazgo adecuado La cultura y valores organizacionales son adecuados. 0.91** 19 Para cada servicio hay información clara sobre su demanda, costo, atributos y expectativas de los usuarios. Las relaciones con las entidades que rodean a la organización, que la financian y/o que conforman su entorno relevante son claras, libres de conflicto y adecuadas. 0.90** 11 Para cada servicio hay información clara sobre su demanda, costo, atributos y expectativas de los usuarios. Los procedimientos contables y presupuestarios son adecuados. 0.88** 12 III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 31 Las relaciones con las entidades que rodean a la organización, que la financian y/o que conforman su entorno relevante son claras, libres de conflicto y adecuadas. El volumen y cobertura de los servicios es adecuado. 0.88** 10 El servicio al usuario es adecuado. La información contable y presupuestaria es confiable. 0.86** 11 La información contable y presupuestaria es confiable. Los procedimientos contables y presupuestarios son adecuados. 0.85** 11 Los sistemas informáticos administrativos son adecuados. Los sistemas de información que soportan los procesos del negocio son adecuados. 0.85** 21 Los gerentes tienen metas claras y alineadas con la estrategia institucional. Los procesos sustantivos de atención al usuario están bien definidos y optimizados. 0.85** 17 Los directivos comparten una visión estratégica. Los gerentes tienen metas claras y alineadas con la estrategia institucional. 0.84** 18 El servicio al usuario es adecuado. Los procedimientos contables y presupuestarios son adecuados. 0.84** 12 La información contable y presupuestaria se utiliza para la toma de decisiones. Los procedimientos contables y presupuestarios son adecuados. 0.84** 15 El volumen y cobertura de los servicios es adecuado. La información contable y presupuestaria se utiliza para la toma de decisiones. 0.83** 14 Hay una atmósfera que favorece la innovación y el mejoramiento continuo La cultura y valores organizacionales son adecuados. 0.82** 20 Las relaciones con las entidades que rodean a la organización, que la financian y/o que conforman su entorno relevante son claras, libres de conflicto y adecuadas. La información contable y presupuestaria se utiliza para la toma de decisiones. 0.81** 15 Las habilidades gerenciales de los altos directivos son adecuadas, focalizan la organización en lo prioritario y ejercen un liderazgo adecuado. Hay una atmósfera que favorece la innovación y el mejoramiento continuo. 0.80** 21 La estructura organizacional es adecuada. Todos tienen claro “qué le toca hacer a quien” y cuáles son las formas de relación entre diferentes unidades de la organización. La cultura y valores organizacionales son adecuados. 0.80** 20 Existe una adecuada comunicación de los mensajes relevantes dentro de la organización estando muy claros los niveles de decisión e información respecto a diferentes materias. Existe una atmósfera que favorece la innovación y el mejoramiento continuo. 0.79** 19 Hay indicadores de desempeño institucional claros y fidedignos que permiten evaluar permanentemente la eficacia, eficiencia y calidad de los servicios de la organización. Los gerentes tienen metas claras y alineadas con la estrategia institucional. 0.79** 17 Los directivos comparten una visión estratégica. La cultura y valores organizacionales son adecuados. 0.77** 19 Los gerentes tienen metas claras y alineadas con la estrategia institucional. El servicio al usuario es adecuado. 0.77** 17 Hay indicadores de desempeño institucional claros y fidedignos que permiten evaluar permanentemente la eficacia, eficiencia y calidad de los servicios de la organización. Existe una adecuada comunicación de los mensajes relevantes dentro de la organización estando muy claros los niveles de decisión e información respecto a diferentes materias. 0.77** 20 III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 32 La estructura organizacional es adecuada. Todos tienen claro “qué le toca hacer a quien” y cuáles son las formas de relación entre diferentes unidades de la organización. Los procesos sustantivos de atención al usuario están bien definidos y optimizados. 0.77** 24 La información contable y presupuestaria es confiable. La información contable y presupuestaria se utiliza para la toma de decisiones.0.77** 14 Existe una adecuada comunicación de los mensajes relevantes dentro de la organización estando muy claros los niveles de decisión e información respecto a diferentes materias. La cultura y los valores organizacionales son adecuados. 0.76** 18 Para cada servicio existe información clara sobre su demanda, costo, atributos y expectativas de los usuarios. El volumen y cobertura de los servicios es adecuado. 0.76* 10 Los gerentes tienen metas claras y alineadas con la estrategia institucional. Hay una atmósfera que favorece la innovación y el mejoramiento continuo. 0.75** 18 (*) Significativo 95%, (**) Significativo 99% Se construyó un diagrama que integra las 29 correlaciones altamente significativas, el cual permite ilustrar un patrón de gestión organizacional. La Figura N° 5 muestra las 11 categorías en las que se agruparon las 34 dimensiones de gestión. Una serie de líneas vinculan a las categorías, tanto entre sí mismas como entre categorías distintas. Las líneas con una flecha simple indican que hay correlaciones significativas entre categorías distintas. Las líneas con una flecha delgada indican la existencia de correlaciones al interior de una misma categoría. Junto a cada una de estas líneas se muestra el número de correlaciones significativas de Spearman. En esta figura se puede observar que algunos nodos son centrales como “consenso estratégico”, “clima organizacional” y “procesos”, los cuales se vinculan e integran con otras dimensiones de la gestión organizacional. III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 33 Figura N° 5 Diagrama de correlaciones significativas entre distintas categorías de gestión. Es notable, incluso sorprendente, que tres categorías de gestión no muestren correlaciones importantes con otras: el marco regulatorio, la disponibilidad de recursos y las Tecnologías de la Información. En los primeros dos casos, los buenos gerentes del sector público parecen obtener resultados esquivando las restricciones normativas y de recursos con cierta dosis de creatividad. Por otro lado, la frecuente desintegración de los sistemas de información y su subsecuente mediocridad (confirmada en múltiples visitas en terreno realizadas por nuestro equipo) sugiere que las instituciones han “aprendido a vivir con mediocridad informática”, la que, de alguna manera, pasa a formar parte del paisaje, especialmente cuando hay directivos públicos que desconocen el potencial de estas tecnologías. En todo caso, esta falta de correlación positiva de tres importantes categorías de gestión con el resto de ellas amerita un estudio más profundo de ese fenómeno. Marco Regulatorio Liderazgo Directivo Recursos Clima Org. Coord. Interna Consenso Estratégico Indicadores de Desempeño Relaciones con Entorno Procesos Tecnologías de la Información 2 1 3 2 1 1 1 1 1 2 4 1 1 1 6 1 III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 34 A continuación se intenta entregar una interpretación de la excepcionalmente alta densidad de correlaciones significativas que encontramos entre las diferentes dimensiones de gestión institucional. En primer lugar, es esencial tener presente que correlación no significa causalidad. No es posible establecer, por ejemplo, que un alto consenso estratégico se traduce en buenos procesos o viceversa. Simplemente se puede afirmar que cuando una dimensión de gestión está bien (o mal) es altamente posible que la otra también lo esté. Ambos van de la mano, como ocurre, por ejemplo, con una buena coordinación interna y un buen clima organizacional, y así sucesivamente en los 29 pares similares de dimensiones de gestión. Creemos que estos hallazgos apoyan los planteamientos de Yang y Kassekert (2009) en relación con la necesidad de tener una aproximación holística a la gestión pública. En las organizaciones complejas, cuando las cosas funcionan bien –o mal– tienden a ocurrir así simultáneamente, situación en la que el rol esencial de los líderes positivos y transformadores es mantener el control de todas las dimensiones de gestión internas y externas, combinando la política y las políticas públicas con su administración, con el fin de crear círculos virtuosos de productividad, motivación y generación de valor para los usuarios. Los roles claves del gobierno central, para cualquier institución pública, son a) proveer un marco regulatorio y recursos financieros, b) contratar a sus gerentes, y c) entregarles un claro mandato estratégico. Es más bien inusual que se establezcan mandatos claros y explícitos mediante un convenio de desempeño, excepto en casos de alta visibilidad política. Habitualmente los gerentes públicos tienden a establecer sus propias agendas estratégicas para luego negociar o “vender” la idea a los ministros u otras autoridades. Los recursos y la normativa, más allá de ciertos límites, no parecen hacer mucha diferencia. En resumen, el aspecto clave para establecer un gobierno con buenas prácticas de gestión parece ser la calidad y liderazgo de los gerentes públicos que las autoridades políticas eligen, ya sea a través de procedimientos de selección formales o informales. III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 35 A pesar de que correlación no implica causalidad, parece evidente que los buenos líderes son quienes generan un buen clima organizacional y no viceversa (Stazyk y Goerdel, 2010; Moynihan y Pandey, 2005). Los pocos casos de modernización institucional que se han dado en Chile han estado claramente asociados a gerentes excepcionales, quienes han contado con un fuerte apoyo político y han permanecido en su posición el tiempo suficiente para llevar adelante sus reformas (Waissbluth e Inostroza, 2006). Desgraciadamente también hay casos bien conocidos en los que, después de cambiar a algunos de estos directivos, las instituciones se han deteriorado notablemente. Un trabajo reciente de uno de los autores de este estudio (Waissbluth y Reeves, 2010) analizó el caso de escuelas públicas chilenas en condiciones de alta vulnerabilidad. Todos los establecimientos en ese estudio tienen asignados, por ley, el mismo monto de recursos per cápita, operan bajo el mismo marco regulatorio y tienen, en promedio, los mismos niveles de vulnerabilidad social. Sin embargo, hay una varianza muy alta en sus resultados académicos, medidos mediante pruebas nacionales estandarizadas. La conclusión es similar a la de este estudio. La única variable que da cuenta de las diferencias en los resultados académicos (con una correlación muy alta y significativa) fue el liderazgo del director del colegio, tal como lo perciben los profesores a su cargo. Más aún, en todas las escuelas con buenos resultados y buenos líderes, se encontró un ambiente de colaboración, cooperación y mejora entre padres, estudiantes y profesores, es decir, la misma elevada correlación identificada en este trabajo. Después de todo, las escuelas públicas son otra variedad de instituciones gubernamentales --sujetas a restricciones similares– lo que refuerza las conclusiones de ambos trabajos. Una vez que se establece el buen liderazgo, las cosas progresan sistemáticamente. Mejora el clima organizacional y los procesos, se generan consensos estratégicos, mejoran las relaciones externas y así sucesivamente. No encontramos muy buenas prácticas de gestión coexistiendo bajo el mismo techo con muy malas prácticas y el factor unificador es el liderazgo institucional: lo que Collins (2001) ha caracterizado como “líderes nivel5”. De III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 36 ahí en adelante se establece un círculo virtuoso, que permite obtener recursos adicionales y atraer a mejores profesionales, mejorar la imagen institucional, los resultados, y así sucesivamente. Chile ha probado diversas políticas para mejorar la gestión pública con estándares y procedimientos jerarquizados definidos centralmente, siguiendo los principios de la Nueva Gestión Pública. El Ministerio de Hacienda, la Secretaría General de la Presidencia y la Contraloría General de la República emiten todo tipo de regulaciones, mandatos, incentivos y bonos para mejorar la planificación estratégica, los PMG (Programas de Mejoramiento de la Gestión), la certificación de la norma ISO 9000, los procedimientos de rendición de cuentas y de administración, así como una fuerte tendencia hacia indicadores de desempeño estandarizados. Estas políticas no parecen tener un gran impacto en la gestión, a excepción del estricto control sobre el presupuesto anual y el cumplimiento de la normativa. Por cierto, esto no implica que el buen directivo público no deba intentar transformar estas herramientas “impuestas desde arriba” en verdaderas oportunidades de mejora y, en ocasiones, algunos lo logran. Por otro lado, aparte de la reforma del año 2004, en la que se creó la Alta Dirección Pública para la selección profesional de aproximadamente 1/3 de los cargos de confianza, el sistema político no se ha preocupado particularmente por la designación de gerentes públicos con buenas habilidades de liderazgo. En forma similar, el sistema que contrata a los directores de escuelas públicas no ha tomado en cuenta -hasta la fecha- la calidad del liderazgo de los candidatos, a pesar de la fuerte evidencia de que éste es un atributo clave para el cargo. Esto comenzó recién a cambiar a partir de la aprobación de la Ley de Calidad y Equidad en la Educación de 2011. Conclusiones III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 37 La percepción de la calidad de gestión en las 28 instituciones estudiadas es más bien mediocre. Posiblemente la forma más rápida para mejorar la calidad global sea la contratación de gerentes públicos competentes, más que la imposición de “reorganizaciones institucionales”, estándares, reglas e “implantología” (“deliverology”), medidas que habitualmente son promovidas por las autoridades políticas y fiscales. La introducción masiva de gerentes públicos competentes en los órganos centrales y regionales debería ser una precondición habilitante para cualquier aumento futuro del gasto público, dado que la disciplina fiscal está bien establecida en Chile. A pesar de que las 39 dimensiones de gestión evaluadas son, en promedio, mediocres, la Tabla N° 1 indica que hay casos que fluctúan desde ‘pobre’ hasta ‘excelente’, señalando así una alta heterogeneidad entre las instituciones. La buena noticia es que si en algunas instituciones se puede, quiere decir que sí se puede y que no necesariamente las entidades públicas están condenadas a ser burocracias ineficaces. Lo mismo ocurre con las escuelas públicas. Entre estos mediocres promedios, las áreas mejor evaluadas son los procesos administrativos; especialmente contabilidad y gestión presupuestal. Calidad y servicio al cliente también muestran una tendencia positiva. Las peores áreas, en tanto, son la confiabilidad de los indicadores de desempeño (a pesar de las estrictas políticas centralizadas del gobierno en esta materia), la gestión de personal, la coordinación interna, y la falta de integración (y por tanto de impacto) de las Tecnologías de la Información. La debilidad de la evaluación mediante indicadores de desempeño confiables obstruye el conocimiento sobre el valor público que estas organizaciones crean. Si bien la introducción de gerentes públicos de alto nivel debería mejorar este aspecto, es necesario establecer simultáneamente prácticas de evaluación que fijen un piso en cuanto a la calidad y objetivos estratégicos para los programas públicos. Esto no significa utilizar aproximaciones simplistas (como ha sido el caso en Chile) ni introducir más indicadores o instrumentos para servicios públicos ya sobrecargados con marcos lógicos y paneles de III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 38 control, sino más bien sintetizar instrumentos existentes definiendo no más de 5 a 10 indicadores clave de valor estratégico. Como Moynihan et al. (2009) expone: “Gran parte del atractivo de las mediciones de desempeño se explica por la idea de contar con una forma simple y neutra de monitorear y mejorar el gobierno. Pero la gobernanza contemporánea se caracteriza por la complejidad. Pocos directivos públicos tienen el lujo de proporcionar servicios relativamente simples y masivos, que es el contexto donde los regímenes de medición del desempeño funcionan mejor. En cambio, deben trabajar en el contexto de un estado desarticulado, con problemas de políticas que cruzan los límites institucionales y que requieren respuestas de múltiples actores”. La insatisfactoria selección, evaluación, capacitación y carrera profesional de los gerentes y funcionarios públicos también constituye una barrera importante para la modernización de la gestión pública. Existe una necesidad urgente en Chile de reformar el carácter y expandir en alcance el Servicio Civil, como fue propuesto por un grupo de universidades y Think Tanks (Consorcio para la Reforma del Estado, 2009). Sin embargo, Grindle (2010), en su estudio sobre los Servicios Civiles en América Latina concluye –enfática y tal vez pesimista – que: “…en el corazón de la resiliencia de los sistemas de clientelismo del sector público están los beneficios que reciben y ofrecen quienes los administran… el destino final de las iniciativas de reforma de carrera de los Servicios Civiles generalmente se determina después de que se establece la legislación… algunas agencias públicas, por ejemplo, intentan salirse del nuevo sistema. Aquellos que resisten el cambio también trabajan para destruir la organización a cargo de implementar la reforma o de estrangular a la organización responsable por la vía de restringirle el financiamiento, y/o quitarle oportunidades para efectuar los exámenes de reclutamiento”. III- Congreso Internacional de Ciencia, Tecnología y Cultura – Universidad de Santiago, Chile – 2013. Simposio: Investigación Evaluativa 39 Con ocasión de los problemas de legitimidad detonados por el cambio de la coalición gobernante en el año 2010, Chile ha demostrado la urgente necesidad de una reforma que otorgue mayor inmunidad a su joven Servicio Civil respecto a eventuales cambios de este tipo. Un proyecto de ley que blinda el sistema continúa detenido, primero en el Ejecutivo y ahora en el Congreso. Una tercera crisis derivada de un eventual nuevo cambio de coalición le daría un golpe mortal a este todavía frágil sistema. Por otro lado, como se ha dicho, el potencial del gobierno electrónico está lejos de ser explotado en Chile. Aparte de algunos episodios breves, no ha habido suficiente énfasis en formular planteamientos gubernamentales sobre el significado de este tema y tampoco existe un cargo en el Gobierno como el de un “Chief Information Officer” con suficiente poder político como para promover reformas transversales y, sobre todo, coordinaciones y procedimientos comunes en esta área. Este sería un camino obvio para ahorrar recursos fiscales y mejorar la calidad de servicios y, en el largo plazo, cambiar la naturaleza de las instituciones
Compartir