Categorización de establecimientos que participaron en la evaluación Graduandos 2013 193 Cuando se pretende utilizar un indicador compuesto, se deben tener presentes las ventajas y desventajas o limitantes que tienen este tipo de indicadores, en particular, buscando reducir las limitantes por medio de una construcción metodológicamente adecuada. Ventajas Al poder integrar un amplio conjunto de puntos de vista o subsistemas de una unidad de análisis considerada, los indicadores compuestos permiten reducir la complejidad de la información que deviene de las múltiples perspectivas que, de otra forma, pudieran percibirse en mutuo conflicto. Cabe destacar, que la construcción de un indicador compuesto a menudo supone una implementación por etapas, partiendo del cálculo de indicadores compuestos referidos a los subsistemas que intervienen. Entre las principales ventajas del uso de los indicadores compuestos se puede afirmar que, en primera instancia, integran y resumen diferentes dimensiones de un tema, por eso permiten disponer de una «imagen de contexto» y son fáciles de interpretar por su capacidad de síntesis al reducir el tamaño de la lista de indicadores a tratar en el análisis; por otro lado, atraen el interés público por su capacidad de facilitar una comparabilidad entre unidades de análisis y su evolución. Esto es particularmente importante puesto que facilita la evaluación de la eficacia de las políticas y la rendición de cuentas («accountability») por parte de los representantes del gobierno. Limitaciones y desventajas El uso de indicadores compuestos de cualquier tipo, no está exento de limitaciones y desventajas generales, ya que puede proveer mensajes confusos y no robustos si los indicadores están mal construidos o interpretados. Ello obliga a que durante su proceso de construcción se realicen análisis de sensibilidad y robustez. Por otro lado, reducir la complejidad de un tema en un valor que, supuestamente, lo mide «todo», puede dar lugar a sesgos de percepción o confirmación o a la simplificación excesiva. Por eso, la alternativa más viable al momento de diseñar indicadores compuestos puede ser considerar el cálculo de subindicadores que representen el comportamiento de los distintos subsistemas que componen la representación que se desea estudiar. Es justamente aquí, donde comienzan a aparecer las complicaciones ya que la agregación ponderada de múltiples contenidos de información estadística puede acarrear crecientes niveles de incertidumbre asociados a la integración de las diversas escalas y dimensiones que el indicador compuesto intenta sintetizar. Ello obliga a procurar evitar la redundancia al momento de seleccionar la información que formará parte del indicador compuesto. Además, el diseño del indicador debe realizarse a partir de un conjunto de información «medible», i.e. que los datos con que se alimentan estén ampliamente disponibles y sus frecuencias de muestreo respondan a un calendario «razonable» en relación a los objetivos que se plantean al momento de diseñar el indicador y que las unidades de análisis hayan consensuado un tolerable nivel de armonización sobre las estadísticas e indicadores a utilizar. Ciertamente esto abre un debate acerca de la calidad y comparabilidad de las estadísticas que se utilizan, el cual escapa al contenido de este estudio. Asimismo, la elección del uso de un indicador compuesto se realiza a partir de su relevancia política, es decir, que su diseño debe necesariamente contribuir a la toma de decisiones informadas tanto como a potenciar la resonancia comunicacional que este produce con relación al fenómeno bajo análisis. No se debe desconocer que toda iniciativa que busque diseñar un indicador compuesto deberá estar orientada por una demanda potencial puesta de manifiesto por los actores sociales que pudieran estar involucrados en el área bajo análisis. Es por ello que durante el proceso de construcción de un indicador compuesto la interacción con pares y expertos es esencial para lograr la mutua aceptación del indicador, el cual debe concebirse como una herramienta útil de investigación y comparación sobre la base del consenso. Sin embargo, a pesar de basarse en el juicio experto, la elección del indicador requiere la aplicación minuciosa de principios estadísticamente fundamentados y procedimientos cuantitativos transparentes ya que, por ejemplo, puede haber conflicto con las escalas de medición y análisis: lo que es pertinente a nivel local, puede no serlo a nivel nacional. Muchas pueden ser las críticas que se realicen sobre el uso de indicadores compuestos y los problemas que conlleva su cálculo. La correcta selección de las variables que lo compondrán, la comparabilidad del indicador compuesto en situaciones diversas, la generalización excesiva, el contrapeso que se produce entre variables de naturalezas muy diversas son algunos ejemplos. Koopmans (1947) critica abiertamente la construcción de indicadores compuestos que no tienen una adecuada base teórica a partir de la cual iniciar el análisis. Sin embargo, stricto sensu, las principales críticas se centran en el incumplimiento de alguna de estas hipótesis de partida. Si no se realiza una selección correcta de las variables que formarán parte del indicador sintético, o si esta no abarca las principales dimensiones del objeto de estudio, difícilmente el indicador desarrollado mostrará algo representativo acerca de la cuestión que se desea estudiar. Construcción de indicadores compuestos por etapas Siguiendo la experiencia realizada por la Nardo, et al (2005a), a lo largo del proceso de construcción de un indicador compuesto se debe seguir una serie de etapas minuciosas. Dichas etapas son: desarrollo de un marco conceptual, selección de los indicadores, análisis multivariado, imputación de datos perdidos, normalización de los datos, ponderación de la información, agregación de la información y análisis de robustez y sensibilidad. El desarrollo de un marco es fundamental puesto que sustenta de manera conceptual la generación del indicador compuesto. Es a partir de ese marco que se justifica la construcción del indicador, dando pertinencia y razón de ser a los valores que posteriormente serán analizados. Una vez definido el marco conceptual, es necesario evaluar los indicadores que se desea sintetizar. Esta etapa debe remitirse a un proceso previo de generación de indicadores, el cual es básico para la construcción de indicadores compuestos. Este proceso previo consiste en una búsqueda de los indicadores que, dentro del marco conceptual definido, puedan ser construidos o utilizados si es que ya existen, para posteriormente ser incorporados en un indicador compuesto. Cuando se han elegido los indicadores y variables que formarán parte del indicador compuesto, un proceso de análisis exploratorio es útil para evaluar si efectivamente los datos con la información seleccionada, están en concordancia con las ideas que dieron lugar a su elección. Este es un primer proceso de validación de la utilidad de los indicadores seleccionados, en el cual pueden manifestarse problemas de ausencia parcial de información. Ello puede conducir a problemas en posteriores etapas, dado que puede generar errores en los análisis que conduzcan al final a conclusiones incorrectas, lo que hace necesario recurrir a las metodologías de imputación de datos perdidos o faltantes. Los indicadores y variables seleccionados para la construcción del indicador compuesto, generalmente estarán medidos en distintas escalas, por lo cual se hace necesario normalizarlos para que puedan ser agregados de manera comparable. Una vez hecho esto, es necesario definir el factor de peso que cada indicador o variable tendrá en la agregación, para finalmente generar el agregado y construir los valores del indicador compuesto. Finalizado el proceso de construcción del indicador compuesto, será necesario presentarlo en un formato claro y entendible, ya sea de manera gráfica o tabular. No se debe descuidar el aspecto de la validación final por medio de un análisis de sensibilidad, consistente en evaluar si pequeñas variaciones en los datos contenidos en los indicadores y variables que se incluyen en la agregación, conducen efectivamente a pequeñas variaciones en el valor del indicador compuesto, lo cual no está garantizado, pero es requerido como un elemento de robustez. los indicadores compuestos La fortaleza (o debilidad) de un indicador compuesto recae en la calidad de las variables que lo definen. Por eso la selección de cada una debe realizarse sobre la base de su relevancia, su calidad, la frecuencia con que se muestrea y su disponibilidad al dominio público. Debe debatirse acerca de la pertinencia de cada variable elegida. Muchas veces y particularmente en la región de América Latina y el Caribe, la elección de los indicadores se ve limitada por la escasez de información estadística y la imposibilidad de que parte de la información disponible esté armonizada a partir de estándares internacionales. Esto limita la posibilidad de establecer comparaciones entre países. El proceso de selección de las variables que compondrá el indicador