Descarga la aplicación para disfrutar aún más
Vista previa del material en texto
DESARROLLO DE UN MANUAL DE IMPLEMENTACIÓN DEL A ESTRATEGIA DEL PROYECTOS SPORTPOWER2 Y EVALUACIÓN DE RESULTADOS DE LA HERRAMIENTA DEL DEPORTE. PRODUCTO 3: INFORME FINAL DE RESULTADOS JUNIO 30 DE 2018 i DESARROLLO DE UN MANUAL DE IMPLEMENTACIÓN DE LA ESTRATEGIA DEL PROYECTOS SPORTPOWER2 Y LA EVALUACIÓN DE RESULTADOS DE LA HERRAMIENTA DEL DEPORTE PRODUCTO 3: INFORME FINAL DE RESULTADOS TABLA DE CONTENIDO ACRÓNIMOS ........................................................................................................................ III PRESENTACIÓN ..................................................................................................................... 1 CAPÍTULO 1 ......................................................................................................................... 3 OBJETIVOS Y ALCANCE DE LA EVALUACIÓN ............................................................................. 3 1.1 Objetivo general del Estudio ............................................................................... 3 1.2 Alcance de la evaluación ................................................................................... 3 CAPÍTULO 2 ......................................................................................................................... 5 METODOLOGÍA DEL ESTUDIO .................................................................................................. 5 2.1 Procesos que orientaron la metodología de la evaluación ............................. 5 2.2 Marco metodológico de la evaluación ............................................................. 6 2.3 Selección de la muestra de participantes del proyecto que fue consultada en el proceso evaluativo ................................................................................................ 7 CAPÍTULO 3 ....................................................................................................................... 11 TEORÍA DE CAMBIO DEL PROGRAMA ..................................................................................... 11 3.1 Cadena de valor ................................................................................................ 11 3.1.1 Entendimiento del programa ........................................................................................ 11 3.1.2 Cadena de Valor ............................................................................................................ 12 3.1.3 El proyecto y sus componentes .................................................................................... 15 3.1.4 Algunas observaciones asociadas a la cadena de valor del proyecto................. 16 3.2 Identificación de stakeholders .......................................................................... 19 CAPÍTULO 4 ....................................................................................................................... 25 PRINCIPALES HALLAZGOS DE LA EVALUACIÓN DE PROCESOS .................................................... 25 4.1 Relevancia del proyecto ................................................................................... 25 4.2 Aspectos asociados a la implementación del proyecto................................ 28 ii 4.2.1 Eficiencia del Proyecto .................................................................................................. 28 4.2.2 Efectividad del proyecto ............................................................................................... 31 4.2.3 Sostenibilidad y seguimiento ......................................................................................... 33 CAPÍTULO 5 ....................................................................................................................... 36 PRINCIPALES HALLAZGOS DE LA EVALUACIÓN DE RESULTADOS .................................................. 36 5.1 Principales conocimientos adquiridos .............................................................. 36 5.2 Resultados identificados por componentes..................................................... 38 5.3 Principales lecciones aprendidas...................................................................... 40 5.3.1 Lecciones aprendidas frente al diseño y la implementación del proyecto ........... 40 5.3.2 Lecciones aprendidas frente al desarrollo de los componentes ............................. 43 5.4 Factores de éxito ................................................................................................ 45 5.4.1 La participación de las PcD y el compromiso de los implementadores del proyecto........................................................................................................................................... 45 5.4.2 La generación de alianzas y las importancias de coordinar y articular acciones en lo territorial .................................................................................................................................. 45 5.4.3 Asumir la práctica del deporte como un espacio transformador que facilita conformar proyectos de vida ....................................................................................................... 45 5.4.4 Mantener la transversalidad del componente psicosocial ...................................... 46 5.4.5 La importancia de considerar lo económico en la transformación de imaginarios asociados al asistencialismo ......................................................................................................... 46 5.4.6 El acompañamiento a los comités de discapacidad y la inclusión del proyecto dentro del panorama de política pública dispuesto para las PcD en lo nacional ............... 47 5.4.7 El trabajo conjunto con el SENA frente a los clubes deportivos ............................... 47 5.5 Resultados desde la perspectiva de género y de las víctimas ...................... 47 5.5.1 Frente a la perspectiva de género .............................................................................. 47 5.5.2 Frente a la perspectiva de las víctimas ....................................................................... 50 CAPÍTULO 6 ....................................................................................................................... 52 CONCLUSIONES Y RECOMENDACIONES ................................................................................. 52 6.1 Principales conclusiones .................................................................................... 52 6.2 Principales recomendaciones ........................................................................... 53 BIBLIOGRAFÍA ..................................................................................................................... 55 iii ACRÓNIMOS ASD Acción sin Daño AFA Actividad Física Adaptada CDPCD Convención de los Derechos de las Personas con Discapacidad PcD Personas con Discapacidad TdC Teoría de Cambio SP1 Sportpower 1 SP2 Sportpower 2 UH Unidad Hermenéutica USAID Agencia de los Estados Unidos para el Desarrollo Internacional (siglas en ingles Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a1 PRESENTACIÓN La Fundación Arcángeles a través de concurso público contrató a Econometría Consultores1 para el Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Iniciando a mediados de marzo del 2018 y luego de tres meses de ejecución, la consultoría realizó los procesos de diseño de instrumentos, análisis de información primaria y secundaria, construcción de muestras de stakeholders y participantes, ejecución del trabajo de campoy análisis de la información recabada. A continuación se presenta el informe de resultados de este proceso evaluativo, conformándose el producto 3 de la consultoría. Antecedieron a esta entrega, el Producto 1 con el Informe Metodológico de la evaluación y el Producto 2, con el Informe de Trabajo de campo. Un último producto acompañará finalmente este ejercicio evaluativo, y es el producto 4, que contiene un Manual de Implementación del proyecto. El presente informe con los resultados de la evaluación está conformado por cinco capítulos. En el primero de ellos se presentan los objetivos y el alcance de la evaluación. En el segundo capítulo se expone brevemente la metodología que se llevó a cabo y la forma como se seleccionó la muestra de participantes consultados. La cadena de valor y la identificación de stakeholder están descritos en el capítulo 3. A partir del capítulo 4 se presentan los principales resultados de la evaluación de procesos, estableciéndose allí aspectos asociados con la relevancia del proyecto, la implementación y la sostenibilidad. En el capítulo 5, se exponen los hallazgos de la evaluación de resultados, estableciéndose de esta manera las principales lecciones aprendidas, conocimiento adquirido, factores de éxitos y los resultados por componentes y desde la perspectiva de género y de las víctimas. En el capítulo 6 se presentan algunas conclusiones y recomendaciones que esperan ser desarrolladas a mayor profundidad en el producto 4, con el manual de implementación del proyecto. Finalmente, es de señalar que en la comprensión de los componentes del proyecto Sportpower 2, sus avances y acciones; así como en los ajustes a los instrumentos y 1 El equipo evaluador estuvo conformado por Claudia Helena Peñaranda (directora); Daniel Hernández, Stefany Martínez, Carolina Montoya, Luz Zaret Mena, Paula Rubio y el equipo de campo cualitativo. Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a2 coordinación para la salida de campo, Econometría Consultores recibió el permanente apoyo y retroalimentación del equipo ejecutor del proyecto. En este sentido, la consultoría agradece su participación y orientación, así como el de cada una de las personas participantes, ejecutores y aliados que aportaron sus respuestas y experiencias. A todos, muchas gracias por su colaboración. Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a3 Capítulo 1 OBJETIVOS Y ALCANCE DE LA EVALUACIÓN 1.1 OBJETIVO GENERAL DEL ESTUDIO Tal y como estaba establecido en los términos de referencia de la convocatoria y como fue asumido por la propuesta presentada por Econometría, el objetivo del estudio fue desarrollar un manual de implementación de la estrategia del proyecto SportPower2 y evaluación de resultados de la herramienta del deporte. En esta evaluación se buscó identificar los hallazgos, lecciones aprendidas y logros que hacen de Sportpower 2 un proceso transferible y sostenible. La evaluación de los resultados del proyecto, así como el proceso de sistematización, fueron realizadas para los diferentes componentes: componente deportivo, el componente de generación de ingresos, el componente de acompañamiento psicosocial y el componente de fortalecimiento a organizaciones en el marco de la discapacidad. Este informe de evaluación de resultados va acompañado de un manual de implementación donde se recogen las principales lecciones aprendidas y algunas recomendaciones a realizar sobre la implementación del proyecto. 1.2 ALCANCE DE LA EVALUACIÓN Tal y como lo ilustra la Figura 1.1, el objetivo implica el desarrollo de algunos aspectos propios de una evaluación de procesos que permitió identificar la manera como se ha venido desempeñando el programa en sus distintos componentes y la forma como se han gestionado sus procesos, de modo que sea posible establecer lo que es importante replicar y lo que es necesario de fortalecer. De otro lado, la Figura 1.1 también presenta la manera como la evaluación de resultados proporcionó insumos al manual de implementación, siendo su objetivo principal el de indagar por los efectos que ha tenido el programa en las personas con discapacidad y grupos beneficiarios. En este sentido, se buscó conocer sobre los distintos aspectos en los cuales habría de esperarse cambios y que han conducido a nuevos aprendizajes, nuevos conocimientos y logros. Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a4 Figura 1.1 - Alcance de la evaluación y articulación Fuente: Elaboración propia Finalmente, el conocimiento tanto de los procesos como de los resultados permitió construir la cadena de valor del proyecto Sportpower 2. Como se expone más adelante, éste fue un producto más de la consultoría. Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a5 Capítulo 2 METODOLOGÍA DEL ESTUDIO La metodología que se propuso identificó dos momentos: uno relacionado con la operación del proyecto, y otro asociado a la evaluación de sus resultados. Para ambos casos se llevaron a cabo unos procesos conjuntos que marcaron su desarrollo. Figura 2.1 - Metodología propuesta para la sistematización del programa SportPower2 Fuente: Elaboración Econometría Consultores. 2018 2.1 PROCESOS QUE ORIENTARON LA METODOLOGÍA DE LA EVALUACIÓN Cada proceso involucró distintos pasos o momentos a tener en cuenta. A continuación de forma sintética se describen los principales pasos que se llevaron a cabo: a) La definición de una matriz de consistencia que partió de los objetivos de la evaluación y que permitió la definición de variables, categorías de análisis y de las fuentes de información utilizadas. b) La revisión documental de los reportes y demás información secundaria con los que cuenta el programa. c) La recolección de información primaria cualitativa sobre la percepción que tienen los participantes del programa, a partir de 24 grupos focales con beneficiarios en seis 1. Elaboración matriz de consistencia 2. Revisión documental 3. Recolección de información primaria 4. Sistematización y análisis de resultados 5. Elaboración del manual de implementación de la estrategia del proyecto 6. Socialización de resultados Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a6 ciudades y 48 entrevistas semi-estructuradas con los actores clave para la implementación del programa tanto a nivel nacional como territorial. d) El análisis de la información y la presentación de resultados. e) La elaboración del manual de implementación de la estrategia del proyecto a partir de los hallazgos obtenidos. Es importante resaltar que durante todos los pasos de la metodología se efectuaron reuniones de validación con el Comité Técnico del proyecto delegado por la Fundación Arcángeles. 2.2 MARCO METODOLÓGICO DE LA EVALUACIÓN La metodología desarrollada tanto en el análisis de operaciones como de resultados implicó un análisis documental, el desarrollo de unosinstrumentos para ser aplicados a implementadores y aliados, la construcción de la teoría de cambio del proyecto y el análisis de los posibles efectos y resultados esperados2. En este sentido y para efectos de atención a la rigurosidad que se siguió, se referencian igualmente los siguientes aspectos: a) Se realizó un análisis exhaustivo de los documentos que el proyecto genero desde sus inicios, particularmente la información contractual, y la información de seguimiento y monitoreo presente en los “Quaterly reports” que el proyecto reportó periódicamente. b) Se llevó a cabo la construcción de la teoría de cambio del proyecto. c) Se procedió a: • El diseño de los instrumentos de entrevistas teniendo en cuenta el perfil de cada actor o stakeholder aliado y su nivel de involucramiento en los distintos procesos del proyecto. • El diseño de las preguntas a realizar mediante los grupos focales a beneficiarios del proyecto. • El diseño de la muestra de actores a entrevistar y el diseño del universo de participantes a los grupos focales, así como la selección de la muestra de beneficiarios a invitar a este último ejercicio cualitativo. 2 Para mayor profundización sobre cada uno de los aspectos, se recomienda la lectura del producto 2 de la Consultoría, el cual presenta el informe metodológico de la misma. Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a7 d) Se llevó a cabo el proceso de alistamiento para salir a campo, selección y capacitación del personal cualitativo y ejecución del ejercicio cualitativo en coordinación con el equipo interventor. e) Finalmente se realizó el proceso de alistamiento de la información primaria recolectada, análisis de la información recabada y la construcción de informes que constituyen los productos 3 y 4 de la consultoría. 2.3 SELECCIÓN DE LA MUESTRA DE PARTICIPANTES DEL PROYECTO QUE FUE CONSULTADA EN EL PROCESO EVALUATIVO Para la selección de la muestra para los 24 grupos focales, el proceso inició por unificar las bases de datos disponibles sobre los participantes y el número de participantes total que tenía el proyecto (universo de participantes). Luego de identificar un total de 225 personas, se procedió a establecer en qué componentes había participado cada uno y el año de ingreso a SP2; también el número desagregado por sexo y las personas participantes que eran identificadas como víctimas del conflicto armado. Todo ello se hizo por ciudad, y obviamente, por zona. Se lograron cuatro cuentas (ver cuadro 2.1), a partir de las cuales se encontró que son 124 los participantes nuevos (personas que ingresaron al programa en el segundo semestre del 2016 y en adelante), y 101 los participantes antiguos (personas que ingresaron antes del segundo semestre del 2016 y que están desde el inicio de SP2. De esas 225 personas, 58 son mujeres y 24 víctimas del conflicto armado. Cuadro 2.1 - Caracterización de la población CIUDAD CUENTA DE MUJERES CUENTA DE VÍCTIMAS CUENTA DE NUEVOS CUENTA DE ANTIGUOS BOGOTÁ 13 5 15 31 CARTAGENA 6 35 1 MEDELLÍN 19 15 15 45 QUIBDÓ 6 4 5 23 RIOHACHA 7 27 SANTA MARTA 7 27 1 Total general 58 24 124 101 Fuente: Econometría Consultores a partir de bases de datos del proyecto. 2018 La Figura 2.2, presenta el porcentaje de mujeres y personas víctimas que componen los grupos de participantes nuevos y participantes antiguos. Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a8 Figura 2.2 - Distribución de la población del proyecto por antigüedad y condición de mujer o víctima Fuente: Econometría Consultores a partir de bases de datos del proyecto. 2018 Entre los beneficiarios antiguos se cuenta con un mayor número de mujeres (30,7%) y víctimas (19,8%). En general, los participantes antiguos se concentran en la Zona B. Mientras, en la Zona A, se evidencia un mayor número de participantes nuevos, es decir que entraron al proyecto después del segundo semestre de 2016. Figura 2.3 - Participantes por ciudad y por cuenta Fuente: Econometría Consultores a partir de bases de datos del proyecto. 2018 13 6 19 6 7 75 15 4 15 35 15 5 27 27 31 1 45 23 1 0 5 10 15 20 25 30 35 40 45 50 Cuenta de mujer Cuenta de victima Cuenta de nuevo Cuenta de antiguo Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a9 Frente al enfoque de género, una de cada tres personas participantes es mujer (Figura 2.4), y es la Zona B del proyecto la que reúne un mayor número de participantes mujeres, llegando casi a doblar al número de mujeres de la Zona A (Figura 2.5). Medellín con casi el 50%, es la ciudad más incluyente en materia de género. Figura 2.4 - Participantes por sexo Fuente: Econometría Consultores a partir de bases de datos del proyecto. 2018 Figura 2.5 - Participantes por ciudades y por sexo Fuente: Econometría Consultores a partir de bases de datos del proyecto. 2018 13 6 19 6 7 7 33 30 41 22 20 21 0 5 10 15 20 25 30 35 40 45 BOGOTÁ CARTAGENA MEDELLÍN QUIBDÓ RIOHACHA SANTA MARTA Mujeres Hombres Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a1 0 Finalmente, con respecto a la proporción en la que participan las víctimas (Figura 2.6), el número de no víctimas predomina sobre el número de no víctimas en todo el proyecto. Cómo se señalaba anteriormente de los 225 participantes identificados, el 11% son víctimas. Figura 2.6 - Participantes por su condición de víctima del conflicto Fuente: Econometría Consultores a partir de bases de datos del proyecto. 2018 Luego de haber identificado a los participantes se procedió a la organización y convocatoria de los participantes a los 4 grupos focales por ciudad. En total se realizaron 24 grupos focales, tal y como se informa en el producto 2 que reseña el trabajo de campo realizado. Para la identificación de las personas a entrevistar, se hizo una selección a conveniencia dado que era clave contactar a personas que efectivamente tuvieran experiencia con el proyecto como implementadores y aliados tanto en lo nacional como en lo territorial. El listado de los entrevistados se hizo en conjunto con el equipo interventor de la evaluación3. 3 Nuevamente, el equipo evaluador agradece la participación de todos y cada uno de estos actores participantes. Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a1 1 Capítulo 3 TEORÍA DE CAMBIO DEL PROGRAMA 3.1 CADENA DE VALOR 3.1.1 Entendimiento del programa El proyecto Sportpower2 (SP2) es una iniciativa de la Fundación Arcángeles y tiene como objetivo “Contribuir a la inclusión social de las personas con discapacidad (PcD), priorizando a víctimas del conflicto armado, mediante un proyecto integral de deportes y empoderamiento en las ciudades de Medellín, Bogotá, Quibdó, Santa Marta, Cartagena y Riohacha” (Cooperative Agreement, 2014). El proyecto inició en el año 2014 y, con el financiamiento de USAID, ha estructuradoun plan de trabajo que se concentra en el deporte como herramienta de inclusión, pero reconoce que existen otras áreas que son determinantes para tal proceso y en las que la atención a las necesidades e intereses de las PcD presenta vacíos y dificultades importantes. Anterior a Sportpower2, la Fundación Arcángeles había ejecutado un primer proyecto llamado Sportpower1 (SP1). Este fue un programa deportivo piloto que inició en 2011 y fue llevado a cabo en las ciudades de Villavicencio, Acacías, Granada, Bogotá, Soacha y Funza, ubicadas en los departamentos del Meta y Cundinamarca respectivamente. En términos generales, SP1 se concentró en la vinculación de participantes a los equipos deportivos, en la conformación de clubes deportivos y en la creación de proyectos productivos que pudiesen garantizar la sostenibilidad de tales clubes. A partir de los resultados obtenidos en este piloto, fue posible demostrar que el deporte es una herramienta útil para contribuir a la inclusión social y el empoderamiento de PcD. No obstante, se identificó que aspectos como la generación de ingresos, el acompañamiento psicosocial y el fortalecimiento organizacional a clubes y organizaciones que apoyan o que son conformadas por PcD, también son pilares fundamentales para dicho proceso de inclusión, por lo que SP2 se estructuró de tal forma que estas áreas fueran trabajadas a partir de diferentes componentes cuyos resultados son el objeto de análisis de esta evaluación. El proyecto Sportpower2 se divide en dos fases. La primera fase abarca el período de tiempo entre el año de iniciación de SP2 en 2014 y el año 2015, mientras que la segunda Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a1 2 fase va desde el año 2016 hasta la fecha de finalización del proyecto en 2018. La Figura 3.1, expone mejor este punto a través de una línea de tiempo. Figura 3.1 - Línea de tiempo del proyecto Sportpower2 Fuente: Elaboración Econometría Consultores. 2018 Este punto de quiebre se debe al acuerdo de una extensión sin costo del programa por dos años más con USAID. Tal extensión implicó la realización de una nueva convocatoria para participantes, la reestructuración de algunas actividades, el establecimiento de algunas metas, entre otros. Los cambios registrados para la segunda fase responden a un cambio en los componentes con el fin de generar mayor impacto (Fundación Arcángeles, 2016). Estos cambios y sus implicaciones serán abordados más adelante. 3.1.2 Cadena de Valor Ahora bien, como ya se ha establecido anteriormente, entre los objetivos de este producto se encuentra identificar la manera como se ha venido desempeñando el programa y la forma como se han gestionado sus procesos, de modo que sea posible identificar los aprendizajes, logros, conocimientos y demás factores que den cuenta de cuáles fueron las medidas de solución y los factores de éxito que hacen de Sportpower 2 un proceso transferible y Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a1 3 sostenible. Para esto, se ha construido una cadena de valor que responde a la metodología de la teoría de cambio propuesta inicialmente4. Así pues, la cadena de valor o cadena de resultados es una herramienta que permite identificar la secuencia de insumos, actividades y productos que genera el programa de Sportpower2 dentro de su contexto operativo. Esta cadena permitirá determinar la forma en que el programa logró obtener los resultados deseados o previstos, identificar los supuestos que cobijan todo el desarrollo de Sportpower2 y establecer la trazabilidad de la intervención que se realizó. En resumen, esta cadena permite agrupar y organizar todos los componentes del proyecto para entender de manera global su funcionamiento. Para este caso, la cadena de valor y su análisis se construye a partir de la revisión de la documentación del programa; sean estos los reportes trimestrales o los acuerdos de cooperación, y las entrevistas realizadas a los profesionales de los componentes. En aras de seguir la estructura operativa del proyecto, la cadena de valor está construida en función de cada componente, lo cual implica que cada uno de los objetivos específicos responde estrictamente a uno de estos. La cadena se presenta en una matriz y, en la misma, se consolidan los registros de ejecución presentados a USAID (no ejecutado, parcialmente ejecutado, completamente ejecutado). De igual forma, junto a la construcción de la cadena y a la revisión documental, se identificaron una serie de indicadores que reportan el avance del proyecto. En primera instancia, es importante resaltar que el programa, y por ende su cadena de valor, se rige por la premisa que el deporte es una medida eficaz de reparación, reconciliación e inclusión social para las personas con discapacidad y/o víctimas del conflicto armado. Con esto en mente, el proyecto SP2 funciona, en general, de la siguiente manera: con un objetivo general ya establecido, y mencionado anteriormente, el proyecto se divide en diferentes componentes a partir de los cuales se planean y desarrollan una serie de actividades con las que se espera llegar a cumplir los objetivos específicos de cada componente. La Figura 3.2 muestra de forma más clara la organización operativa de SP2 en términos de la cadena de valor que hace parte de la teoría de cambio con la que se espera apoyar la evaluación. En la figura sólo se muestran algunos de los productos y actividades relacionadas. 4 Esta es entendida como “una descripción de cómo se supone que una intervención conseguirá los resultados deseados. Describe la lógica causal de cómo y por qué un proyecto, un programa o una política lograrán los resultados deseados o previstos” (Gertler, Martínez, Premand, Rawlings, & Vermeersch, 2011, pág. 22). Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a1 4 Figura 3.2 - Línea operativa del proyecto Sportpower2 Fuente: Elaboración Econometría Consultores. 2018 Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a1 5 Varias cosas pueden resaltarse a partir de la Figura 3.2. En total, el proyecto cuenta con seis componentes, de los cuales tres, acompañamiento psicosocial, enlaces interinstitucionales y gestión de medios y comunicaciones, realizan una laboral transversal, razón por la cual su rol se concentra en apoyar a los otros tres componentes en actividades específicas y no poseen estrictamente un objetivo específico. De igual forma, es relevante mencionar que cada componente independiente tiene su línea causal, por lo que el desarrollo de las actividades, los productos, etc., responden exclusivamente a cumplir el objetivo específico de uno de los componentes no transversales, es decir que las actividades no se cruzan ni se complementan entre estos tres componentes. Por último, en lo que respecta a los insumos, son en general insumos de tipo logístico, para recursos físicos y recurso humano, por lo que diferenciarlos entre componentes no es relevante. 3.1.3 El proyecto y sus componentes Ahora bien, el proyecto se concentra mayormente en los componentes independientes; podría decirse que son lo componente principales,donde el componente deportivo es el eje central del proyecto y en él se pueden identificar actividades relacionadas con los entrenamientos, los torneos y toda la parte de formación deportiva y competitiva tanto práctica como teórica. En cuanto al componente de generación de ingresos, se encuentran todas las actividades relacionadas con la vinculación laboral de participantes a las empresas aliadas, capacitación en la búsqueda de oportunidades laborales, asesoramiento técnico y operativo a unidades productivas, entre otras. Finalmente, por el lado del componente de fortalecimiento organizacional, se consolidan todas las actividades asociadas con el diagnóstico del estado de organizaciones o clubes deportivos de PcD y de los comités de discapacidad, relacionadas con el asesoramiento técnico y de gestión para estos actores, y con el acompañamiento en el diseño de proyectos y demás. En cuanto a los componentes transversales, estos no poseen objetivos específicos y no son trabajados de la forma como se abordan los otros componentes, a excepción del componente de acompañamiento psicosocial, cuya labor es fundamental para el desempeño de SP2. Es así como, el componente psicosocial se encarga de apoyar a los demás componentes con actividades donde hay un mayor acercamiento hacia el empoderamiento personal con los participantes, el apoyo al perfilamiento laboral, la medición de la percepción de calidad de vida y el fortalecimiento de habilidades sociales y comunicativas. Por otro lado, el componente de enlaces interinstitucionales se encarga del contacto del proyecto con entidades claves a nivel nacional y local como la Unidad de Víctimas, el SENA, el Sistema Público de Empleo, entre otros, con las cuales ha sido necesario contar Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a1 6 para poder ejecutar ciertas actividades de manera más eficiente. Finalmente, el componente de gestión de medios y comunicación tiene una labor más operativa en cuanto maneja la difusión del proyecto por medios como las redes sociales y su página web. 3.1.4 Algunas observaciones asociadas a la cadena de valor del proyecto Habiendo explicado la estructura del programa en función de su cadena de valor cabe realizar varias observaciones al respecto. Una primera observación está relacionada con la formulación general del proyecto. Cuando se piensa ejecutar un programa como SP2 es necesario responder a varias preguntas para definir qué objetivo se quiere lograr, mediante qué resultados, por medio de qué productos, ejecutando qué actividades y contando con cuáles insumos. Al construir la cadena de valor fue posible dar cuenta que estos elementos requieren de algunos ajustes. a) La cadena de insumos, actividades, productos y resultados requiere mayor claridad en el diseño Si bien se cuenta con un objetivo general, unos objetivos específicos o resultados, y unas actividades e insumos, los productos y los resultados no son del todo claros. Para el caso de la fase 1 sólo se hacen explícitos los objetivos y las actividades, por lo que, si bien estos están clasificados por componentes, no es posible establecer concretamente la relación causal de la cadena en cuanto no se hace referencia a cuáles productos son los que permiten que haya una conexión lógica entre las actividades realizadas y los resultados, por ende tampoco es claro cómo se pretende llegar al cumplimiento de los objetivos. Es de señalar que este tipo de información puede inferirse a través del entendimiento del proyecto, pero en aras de hacer un óptimo seguimiento es necesario establecer estos elementos. En el caso de la fase dos sí es posible identificar una serie de productos y resultados intermedios reportados por el proyecto. No obstante, estos dos se confunden en los reportes trimestrales encontrando que se ponen a un mismo nivel los productos y los resultados, lo cual permite identificar la necesidad de mayor claridad respecto a esto y a cómo debe mantenerse la línea lógica del proyecto. De igual forma, no todas las actividades están ligadas a estos productos o resultados, por lo que de cualquier forma la relación causal sigue siendo confusa. b) Los ajustes en el diseño en las fases del proyecto requiere también de ajustes en el seguimiento Como se ilustra en la Figura 3.2, un segundo aspecto tiene que ver con el quiebre que experimenta el proyecto Sportpower2 en dos fases, y sus implicaciones sobre el seguimiento Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a1 7 del proyecto. En sí se logra identificar que de la primera fase a la segunda fase se crean tres nuevos componentes que implican nuevas actividades o la reasignación de actividades a otros componentes. De igual forma, se realiza una nueva convocatoria para vincular personas al componente deportivo, lo cual se traduce en trabajo con actividades para quienes ya venían en el proyecto y para quienes están ingresando. Entre ambas fases los cambios son de tal magnitud que marcar la trazabilidad del proyecto a lo largo de sus 4 años de ejecución es un proceso complejo y, así mismo lo es el identificar con mayor precisión el impacto del programa sin diferenciar por estas fases. Pese a que es posible evaluar el desempeño del proyecto para sus dos momentos, podría perderse, en el análisis, información importante por el cambio de la estructura de los componentes, la creación de nuevas actividades y la integración de nuevos participantes que, se entiende, no pasaron con exactitud por las mismas actividades iniciales de los beneficiarios más antiguos, lo cual podría llegar a marcar diferencias importantes. c) La importancia del componente psicosocial En un tercer punto vale la pena abordar la particularidad del componente de acompañamiento psicosocial. Como se explicó anteriormente, este componente tiene un carácter transversal por lo que apoya las actividades de los tres componentes principales y no tiene en sí un objetivo específico. No obstante, haciendo un repaso a las entrevistas realizadas al equipo de profesionales del proyecto, de los grupos focales con participantes y teniendo en cuenta que varias de las actividades que ejecuta junto con otros componentes son claves para el desarrollo de SP2, es claro que este componente tiene una gran trascendencia en el proyecto y se comporta como los tres componentes principales en cuanto está liderado por un profesional en específico que debe realizar seguimiento desde este mismo componente y que, si el proyecto fuera una mesa, este componente sería una de las patas que la sostiene. Dada su relevancia, sería oportuno establecer un objetivo específico para poder estructurar mejor el componente, independiente de su transversalidad. Además, esto permitiría evaluar el verdadero impacto del mismo y retroalimentarlo de manera correcta. d) La importancia de contar con un modelo que integre los componentes y particularmente, los actores implementadores del proyecto. Al respecto, además de poder construir un modelo que integre a todos los actores que aportan al proyecto, es importante contar con los supuestos de cambios que se esperan lograr con las acciones que realiza cada componente. Estos dos aspectos se esperan desarrollar en el manual de implementación que acompaña a la evaluación. Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de2018. P ág in a1 8 e) Fortalecimiento de los indicadores para conocer el avance en los distintos eslabones de la cadena de valor. Por último es imprescindible abordar la cuestión de los indicadores. En un proyecto como SP2, que debe reportar un seguimiento y que a partir de este podrá determinar su éxito, es indispensable contar con un número de indicadores que permitan determinar el nivel de avance o cumplimiento de los diferentes niveles de la cadena de valor, por lo que debería contarse con indicadores de actividades o procesos, indicadores de producto, indicadores de resultado y, de ser necesario, indicadores de impacto. En teoría, para que estos indicadores cumplan su trabajo de seguimiento es necesario establecer, inicialmente, metas que permitan tener un punto de referencia con el cual evaluar la labor que se viene realizando y tomar las medidas respectivas según su desempeño. De igual forma, debe establecerse un punto de partida o línea base para su medición. Con esto en mente se destacan varias cosas. En primera instancia, el programa reporta una serie de indicadores que no responden concretamente a alguno de los niveles sino que sólo se concentran en medir el número de actores involucrados en las diferentes actividades, como por ejemplo “Número de personas vulnerables beneficiándose” o “Número de empresas comprometidas con el proyecto”. Si bien estos indicadores pueden proveer información de interés para las partes involucradas en cuanto a lo operativo, no logran determinar si el proyecto está logrando sus objetivos, ni permite diagnosticar si el proyecto está avanzando al ritmo esperado. Así mismo, son indicadores muy generales que pueden llegar a abordar varias actividades de distintos componentes, lo cual impediría capturar con certeza el desempeño general del proyecto; un componente podría estar avanzando mucho más respecto a otro componente, pero el indicador podría asumir que el avance se debe a que todos los componentes están avanzando conjuntamente. Es cierto que los reportes trimestrales rinden cuentas de las actividades que se han ejecutado y se profundiza en las dificultades que se han identificado, pero no es suficiente. El valor agregado de los indicadores en este punto radicaría en que estarían respaldados por fichas técnicas que establecen una línea base o punto de partida y una meta que conformaría un intervalo dentro del cual se mueve el desempeño del indicador. De igual forma, permitiría manejar de forma más ordenada la información obtenida para cada componente ya que cada indicador debe tener alguna fuente de información, un nivel de desagregación, una periodicidad, una unidad de medida, etc., que facilita el seguimiento y lo hace más formal. Por último y teniendo en cuenta que las dos fases del proyecto presentan cambios importantes en algunos de sus niveles, no es consistente medir el desempeño del proyecto Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a1 9 con los mismos indicadores para las dos fases como se puede observar en la documentación de SP2. 3.2 IDENTIFICACIÓN DE STAKEHOLDERS Uno de los elementos claves para el éxito de SP2 fue la consolidación de un equipo de trabajo a nivel central y el establecimiento de alianzas o vínculos de cooperación entre el programa y entidades claves, de nivel local y nacional, que aportaron a alguno de los componentes. A todo este conjunto de actores se les conoce como stakeholders y es necesario identificarlos, así como identificar sus roles, en aras de contribuir al objeto del estudio. La Figura 3.3 ilustra la interacción entre los diferentes actores involucrados y los niveles a los que participan. Figura 3.3 - Mapa de Actores Fuente: elaboración propia a partir de información primaria y secundaria de SP2. 2018 Como lo ilustra la figura, el funcionamiento del proyecto se apoya principalmente en el trabajo conjunto de la Fundación Arcángeles, encargada de la coordinación general del proyecto, y USAID. Específicamente, la Fundación Arcángeles es la encargada de la Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a2 0 operatividad del proyecto, mientras que USAID cumple el rol de fuente de financiación, sin el cual el proyecto no podría ejecutarse. Estos actores son los encargados de la orientación general de SP2. La Unidad de Víctimas no tuvo un papel de ejecución concreto. Dentro de Arcángeles, la coordinación general está al mando del proyecto. No obstante, cuenta con apoyos internos importantes de otros niveles, que conforman el nivel central de SP2. Por un lado, la coordinación administrativa se ocupa de la operatividad del proyecto y realiza seguimiento al mismo con el fin de contemplar avances, dificultades y oportunidades, así como de reportar esta información a USAID. Por otro lado, las coordinaciones por componentes asumen la implementación del proyecto en las distintas ciudades, realizando las actividades propuestas y procurando cumplir con los objetivos específicos que se contemplan. Estas últimas son las que mantienen constante cooperación y trabajo con stakeholders externos que pueden clasificarse como beneficiarios, actores implementadores o aliados. Así pues, el presente ejercicio busca identificar estos actores externos y profundizar en sus roles a nivel interno de SP2. Con esto en mente, para el desarrollo de este ejercicio las entrevistas fueron claves y mediante ella fue posible obtener información de primera mano sobre la experiencia de diferentes stakeholders en el proyecto. Con el fin de corresponder a la organización operativa del proyecto, esto es por componentes, la identificación de actores se hizo por cada uno de ellos, incluyendo al componente psicosocial que, como se mencionó en el capítulo anterior, cumple un rol fundamental en el proyecto pese a las particularidades que fueron expuestas. En primera instancia, es necesario realizar algunas precisiones. Fue posible identificar que tanto los coordinadores de zona como los entrenadores son actores con un rol transversal a todos los componentes. El principal papel de los coordinadores es propender por la realización de todas las actividades de los distintos componentes. Sin embargo, han emprendido otras actividades de apoyo en las distintas ciudades para facilitar vínculos con entidades claves, conseguir herramientas útiles para los participantes como cursos y capacitaciones, entre otras. Mientras tanto, los entrenadores tienen a su cargo toda la formación práctica y teórica alrededor de los deportes practicados pero, al igual que los coordinadores, son apoyo para el desarrollo de actividades en sus ciudades respectivas durante la ausencia de los profesionales de los componentes. Ahora bien, los stakeholders restantes son clasificados de tal forma que cada uno participa exclusivamente desde un componente salvo algunas excepciones. Para el componente central del proyecto, es decir el componente deportivo, se identificaron los siguientes stakeholders y sus correspondientes roles: Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a2 1 • Secretarías territoriales: su participación en el componente recae en el apoyo técnico y el acompañamiento a las diferentes actividades propuestas, desde entrenamientos hasta campeonatos. Son puente de articulación entre el proyecto y las alcaldíasrespectivas. • Institutos municipales de deportes: realizan un apoyo logístico facilitando el préstamo de instalaciones para entrenamientos, talleres y eventos, etc. Realizan supervisión por parte del distrito. • Clubes deportivos: son participes de los campeonatos locales y regionales. Apoyan con la coordinación y el juzgamiento de los encuentros. • Universidades: contribuyen con el apoyo logístico, el préstamo de escenarios deportivos y talento humano para la ejecución de eventos de gran escala. Generan vínculos para integrar al proyecto en actividades propias de la institución. • SENA: apoyan con cursos sobre deporte y han vinculado estudiante a SP2. Para el componente de generación de ingresos se identificaron los siguientes actores: • Empresas: juegan el papel de contraparte del componente en cuanto son los posibles empleadores de los participantes del proyecto con perfiles potenciales para ser vinculados laboralmente. • Cajas de compensación: ayudan a crear vínculos entre el componente y empleadores potenciales. Así mismo, como intermediarios brindan una ruta de empleabilidad en la que orientan y capacitan a los participantes interesados. • Fundaciones y asociaciones (Fundación Corona): realiza capacitaciones a las agencias de empleo en procesos de inclusión laboral. • Servicio Público de Empleo: es el ente encargado de administrar y regular la red de prestadores (cajas de compensación, bolsas de empleo, etc), facilita el vínculo entre el proyecto y esta red. • Unidades productivas: son emprendimientos de beneficiarios/participantes de SP2 que recibieron asesorías técnicas, financieras y operativas para poder lograr un mejor desempeño y formalizarse. • SENA: ha colaborado con la formación y capacitación de las PcD participantes del programa. En el caso del componente de Fortalecimiento Organizacional los actores identificados y sus roles son los presentados a continuación: • Fundaciones y asociaciones: como beneficiarios, recibieron asesoría para la estructuración de proyectos propios y su sostenibilidad. Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a2 2 • Clubes deportivos: como beneficiarios, recibieron asesoría para lograr consolidarse legalmente como club deportivo. De igual forma, fueron capacitados en organización administrativa y logística. • Comités de discapacidad: como beneficiarios, recibieron capacitaciones respecto a la organización administrativa que deben tener para fortalecer sus acciones y hacerse más visibles. Dada su incidencia política, recibieron asesoría normativa. Finalmente, para el componente de acompañamiento psicosocial, los actores identificados cumplen los siguientes roles: • Clubes deportivos: como beneficiarios, reciben talleres sobre ética y asesoría psicológica. Figura 3.4 - Red de Actores Fuente: elaboración propia a partir de información primaria y secundaria de SP2. 2018 Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a2 3 La Figura 3.4 expone de forma más clara la composición de esta red de actores. Como allí se muestra, de cada parte se van desprendiendo progresivamente más actores. Este tipo de esquema, conocido como mapa de araña, da a suponer que los actores con los que trabaja directamente el nivel central de SP2 también tienen una red de implementadores con los que se relaciona. Esta hipótesis se confirmó al realizar las entrevistas y se identificó que, en general, la mayoría de las partes externas de SP2 trabaja en conjunto con otras organizaciones o instituciones para realizar las actividades dentro del proyecto y que, en su mayoría, estas son fundaciones o asociaciones dedicadas al trabajo con PcD y entidades gubernamentales de carácter local o nacional de diferentes campos; alcaldías, secretarías, SENA, ICBF, etc.). Ahora bien, con el fin de responder al objetivo de la evaluación, durante el ejercicio también se buscó determinar si para los actores involucrados dentro del proyecto se requería algún aliado adicional para mejorar el desempeño de SP2. En principio, se pidió calificar la pertinencia de los actores actuales; si son los que deben estar, si faltan algunos o si sobran algunos. Posterior a esto, se indagó por aliados que podrían ser claves para mejorar el desempeño del proyecto. Para el componente deportivo, se manifestó que, para la mayoría, aún hacen falta algunos actores. Es posible detectar que existe una necesidad expresa por tener mayor colaboración con aquellas instituciones gubernamentales que deben velar de manera directa por la población con discapacidad, estas son entidades como la alcaldía, las secretarías de desarrollo social, los institutos de deportes, etc. Estas facilitan acceso a escenarios y a centros de alto rendimiento, pero además también tienen la posibilidad de crear mayores espacios exclusivos para la atención y el trabajo con PcD. Entre otros actores que también fueron mencionados se encuentran el ICBF, como promotor de participación con menores de edad con discapacidad, y la colaboración con fundaciones que puedan complementar el trabajo que se hace en SP2 o que estén enfocadas en atender tipos de discapacidad específicos. Al igual que en el anterior componente, para el caso del componente de generación de ingresos se manifestó que, para la mayoría, aún hacen falta algunos actores. Para la parte de inclusión laboral, se manifiesta que es necesario reforzar el apoyo de organizaciones que puedan posibilitar la inserción de PcD en el mercado laboral de cada ciudad. Se sugiere que el proyecto necesita mayor socialización y acompañamiento de agencias de empleo y temporales de servicios para lograr la vinculación de los participantes. De igual forma, se expresa la importancia de cooperar con otras fundaciones de PcD que tengan programas de inclusión laboral para hacer más fuerte el componente. Para las unidades productivas, se Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a2 4 expresa la necesidad de contar con apoyo por parte de las alcaldías y gobernaciones pues siendo al tratarse de unidades de emprendimiento, necesitan aliados estratégicos que faciliten la venta de sus bienes o prestación de sus servicios. Finalmente, en conjunto para el componente se identifica el deseo por tener mayor cooperación con centros de formación para el trabajo como el SENA, pues este no es el único y no se está trabajando con él en todas las ciudades. En lo que respecta al componente de fortalecimiento organizacional, es posible reconocer que el trabajo realizado desde el componente ha satisfecho a los diferentes actores aquí involucrados; son los que deben estar. Esto puede deberse a que los actores externos que hacen parte del fortalecimiento cumplen el rol de beneficiarios, por lo que el desempeño del componente depende casi exclusivamente del rendimiento de los stakeholders internos de SP2, sean estos las diferentes coordinaciones y los apoyos en territorio, coordinadores de zona y entrenadores, lo cual implica mayor facilidad para ejecutar las actividades pues no se necesita la cooperación de otros. Esto mismo ocurre en el caso del componente de acompañamiento psicosocial, por lo que también se determina que el componente cuenta con los stakeholders necesarios para funcionar de la mejor forma. Cabe resaltar que en el ejercicio también fueposible capturar que desde la percepción de los stakeholders hace falta, en general, participación o mayor participación de entidades que logren desarrollar mejor el enfoque de víctimas y de género que maneja SP2. Se manifiesta que el acercamiento con la Unidad de Víctimas y distintas oficinas de mujeres no fue suficiente y que la gestión realizada quedó estancada. En este caso, es vital el papel de stakeholders externos que asesoren al proyecto en enfoques de tal relevancia para el contexto local y nacional. En resumen, los stakeholders que actualmente trabajan dentro del proyecto, de la mano con Arcángeles y USAID, han venido desempeñando un buen papel y son actores pertinentes para SP2. No obstante, es clara la necesidad de intervención de actores que refuercen las actividades de los componentes deportivo y de generación de ingresos, en especial de carácter gubernamental, lo cual da indicios de la necesidad de incrementar la representatividad y atención que las PcD tienen en el campo político y en la posibilidad de aportar en dicho aspecto que tiene el proyecto. Así mismo, no se debe dejar a un lado la cooperación con instituciones que pueden ser claves para los enfoques diferenciales del proyecto. Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a2 5 Capítulo 4 PRINCIPALES HALLAZGOS DE LA EVALUACIÓN DE PROCESOS 4.1 RELEVANCIA DEL PROYECTO Ya se ha mencionado que el objetivo general de SP2 es “Contribuir a la inclusión social de las personas con discapacidad (PcD), priorizando a víctimas del conflicto armado, mediante un proyecto integral de deportes y empoderamiento en las ciudades de Medellín, Bogotá, Quibdó, Santa Marta, Cartagena y Riohacha” (Cooperative Agreement, 2014). Por esta razón, es claro pensar que parte de la importancia del proyecto se apoya en si desde su ejecución los actores involucrados lograron entender tal objetivo y evidenciar el cumplimiento del mismo. Frente a esto se identifican varios elementos. De un lado, quienes tienen total claridad sobre los objetivos y sus alcances son los actores que hacen parte del nivel interno del proyecto y son implementadores: es decir los entrenadores, coordinadores de zona y, por supuesto, los coordinadores por componentes y el nivel central del proyecto. Por otro lado, cuando se habla con actores participantes de algún componente, en general reconocen los objetivos asociados a dicho componente y su relación con el objetivo general, sin profundizar. No hay una claridad global sobre los alcances del proyecto y sobre lo que se hace en detalle en los otros componentes. Es así como las partes en lo deportivo tienen claro el rol central del deporte en SP2 y tienen conocimiento de las actividades realizadas como entrenamientos, torneos, etc. Respecto al componente de generación de ingresos se reconoce que además del deporte se pretende poder generar espacios de inclusión laboral para las PcD participantes del componente deportivo, así como los actores del fortalecimiento organizacional reconocen que se están fortaleciendo organizaciones que son conformadas o trabajan para buscar el bienestar de esta parte de la población, además de trabajar la parte deportiva. Como se señala en otros apartes, es de resaltar que no se tiene presente el enfoque a víctimas en lo que respecta a los objetivos del proyecto. A pesar de esto, es importante reconocer el hecho que para las distintas partes sí es evidente la relación entre el deporte de competición y la inclusión social de PcD y víctimas, lo que da indicios de que el programa sí generó un impacto positivo y demostró la hipótesis en la que se apoya. El factor que más resalta es el del deporte como una herramienta de motivación en la que se trabajan aspectos físicos, como el fortalecimiento de competencias Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a2 6 físicas y el reconocimiento de potencialidades independiente de su discapacidad, y aspectos psicológicos como la tolerancia a la frustración, la mejora en la percepción de la calidad de vida, enfrentarse a temores producidos por la discapacidad, y a sentirse más productivos, entre otros. La importancia de estas contribuciones recae en que dan el primer impulso a las personas para sentirse cómodos en espacios diferentes a los de su cotidianidad y en la interacción con otras personas con o sin discapacidad. De aquí surge un segundo elemento a rescatar. El deporte de competición también genera espacios de interacción entre las PcD, en donde se logran tener intercambios de saberes y testimonios, mutua motivación, así como la construcción de nuevos vínculos ya sean personales, competitivos, etc. Ahora bien, varios factores son claves para lograr el reconocimiento de estos aspectos sobre SP2. Principalmente, el trabajo de cada componente y la articulación entre los mismos son elementos necesarios y juegan un papel fundamental en el éxito del proyecto. Es posible identificar que la articulación de cada componente en el proyecto es buena y que los profesionales de los componentes se mantienen en constante contacto con los encargados por zonas y por ciudades, sean estos los coordinadores de zona o los entrenadores. Sin embargo se encuentran diferentes opiniones respecto a la importancia de cada componente o respecto a cuál es el componente del cual el proyecto no puede prescindir. Por un lado, están quienes consideran que la complementariedad de los cuatro componentes es lo que mantiene el pie en el proyecto y, por ende, si uno sólo cae, el proyecto queda vulnerable o débil. Por otro lado, hay quienes en concordancia con el objetivo general de SP2, manifiestan que el eje que mantiene en pie al proyecto es el componente deportivo, argumentando que este es el hilo que logra atar en un primero momento a las PcD con el proyecto. No obstante, hay quienes difieren de esta última idea y afirman que el verdadero eje del proyecto es el componente psicosocial, debido a que este es el que propende por el bienestar interno o personal de las PcD, evitando que deserten y, por el contrario, motivándolos a que permanezcan en el proyecto. Si bien existen diferencias respecto a la percepción del proyecto y su columna vertebral o sus soportes, se reconocen los valores agregados del proyecto desde cada componente o la contribución del mismo a la población con discapacidad y a las comunidades en general. Para el caso del componente deportivo, la apertura de un espacio recreativo a PcD, su preparación competitiva y el fortalecimiento de sus potencialidades son los factores a distinguir. En generación de ingresos, el valor agregado recae en el papel que asume el proyecto en la ruta de empleabilidad de las PcD potenciales a ser vinculadas laboralmente, realizando la capacitación a estos beneficiarios y también a las empresas que buscan vincular. Como se mencionó en su momento “están prestando los servicios a los cuales nosotros no Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a2 7 podemos acceder, que son los servicios de segundo nivel o los servicios especializados”5, que se refiere servicios para la colocación de las PcD y servicios poscolocación. Por parte del componente de fortalecimiento organizacional, la labor a reconocer es que mediante sus actividades ha abierto puertas y espacios a la participación yla inclusión de PcD en campos políticos, comunitarios y deportivos, y el sostenimiento de estos. Finalmente, en el componente psicosocial se hace evidente que se genera un cambio en la calidad de vida de los participantes y genera nuevas percepciones sobre el entorno y sobre la misma persona; estos espacios son poco frecuentes o de difícil acceso para las PcD en las distintas ciudades, de no existir el proyecto. Dejando esto a un lado, otro aspecto que hace notable al proyecto es su capacidad para vincular un número importante de participantes. Entendiendo que la ruta de vinculación al proyecto empieza por el componente deportivo, es necesario identificar cuáles son los mecanismos usados para realizar las convocatorias. En este orden de ideas, el voz a voz, el contacto con personas en la calle y el acceso a bases de datos de entidades públicas fueron los principales mecanismos de convocatoria. La vinculación de 225 personas con discapacidad al proyecto, podría incrementarse dada la experiencia acumulada del proyecto y la importancia de llevarlo a la mayor cantidad de PcD posible en cada ciudad. El proyecto en este sentido, podría partir de identificar cuántas PcD tiene cada ciudad, y de acuerdo con ello definir por discapacidad aquella que se ajustaría al perfil deportivo que trabaja el proyecto, dado su focalización el atletismo y voleibol sentados. Si bien el proyecto logra identificar las necesidades de esta población e intenta suplirlas a partir de cada componente, requiere realizar un esfuerzo concentrado por capturar un número importante de participantes, atendiendo en su esfuerzo a analizar la forma como implementa sus mecanismos de convocatoria. Finalmente, mediante el ejercicio de la entrevista se intentó obtener la percepción de los stakeholders respecto a la relevancia del proyecto mediante la siguiente pregunta: Si tuviera que volver a hacer el proyecto, ¿qué tanto cambiaría lo realizado hasta ahora?, siendo 1 muy poco y 5 bastante. La Figura 4.1 muestra la distribución que se obtuvo. 5 Entrevista Nacional, 2018 Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a2 8 Figura 4.1 - Frecuencias por puntaje para la pregunta qué tanto cambiaría el proyecto Fuente: Elaboración Econometría Consultores. 2018 A partir de la figura, y teniendo en cuenta que a nivel nacional el promedio obtenido fue de un 1,88 ≈ 2, se puede establecer que, en su mayoría, los actores poco cambiarían el proyecto, lo cual indica que la percepción fue buena y la relevancia fue alta. 4.2 ASPECTOS ASOCIADOS A LA IMPLEMENTACIÓN DEL PROYECTO 4.2.1 Eficiencia del Proyecto Frente a los recursos que requiere el proyecto para su implementación, en general las personas entrevistadas consideran que éstos han sido suficientes y se han manejado de forma eficiente y oportuna. Al indagar por una calificación de 1 a 5, que pudiera dar cuenta qué tan suficiente han sido los recursos del proyecto, el promedio obtenido es de 4,0. La calificación más alta fue de 4,3 sobre 5 para los recursos técnicos, seguidos por los recursos humanos e informáticos. La calificación más baja fue de 3,7 para los recursos financieras, que no necesariamente es una mala calificación. 0 2 4 6 8 10 12 1. Muy poco cambiaría 2 3 4 5. Bastante cambiaría N ú m er o d e re sp u es ta s Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a2 9 Cuadro 4.1 - Calificación otorgada a la suficiencia de los recursos RECURSOS CALIFICACIÓN Técnicos 4,3 Humanos 4,1 Informáticos 4,0 Financieros 3,7 Promedio 4,0 Fuente: Elaboración Econometría Consultores. 2018 Tanto el acompañamiento a los entrenamientos, como el seguimiento a los participantes, son aspectos donde se considera que faltan recursos humanos. Se considera que a pesar de contar el proyecto con un equipo de personas muy comprometidas y entusiastas, faltan profesionales que podrían: a) apoyar en algunos procesos que han sido desatendidos, como es el caso del seguimiento a cada participante en sus procesos, o en casos de deserción y que permita hacer cierres con quienes se retiran del proyecto y conocer las razones para no continuar; b) fortalecer procesos de implementación en lo deportivo, como es el caso de los entrenamientos, por ejemplo; y, c) desarrollar procesos faltantes como es el caso del ingreso de una nutricionista que apoye en lo deportivo. El ingreso de nuevo personal, así como el poder organizar más equipos de entrenadores en las mismas ciudades o en otras6, o poder contar con mejores formas de divulgación de los eventos, son acciones donde se requeriría “una inyección” de recursos económicos y su consecución dependería de conseguir nuevos socios que aporten dichos recursos, aspecto que no se tiene muy claro en su gestión. Por lo pronto, el proyecto ha venido desarrollando un trabajo que implica el trabajo con un grupo de colaboradores, jueces o guías que aportan su tiempo y experiencia de forma puntual y voluntaria. Otro aspecto donde se considera que vendrían bien nuevos recursos tiene que ver con la adaptación de los escenarios deportivos, el mantenimiento de equipos o el reemplazo de equipos dañados, el apoyo para la movilidad de los deportistas, el pago de refrigerios y el mejoramiento de equipos de computación y sus impresoras. 6 Algunas personas entrevistadas refieren que sería interesante que el proyecto pueda llegar al área rural o a otras áreas más alejadas del centro urbano donde hay un mayor número de personas víctimas del conflicto. Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a3 0 Un punto adicional al que se refieren los entrevistados es el de las finanzas personales de las personas con discapacidad participantes. El tema es importante de analizar dado que podría ser un determinante de la participación o no de una PcD en los entrenamientos y/o en el proyecto mismo y es visto como un pilar que podría estar condicionando el cumplimiento de objetivos del proyecto. El hecho de no contar con ingresos propios hace muy difícil que las PcD y sus familias puedan atender a los distintos gastos que se incurren con la participación, y en los casos donde la persona si puede contar con recursos económicos porque ha conseguido trabajo, la responsabilidad con su labor y el cumplimiento de horarios laborales hace muy difícil que puedan asistir a los entrenamientos. Finalmente, al hacer un análisis de información secundaria mediante la observación de los datos que provee el proyecto en cuanto a lo financiero, se encuentra que si bien la ejecución operativa de SP2 está a cargo de la Fundación Arcángeles, el papel de fuente financiera ha estado a manos de USAID. Aunque entre estos dos actores se firmó un acuerdo en el que se establecía la duración del proyecto durante dos años inicialmente7, en 2016 se realiza una extensión de dos años más con fecha de inicio en el segundo trimestre de 2016. En su atención a lo financiero el proyecto realizó un seguimiento de los costos por medio de informes financieros trimestrales que clasificaban los costos en: sueldos y salarios del personal, beneficios adicionales o prestaciones complementarias, viajes y transporte y otros costos directos, y estableció montos de ejecución para cada año, tal y como lo ilustra el cuadro 4.2. Cuadro 4.2 - Montos de ejecuciónpor año 2014-20178 AÑO VALOR 2014 USD 327.072 2015 USD 272.044 2016 USD 485.245 2017 USD 514.753 Fuente: Elaboración Econometría Consultores a partir del Quaterly Report XV. 2017. Así como se determinaron los montos totales de ejecución para cada año, estos también fueron establecidos para cada cuenta de costos y, en general, todos los años los mayores montos fueron para cubrir la cuenta de salarios del personal y otros costos directos9. En el 7 Empezando en el segundo trimestre de 2014. 8 Es de recordar que cada año inicia en el su segundo semestre. 9 En la primera cuenta se cubren los sueldos del coordinador general, del coordinador administrativo, los coordinadores de zonas, los profesionales de cada componente, los entrenadores, el analista financiero, los administrativos y el webmaster. Mientras tanto, la segunda cuenta aborda los gastos de logísticas de eventos, uniformes para los equipos, interpretes, gastos de los talleres y demás actividades relacionadas. Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a3 1 análisis de la información, es posible evidenciar que para la segunda fase del proyecto, es decir, desde el segundo trimestre de 2016 a la fecha, se contó con un presupuesto dos veces mayor al asignado para la primera fase de SP2. Hasta el último semestre del año pasado se registra que se hizo uso de un 77% del presupuesto asignado para todo el proyecto, equivalente a un USD 1.231.438,76. Para el caso de la contrapartida del proyecto, es de resaltar que los montos por años varían poco. En este caso los montos asignados respectivos a los cuatro años son de USD 55.368, USD 49.418, USD 58.283 y USD 59.724, para un presupuesto de USD 222.793. Esta contrapartida es reportada en tres cuentas: infraestructura y logística, consultoría y otros servicios, y salarios de personal local. Finalmente, si bien los reportes financieros entre trimestres y semestres dan cuenta del uso de los recursos, se recomienda para futuros seguimientos profundizar en los mismos mediante una mejor explicación de la forma como se construyen dichos reportes. 4.2.2 Efectividad del proyecto La efectividad del proyecto depende del cumplimiento de su objetivo general y sus objetivos. Si al final de su ejecución, SP2 logró contribuir a la inclusión social de PcD por medio de las diferentes herramientas empleadas y se logró priorizar a las víctimas, se podría afirmar que el proyecto fue efectivo. Hay varias formas de medir la efectividad de un proyecto, pero para la presente evaluación se proponen un ejercicio cualitativo. Desde el ejercicio cualitativo realizado en la consultoría, fue posible evaluar la efectividad de SP2 a partir de una Escala de Likert que permite capturar la percepción de los diferentes actores involucrados en el proyecto, sean implementadores o beneficiarios, respecto al cumplimiento de los objetivos propuestos a partir de los resultados obtenidos. En este caso, ante la pregunta “Frente a los resultados obtenidos, ¿qué tanto se ha cumplido los objetivos propuestos?, en donde la respuesta estaba sujeta a la escala, que comprende un número entre 1 y 5, donde 1 es “muy poco” y 5 “bastante” se obtuvieron las frecuencias por puntaje consolidadas en la Figura 4.2. Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a3 2 Figura 4.2 - Frecuencias por puntaje frente al cumplimiento de objetivos Fuente: Elaboración Econometría Consultores. 2018 A partir de la figura, y teniendo en cuenta que a nivel nacional el promedio obtenido fue de un 4,28 ≈ 4, se puede establecer que, en su mayoría, los implementadores, aliados y beneficiarios consideran que los objetivos han logrado cumplirse en buena medida. Sin embargo, aún hay aspectos que deben trabajarse o fortalecerse en el proyecto con vista a obtener mejores resultados y cumplir en mayor medida con el objetivo. Con el ejercicio también fue posible determinar los aspectos que más condicionan el logro de los objetivos y que deben reforzarse en aras de tener mayor éxito. En concreto, hay cuatro aspectos en los que SP2 debería concentrarse para lograr una mejor percepción en lo que respecta a la efectividad del proyecto. El primero tiene que ver con el componente de generación de ingresos y su labor en cuanto a la inclusión laboral. Lo cierto es que pese a los intentos del componente por establecer vínculos con empresas y crear oportunidades laborales adecuadas para PcD, no se ha logrado consolidar una red de empleadores que estén interesados en contratar PcD y aceptar el acompañamiento del proyecto para garantizar el bienestar de ambas partes. Este primer punto va de la mano con el segundo elemento identificado. Las condiciones económicas de los participantes no son las más favorables para poder ser partícipes del proyecto, teniendo en cuenta que ellos deben incurrir en ciertos gastos como lo es el transporte. En general, se detecta la necesidad de un auxilio de transporte o algún tipo de solución o estrategia que permita mitigar este tipo de dificultades. Sin duda, reforzar el 0 2 4 6 8 10 12 5. Bastante 4 3 2 1. Muy poco N ú m er o d e re sp u es ta s Desarrollo de un manual de implementación de la estrategia del proyecto SportPower2 y la evaluación de resultados de la herramienta del deporte. Producto 3: informe final de resultados Econometría S.A. junio 30 de 2018. P ág in a3 3 trabajo de la inserción laboral es, a un largo plazo, una medida viable que podría estar aportando a este problema. En una tercera instancia, el mantenimiento y préstamo de instalaciones deportivas también juegan un rol clave. Es necesario, para la efectividad del proyecto, contar con el número de escenarios deportivos necesarios y adecuados para el correcto desarrollo de las actividades, principalmente, deportivas. Finalmente, el eje central del proyecto y la herramienta que hace parte del objetivo general es el deporte. La última pieza que logró determinarse tiene que ver con los participantes directamente. El éxito del proyecto también depende de la disposición de los participantes y, pese a que el proyecto no pueda en sí intervenir directamente esta cuestión, sí puede plantear propuestas que contribuyan a incentivar más la participación de las PcD ya vinculadas y, por supuesto, captar mayor parte de esta población en las zonas en las que trabaja. Al final, son los participantes los que hacen que este SP2 exista y pueda ejecutarse. Cabe resaltar que este ejercicio también puede realizarse desde una mirada cuantitativa a partir del análisis de indicadores. Para el caso de SP2, al realizar la revisión de la información secundaria se identifica un grupo de indicadores que podrían dar indicios del cumplimiento de los objetivos del programa. No obstante, bajo la ausencia de metas en el planteamiento de estos indicadores, no es posible determinar la efectividad del proyecto. 4.2.3 Sostenibilidad y seguimiento Existen dos miradas frente a la sostenibilidad. De un lado está la que la asocia a la continuación de actividades y a la realización de las acciones definidas para cada componente. De otro lado, la que identifica la continuidad del proyecto con los resultados y asocia la sostenibilidad con el mantenimiento de los cambios alcanzados por los participantes. Para el primer caso, un tema principal lo constituye el poder contar con suficientes recursos económicos y financieros, y frente a ello, las personas entrevistadas son conscientes del rol que ha cumplido USAID en el proceso
Compartir