A partir de la evaluación intermedia los ejecutores del Programa, solicitaron Modificación Sustancial en los objetivos del programa, siendo aprobados, de allí que se trabaje con las 4 líneas de acción, cada una con su respectivo objetivo específico:
Enunciado OE 01. Evaluación de Riesgo: Construir sistemas integrales de información, compuesto por bases de datos distribuidas y sistemas de información georreferenciada, que permiten realizar análisis de peligro, de la vulnerabilidad y del riesgo ante desastres a escala regional, nacional, y local
Enunciado OE 02. Fortalecimiento de capacidades de los sistemas de prevención del riesgo y respuestas ante desastres en los niveles comunitarios, municipales y regionales:
• Mejorar el conocimiento y percepción del riesgo en la población.
• Mejorar la toma de decisiones.
• Desarrollar políticas para prevención de desastres.
• Promover y/o incidir en políticas y estrategias para el desarrollo y la seguridad.
• Contribuir al fortalecimiento e integración de los Sistemas Nacionales de Protección (Defensa) Civil y Prevención de Desastres
Enunciado OE 03. Contribuir al desarrollo de una cultura de prevención en la población a través del desarrollo de acciones en las escuelas y en la formación universitaria:
• Inclusión de la temática en la currícula escolar
• Evaluación y mejoramiento de la infraestructura (que puede servir como albergue)
• Planes de seguridad y respuesta escolar ante posibles desastres.
Enunciado OE 04 Promocionar la incorporación de variable riesgo en la planificación local, municipal, nacional y regional en los proyectos de planificación e inversión.
Modificaciones sustanciales en el tiempo de ejecución: Durante la ejecución del Programa se han provocado las modificaciones sustanciales siguientes:
a) Salida de Socio local en Bolivia y reducción de aérea geográfica de intervención: El socio local, Servicios de Asesoría a Comunidades Agrarias, SACOA, canceló su sociedad con Ayuda en Acción. Tal situación obligó a tomar la determinación de eliminar la intervención en San Julián y concentrarla solamente en los 3 municipios de Chuquisaca, Sopachuy, Alcalá y el Villar, en la Provincia Tomina.
b) Solicitud de extensión de tiempo en la ejecución de cada PN, así: Bolivia Junio, Ecuador Abril, México Julio y Nicaragua Mayo, en conjunto hasta el 28 de julio de 2011.
c) En México, la ONG local IEPAC, integra al proceso del proyecto el OE1.
La evaluación final deberá considerar hacer un muestreo significativo y hacer las visitas de campo en el siguiente ámbito geográfico de la intervención por cada una de las Contrapartes involucradas
País
Ayuda en Acción PN Bolivia
Contraparte
ADT: Alcalá
Fundación Participación y Sostenibilidad (PASOS)
Área geográfica
Provincia Tomina, Departamento de Chuquisaca, municipios Sopachuy, Alcalá y el Villar
Amenaza / Peligro
Frecuentes y recurrentes heladas.
País
Ayuda en Acción PN Ecuador
Contraparte
ADT Tungurahua
Provincias de Tungurahua y Chimborazo, Ecuador
Área geográfica
Cantón Guano, Parroquias Ilapo, Santa Fé de Galán, San José de Chazo y Cantón Quero en la Parroquia la Matriz.
Amenaza / Peligro
Erupción volcánica, sequías
País
Ayuda en Acción PN Nicaragua
Contraparte
ÁDT No. 6 Kukra Hill.
Área geográfica
Municipio de Kukra Hill, Región Autónoma Atlántico Sur (RASS).
Amenaza / Peligro
Huracanes, Inundaciones, Deslizamientos, Plagas de roedores.
País
Ayuda en Acción PN México
Contraparte
Península de Yucatán.
Contraparte: Investigación y Educación Popular Autogestiva, A.C. (IEPAAC).
Área geográfica
Estado de Yucatán
14 Municipios:
Cantamayec, Chacsinkín, Chemax, Halachó,Kanasín, Maxcanú, Mérida,Motul, Progreso, Río Lagartos, Tahdziú, Tizimín, Umán, Valladolid.
Amenaza / Peligro
Huracanes, Deslizamientos, Sequías, incendios forestales.
Es importante hacer un análisis del Programa considerando el Plan Director 2011 – 2014 de la ACCD: El Plan Director 2011-2014 de la ACCD establece, en coherencia con los principios y valores que derivan de la ley, que la misión de esta política pública es: promover el desarrollo humano sostenible mediante una política de cooperación al desarrollo de calidad y transformadora. Del mismo modo con respecto a la Reducción de Riesgos de Desastre (DRR), la Cooperación Catalana también se alinea con el Marco de Acción de Hyogo 2005-2015 donde se promueve la necesidad de incrementar las capacidades locales y nacionales en estrategias de reducción del riesgo de desastres (prevención, preparación y mitigación) tanto en el ciclo de la acción humanitaria cómo en el desarrollo, como mecanismo de incrementar la resiliencia de las sociedades ante potenciales catástrofes. Así, el incremento de la resiliencia se entendería como el fortalecimiento de las capacidades de las comunidades expuestas a diferentes amenazas para adaptarse, resistir y transformándose si hace falta, con el fin de lograr o mantener un nivel aceptable de funcionamiento y estructura.
En el caso de la cooperación de la Generalitat de Cataluña, se pondrá especial atención a reforzar las capacidades de los diferentes colectivos que se encuentran en riesgo de desastre... a la vez se apoyará a las estrategias de los países prioritarios y regiones preferentes en este ámbito. Objetivo específico 1.2. Contribuir a incrementar la resiliencia de forma equitativa de las poblaciones que han sufrido o que pueden sufrir desastres, a través de la adopción de estrategias de reducción de riesgos de desastres (prevención, preparación y mitigación) Resultado 1.2.1. Haber facilitado la creación y/o consolidación de capacidades de prevención, preparación y mitigación de las poblaciones que han sufrido o pueden sufrir desastres con especial atención a los colectivos tradicionalmente excluidos. Resultado 1.2.2. Haber contribuido a apoyar a las estrategias y programas de Reducción de Riesgos de Desastres de los países prioritarios y regiones preferentes.
También será necesario considerar los objetivos transversales de la política de cooperación en el desarrollo de la Generalitat de Catalunya: i) promover el respeto integral y la consolidación de los derechos humanos, la gobernanza y el fortalecimiento del tejido social; ii) promover la equidad entre las mujeres y los hombres mediante la aplicación de la perspectiva de género; iii) promover la sostenibilidad del desarrollo en su triple dimensión (sociocultural y política, económica y ambiental)
Con referencia al ámbito de la presente evaluación, ésta comprenderá las 4 acciones emprendidas en el marco del presente Programa que se ejecutan en América Latina. Se estudiará la actuación del Programa en aquellas comunidades en los que, puedan ser más significativas en cuanto al grado de desarrollo de las acciones, su peso relativo sobre cada uno de los resultados previstos, número de beneficiarios y las dificultades o facilidades que han surgido en su puesta en marcha.
En cuanto a los actores implicados en el proceso de evaluación, serán los siguientes: El equipo evaluador. La Comisión de Seguimiento del Programa: entre AeA y la ACCD. El Responsable del programa en la sede de Cataluña de AeA y el responsable regional del programa. Los Delegados de la AeA en los países de ejecución del programa. Los socios locales. Alcaldías municipales y algunos personeros estatales relacionados. Comisiones de Protección Civil Comités de Prevención y emergencia / Coordinadoras para la reducción de desastres.
Representantes de la Cooperación Catalana en cada uno de los países de ejecución.
Organizaciones sociales participantes, Asociaciones locales, Juntas comunitarias.
Líderes y dirigentes de las comunidades.
Los beneficiarios últimos del proyecto.
Los beneficiarios indirectos del proyecto y posibles excluidos.
3.3. Limitaciones de la evaluación
El Programa desde su concepción y su integración con diferentes contextos de países y regiones se considera por si mismo un desafío que la evaluación final deberá tomar en cuenta. Los Programas nacionales de AeA y sus contrapartes incorporaron su experticia para reflejar dentro de la propuesta aprobada y el ejercicio del Programa de Gestión de Riesgos lo pertinente para lograr los resultados. El corto tiempo para las visitas de país y regiones de intervención deberán ser sorteados por el equipo evaluador a través de una perfecta selección de muestra y buena habilidad para la integración de los hallazgos y recomendaciones.
4. Metodología
4.1. Enfoque global
Con la evaluación final se estudiará la actuación del Programa en una muestra de comunidades en que hayan sido más significativas las acciones desarrolladas, su peso relativo sobre cada uno de los resultados logrados, número de beneficiarios y las dificultades o facilidades que surgieron en la marcha.
El estudio comprenderá tres principales áreas de análisis referidas exclusivamente al periodo evaluado:
a. Evaluación de objetivos y resultados.
Se evaluará en qué medida las actuaciones alcanzaron sus resultados y sus objetivos, así como su contribución al cumplimiento de los objetivos de la Cooperación Catalana. Se incluirán conclusiones y recomendaciones útiles para la implementación de otras intervenciones o Programas futuros.
b. Evaluación de resultados de impacto:
Se evaluará de qué manera el programa contribuyó al alcance de la meta y hasta qué punto se puede afirmar que se incrementado la capacidad de la población involucrada para reducir riesgos y el grado de preparación para enfrentar eventos adversos.
c. Evaluación de la intervención.
Se analizará la estructura de Ayuda en Acción para la implementación del programa, los mecanismos de planificación, coordinación y seguimiento, internos y externos, la adecuación de los recursos humanos y técnicos así como el grado de adaptación – corrección para lograr superar las limitantes encontradas en el tiempo – en la gestión del Programa.
Para la evaluación se utilizarán los indicadores señalados en la formulación y los acuerdos descritos en el acuerdo de Programa firmada entre AeA y la ACCD. En caso necesario el evaluador deberá diseñar nuevos indicadores no previstos que permitan medir los avances. Se procederá al análisis del ciclo de proyecto de cada intervención contemplada en el Programa, valorando, entre otros elementos, su incidencia en la promoción de la equidad de género y la sostenibilidad medioambiental y su coherencia con las estrategias sectoriales y los objetivos de desarrollo nacionales. En función del contexto de intervención, la evaluación valorará la calidad y coherencia del diseño, el alineamiento y adecuación al contexto sociocultural del país y a las prioridades de la Cooperación Catalana.
4.2. Criterios, cuestiones clave e indicadores de evaluación
La Evaluación Final Externa tomará como criterios de evaluación los considerados por la Cooperación Catalana, valorando su grado de cumplimiento y focalizando como criterios prioritarios de atención los de pertinencia, eficacia y eficiencia. Los criterios de impacto y sostenibilidad serán valorados de forma secundaria, para medir el impacto alcanzado.
Considerando dichos criterios se han establecido algunas de las preguntas de evaluación fundamentales, a las que el equipo evaluador tiene que dar respuesta. El evaluador las complementará con aquellas otras que considere necesarias.
Pertinencia y relevancia: Cambios de contexto y revisión de supuestos
- ¿El Programa respondió a los problemas identificados originalmente y que dieron lugar a él?
- ¿Cómo se articuló el diseño de las acciones del Programa, en función de la diversidad de las áreas de intervención en la región Latinoamericana para la consecución de los objetivos específicos?
- ¿Se consideraron los intereses y expectativas de los beneficiarios, autoridades locales y mecanismos nacionales de Prevención de Riesgos? ¿Se retomaron las opiniones vertidas alrededor de la evaluación intermedia?
- ¿Qué factores internos y externos han ejercido influencia en la habilidad de los grupos beneficiarios y AeA para lograr los objetivos proyectados?
- ¿Se identifican cambios significativos en el contexto a lo largo de las actuaciones? ¿Se adecuaron los objetivos a la realidad previa y actual?
- ¿Existieron otras actuaciones sinérgicas, complementarias o competitivas de otros donantes en la zona?
- ¿Fueron relevantes los objetivos y el diseño del Programa dado el contexto político, económico y financiero?
- ¿Fueron las líneas del Programa pertinentes con las directrices establecidas en los documentos de estrategia sectorial que les atañen y con los documentos de estrategia del país que correspondan?
- ¿La intervención resulta pertinente frente a los mecanismos e instituciones existentes a nivel municipal, nacional y regional para la gestión riesgos (prevención, preparación, respuesta a emergencias - desastres)?
Nota: El consultor deberá presentar un resumen del ambiente, las condiciones económicas y de negocios que hayan podido tener un impacto en el sector y territorio en que se llevó a cabo el Programa.
Efectividad: Resultados en términos de productos logrados:
- ¿El Programa ha alcanzado el número esperado de beneficiarios o población involucrada?
- ¿Los involucrados e involucradas están satisfechos y satisfechas con la calidad y la entrega de los servicios? En el caso no afirmativo, ¿De qué manera los servicios no satisficieron las expectativas de los beneficiarios y beneficiarias? ¿Específicamente en qué aspectos no estuvieron satisfechos los beneficiarios?
- ¿Qué mejorías concretas o cambios se dieron (en el nivel del sector, ámbitos geográficos, entre el grupo beneficiario) como resultado directos del Convenio?
- ¿De qué manera el Programa contribuyó al alcance del Fin?
- ¿Hasta qué punto se podría decir que se ha incrementado los conocimientos, actitudes y prácticas de las familias beneficiarias? ¿Cuál es el avance en la incorporación de la prevención de desastres en los programas educativos?
- ¿Cuál es el grado de desarrollo de acciones para viabilizar el fortalecimiento de las organizaciones encargadas de la gestión de riesgos?
- ¿Se ha mejorado la coordinación y preparación para la respuesta ante desastres?
- ¿En qué medida se ha reducido la vulnerabilidad física, económica y medioambiental de los beneficiarios?
- ¿El grado de cumplimiento de los resultados es suficiente o es necesario continuar procesos para garantizar la mejoría de la población y comunidades involucradas?
Eficacia: Logro de indicadores de desempeño y meta: En qué medida el Programa ha ejecutado las actividades previstas para el periodo, ha logrado los avances, incluyendo un análisis de los procesos que lo han facilitado u obstaculizado.
- ¿Se han alcanzado la mayoría de los resultados previstos?
- ¿Se ha alcanzado algún resultado más que afiance los previstos?
- ¿Se ha alcanzado el objetivo específico de la intervención?
- Análisis del peso del componente de administración y justificación económica en función de los resultados alcanzados
- Calidad de la formulación y seguimiento en relación con su funcionamiento
- ¿Cuál es la relación entre los insumos materiales y humanos empleados y la consecución de los resultados?
- ¿La intervención se quedó estancada en alguna de sus fases “repitiendo más de lo mismo” o ha ido proporcionando nuevos avances?
- ¿Se capitalizó sistemáticamente sobre las lecciones aprendidas de cada proceso, se ha adaptado y/o modificado para mejorar?
- ¿Se han logrado otros efectos no previstos?
- ¿Se aplicaron correctamente los criterios de elegibilidad previstos para las familias usuarias de los sistemas (sobre la base de una muestra representativa)?
- ¿Cuál ha sido el desempeño de AeA y contrapartes en cuanto a los indicadores de resultados proyectados y responsabilidades acordadas con respecto a la ejecución del Programa?
- ¿Son adecuadas las variaciones presupuestarias producidas desde el momento de formulación?
- El funcionamiento de co-gestión y coordinación interinstitucional entre los distintos actores involucrados a nivel regional.
Nota: El consultor deberá proveer un análisis de costo/beneficio de los servicios y la eficiencia con la cual AeA y Contrapartes los entregaron. Dar información acerca de los problemas enfrentados y las medidas que se tomaron para remediarlos (ya sean administrativos, operativos, financieros, políticos, macroeconómicos, etc.)
Impacto, Análisis de los efectos sociales, económicos, políticos y medioambientales: Impactos positivos y negativos al nivel individual, familiar, local, regional y nacional, causados por los avances en la ejecución del Programa, previstos o no, identificables a partir de las entrevistas y de revisión de documentos disponibles.
- ¿Cuáles son los efectos sobre las capacidades locales previstos a medio plazo para reducir el riesgo y mejorar la seguridad en la que viven las poblaciones consideradas, que se han conseguido o es previsible que se consigan?
- ¿Son conscientes los beneficiarios de los efectos conseguidos o potencialmente alcanzables?
- ¿Las contrapartes y los profesionales de AeA han adquirido una formación más completa en Gestión de Riesgos?
- ¿Ha contribuido la intervención a alcanzar el objetivo global propuesto?
- ¿Se han producido impactos negativos no previstos sobre los beneficiarios?
Sostenibilidad: Determinar el nivel de sostenibilidad alcanzado por el Programa:
- ¿Los efectos del Programa permanecerán en el tiempo?
- ¿AeA y sus contrapartes podrán continuar la entrega de servicios después que los recursos del Programa se hayan gastado?
- ¿En algunos casos de la reducción de vulnerabilidad se han establecido mecanismo de recuperación de costos y/o multiplicación de conocimientos para asegurar la sostenibilidad?
- ¿La agencia ONGD formuló plan(es)/estrategia (as) de sostenibilidad?
- ¿Qué nivel de compromiso han asumido las familias, comunidades y organizaciones para asumir las reformas y acciones implementadas para garantizar su continuidad. (apropiación)?
- ¿Qué mecanismos se han implementado para asegurar la obtención de recursos para el funcionamiento y mantenimiento de las estructuras creada?
- ¿Qué evidencias existen que demuestren la capacidad de gestión de las contrapartes (fortalecimiento local)?
- Aspectos socioculturales y políticos que influyan en la apropiación de la intervención.
- Analizar si las hipótesis se han cumplido, si los riesgos estaban debidamente identificados y si las condiciones previas se han cumplido.
- ¿Se cumplieron y fueron adecuadas las estrategias de salida del Programa?
- ¿Cuáles son los aprendizajes que dejo el presente?
- ¿Desde su perspectiva, que falto desarrollar en el Programa?
Lecciones aprendidas:
El consultor(a) deberá proveer información acerca de las condiciones económicas/políticas/financieras que deberán existir, el nivel de capacidad institucional de la agencia ejecutora, el nivel requerido de participación de los entes relevantes y otros factores de éxitos que deberán estar presentes de modo que se pueda considerar otras operaciones de esta naturaleza en el futuro.
4.3. Metodología y herramientas para la evaluación
4.3.1. Fases de la evaluación
En líneas generales se tratará de una Evaluación Formativa.
Como indicación metodológica específica a mencionar, se apunta a la triangulación de los datos obtenidos a través de las diferentes herramientas diseñadas para su recogida.
La evaluación se dividirá en tres fases:
Fase I. Estudio de gabinete
Fase II. Trabajo de campo
Fase III. Preparación y presentación del Informe Final
Fase I. Estudio de gabinete (Duración estimada: dos o tres semanas a partir de la validación del programa de trabajo):
- Análisis de la documentación disponible sobre la actuación de Ayuda en Acción en Latinoamérica
- Análisis de la documentación disponible relativa a la formulación, diseño, seguimiento y gestión del Programa.
- Identificación y examen de la documentación referente al contexto institucional y socio-económico de los países a las estrategias nacionales, regionales y locales de desarrollo.
- Estudio normativa ACCD.