Convocatoria Gestión del Riesgo

TERMINOS DE REFERENCIA EVALUACIÓN FINAL EXTERNA DEL PROGRAMA DE GESTION DE RIESGOS AeA – ACCD Convocatoria 2007:

“Mejora de las condiciones de vida reduciendo los riesgos a desastres, de las personas y comunidades en situación de pobreza y exclusión en América Latina”.

Países: Bolivia, Ecuador, México y Nicaragua, duración 3 Años.

1. Justificación
La ONGD Ayuda en Acción (AeA) está llevando a cabo, con la cofinanciación de la Agencia Catalana de Cooperación al Desarrollo (ACCD), el Programa de Gestión de Riesgos, Convocatoria 2007. De acuerdo al Convenio con la ACCD, se pretende realizar la Evaluación Final Externa de dicho Programa, esta Evaluación Final responde a las siguientes razones:

• Abrir procesos de aprendizaje que permitan obtener conclusiones útiles para mejorar la metodología de intervenciones futuras. Esto incluye el aprendizaje que trabajaron los países, permita el intercambio y apropiación de conocimiento a nivel institucional del tema.

• Determinar si los objetivos, resultados, y el impacto tal como está descrito en el marco lógico fueron alcanzados consecuencia de las actividades del Programa (exclusivamente o en interacción con otras fuentes aportantes) de cara a la rendición de cuentas frente a beneficiarios, agencia donante y demás implicados en el proceso.

• Otra finalidad se centra en el valor que tiene la evaluación para la contraparte y el colectivo beneficiario, es decir el sentido de utilidad para las comunidades, los aprendizajes que generan y de los que pueden apropiarse de otras experiencias. Desde AeA se entiende que parte de la pertinencia y la planificación de las acciones pasa por impulsar cambios en el papel del beneficiario en proyectos de desarrollo, de actor pasivo a sujeto principal. Del mismo modo hay que estimular el papel de las contrapartes en la fase de evaluación, procurando su activa participación en esta fase.

La evaluación final deberá ahondar en algunos de los principales aspectos examinados en la evaluación intermedia, concentrándose en aquellas cuestiones que no pudieron ser analizadas en profundidad durante ésta, especialmente, en el impacto de las medidas. La evaluación final supone la finalización del ciclo de evaluación, de manera que en su desarrollo juega un importante papel el monitoreo desarrollado a lo largo del periodo de programación y especialmente, la evaluación intermedia. Los documentos de línea de base realizados al inicio del periodo de programación, analizaban las disparidades, lagunas y posibilidades existentes al inicio del periodo de programación y examinaba la coherencia de la estrategia propuesta con la situación y objetivos. Asimismo, analizaban el impacto previsto de las prioridades de actuación seleccionadas, cuantificaba los objetivos, comprobaba los acuerdos de aplicación propuestos y la coherencia con la política de acción humanitaria.

La evaluación intermedia examinó, tomando como referencia las preguntas comunes de evaluación, los logros alcanzados a la mitad del periodo de programación, su pertinencia y coherencia, así como el grado en qué se habían alcanzado los objetivos previstos. Del mismo modo, se analizó el uso de los recursos financieros, el seguimiento y la ejecución. La evaluación intermedia se realizó por separado en cada programa nacional a través de consultores locales cuya visión sobre la ejecución del programa en cada país fue reflejada de la misma manera, sin embargo se trabajó en un documento consolidado de todo el programa que se constituye en un documento de referencia en el análisis de lo avanzado hasta ese entonces.

Las conclusiones y recomendaciones de la evaluación intermedia, se incluyeron en el informe de la segunda anualidad junto a los indicios de aplicación de las recomendaciones dentro de la planificación de la anualidad tercera presentados a las ACCD.

2. Antecedentes
El presente Programa se lleva a cabo por Ayuda en Acción y Contrapartes Locales en los 4 países de América Latina. Todas las organizaciones comparten el mismo objetivo y experiencia temática para su ejecución, así como la complementariedad para el establecimiento de una red de trabajo que permite el enfoque regional del Programa.

Contexto institucional
AeA y sus Programas Nacionales enfocan este proyecto a la gestión para el logro de acciones y formas de intervención orientadas a la transformación de aquellas condiciones o factores de riesgo que, de no ser corregidos oportunamente, desembocan en desastres. Para ello, la participación de la población local es imprescindible, mediante la articulación en redes a nivel local, nacional y regional; para dar empuje a los procesos de formación de capacidades locales para conjugar propuestas y esfuerzos de gestión del riesgo, en beneficio de la seguridad y el desarrollo sostenible.”

El Programa se integra en la estrategia institucional 2007-2012 de Ayuda en Acción en la que la lucha contra el hambre y la pobreza, desde el enfoque basado en derechos (EBD), en las comunidades y con los colectivos con los que trabajamos y, específicamente, la Política de Acción Humanitaria enfocada en la Gestión de Riesgos.

Contrapartes:
En cada intervención - país las acciones en terreno son ejecutadas entre las organizaciones anteriores y socios contrapartes locales: IEPAC en México, Fundación PASOS en Bolivia, AD KUKRA HILL en Nicaragua y AD TUNGURAHUA en Ecuador.

En los niveles nacionales, las actuaciones del Programa se enmarcan en el esfuerzo de todas las instancias nacionales que intervienen en la preparación, mitigación y respuesta ante desastres:

- Ministerio de Defensa Civil en Bolivia

- Sistema Nacional de Protección Civil en Ecuador, México y Nicaragua.

- Además de sistemas regionales como CEPREDENAC en Centro América y El Comité Andino para la Prevención y Atención de Desastres, CAPRADE, en América del Sur
A nivel regional, el Programa se integra en el siguiente marco institucional, regulador de las políticas nacionales:

- En el “Marco Estratégico para la Reducción de la Vulnerabilidad y los Desastres en Centroamérica”, aprobado en 1999 por los Presidentes Centroamericanos en la XX Cumbre de Guatemala, con el principal objetivo de reducir las vulnerabilidades y el impacto de los desastres en la Región.

- En la Estrategia Andina para la Prevención y Atención de Desastres aprobado por consejo de ministros de relaciones exteriores en la ciudad de Quito, República del Ecuador, a los diez días del mes de julio del año dos mil cuatro.

- la Estrategia Internacional de Reducción de Desastres (EIRD).

A nivel internacional, tiene como referencia el Marco de Acción de Hyogo para 2005-2015, adoptado en la II Conferencia Mundial sobre la Reducción de Desastres, llevada a cabo en Kobe, Japón en enero de 2005.

AeA Bolivia: En Bolivia, Ayuda en Acción desarrolla el programa a través de la Fundación PASOS (Participación y Sostenibilidad), en el marco de un Programa de Desarrollo Territorial a largo plazo que se inicia en la gestión 2006, en los municipios de Alcalá, Sopachuy y El Villar del Departamento de Chuquisaca.

El programa se desarrolló en el contexto normativo de la Dirección Nacional de Defensa Civil dependiente del Viceministerio de Defensa Civil, la Unidad de Gestión de Riesgos de la Gobernación de Chuquisaca y de la Unidad de Gestión de Riesgos de los municipios antes mencionados.

AeA Ecuador: Luego de la aprobación de su Constitución en el 2008, incorpora y recoge en el TÍTULO VII RÉGIMEN DEL BUEN VIVIR Capítulo Primero Inclusión y equidad Sección novena: La Gestión del riesgo:

En el Art. 389. Menciona que el Estado protegerá a las personas, las colectividades y la naturaleza frente a los efectos negativos de los desastres de origen natural o antrópico mediante la prevención ante el riesgo, la mitigación de desastres, la recuperación y mejoramiento de las condiciones sociales, económicas y ambientales, con el objetivo de minimizar la condición de vulnerabilidad.

El sistema nacional descentralizado de gestión de riesgo está compuesto por las unidades de gestión de riesgo de todas las instituciones públicas y privadas en los ámbitos local, regional y nacional. El Estado ejercerá la rectoría a través del organismo técnico establecido en la ley.

Art. 390.- Los riesgos se gestionarán bajo el principio de descentralización subsidiaria, que implicará la responsabilidad directa de las instituciones dentro de su ámbito geográfico. Cuando sus capacidades para la gestión del riesgo sean insuficientes, las instancias de mayor ámbito territorial y mayor capacidad técnica y financiera brindarán el apoyo necesario con respeto a su autoridad en el territorio y sin relevarlos de su responsabilidad.

Para el Gobierno el enfoque de la GESTION DE RIESGOS debe tener las siguientes características:

• Los desastres no son naturales.

• La gestión de riesgos debe ser parte del desarrollo.

• Prioridad en el análisis y reducción de las vulnerabilidades.

• Pretende generar capacidades en todos los niveles.

Posteriormente con Decreto Ejecutivo 52 del 18 de septiembre del 2009 se reestructura la Secretaría Técnica de Gestión de Riesgos en la figura de la Secretaría Nacional de Gestión de Riesgos, la misma que ejercerá sus competencias y funciones de manera independiente, descentralizada y desconcentrada. Mediante Decreto Ejecutivo 103 del 20 de octubre del 2009, se agrega al Art. 1° del Decreto Ejecutivo 42 del 10 de septiembre del 2009 el siguiente inciso: “El Secretario o Secretaria Nacional de Gestión de Riesgos, quien tendrá rango de Ministro de Estado será nombrado por el Presidente de la República”.

AeA México: El Programa Nacional de México, mira este proyecto como un enfoque para el Desarrollo.

El proyecto se integra al Plan Estratégico Institución, de tal suerte de que contribuye a:

“Consolidar los procesos de intervención local y nacional, facilitando su articulación y promoviendo la conformación de organizaciones sociales, que promueven la defensa de los derechos humanos y el protagonismo de los niños, los jóvenes y las mujeres.

Consolidar una Oficina Nacional que es actora social y política en los espacios estatales y nacionales, con posicionamientos claros sobre los temas que trabajan, y con una gran capacidad de interlocución y negociación con los gobiernos, la iniciativa privada y los centros de investigación y formación.

Consolidar la presencia como organización de cooperación internacional en el centro y sur de México, liderando junto con las organizaciones de la sociedad civil nacional, un proyecto de país justo, democrático y multicultural, que cuenta con un amplio apoyo ciudadano.”

La intervención del Programa en Mexico se encuentra en el Marco del Acuerdo con el Programa de Naciones Unidas para el Desarrollo (PNUD) para el impulso del “Proyecto Manejo Local de Riesgos en el Sur-Sureste de México y además se integra a los acuerdos para el desarrollo que se han estableció con AECID.

Su socio local es IEPAC que en su inicio de intervención trabajó los OE 2 y 3, más adelante, con el propósito de analizar con las comunidades la percepción de abordar el tema de GdeR, decide incluir en el proceso el OE1.

AeA Nicaragua:
El municipio de Kukra Hill, es uno de los mejores organizados a nivel de la Región Autónoma del Altántico Sur (RAAS) en el tema de atención a desastres; miembros del equipo de AeA en el AD Kukra Hill participan en las diferentes comisiones del Comité Municipal de Prevención de Desastres (COMUPRED) con los cuales se coordina y se articulan esfuerzos en la atención a las familias que resultan afectadas cuando una amenaza se concreta en el territorio.

Con la finalidad de coordinar esfuerzos para la ejecución de las acciones se logró concretizar convenios de colaboración con Defensa Civil y URACCAN, estableciendo acciones específicas en las cuales estos aliados estratégicos juegan un papel fundamental en coordinación con los equipos técnicos de la fundación y la Alcaldía en los temas de Gestión de riesgos y Sistema de Información Geográfica. Igualmente se ha coordinado con el MINED Municipal a nivel del trabajo con las escuelas.

3. Objetivos, alcance y limitaciones de la evaluación
La presente evaluación final del Programa de Gestión de Riesgos, comprenderá las 4 acciones emprendidas en el Programa que se ejecutan en América Latina. Se estudiará la actuación del Programa en aquellas comunidades en los que puedan ser más significativas en cuanto al grado de desarrollo de las acciones, su peso relativo sobre cada uno de los resultados previstos, número de beneficiarios y las dificultades o facilidades que han surgido en su puesta en marcha.

La Evaluación Final Externa del Programa de Gestión de Riesgos, responde a las siguientes razones:

Abrir procesos de aprendizaje que permitan obtener conclusiones útiles para mejorar la metodología de intervenciones futuras.

• Determinar si los objetivos, resultados, y el impacto tal como está descrito en el marco lógico fueron alcanzados consecuencia de las actividades del Programa (exclusivamente o en interacción con otras fuentes aportantes) de cara a la rendición de cuentas frente a beneficiarios, agencia donante y demás implicados en el proceso.

• Otra finalidad se centra en el valor que tiene la evaluación para la contraparte y el colectivo beneficiario. Desde AeA se entiende que parte de la pertinencia y la planificación de las acciones pasa por impulsar cambios en el papel del beneficiario en proyectos de desarrollo, de actor pasivo a sujeto principal. Del mismo modo hay que estimular el papel de las contrapartes en la fase de evaluación, procurando su activa participación en esta fase.

3.1. Objetivos de la evaluación:
Los objetivos generales de la evaluación final son:

• Determinar el grado de cumplimiento de los objetivos, resultados y el impacto de la intervención tal como está planificado, evaluando los indicadores descritos en el documento propuesta, marco lógico y otros; además se espera poder evaluar otros resultados y/o impactos (positivos o negativos) que pudieran haberse generados durante la ejecución del Programa de GdeR AeA – ACCD Convocatoria 2007.

• Evaluar los criterios de pertinencia, eficacia, eficiencia, impacto y viabilidad de la intervención.

• Identificar las lecciones aprendidas y proporcionar recomendaciones para futuras operaciones.

• Asesorar el rol y el desempeño que tuvo ONGD Fundación Ayuda en Acción como agencia ejecutora del programa, en particular valorando la estructura y mecanismos de gestión, coordinación y seguimiento del programa en los países, a nivel regional y en sus sedes en España.

• Identificar fortalezas y debilidades de la intervención, así como los factores externos, positivos ó negativos, que influyeron en el desarrollo del Programa.

• Identificar el valor añadido del Programa para AeA, la ACCD y las contrapartes ejecutoras.

3.2. Alcance de la evaluación
Alcance temporal de la actuación que se quiere evaluar
La fecha oficial de inicio de ejecución del Programa es 1 de marzo de 2008, siendo su fecha prevista de finalización el 28 de febrero de 2011. Es importante mencionar que se solicitó y aprobó por la ACCD la extensión de tiempo en la ejecución de cada Programa Nacional de tal forma que la finalización del conjunto está prevista para el 28 de Julio del 2011.

Ambito de acción.
El objetivo global del Programa es Mejorar las condiciones de vida reduciendo los riesgos a desastres, de las personas y comunidades en situación de pobreza y exclusión, a través de la inclusión de la gestión de riesgos en las estrategias de desarrollo, de tal forma que se propicien cambios estructurales que contribuyan a la erradicación de la pobreza y la injusticia en los niveles local, de mancomunidades, nacional y regional en meso América y la subregión andina de Latinoamérica.

A partir de la evaluación intermedia los ejecutores del Programa, solicitaron Modificación Sustancial en los objetivos del programa, siendo aprobados, de allí que se trabaje con las 4 líneas de acción, cada una con su respectivo objetivo específico:

Enunciado OE 01. Evaluación de Riesgo: Construir sistemas integrales de información, compuesto por bases de datos distribuidas y sistemas de información georreferenciada, que permiten realizar análisis de peligro, de la vulnerabilidad y del riesgo ante desastres a escala regional, nacional, y local

Enunciado OE 02. Fortalecimiento de capacidades de los sistemas de prevención del riesgo y respuestas ante desastres en los niveles comunitarios, municipales y regionales:

• Mejorar el conocimiento y percepción del riesgo en la población.

• Mejorar la toma de decisiones.

• Desarrollar políticas para prevención de desastres.

• Promover y/o incidir en políticas y estrategias para el desarrollo y la seguridad.

• Contribuir al fortalecimiento e integración de los Sistemas Nacionales de Protección (Defensa) Civil y Prevención de Desastres

Enunciado OE 03. Contribuir al desarrollo de una cultura de prevención en la población a través del desarrollo de acciones en las escuelas y en la formación universitaria:

• Inclusión de la temática en la currícula escolar

• Evaluación y mejoramiento de la infraestructura (que puede servir como albergue)

• Planes de seguridad y respuesta escolar ante posibles desastres.
Enunciado OE 04 Promocionar la incorporación de variable riesgo en la planificación local, municipal, nacional y regional en los proyectos de planificación e inversión.

Modificaciones sustanciales en el tiempo de ejecución: Durante la ejecución del Programa se han provocado las modificaciones sustanciales siguientes:

a) Salida de Socio local en Bolivia y reducción de aérea geográfica de intervención: El socio local, Servicios de Asesoría a Comunidades Agrarias, SACOA, canceló su sociedad con Ayuda en Acción. Tal situación obligó a tomar la determinación de eliminar la intervención en San Julián y concentrarla solamente en los 3 municipios de Chuquisaca, Sopachuy, Alcalá y el Villar, en la Provincia Tomina.

b) Solicitud de extensión de tiempo en la ejecución de cada PN, así: Bolivia Junio, Ecuador Abril, México Julio y Nicaragua Mayo, en conjunto hasta el 28 de julio de 2011.

c) En México, la ONG local IEPAC, integra al proceso del proyecto el OE1.

La evaluación final deberá considerar hacer un muestreo significativo y hacer las visitas de campo en el siguiente ámbito geográfico de la intervención por cada una de las Contrapartes involucradas

País
Ayuda en Acción PN Bolivia

Contraparte
ADT: Alcalá
Fundación Participación y Sostenibilidad (PASOS)

Área geográfica
Provincia Tomina, Departamento de Chuquisaca, municipios Sopachuy, Alcalá y el Villar

Amenaza / Peligro
Frecuentes y recurrentes heladas.

País
Ayuda en Acción PN Ecuador

Contraparte
ADT Tungurahua
Provincias de Tungurahua y Chimborazo, Ecuador

Área geográfica
Cantón Guano, Parroquias Ilapo, Santa Fé de Galán, San José de Chazo y Cantón Quero en la Parroquia la Matriz.

Amenaza / Peligro
Erupción volcánica, sequías

País
Ayuda en Acción PN Nicaragua

Contraparte
ÁDT No. 6 Kukra Hill.

Área geográfica
Municipio de Kukra Hill, Región Autónoma Atlántico Sur (RASS).

Amenaza / Peligro
Huracanes, Inundaciones, Deslizamientos, Plagas de roedores.

País
Ayuda en Acción PN México

Contraparte
Península de Yucatán.
Contraparte: Investigación y Educación Popular Autogestiva, A.C. (IEPAAC).

Área geográfica
Estado de Yucatán
14 Municipios:
Cantamayec, Chacsinkín, Chemax, Halachó,Kanasín, Maxcanú, Mérida,Motul, Progreso, Río Lagartos, Tahdziú, Tizimín, Umán, Valladolid.

Amenaza / Peligro
Huracanes, Deslizamientos, Sequías, incendios forestales.

Es importante hacer un análisis del Programa considerando el Plan Director 2011 – 2014 de la ACCD: El Plan Director 2011-2014 de la ACCD establece, en coherencia con los principios y valores que derivan de la ley, que la misión de esta política pública es: promover el desarrollo humano sostenible mediante una política de cooperación al desarrollo de calidad y transformadora. Del mismo modo con respecto a la Reducción de Riesgos de Desastre (DRR), la Cooperación Catalana también se alinea con el Marco de Acción de Hyogo 2005-2015 donde se promueve la necesidad de incrementar las capacidades locales y nacionales en estrategias de reducción del riesgo de desastres (prevención, preparación y mitigación) tanto en el ciclo de la acción humanitaria cómo en el desarrollo, como mecanismo de incrementar la resiliencia de las sociedades ante potenciales catástrofes. Así, el incremento de la resiliencia se entendería como el fortalecimiento de las capacidades de las comunidades expuestas a diferentes amenazas para adaptarse, resistir y transformándose si hace falta, con el fin de lograr o mantener un nivel aceptable de funcionamiento y estructura.

En el caso de la cooperación de la Generalitat de Cataluña, se pondrá especial atención a reforzar las capacidades de los diferentes colectivos que se encuentran en riesgo de desastre... a la vez se apoyará a las estrategias de los países prioritarios y regiones preferentes en este ámbito. Objetivo específico 1.2. Contribuir a incrementar la resiliencia de forma equitativa de las poblaciones que han sufrido o que pueden sufrir desastres, a través de la adopción de estrategias de reducción de riesgos de desastres (prevención, preparación y mitigación) Resultado 1.2.1. Haber facilitado la creación y/o consolidación de capacidades de prevención, preparación y mitigación de las poblaciones que han sufrido o pueden sufrir desastres con especial atención a los colectivos tradicionalmente excluidos. Resultado 1.2.2. Haber contribuido a apoyar a las estrategias y programas de Reducción de Riesgos de Desastres de los países prioritarios y regiones preferentes.

También será necesario considerar los objetivos transversales de la política de cooperación en el desarrollo de la Generalitat de Catalunya: i) promover el respeto integral y la consolidación de los derechos humanos, la gobernanza y el fortalecimiento del tejido social; ii) promover la equidad entre las mujeres y los hombres mediante la aplicación de la perspectiva de género; iii) promover la sostenibilidad del desarrollo en su triple dimensión (sociocultural y política, económica y ambiental)

Con referencia al ámbito de la presente evaluación, ésta comprenderá las 4 acciones emprendidas en el marco del presente Programa que se ejecutan en América Latina. Se estudiará la actuación del Programa en aquellas comunidades en los que, puedan ser más significativas en cuanto al grado de desarrollo de las acciones, su peso relativo sobre cada uno de los resultados previstos, número de beneficiarios y las dificultades o facilidades que han surgido en su puesta en marcha.

En cuanto a los actores implicados en el proceso de evaluación, serán los siguientes:  El equipo evaluador.  La Comisión de Seguimiento del Programa: entre AeA y la ACCD.  El Responsable del programa en la sede de Cataluña de AeA y el responsable regional del programa.  Los Delegados de la AeA en los países de ejecución del programa.  Los socios locales.  Alcaldías municipales y algunos personeros estatales relacionados.  Comisiones de Protección Civil Comités de Prevención y emergencia / Coordinadoras para la reducción de desastres.

 Representantes de la Cooperación Catalana en cada uno de los países de ejecución.

 Organizaciones sociales participantes, Asociaciones locales, Juntas comunitarias.

 Líderes y dirigentes de las comunidades.

 Los beneficiarios últimos del proyecto.

 Los beneficiarios indirectos del proyecto y posibles excluidos.

3.3. Limitaciones de la evaluación

El Programa desde su concepción y su integración con diferentes contextos de países y regiones se considera por si mismo un desafío que la evaluación final deberá tomar en cuenta. Los Programas nacionales de AeA y sus contrapartes incorporaron su experticia para reflejar dentro de la propuesta aprobada y el ejercicio del Programa de Gestión de Riesgos lo pertinente para lograr los resultados. El corto tiempo para las visitas de país y regiones de intervención deberán ser sorteados por el equipo evaluador a través de una perfecta selección de muestra y buena habilidad para la integración de los hallazgos y recomendaciones.

4. Metodología

4.1. Enfoque global

Con la evaluación final se estudiará la actuación del Programa en una muestra de comunidades en que hayan sido más significativas las acciones desarrolladas, su peso relativo sobre cada uno de los resultados logrados, número de beneficiarios y las dificultades o facilidades que surgieron en la marcha.

El estudio comprenderá tres principales áreas de análisis referidas exclusivamente al periodo evaluado:

a. Evaluación de objetivos y resultados.

Se evaluará en qué medida las actuaciones alcanzaron sus resultados y sus objetivos, así como su contribución al cumplimiento de los objetivos de la Cooperación Catalana. Se incluirán conclusiones y recomendaciones útiles para la implementación de otras intervenciones o Programas futuros.

b. Evaluación de resultados de impacto:

Se evaluará de qué manera el programa contribuyó al alcance de la meta y hasta qué punto se puede afirmar que se incrementado la capacidad de la población involucrada para reducir riesgos y el grado de preparación para enfrentar eventos adversos.

c. Evaluación de la intervención.

Se analizará la estructura de Ayuda en Acción para la implementación del programa, los mecanismos de planificación, coordinación y seguimiento, internos y externos, la adecuación de los recursos humanos y técnicos así como el grado de adaptación – corrección para lograr superar las limitantes encontradas en el tiempo – en la gestión del Programa.

Para la evaluación se utilizarán los indicadores señalados en la formulación y los acuerdos descritos en el acuerdo de Programa firmada entre AeA y la ACCD. En caso necesario el evaluador deberá diseñar nuevos indicadores no previstos que permitan medir los avances. Se procederá al análisis del ciclo de proyecto de cada intervención contemplada en el Programa, valorando, entre otros elementos, su incidencia en la promoción de la equidad de género y la sostenibilidad medioambiental y su coherencia con las estrategias sectoriales y los objetivos de desarrollo nacionales. En función del contexto de intervención, la evaluación valorará la calidad y coherencia del diseño, el alineamiento y adecuación al contexto sociocultural del país y a las prioridades de la Cooperación Catalana.

4.2. Criterios, cuestiones clave e indicadores de evaluación

La Evaluación Final Externa tomará como criterios de evaluación los considerados por la Cooperación Catalana, valorando su grado de cumplimiento y focalizando como criterios prioritarios de atención los de pertinencia, eficacia y eficiencia. Los criterios de impacto y sostenibilidad serán valorados de forma secundaria, para medir el impacto alcanzado.
Considerando dichos criterios se han establecido algunas de las preguntas de evaluación fundamentales, a las que el equipo evaluador tiene que dar respuesta. El evaluador las complementará con aquellas otras que considere necesarias.

Pertinencia y relevancia: Cambios de contexto y revisión de supuestos

- ¿El Programa respondió a los problemas identificados originalmente y que dieron lugar a él?

- ¿Cómo se articuló el diseño de las acciones del Programa, en función de la diversidad de las áreas de intervención en la región Latinoamericana para la consecución de los objetivos específicos?

- ¿Se consideraron los intereses y expectativas de los beneficiarios, autoridades locales y mecanismos nacionales de Prevención de Riesgos? ¿Se retomaron las opiniones vertidas alrededor de la evaluación intermedia?

- ¿Qué factores internos y externos han ejercido influencia en la habilidad de los grupos beneficiarios y AeA para lograr los objetivos proyectados?

- ¿Se identifican cambios significativos en el contexto a lo largo de las actuaciones? ¿Se adecuaron los objetivos a la realidad previa y actual?

- ¿Existieron otras actuaciones sinérgicas, complementarias o competitivas de otros donantes en la zona?

- ¿Fueron relevantes los objetivos y el diseño del Programa dado el contexto político, económico y financiero?

- ¿Fueron las líneas del Programa pertinentes con las directrices establecidas en los documentos de estrategia sectorial que les atañen y con los documentos de estrategia del país que correspondan?

- ¿La intervención resulta pertinente frente a los mecanismos e instituciones existentes a nivel municipal, nacional y regional para la gestión riesgos (prevención, preparación, respuesta a emergencias - desastres)?

Nota: El consultor deberá presentar un resumen del ambiente, las condiciones económicas y de negocios que hayan podido tener un impacto en el sector y territorio en que se llevó a cabo el Programa.

Efectividad: Resultados en términos de productos logrados:
- ¿El Programa ha alcanzado el número esperado de beneficiarios o población involucrada?

- ¿Los involucrados e involucradas están satisfechos y satisfechas con la calidad y la entrega de los servicios? En el caso no afirmativo, ¿De qué manera los servicios no satisficieron las expectativas de los beneficiarios y beneficiarias? ¿Específicamente en qué aspectos no estuvieron satisfechos los beneficiarios?

- ¿Qué mejorías concretas o cambios se dieron (en el nivel del sector, ámbitos geográficos, entre el grupo beneficiario) como resultado directos del Convenio?

- ¿De qué manera el Programa contribuyó al alcance del Fin?

- ¿Hasta qué punto se podría decir que se ha incrementado los conocimientos, actitudes y prácticas de las familias beneficiarias? ¿Cuál es el avance en la incorporación de la prevención de desastres en los programas educativos?

- ¿Cuál es el grado de desarrollo de acciones para viabilizar el fortalecimiento de las organizaciones encargadas de la gestión de riesgos?

- ¿Se ha mejorado la coordinación y preparación para la respuesta ante desastres?

- ¿En qué medida se ha reducido la vulnerabilidad física, económica y medioambiental de los beneficiarios?

- ¿El grado de cumplimiento de los resultados es suficiente o es necesario continuar procesos para garantizar la mejoría de la población y comunidades involucradas?

Eficacia: Logro de indicadores de desempeño y meta: En qué medida el Programa ha ejecutado las actividades previstas para el periodo, ha logrado los avances, incluyendo un análisis de los procesos que lo han facilitado u obstaculizado.

- ¿Se han alcanzado la mayoría de los resultados previstos?

- ¿Se ha alcanzado algún resultado más que afiance los previstos?

- ¿Se ha alcanzado el objetivo específico de la intervención?

- Análisis del peso del componente de administración y justificación económica en función de los resultados alcanzados

- Calidad de la formulación y seguimiento en relación con su funcionamiento

- ¿Cuál es la relación entre los insumos materiales y humanos empleados y la consecución de los resultados?

- ¿La intervención se quedó estancada en alguna de sus fases “repitiendo más de lo mismo” o ha ido proporcionando nuevos avances?

- ¿Se capitalizó sistemáticamente sobre las lecciones aprendidas de cada proceso, se ha adaptado y/o modificado para mejorar?

- ¿Se han logrado otros efectos no previstos?

- ¿Se aplicaron correctamente los criterios de elegibilidad previstos para las familias usuarias de los sistemas (sobre la base de una muestra representativa)?

- ¿Cuál ha sido el desempeño de AeA y contrapartes en cuanto a los indicadores de resultados proyectados y responsabilidades acordadas con respecto a la ejecución del Programa?

- ¿Son adecuadas las variaciones presupuestarias producidas desde el momento de formulación?

- El funcionamiento de co-gestión y coordinación interinstitucional entre los distintos actores involucrados a nivel regional.

Nota: El consultor deberá proveer un análisis de costo/beneficio de los servicios y la eficiencia con la cual AeA y Contrapartes los entregaron. Dar información acerca de los problemas enfrentados y las medidas que se tomaron para remediarlos (ya sean administrativos, operativos, financieros, políticos, macroeconómicos, etc.)

Impacto, Análisis de los efectos sociales, económicos, políticos y medioambientales: Impactos positivos y negativos al nivel individual, familiar, local, regional y nacional, causados por los avances en la ejecución del Programa, previstos o no, identificables a partir de las entrevistas y de revisión de documentos disponibles.

- ¿Cuáles son los efectos sobre las capacidades locales previstos a medio plazo para reducir el riesgo y mejorar la seguridad en la que viven las poblaciones consideradas, que se han conseguido o es previsible que se consigan?

- ¿Son conscientes los beneficiarios de los efectos conseguidos o potencialmente alcanzables?

- ¿Las contrapartes y los profesionales de AeA han adquirido una formación más completa en Gestión de Riesgos?

- ¿Ha contribuido la intervención a alcanzar el objetivo global propuesto?

- ¿Se han producido impactos negativos no previstos sobre los beneficiarios?

Sostenibilidad: Determinar el nivel de sostenibilidad alcanzado por el Programa:

- ¿Los efectos del Programa permanecerán en el tiempo?

- ¿AeA y sus contrapartes podrán continuar la entrega de servicios después que los recursos del Programa se hayan gastado?

- ¿En algunos casos de la reducción de vulnerabilidad se han establecido mecanismo de recuperación de costos y/o multiplicación de conocimientos para asegurar la sostenibilidad?

- ¿La agencia ONGD formuló plan(es)/estrategia (as) de sostenibilidad?

- ¿Qué nivel de compromiso han asumido las familias, comunidades y organizaciones para asumir las reformas y acciones implementadas para garantizar su continuidad. (apropiación)?

- ¿Qué mecanismos se han implementado para asegurar la obtención de recursos para el funcionamiento y mantenimiento de las estructuras creada?

- ¿Qué evidencias existen que demuestren la capacidad de gestión de las contrapartes (fortalecimiento local)?

- Aspectos socioculturales y políticos que influyan en la apropiación de la intervención.

- Analizar si las hipótesis se han cumplido, si los riesgos estaban debidamente identificados y si las condiciones previas se han cumplido.

- ¿Se cumplieron y fueron adecuadas las estrategias de salida del Programa?

- ¿Cuáles son los aprendizajes que dejo el presente?

- ¿Desde su perspectiva, que falto desarrollar en el Programa?

Lecciones aprendidas:

El consultor(a) deberá proveer información acerca de las condiciones económicas/políticas/financieras que deberán existir, el nivel de capacidad institucional de la agencia ejecutora, el nivel requerido de participación de los entes relevantes y otros factores de éxitos que deberán estar presentes de modo que se pueda considerar otras operaciones de esta naturaleza en el futuro.

4.3. Metodología y herramientas para la evaluación

4.3.1. Fases de la evaluación

En líneas generales se tratará de una Evaluación Formativa.
Como indicación metodológica específica a mencionar, se apunta a la triangulación de los datos obtenidos a través de las diferentes herramientas diseñadas para su recogida.

La evaluación se dividirá en tres fases:

Fase I. Estudio de gabinete
Fase II. Trabajo de campo
Fase III. Preparación y presentación del Informe Final

Fase I. Estudio de gabinete (Duración estimada: dos o tres semanas a partir de la validación del programa de trabajo):

- Análisis de la documentación disponible sobre la actuación de Ayuda en Acción en Latinoamérica

- Análisis de la documentación disponible relativa a la formulación, diseño, seguimiento y gestión del Programa.

- Identificación y examen de la documentación referente al contexto institucional y socio-económico de los países a las estrategias nacionales, regionales y locales de desarrollo.

- Estudio normativa ACCD.

- Identificación de informantes clave en sede (director de País/zona AeA, ACCD,) y en terreno.

- Realización de entrevistas a los informantes clave en sede.

- Solicitud y examen de información adicional.

- Delineación de las herramientas metodológicas para la recogida, procesamiento y análisis de la información.

- Identificación de las comunidades clave a visitar.
Sobre la base de un informe preliminar se concretará la metodología para realizar el trabajo de campo y se presentará la oportuna Agenda de trabajo de Campo.

Fase II. Trabajo de campo (Duración estimada: 4 semanas):

- Realización de entrevistas a los informantes clave en los países y solicitud de información adicional a otras organizaciones y actores institucionales.

- Estudio exhaustivo de la documentación administrativa y técnica en la que se basaron las distintas actuaciones ejecutadas o en curso, así como un detallado contraste de los datos y conclusiones de todas las fuentes consultadas.

- Redacción del borrador del Informe de Trabajo de Campo, que incluirá una memoria de las actividades realizadas en esta fase (entrevistas, reuniones, visita a proyectos, encuestas o grupos de trabajo con beneficiarios, etc.)

- Socialización del borrador con los actores relevantes e incorporación de los comentarios/recomendaciones a la versión final.

Con apoyo de los PN involucrados se hará una previsión de los riesgos y se garantizará la seguridad de todos los actores que participen en la evaluación, es decir destinatarios directos e indirectos y los mismos evaluadores.

Fase III. Preparación y presentación del Informe Final (Duración estimada cuatro semanas):

- El equipo evaluador procederá a la redacción de un borrador del Informe Final, el cual se discutirá por todas las partes hasta la obtención de la versión definitiva.
Una vez entregado el Informe Final, el equipo evaluador podrá participar en las actividades de presentación de resultados a través de herramientas de internet..

En todo caso, el equipo mantendrá su independencia de criterio y no deberá acordar los términos del informe con personas ajenas al mismo. Se recomienda la utilización de la Metodología de Evaluación de la Cooperación Catalana y los criterios establecidos por el OCDE/ DAC (2010) para la evaluación de la cooperación al desarrollo. (1)

4.3.2. Métodos y herramientas para la evaluación

El equipo consultor deberá detallar la metodología y herramientas utilizadas para la toma de datos y colecta de información directa (p.ej., entrevistas guiadas por preguntas estructuradas y semi-estructuradas, observación participante; encuestas, entrevistas en profundidad con actores claves, talleres de evaluación participativa, etc.), e indirecta (p.ej., revisión de informes locales, borradores de proyecto, informes de seguimiento y finales, etc.). En este segundo caso, AeA proveerá de la información siguiente y sus fuentes:


Documento Localización
Formulación de la intervención AeA
Estudios de diagnóstico relacionados con la intervención AeA, Terreno
Normativa Reguladora AeA, ACCD
Marcos Presupuestarios AeA, Terreno
Planes Anuales Operativos de la intervención AeA
Documentos de estrategia de lucha contra la pobreza de cada País AeA
Plan Director de la Cooperación Catalana ACCD (Web site)
Informes de Seguimiento e Informe final de Programa AeA - Terreno
Planes Estratégicos Sectoriales de los Socios Locales Terreno

Del mismo modo el equipo Consultor deberá presentar las metodologías de análisis de la información.

4.4. Organización de la evaluación
4.4.1. Funciones y audiencia de la evaluación

Se formará una Comisión de seguimiento de la evaluación cuyas funciones serán: validar los presentes términos de referencia, aprobar los documentos de planificación diseñados, facilitar el trabajo y el acceso a las fuentes de información a los evaluadores, supervisar la calidad del proceso y los documentos e informes que se vayan generando, proceder a la aprobación de las conclusiones finales y difundir los resultados de la evaluación.

La Comisión de seguimiento estará compuesto por: - Uno o dos representantes de la sede en Cataluña de AeA. - Los Delegados de la AEA en los países de intervención.

- El Coordinador del convenio designado por cada uno de los socios locales.

- Representantes de la Cooperación Catalana en los países de ejecución.

- Representantes de los beneficiarios directos así como instituciones competentes en materia de gestión de riesgos y respuesta humanitaria.

La Unidad Gestora de la Evaluación estará formada por personal de la AeA tanto en sede como en terreno y un representante de cada uno de los socios locales. La Unidad Gestora será el interlocutor para todo lo concerniente con la gestión de la evaluación.

4.4.2. Perfil del equipo evaluador
El equipo responsable de la evaluación técnica final del Programa de GdeR AeA - ACCD Convocatoria 2007 deberá estar compuesto por una o más personas, siendo uno de ellos el/la coordinador/a del equipo, cuya disponibilidad se deberá explicitar en la oferta:

Se acreditará:
o Experiencia en Cooperación al Desarrollo
o Experiencia en evaluación de proyectos de desarrollo.
o Buen conocimiento de la región Latinoamericana, especialmente en la mayoría de los países mencionados y experiencia y/o conocimientos técnicos en gestión de riesgos y respuesta ante catástrofes.

Las empresas o equipo de evaluadores deberán aportar los CV de los expertos seleccionados para llevar a cabo la evaluación así como un plan de trabajo.
El coordinador del equipo actuará como interlocutor y representante ante AeA a la hora de contactar con los responsables e implicados en los proyectos. Cualquier cambio en la constitución del equipo evaluador deberá ser previamente notificado y autorizado por la Unidad Gestora de Evaluación.

Al tratarse de una evaluación externa el equipo evaluador recibirá acompañamiento del personal de AeA en terreno, pero sin que ellos interfieran en el trabajo de los evaluadores y garantizando su independencia en el desarrollo del trabajo y en la preparación del Informe.

4.3 Principios de evaluación
El equipo evaluador deberá cumplir unos requisitos, tanto profesionales como éticos, entre los que se destacan: - Anonimato y confidencialidad. La evaluación debe respetar el derecho de las personas a proporcionar información asegurando su anonimato y confidencialidad.

- Responsabilidad: Cualquier desacuerdo o diferencia de opinión que pudiera surgir entre los miembros del equipo o entre éstos y los responsables del Programa, en relación con las conclusiones y/o recomendaciones, debe ser mencionada en el informe. Cualquier afirmación debe ser sostenida por el equipo o dejar constancia del desacuerdo sobre ella.

- Integridad: Los evaluadores tendrán la responsabilidad de poner de manifiesto cuestiones no mencionadas específicamente en los Términos de Referencia, si ello fuera necesario para obtener un análisis más completo de la intervención. - Independencia: El equipo evaluador deberá garantizar su independencia de la intervención evaluada, no estando vinculado con su gestión o con cualquier elemento que la compone. - Incidencias: En el supuesto de aparición de problemas durante la realización del trabajo de campo o en cualquier otra fase de la evaluación, éstos deberán ser comunicados inmediatamente a la Unidad Gestora. De no ser así, la existencia de dichos problemas en ningún caso podrá ser utilizada para justificar la no obtención de los resultados establecidos en el presente pliego de Prescripciones Técnicas. - Convalidación de la información: Corresponde al equipo evaluador garantizar la veracidad de la información recopilada para la elaboración de los informes, y en última instancia será responsable de la información presentada en la evaluación. - Informes de evaluación: La difusión de la información recopilada y del Informe Final es prerrogativa de las partes firmantes del Programa a evaluar, la ACCD y Ayuda en Acción.

5. Productos esperados

Se requiere los siguientes productos de la evaluación final:

1. Informe de concreción de la metodología.

2. Informe de trabajo de campo.

3. Informe de estudio de Evaluación preliminar.

4. Informe de Estudio de Evaluación:

El Informe Final se estructurará siguiendo el esquema que se presenta a continuación:

 Introducción:

a) Estructura de la documentación presentada.

b) Antecedentes y Objetivo de la evaluación.

c) Metodología empleada en la evaluación.

d) Condicionantes y límites del estudio realizado.

e) Presentación del equipo de trabajo.

 Preguntas y criterios de evaluación.

 Análisis de objetivos: Resultados de las intervenciones objeto de estudio (ámbito sectorial, temporal y geográfico).

 Análisis de contexto: contexto político, social y económico en el que se inscribe la intervención y como ésta se relaciona con dicho entorno.

 Análisis de proceso: Diseño de la Política de Cooperación de la AeA y Proceso de Gestión e Implementación del Convenio de Cooperación al desarrollo en el País.

 Conclusiones de la Evaluación.

 Recomendaciones y lecciones aprendidas.

 Anexos: Resumen Ejecutivo Informe de Trabajo de Campo Reportaje fotográfico Ficha-resumen del CAD

El Informe Final de evaluación no excederá las 60-80 páginas, Se entregarán dos copias en español en papel y un soporte informático de toda la evaluación. 5. Resumen ejecutivo tendrá un máximo de 10-15 páginas. Todos los informes irán acompañados con anexos que contendrán las fuentes de verificación de la consecución de los indicadores planteados (bases de datos, fotografías, número de participantes en actividades, etc.).

Nota: Se requerirá a los evaluadores que incluyan en la portada de cada producto la frase "La opinión expresada por parte del equipo de evaluación no corresponde necesariamente a la de la ACCD".

6. Plan de comunicación (Opcional)

7. Calendario de evaluación El calendario tentativo sería el siguiente:

1) Aprobación de la propuesta específica:

2) Establecimiento de la fecha de inicio del proceso:

3) Fase I: Estudio de Gabinete.

4) Fase II: Trabajo de campo.

5) Fase III: Informe Final de Evaluación. 6) Entrega del Informe de Evaluación a la ACCD (Septiembre de 2011).

8. Apoyo logístico y presupuesto El presupuesto estimativo de la evaluación del Programa de GdeR AeA –ACCD Convocatoria 2007 es de 16.000 USD.

9. Presentación de la propuesta técnica
Además de la documentación requerida para acreditar la solvencia técnica, se deberá aportar una propuesta metodológica para el desarrollo de los elementos del presente Pliego de Prescripciones Técnicas, que deberá incluir una aproximación al objeto de estudio de la evaluación, un cronograma y un presupuesto previstos para la realización de los trabajos, así como una matriz de evaluación que contenga los indicadores propuestos siguiendo el modelo adjunto.

Cualquier modificación posterior en la propuesta adjudicada deberá ser notificada para su autorización por la Unidad de AeA. La información será enviada a mas tardar el día 31 de julio de 2011 a:

Heriberto Gutiérrez Galicia, a la siguiente dirección electrónica: hgutierrez@ayudaenaccion.org

Y al correo: evaluacionfinal07@gmail.com

Pueden también comunicarse a los teléfonos: 01 777 322 6765 y 01 777 322 6748

1 OECD/DAC. 2010. Evaluating Development Co-Operation: Summary of Key Norms and Standards. Second Edition. http://www.oecd.org/dataoecd/12/56/41612905.pdf.

DCD-DAC Criteria for Evaluating Development http://www.oecd.org/document/22/0,3343,en_2649_34435_2086550_1_1_1_1,00.htmlAssistance.