Contexte
ITECO est une ONG belge active dans l’Education à la Citoyenneté Mondiale et Solidaire. Le programme DGD 2017-2021 d’ITECO, intitulé « L’éducation comme vecteur de changement Nord-Sud », visait le renforcement des acteurs relais de l’ECMS, ainsi que des organisations et institutions, spécialisés ou non en ECMS, et ce par des activités de formation, d’accompagnement pédagogique ou stratégique, des activités de recherche action, de production de ressources pertinentes pour l’ECMS et de travail en réseau (réseau/partenariats) avec d’autres acteurs aux niveaux belge, européen et du Sud. Ces actions sont menées par ITECO pour influer directement sur les publics directs - les personnes relais et les professionnels, mais également sur leur environnement - les organisations et institutions.
Deux objectifs principaux étaient visés : renforcer les personnes relais, les OSC et les institutions dans leur capacité d’analyse critique, leurs compétences socio-éducatives et leur pouvoir d’action tant individuel que collectif d’une part, et d’autre part, contribuer à l’amélioration, au renouvèlement et à la défense des pratiques éducatives et sociales liées à la solidarité internationale aux niveaux belge, européen et du Sud.
Se trouvant à la fin du programme en cours (2017 – 2021), ITECO doit mener une évaluation finale du travail réalisé dans le quinquennat. Au travers de cette évaluation, nous souhaitons évaluer l’atteinte des résultats obtenus par le programme. Elle devra également permettre de tirer des enseignements, de capitaliser sur les bonnes pratiques, et formuler des recommandations pour consolider et pérenniser les acquis du programme et son orientation stratégique.
L’ensemble de ce travail nécessite l’intervention d’un/e évaluateur/trice externe , raison de la publication de ces termes de référence.
Programme ITECO 2017-20211
1/ Fiche signalétique
Intitulé du projet : L’éducation comme vecteur de changement Nord-Sud
Parties Responsables : ITECO Centre de Formation pour le Développement
Lieu d’intervention : Belgique
Date de démarrage : 01/01/2017
Date d’achèvement : 31/12/2021
Résumé synthétique du programme : Le programme vise le renforcement des acteurs relais de l’ECMS, ainsi que des organisations et institutions, spécialisés ou non en ECMS, et ce par des activités de formation, d’accompagnement pédagogique ou stratégique, des activités de recherche action, de production de ressources pertinentes pour l’ECMS et de travail en réseau avec d’autres acteurs aux niveaux belge, européen et du Sud. Ces actions sont menées par ITECO pour influer directement sur les publics directs - les personnes relais et les professionnels, mais également sur leur environnement - les organisations et institutions. Deux objectifs principaux sont visés : renforcer les personnes relais, les OSC et les institutions dans leur capacité d’analyse critique, leurs compétences socio-éducatives et leur pouvoir d’action tant individuel que collectif d’une part, et d’autre part, contribuer à l’amélioration, au renouvèlement et à la défense des pratiques éducatives et sociales liées à la solidarité internationale aux niveaux belge, européen et du Sud.
OS1 : Renforcer les personnes relais, les OSC et les institutions dans leur capacité d’analyse critique, leurs compétences socio-éducatives et leur pouvoir d’action tant individuel que collectif grâce à des activités de formation et d’accompagnement.
OS2 : Contribuer à l’amélioration, au renouvèlement et à la défense des pratiques éducatives et sociales liées à la solidarité internationale au niveau belge, européen et du Sud.
2/ Cadre logique programme ITECO
Le cadre logique du programme et les résultats attendus ont été définis sur base d’une théorie du changement qui figure dans le dossier annexe. Nous présentons toutefois ici le cadre logique du programme afin de présenter les résultats attendus qui devront faire l’objet de l’évaluation.
OS1 : Renforcer les personnes relais, les OSC et les institutions dans leur capacité d’analyse critique, leurs compétences socio-éducatives et leur pouvoir d’action tant individuel que collectif grâce à des activités de formation et d’accompagnement.
Résultat 1 (Formation) : Les adultes en (ré)orientation professionnelle se situent mieux face aux réalités politiques, sociales, économiques et culturelles au Nord comme au Sud et ont développé des capacités pour orienter ou consolider leurs engagements dans la solidarité internationale à partir de leurs propres contextes de vie et de travail.
Résultat 2 (Formation) : Les adultes migrants en formation d’alphabétisation sont sensibilisés aux réalités politiques, sociales, économiques et culturelles au Nord comme au Sud et ont développé des capacités pour orienter leurs engagements dans la solidarité internationale à partir de leurs propres contextes de vie.
Résultat 3 (Formation) : Les acteurs éducatifs améliorent leurs capacités de conception, de mise en œuvre, d’outillage et d’évaluation d’actions en ECMS.
Résultat 4 (Formation) : Les travailleurs sociaux et les animateurs-formateurs de l’Education permanente ont amélioré leurs capacités de décentration, de compréhension et de négociation interculturelle, et ont renforcé leurs capacités à articuler des situations individuelles avec des contextes institutionnels et sociopolitiques.
Résultat 5 (Formation) : Les agents de développement ont amélioré leurs capacités d’analyse, de mise en œuvre, de suivi et d’évaluation des projets de développement dans lesquels ils sont impliqués, tant au Nord qu’au Sud.
Résultat 6 (Accompagnement) : Les OSC, les ANG et les associations investies dans les relations Nord-Sud renforcent la qualité de leurs actions pour le changement social et développent des pratiques d’évaluation ou de systématisation pertinentes par rapport à leurs finalités.
OS2 : Contribuer à l’amélioration, au renouvèlement et à la défense des pratiques éducatives et sociales liées à la solidarité internationale au niveau belge, européen et du Sud.
Résultat 1 : Les acteurs éducatifs et sociaux belges, européens et du Sud disposent de nouveaux cadres de référence et savoirs sur les pratiques de résistance à la bureaucratisation de la société civile et à la marchandisation des biens communs grâce à la publication et la diffusion des résultats de 2 recherche-actions.
Résultat 2 : les acteurs éducatifs et sociaux belges, européens et du Sud ont accès à une revue spécialisée en ECMS et disposent de nouveaux cadres de référence liés aux problématiques de la solidarité internationale.
Résultat 3 : les acteurs éducatifs et sociaux belges, européens et du Sud enrichissent et améliorent leurs pratiques d’une éducation service du changement social à travers des réseaux de réflexion et d’action collective.
Résultat 4 : les acteurs éducatifs et sociaux belges, européens et du Sud ont accès à des ressources pédagogiques matérielles et numériques portant sur la solidarité internationale, la pédagogie et l’action sociale interculturelle.
Principales sources documentaires
Outre le programme d’ITECO et la Théorie du changement (ToC) qui l’accompagne, ainsi que le dossier technique et financier, ITECO mettra à disposition tout document important en relation avec l’objet de l’évaluation.
Liste non exhaustive des documents disponibles :
- Dossier technique et financier approuvé par la DGD ;
- Mission – vision ;
- Théorie du changement du programme (ToC) ;
- Données du SME du programme (Base de données, tableaux de suivi par année, évaluations des activités, …) ;
- Rapports annuels du programme (scores de performance et leçons apprises, PV AG et rapports annuels à l’AG) ;
- PV des dialogues institutionnels avec la DGD ;
- Rapport de l’évaluation intermédiaire du programme et réponse managériale ;
- PV des mises au vert annuelles de bilans de l’année écoulée ;
- Notes stratégiques institutionnelles ;
Partenaires, parties prenantes et publics impliqués dans l’évaluation
Les partenaires, parties prenantes et publics de l’évaluation seront définis conjointement avec l’évaluateur/ice pour chacun des résultats du Programme à évaluer. Une liste indicative de personnes à être contactées par l’évaluateur/trice pour participer à l’évaluation sera proposée par l’Équipe d’ITECO.
Enjeux de l’évaluation
1/ Justification de l’évaluation
Conformément au cadre du bailleur du programme (DGD), l’évaluation finale du programme doit apprécier les 2 objectifs spécifiques du programme et tous leurs résultats respectifs au regard des critères du CAD (pertinence, efficacité, efficience et durabilité), ainsi que la prise en compte des thèmes transversaux que sont le Genre et l’Environnement, en considérant les ressources disponibles pour leur mise en œuvre et eu égard au contexte de la COVID 19. L’évaluation devra remplir les 3 objectifs qui lui sont fixés par le cadre règlementaire à savoir la redevabilité, l’apprentissage et l’orientation stratégique.
Pour cette évaluation, l’évaluateur/trice pourra se référer à la Théorie du Changement (ToC) explicitant les résultats recherchés. Il/elle sera attentif/ve toutefois à bien centrer leur analyse sur l’évaluation de la pertinence, de l’impact, de l’efficacité, de l’efficience et de la durabilité des résultats atteints conformément aux prescriptions du CAD.
- Pertinence : Degré d’adéquation d’une activité d’aide avec les besoins du groupe cible et les priorités du bénéficiaire.
- Efficacité : Degré de réalisation des objectifs d’une activité.
- Efficience : Rapport entre résultats - qualitatifs et quantitatifs - et ressources mises en œuvre pour les atteindre dans un temps donné.
- Durabilité : Mesure si les bénéfices résultant d’une action de développement peuvent perdurer après la fin de l’intervention. La durabilité est appréciée selon trois aspects : durabilité financière, durabilité sociale et transfert de connaissances / renforcement des capacités.
- Impact : Effets positifs et négatifs, directs ou indirects, intentionnels ou non, induits par une action de développement.
2/ Finalité
La finalité première de cette évaluation finale est de rendre compte de l’atteinte des résultats obtenus par le programme. Elle devra également permettre de tirer des enseignements, de capitaliser sur les bonnes pratiques, et formuler des recommandations pour consolider et pérenniser les acquis du programme et son orientation stratégique.
3/ Objectifs spécifiques
Il s’agit :
a. pour le programme dans son ensemble de :
- Apprécier la prise en compte des dimensions transversales genre et environnement ;
- Evaluer les contributions des résultats du programme par rapport à la théorie du changement élaborée et à la place du programme dans le CSC Belgique et des enjeux/défis qui y sont identifiés ;
- Qualifier la pertinence, l’impact, l’efficacité, l’efficience et la durabilité
o de la stratégie éducative et
o des stratégies de partenariat ; - Répondre aux questions spécifiques de l’évaluation. Elle devra également informer des réalisations du programme et son état d’exécution permettant de tirer des enseignements, de capitaliser sur les bonnes pratiques, et formuler des recommandations pour consolider et pérenniser les acquis du programme ainsi que permettre de contribuer à la conception et à l’exécution de projets similaires ou différents à venir.
b. pour chacun des résultats des 2 objectifs spécifiques du programme de :
- Apprécier l’atteinte du résultat sur les plans qualitatif et quantitatif par rapport aux indicateurs définis et détecter les signes de succès/échec ;
- Qualifier la pertinence, l’impact, l’efficacité, l’efficience et la durabilité des changements observés sur le terrain ;
4/ Questions de l’évaluation
Les questions de l‘évaluation sont les suivantes :
1. Les résultats du programme d’ITECO passés au crible des critères CAD sont-ils conformes aux attentes ? Pourquoi et comment ? Cette analyse des critères du CAD sera faite au niveau de chaque résultat des deux OS du programme.
2. Le programme d’ITECO a-t-il intégré de façon satisfaisante les dimensions transversales genre et environnement ? Quelles sont les leçons apprises et bonnes pratiques qui devraient être favorisées à l’avenir pour les prochains programmes.
3. Quelles sont les principales forces et faiblesses du programme ?
4. Quelles sont les principales leçons tirées par l’équipe d’évaluateurs.trices de l’observation des résultats du programme ?
5. En quoi l’évaluation finale du Programme 2017-2021 peut orienter les choix stratégiques qui pourraient être faits dans les 5 prochaines années (recommandations).
6. Quels sont les facteurs (forces, faiblesses, contraintes, opportunités, menaces etc.) qui auront influencé l’atteinte des résultats du programme ?
7. Dans quelle mesure la recherche action sur la bureaucratie/marchandisation a-t-elle fait avancer ou orienté le prochain programme d’ITECO
8. Comment les enjeux qui ont surgi en cours de programme (p.e. la question décoloniale, la question numérique liée à la question sanitaire) ont-ils été intégrés dans la stratégie et les activités de l’action d’ITECO et quelles en ont été les conséquences dans les orientations stratégiques ? Comment l’ équipe s’est adaptée et quelles mesures ont été prises pour faire face à la crise provoquée par la pandémie de la Covid 19 ?
L’évaluateur/trice accordera une attention particulière au caractère réaliste et exploitable des recommandations. Etant donné le caractère exceptionnel de la pandémie de la COVID 19, il est porté à l’attention des évaluateur/trice d’en tenir compte dans les analyses produites pour chacune des questions de l’évaluation.
Méthodologie de l’évaluation
Le travail d’analyse et de décryptage est envisagé comme un processus. L’évaluation se basera sur une approche participative qui inclut les différents bénéficiaires et acteurs impliqués dans le programme et elle se fera en conformité avec les principes pour l’évaluation de l’aide au développement du Comité d’aide au développement (CAD) de l’Organisation de Coopération et de Développement économique (OCDE). Avec les apports d’une équipe d’évaluation externe et de personnes-ressources, l’évaluation sera menée en plusieurs phases. Le présent appel d’offres porte sur les
phases 2 à 7 du processus :
Phase 1
• Constitution du comité de pilotage de l’évaluation, définition de l’objet, des questions et des termes de référence de l’évaluation ainsi que du processus de choix de l’équipe d’évaluation.
Phase 2
• Cadrage et rapport initial de cadrage.
Phase 3
• Avec l’équipe d’évaluation, mise « à plat » du travail réalisé par ITECO en termes de résultats et d’effets. L’évaluateur/trice.trice s’appuiera entre autre sur les formateurs.trices d’ITECO pour réunir les données et sur certaines personnes ayant participé aux activités d’ ITECO.
Phase 4
• Réalisation d’entretiens, questionnaires ou d’ateliers pour compléter les évaluations.
• Réunion de débriefing du processus d’évaluation.
Phase 5
• Production d’un rapport intermédiaire ;
• Contrôle de la qualité du rapport intermédiaire par le CoPil et l’Équipe d’ITECO
Phase 6
• Production du rapport final préliminaire ;
• Organisation d’un atelier de restitution avec les membres du comité de pilotage et l’équipe d’ITECO et parties prenantes.
Phase 7
• Production du rapport final et du résumé exécutif.
Phase 8
• Publication du résumé exécutif. Production et publication de la réponse managériale.