Termes de référence pour l’évaluation finale du programme 2017 - 2021 d’ITECO

Contexte

ITECO est une ONG belge active dans l’Education à la Citoyenneté Mondiale et Solidaire. Le programme DGD 2017-2021 d’ITECO, intitulé « L’éducation comme vecteur de changement Nord-Sud », visait le renforcement des acteurs relais de l’ECMS, ainsi que des organisations et institutions, spécialisés ou non en ECMS, et ce par des activités de formation, d’accompagnement pédagogique ou stratégique, des activités de recherche action, de production de ressources pertinentes pour l’ECMS et de travail en réseau (réseau/partenariats) avec d’autres acteurs aux niveaux belge, européen et du Sud. Ces actions sont menées par ITECO pour influer directement sur les publics directs - les personnes relais et les professionnels, mais également sur leur environnement - les organisations et institutions.

Deux objectifs principaux étaient visés : renforcer les personnes relais, les OSC et les institutions dans leur capacité d’analyse critique, leurs compétences socio-éducatives et leur pouvoir d’action tant individuel que collectif d’une part, et d’autre part, contribuer à l’amélioration, au renouvèlement et à la défense des pratiques éducatives et sociales liées à la solidarité internationale aux niveaux belge, européen et du Sud.

Se trouvant à la fin du programme en cours (2017 – 2021), ITECO doit mener une évaluation finale du travail réalisé dans le quinquennat. Au travers de cette évaluation, nous souhaitons évaluer l’atteinte des résultats obtenus par le programme. Elle devra également permettre de tirer des enseignements, de capitaliser sur les bonnes pratiques, et formuler des recommandations pour consolider et pérenniser les acquis du programme et son orientation stratégique.
L’ensemble de ce travail nécessite l’intervention d’un/e évaluateur/trice externe , raison de la publication de ces termes de référence.

Programme ITECO 2017-20211

1/ Fiche signalétique

Intitulé du projet : L’éducation comme vecteur de changement Nord-Sud
Parties Responsables : ITECO Centre de Formation pour le Développement
Lieu d’intervention : Belgique
Date de démarrage : 01/01/2017
Date d’achèvement : 31/12/2021
Résumé synthétique du programme : Le programme vise le renforcement des acteurs relais de l’ECMS, ainsi que des organisations et institutions, spécialisés ou non en ECMS, et ce par des activités de formation, d’accompagnement pédagogique ou stratégique, des activités de recherche action, de production de ressources pertinentes pour l’ECMS et de travail en réseau avec d’autres acteurs aux niveaux belge, européen et du Sud. Ces actions sont menées par ITECO pour influer directement sur les publics directs - les personnes relais et les professionnels, mais également sur leur environnement - les organisations et institutions. Deux objectifs principaux sont visés : renforcer les personnes relais, les OSC et les institutions dans leur capacité d’analyse critique, leurs compétences socio-éducatives et leur pouvoir d’action tant individuel que collectif d’une part, et d’autre part, contribuer à l’amélioration, au renouvèlement et à la défense des pratiques éducatives et sociales liées à la solidarité internationale aux niveaux belge, européen et du Sud.
OS1 : Renforcer les personnes relais, les OSC et les institutions dans leur capacité d’analyse critique, leurs compétences socio-éducatives et leur pouvoir d’action tant individuel que collectif grâce à des activités de formation et d’accompagnement.
OS2 : Contribuer à l’amélioration, au renouvèlement et à la défense des pratiques éducatives et sociales liées à la solidarité internationale au niveau belge, européen et du Sud.

2/ Cadre logique programme ITECO

Le cadre logique du programme et les résultats attendus ont été définis sur base d’une théorie du changement qui figure dans le dossier annexe. Nous présentons toutefois ici le cadre logique du programme afin de présenter les résultats attendus qui devront faire l’objet de l’évaluation.

OS1 : Renforcer les personnes relais, les OSC et les institutions dans leur capacité d’analyse critique, leurs compétences socio-éducatives et leur pouvoir d’action tant individuel que collectif grâce à des activités de formation et d’accompagnement.

Résultat 1 (Formation) : Les adultes en (ré)orientation professionnelle se situent mieux face aux réalités politiques, sociales, économiques et culturelles au Nord comme au Sud et ont développé des capacités pour orienter ou consolider leurs engagements dans la solidarité internationale à partir de leurs propres contextes de vie et de travail.

Résultat 2 (Formation) : Les adultes migrants en formation d’alphabétisation sont sensibilisés aux réalités politiques, sociales, économiques et culturelles au Nord comme au Sud et ont développé des capacités pour orienter leurs engagements dans la solidarité internationale à partir de leurs propres contextes de vie.

Résultat 3 (Formation) : Les acteurs éducatifs améliorent leurs capacités de conception, de mise en œuvre, d’outillage et d’évaluation d’actions en ECMS.

Résultat 4 (Formation) : Les travailleurs sociaux et les animateurs-formateurs de l’Education permanente ont amélioré leurs capacités de décentration, de compréhension et de négociation interculturelle, et ont renforcé leurs capacités à articuler des situations individuelles avec des contextes institutionnels et sociopolitiques.

Résultat 5 (Formation) : Les agents de développement ont amélioré leurs capacités d’analyse, de mise en œuvre, de suivi et d’évaluation des projets de développement dans lesquels ils sont impliqués, tant au Nord qu’au Sud.

Résultat 6 (Accompagnement) : Les OSC, les ANG et les associations investies dans les relations Nord-Sud renforcent la qualité de leurs actions pour le changement social et développent des pratiques d’évaluation ou de systématisation pertinentes par rapport à leurs finalités.

OS2 : Contribuer à l’amélioration, au renouvèlement et à la défense des pratiques éducatives et sociales liées à la solidarité internationale au niveau belge, européen et du Sud.

Résultat 1 : Les acteurs éducatifs et sociaux belges, européens et du Sud disposent de nouveaux cadres de référence et savoirs sur les pratiques de résistance à la bureaucratisation de la société civile et à la marchandisation des biens communs grâce à la publication et la diffusion des résultats de 2 recherche-actions.

Résultat 2 : les acteurs éducatifs et sociaux belges, européens et du Sud ont accès à une revue spécialisée en ECMS et disposent de nouveaux cadres de référence liés aux problématiques de la solidarité internationale.

Résultat 3 : les acteurs éducatifs et sociaux belges, européens et du Sud enrichissent et améliorent leurs pratiques d’une éducation service du changement social à travers des réseaux de réflexion et d’action collective.

Résultat 4 : les acteurs éducatifs et sociaux belges, européens et du Sud ont accès à des ressources pédagogiques matérielles et numériques portant sur la solidarité internationale, la pédagogie et l’action sociale interculturelle.

Principales sources documentaires

Outre le programme d’ITECO et la Théorie du changement (ToC) qui l’accompagne, ainsi que le dossier technique et financier, ITECO mettra à disposition tout document important en relation avec l’objet de l’évaluation.
Liste non exhaustive des documents disponibles :

• Dossier technique et financier approuvé par la DGD ;
• Mission – vision ;
• Théorie du changement du programme (ToC) ;
• Données du SME du programme (Base de données, tableaux de suivi par année, évaluations des activités, …) ;
• Rapports annuels du programme (scores de performance et leçons apprises, PV AG et rapports annuels à l’AG) ;
• PV des dialogues institutionnels avec la DGD ;
• Rapport de l’évaluation intermédiaire du programme et réponse managériale ;
• PV des mises au vert annuelles de bilans de l’année écoulée ;
• Notes stratégiques institutionnelles ;

Partenaires, parties prenantes et publics impliqués dans l’évaluation

Les partenaires, parties prenantes et publics de l’évaluation seront définis conjointement avec l’évaluateur/ice pour chacun des résultats du Programme à évaluer. Une liste indicative de personnes à être contactées par l’évaluateur/trice pour participer à l’évaluation sera proposée par l’Équipe d’ITECO.

Enjeux de l’évaluation

1/ Justification de l’évaluation

Conformément au cadre du bailleur du programme (DGD), l’évaluation finale du programme doit apprécier les 2 objectifs spécifiques du programme et tous leurs résultats respectifs au regard des critères du CAD (pertinence, efficacité, efficience et durabilité), ainsi que la prise en compte des thèmes transversaux que sont le Genre et l’Environnement, en considérant les ressources disponibles pour leur mise en œuvre et eu égard au contexte de la COVID 19. L’évaluation devra remplir les 3 objectifs qui lui sont fixés par le cadre règlementaire à savoir la redevabilité, l’apprentissage et l’orientation stratégique.

Pour cette évaluation, l’évaluateur/trice pourra se référer à la Théorie du Changement (ToC) explicitant les résultats recherchés. Il/elle sera attentif/ve toutefois à bien centrer leur analyse sur l’évaluation de la pertinence, de l’impact, de l’efficacité, de l’efficience et de la durabilité des résultats atteints conformément aux prescriptions du CAD.

• Pertinence : Degré d’adéquation d’une activité d’aide avec les besoins du groupe cible et les priorités du bénéficiaire.
• Efficacité : Degré de réalisation des objectifs d’une activité.
• Efficience : Rapport entre résultats - qualitatifs et quantitatifs - et ressources mises en œuvre pour les atteindre dans un temps donné.
• Durabilité : Mesure si les bénéfices résultant d’une action de développement peuvent perdurer après la fin de l’intervention. La durabilité est appréciée selon trois aspects : durabilité financière, durabilité sociale et transfert de connaissances / renforcement des capacités.
• Impact : Effets positifs et négatifs, directs ou indirects, intentionnels ou non, induits par une action de développement.

2/ Finalité

La finalité première de cette évaluation finale est de rendre compte de l’atteinte des résultats obtenus par le programme. Elle devra également permettre de tirer des enseignements, de capitaliser sur les bonnes pratiques, et formuler des recommandations pour consolider et pérenniser les acquis du programme et son orientation stratégique.

3/ Objectifs spécifiques

Il s’agit :

a. pour le programme dans son ensemble de :

• Apprécier la prise en compte des dimensions transversales genre et environnement ;
• Evaluer les contributions des résultats du programme par rapport à la théorie du changement élaborée et à la place du programme dans le CSC Belgique et des enjeux/défis qui y sont identifiés ;
• Qualifier la pertinence, l’impact, l’efficacité, l’efficience et la durabilité
  o de la stratégie éducative et
  o des stratégies de partenariat ;
• Répondre aux questions spécifiques de l’évaluation. Elle devra également informer des réalisations du programme et son état d’exécution permettant de tirer des enseignements, de capitaliser sur les bonnes pratiques, et formuler des recommandations pour consolider et pérenniser les acquis du programme ainsi que permettre de contribuer à la conception et à l’exécution de projets similaires ou différents à venir.

b. pour chacun des résultats des 2 objectifs spécifiques du programme de :

• Apprécier l’atteinte du résultat sur les plans qualitatif et quantitatif par rapport aux indicateurs définis et détecter les signes de succès/échec ;
• Qualifier la pertinence, l’impact, l’efficacité, l’efficience et la durabilité des changements observés sur le terrain ;

4/ Questions de l’évaluation

Les questions de l‘évaluation sont les suivantes :

1. Les résultats du programme d’ITECO passés au crible des critères CAD sont-ils conformes aux attentes ? Pourquoi et comment ? Cette analyse des critères du CAD sera faite au niveau de chaque résultat des deux OS du programme.

2. Le programme d’ITECO a-t-il intégré de façon satisfaisante les dimensions transversales genre et environnement ? Quelles sont les leçons apprises et bonnes pratiques qui devraient être favorisées à l’avenir pour les prochains programmes.

3. Quelles sont les principales forces et faiblesses du programme ?

4. Quelles sont les principales leçons tirées par l’équipe d’évaluateurs.trices de l’observation des résultats du programme ?

5. En quoi l’évaluation finale du Programme 2017-2021 peut orienter les choix stratégiques qui pourraient être faits dans les 5 prochaines années (recommandations).

6. Quels sont les facteurs (forces, faiblesses, contraintes, opportunités, menaces etc.) qui auront influencé l’atteinte des résultats du programme ?

7. Dans quelle mesure la recherche action sur la bureaucratie/marchandisation a-t-elle fait avancer ou orienté le prochain programme d’ITECO

8. Comment les enjeux qui ont surgi en cours de programme (p.e. la question décoloniale, la question numérique liée à la question sanitaire) ont-ils été intégrés dans la stratégie et les activités de l’action d’ITECO et quelles en ont été les conséquences dans les orientations stratégiques ? Comment l’ équipe s’est adaptée et quelles mesures ont été prises pour faire face à la crise provoquée par la pandémie de la Covid 19 ?

L’évaluateur/trice accordera une attention particulière au caractère réaliste et exploitable des recommandations. Etant donné le caractère exceptionnel de la pandémie de la COVID 19, il est porté à l’attention des évaluateur/trice d’en tenir compte dans les analyses produites pour chacune des questions de l’évaluation.

Méthodologie de l’évaluation

Le travail d’analyse et de décryptage est envisagé comme un processus. L’évaluation se basera sur une approche participative qui inclut les différents bénéficiaires et acteurs impliqués dans le programme et elle se fera en conformité avec les principes pour l’évaluation de l’aide au développement du Comité d’aide au développement (CAD) de l’Organisation de Coopération et de Développement économique (OCDE). Avec les apports d’une équipe d’évaluation externe et de personnes-ressources, l’évaluation sera menée en plusieurs phases. Le présent appel d’offres porte sur les
phases 2 à 7 du processus :

Phase 1
• Constitution du comité de pilotage de l’évaluation, définition de l’objet, des questions et des termes de référence de l’évaluation ainsi que du processus de choix de l’équipe d’évaluation.

Phase 2
• Cadrage et rapport initial de cadrage.

Phase 3
• Avec l’équipe d’évaluation, mise « à plat » du travail réalisé par ITECO en termes de résultats et d’effets. L’évaluateur/trice.trice s’appuiera entre autre sur les formateurs.trices d’ITECO pour réunir les données et sur certaines personnes ayant participé aux activités d’ ITECO.

Phase 4
• Réalisation d’entretiens, questionnaires ou d’ateliers pour compléter les évaluations.
• Réunion de débriefing du processus d’évaluation.

Phase 5
• Production d’un rapport intermédiaire ;
• Contrôle de la qualité du rapport intermédiaire par le CoPil et l’Équipe d’ITECO

Phase 6
• Production du rapport final préliminaire ;
• Organisation d’un atelier de restitution avec les membres du comité de pilotage et l’équipe d’ITECO et parties prenantes.

Phase 7
• Production du rapport final et du résumé exécutif.

Phase 8
• Publication du résumé exécutif. Production et publication de la réponse managériale.

Utilisateurs finaux

Les utilisateurs finaux de l’évaluation sont premièrement le bailleur de fond du programme, la DGD, puisque le premier objectif de cette évaluation est la redevabilité. En second lieu, l’équipe et les instances d’ITECO ainsi que ses partenaires, groupes cibles et bénéficiaires sont également des utilisateurs finaux de l’évaluation, pour ses dimensions de suivi et monitoring des actions et des stratégies permettant de réorienter ce qui devra l’être, ainsi que pour la dimension apprentissage de celle-ci.

Produits de l’évaluation

L’ évaluateur/trice devra soumettre les livrables suivants, rédigés en français :

1. Rapport initial de cadrage de l’évaluation
Un document de 10-15 pages préparé par l’évaluateur/trice sera remis au plus tard 15 jours après la réunion de cadrage qui permettra de vérifier que la compréhension de l’évaluation, ses objectifs, sa portée, est commune entre l’équipe d’évaluation et le Comité de Pilotage de l’évaluation (CoPil).

Il est préalable au début effectif de l’évaluation et devra détailler la compréhension de l’évaluateur/trice du mandat et des éléments qui seront évalués et les raisons pour lesquelles ils sont évalués, en indiquant comment une réponse sera apportée à chaque question de l’évaluation en précisant : les méthodes proposées, les sources de données proposées, les procédures et de collecte des données.
D’autres questions pertinentes pour l’évaluation pourront être proposées dans le rapport de cadrage qui devra en outre reprendre les points et décisions qui auront été prises lors de la réunion de cadrage.

Le rapport initial de cadrage doit inclure un calendrier détaillé des tâches, activités et livrables. Le rapport initial de cadrage donne au CoPil et à l’évaluateur/trice une opportunité de vérifier qu’ils partagent la même compréhension de l’évaluation et également de clarifier tout malentendu avant le début de la mission. (Voir Phase 2 de la Méthodologie)

2. Compte rendu de l’Evaluation (Débriefing).
Dans les 15 jours qui suivent la fin du processus d’évaluation, ITECO peut demander à l’évaluateur/trice une réunion de débriefing et un compte rendu (débriefing de l’évaluation à chaud, soucis rencontrés et constats préliminaires).

3. Rapport intermédiaire
L’évaluateur/trice fournira un rapport intermédiaire d’évaluation. ITECO et le CoPil doivent examiner ce rapport pour veiller à ce que l’évaluation réponde aux critères de qualité requis et fournir à l’évaluateur/trice, dans un délai convenu, un ensemble de commentaires portant sur le contenu exigé (tel que déterminé dans les TDR et le rapport initial).

4. « Audit trail » du rapport d’évaluation
Les commentaires sur le projet de rapport ainsi que les modifications apportées à la suite de ces commentaires devraient être conservés par l’évaluateur/trice pour montrer la manière dont les commentaires ont été pris en compte.

5. Rapport final d’évaluation
Le rapport final devra contenir les éléments suivants :
• Un résumé exécutif ;
• Un rappel du contexte et des objectifs du programme ;
• Une description de la méthodologie de l’évaluation (en mettant en évidence comment la méthodologie a permis de répondre aux questions d’évaluation, les dispositions prises pour assurer la qualité des sources d’informations, les dispositions prises pour assurer la triangulation des données ainsi que les dispositions prises pour assurer la neutralité du rapport d’évaluation)
• Une analyse des résultats du programme suivant les critères CAD (question d’évaluation n°1)
• Une analyse de la prise en compte des dimensions transversales (question d’évaluation n°2)
• Une analyse des forces, des faiblesses et des leçons identifiées à partir de l’analyse des résultats du programme (questions d’évaluation n°3, 4 et 6)
• Une partie concernant les orientations stratégiques d’ITECO ((questions d’évaluation n°5)
• Une partie contenant les réponses aux questions d’évaluation spécifiques (questions d’évaluation n°7 et 8)
• Une synthèse des constats et recommandations
Pour la finalisation du rapport de l’évaluation, un atelier de restitution des résultats clés aux parties prenantes/partenaires de mise en œuvre sera organisé. Le rapport final devra intégrer les ajouts et commentaires fournis par les parties impliquées dans le processus d’évaluation.

Nous nous attendons à un travail précis, concis, sans redondance (les conclusions des réunions de cadrage, des réunions du CoPil, des ateliers devront figurer en annexe du rapport). Le rapport final ne devrait pas dépasser 150 pages, sans les annexes.

Ethique de l’évaluation

La réalisation de cette évaluation devra être basée sur les principes énoncés dans les directives d’éthique du Groupe des Nations Unies sur l’Evaluation (UNEG1). Cette évaluation devra s’attacher à mettre en lumière les principaux critères de qualité d’une évaluation, à savoir l’utilité de l’information fournie, sa crédibilité, ainsi que sa pertinence et sa valeur ajoutée.

Rôles et fonction des parties prenantes de l’évaluation

L’évaluateur/trice travaillera sous l’autorité du CoPil constitué pour cette évaluation. Elle sera responsable de la bonne conduite de l’évaluation, de la fourniture de tous les livrables dans les délais prévus à la personne de contact et assurera la bonne restitution des conclusions et recommandations.
Le Comité de Pilotage (CoPil) sera composé de représentants désignés de l’équipe (Julia Petri, Chafik Allal et Vincent Stevaux), des instances et des partenaires d’ITECO dans l’exécution du programme évalué. Il aura la responsabilité de la gestion globale de l’évaluation, s’assurera de la conformité du processus avec les requis de l’organisation et effectuera le contrôle de qualité du processus -depuis l’élaboration des présents TdR jusqu’à la réception des livrables- et des produits de l’évaluation (livrables).

La personne de contact désignée au sein du CoPil sera le point focal par lequel transiteront toutes les informations reçues par ou à destination de l’évaluateur/trice et du CoPil. Il fera également le lien et rapportera du processus à l’équipe et aux instances d’ITECO.

Processus d’élaboration des TdR

Les bases pour l’élaboration des Termes de Référence pour l’évaluation finale ont été posées par l’Équipe d’ITECO. Cette proposition initiale est analysée et améliorée par le Comité de Pilotage du processus ensuite les Termes de Référence sont publiés.

Processus de sélection de l’évaluateur/trice

1) Propositions des prestataires : ce qui est attendu
Pour pouvoir être prise en compte lors du choix du prestataire, la proposition des prestataires devra comprendre les éléments suivants :
  CV des membres de l’équipe d’évaluation
  Analyse des TdR décrivant leur compréhension de la mission d’évaluation proposée
  Description de l’analyse par l’évaluateur/trice de la cohérence entre attente, budgets et délais/calendrier de l’évaluation
  Proposition méthodologique par rapport à l’objet, la portée et les objectifs spécifiques de l’évaluation
  Calendrier de réalisation de l’évaluation en fonction des livrables avec le nombre de jours de travail pour chaque partie
  Proposition financière forfaitaire pour la réalisation des produits attendus (livrables) incluant tous les frais liés à la mission (frais de déplacement, accommodation, impression, communication etc.)
  Lettre de confirmation d’intérêt et de disponibilité signée
L’évaluateur/trice devra être indépendant de toute organisation impliquée dans la conception, l’exécution ou le conseil ayant trait à l’un des aspects de l’intervention faisant l’objet de l’évaluation.

Une fois les propositions reçues, une réunion sera organisée par la personne de contact avec l’équipe d’ITECO où seront présentées les propositions. Une analyse comparative entre les différentes propositions sera effectuée en tenant compte des points suivants :

  Analyse des CV des candidat.e.s (connaissance ECMS, coopération, processus DGD, critères CAD, expérience évaluation) et de leur complémentarité (diversité) ;

  Analyse des éléments objectifs de la proposition (budget/calendrier/délais, recevabilité des proposition) ;

  Analyse de

o La cohérence entre attentes, budget et calendrier ;

o la compréhension de la mission d’évaluation ;

o la proposition méthodologique par rapport à l’objet, la portée et les objectifs spécifiques de l’évaluation.

Le choix de l’évaluateur/trice sera réalisé suite à cette réunion et communiqué à tous ceux/celles qui ont envoyé une proposition recevable.

2) Profil des membres de l’équipe d’évaluation
L’évaluateur/trice devra remplir les conditions suivantes :
• Posséder une expérience dans le domaine de l’éducation permanente et de l’ECMS, et plus particulièrement dans l’évaluation externe dans ces domaines.
• Maîtriser la méthodologie de la gestion axée résultat et de la ToC.
• Maîtriser la méthodologie de la recherche-action.
• Une attention particulière sera portée sur les mixités au sein de l’équipe d’évaluateurs.trices en cas de constitution d’une équipe évaluatrice (intersectionnalité).

Personnes à contacter :
• Vincent Stevaux
• 02 243 70 30.
• ITECO
• 2, rue Renkin - 1030 Bruxelles

3) Calendrier indicatif

20/12/2021 Réception des offres aux adresses suivantes : Vincent Stevaux et Evaluation ITECO (à minuit le 20 décembre 2021 au plus tard)

23/12/2021 Sélection puis contractualisation (avant le 31/12/2021)

Décembre 2021 à avril 2022 Réalisation de l’évaluation, selon planning à convenir

Au plus tard le 24/04/2022 Remise du rapport intermédiaire

Entre le 25/04 et le 06/05/2022 Restitution du rapport intermédiaire et commentaires

Au plus tard le 15/05/2022 Remise du rapport final et du résumé exécutif.

4) Planification indicative

Réunion cadrage 1 jour

Réalisation de l’évaluation 35 jours

Rapports et restitution 20 jours

TOTAL 56 jours

Budget

Le budget pour les phases 2 à 7 de cette évaluation est fixé à 22.000 € HTVA maximum.

ITECO.be
+32 2 243 70 30
2, rue Renkin - 1030 Bruxelles