ITECO.be

L’évaluation est le processus qui nous permet de mesurer l’impact de nos actions, de calibrer le degré d’adéquation de nos propositions par rapport aux contextes et aux publics et d’améliorer le travail à venir. Mais jusqu’à présent les évaluations de projets d’éducation au développement sont peu nombreuses et des critères clairs d’évaluation n’ont pas encore été élaborés.

L’évaluation est aussi un sujet conflictuel et contradictoire et parfois éludé aussi bien par les bailleurs de fonds et les exécutants des projets, qui ont tendance à lui préférer des chiffres et des mensurations apparemment plus fiables que les appréciations et les jugements de valeur qualitatifs, subjectifs et difficiles à soupeser.

Les bailleurs savent bien néanmoins que les quantifications du public touché ou des fonds récoltés ou du nombre de matériaux produits —vidéos, livres, guides didactiques— ou du nombre de personnes et institutions auxquelles ces matériaux ont été distribués, ne disent pas grand chose concernant l’impact du message parmi le public ni ne nous donnent accès à des clés de compréhension et de suivi d’un processus de formation.

En outre, certains en sont arrivés à penser que tous les schémas d’évaluations se valent, n’ayant qu’à opérer sur eux quelques modifications selon les contextes ou les aires de travail auxquels ils vont s’appliquer. Ainsi, des schémas d’évaluation propres à des projets productifs ont été adoptés pour évaluer des projets d’éducation au développement. Malgré le décalage évident, il est préférable de disposer d’instruments rigides que de ne pas disposer d’instrument du tout.

L’Union européenne, principal bailleur de fonds dans le domaine de l’éducation au développement, a mené à bien au moins trois évaluations pour l’ensemble de l’Europe. La première a eu lieu en 1988, après dix ans de cofinancement de projets en éducation au développement. Pendant la période 1983- 1987, l’Union européenne a financé 342 projets pour un budget total de 18 807 342 écus de l’époque.

L’Université catholique de Louvain a été ensuite chargée d’une deuxième évaluation, entre 1989 et 1991, qui, comme la précédente, a analysé divers projets dans les domaines formel et non formel, avec des résultats assez semblables à l’étude précédente dans la mesure où elle couvrait la période 1984 - 1989, fort proche de la période couverte par l’étude précédente. Des pourcentages sont comparés et une analyse plus qualitative est menée surtout en ce qui concerne la production de matériaux pédagogiques, des publications et des matériaux audiovisuels, avec une attention particulière portée au travail vis-à-vis du public syndical agricole et industriel.

Une troisième évaluation, à la charge de Manchester Metropolitan University, au Royaume-Uni, et EDI-IRFED, à Paris, s’est centrée sur des projets réalisés dans le cadre de l’éducation formelle. Septante- neuf projets menés à bien entre 1991 et 1997 ont été passés en revue dans cette étude. Quarante d’entre eux ont été analysés en profondeur et une vingtaine, venant de l’Allemagne, l’Espagne, la France, l’Italie et le Royaume-Uni, ont été sélectionnés pour la publication du rapport final.

Ces septante-neuf projets d’éducation au développement dans le milieu scolaire représentaient 17 % du budget de la Commission européenne pour l’éducation au développement. L’Italie concentrait 27 % de ce budget, l’Allemagne 18 %, le Royaume-Uni 14 %, l’Espagne 10 % et la France 8,5 %. La plupart de ces projets se destinaient à la production de matériaux pédagogiques ou à la formation des enseignants.

Un exemple, le projet JUWEL, Jeunes pour un seul monde, 1995-1997. Il abordait le sujet de l’interdépendance Nord- Sud dans le domaine socioéconomique et aussi écologique. Pour réaliser ce projet, il proposait une formation continuelle des enseignants, la création de matériaux élaborés par des pédagogues ou par les élèves eux-mêmes, ainsi que du lobbying auprès des autorités pertinentes pour élargir la portée de l’éducation au développement.

Un autre exemple, le projet EPIZ, à Berlin. Il est vrai que les conditions dans l’association étaient optimales. Elle a été créée au Parlement de Berlin, elle dispose d’une bonne infrastructure, de ressources humaines et financières, si bien que nous sommes devant un projet exemplaire.

EPIZ a été créé par le Parlement de Berlin qui fonctionnait jusqu’alors comme une ville-Etat. 12 % de la population berlinoise sont des étrangers. EPIZ jouit de beaucoup de prestige et a réuni 17 ONG pour former des enseignants. Chaque année environ 150 enseignants et 5 mille étudiants suivent ces formations. EPIZ possède un centre de documentation qui réunit 3 mille titres environ (livres et vidéos). Sa capacité d’intervention est importante du fait de son action en commun avec dix-sept ONG, dont quatre sont en consortium avec EPIZ.

Logique de l’intervention

Objectif global

• Intégrer l’éducation globale et le thème Un seul monde dans le curriculum scolaire
• Combattre les préjugés concernant les étrangers

Objectifs spécifiques

• Développer le programme d’intervention scolaire dans le domaine qualitatif et quantitatif
• Elargir le travail partout dans Berlin alors unifié
• Offrir une formation continuelle aux professeurs
• Créer un partenariat avec quatre ONG actives dans l’éducation au développement
• Influencer les institutions publiques pour promouvoir l’éducation au développement

Résultats attendus

• Plus d’intérêt et des informations sur l’éducation au développement parmi les enseignants et étudiants
• Diminution des attitudes négatives par rapport aux étrangers
• Elargir la capacité d’intervention grâce au partenariat
• Gagner en crédibilité auprès des enseignants, des centres d’enseignement et autres acteurs de l’éducation au développement
• Ouvrir des voies pour l’intégration de l’éducation au développement au parcours scolaire

Activités

• Des interventions d’éducation au développement dans des centres scolaires et au sein des associations
• Participation dans la formation continuelle des enseignants
• Appui et suivi des enseignants et d’autres acteurs multiplicateurs
• Création de méthodes et matériaux didactiques
• Des instruments d’évaluation
• Congrès des étudiants
• Journal des étudiants
• Utilisation du centre de documentation, en particulier,des matériaux audiovisuels.

Courant 1996, ce projet a réalisé 246 interventions dans des écoles, ce qui équivaut quasiment à une intervention par jour d’école. Et le projet a travaillé en réseau avec des ONG de différents pays : Ecole et tiers monde, en Suisse, Baobab, en Autriche, l’Université de Masarik, en Tchéquie, le Centre Nord- Sud, au Portugal et Intermón, en Espagne, ce qui a apporté une dimension européenne à l’action.

Ce projet a été évalué de manière optimale non seulement en vue de la quantité d’interventions mais aussi par sa planification à long terme, la qualité de ses ressources, le travail en réseau sur le plan local et européen. Il n’est pas fréquent de trouver un aussi solide projet.

Le processus d’évaluation a été similaire pour tous les projets analysés. En premier lieu, les évaluateurs ont étudié la documentation, les objectifs, les groupes cibles, les actions et le budget. La méthode suivie comprenait les étapes suivantes :
1. Analyse de la formulation du projet
2. Etude des rapports de fonctionnement
3. Evaluation du rapport final par rapport au processus et aux résultats

Ensuite, une analyse de la trajectoire de l’ONG et de ses stratégies d’éducation au développement les plus stables est menée, ainsi qu’un diagnostic du contexte dans lequel l’ONG agit.

1. Etude des rapports d’activités annuels de l’ONG
2. Documentation sur ses liens et appuis officiels
3. Analyse des matériaux produits

Ensuite, sur le terrain du projet
1. Interviews des responsables directs du projet
2. Interviews des institutions publiques et autres ONG impliquées directement ou indirectement dans le projet
3. Rencontres avec les groupes cibles, les enseignants et les écoles directement touchés par le projet

Avec l’ensemble de ces données, il est réalisé une synthèse appelée logique d’intervention, dans laquelle le processus est réduit à des objectifs globaux, objectifs spécifiques, résultats attendus et actions menées en accord au contexte, aux ressources humaines, matérielles et financières. D’autres indicateurs sont le sujet choisi, les caractéristiques pédagogiques et, d’exister, les aspects innovateurs du projet.

Ainsi qu’on peut l’observer, ceci est une évaluation a posteriori, menée une fois le projet fini. Même si peu d’ONG prévoient une évaluation extérieure, une telle étude est réalisée aussi après la conclusion L’évaluation permanente se révèle complexe et onéreuse du projet. L’Union européenne a suggéré que ces évaluations fassent partie du processus, qu’il s’agisse d’une validation extérieure continuelle et non uniquement finale. Néanmoins, cette formule idéale se révèle complexe et onéreuse autant pour l’ONG que pour l’ Union européenne.

Sources

Doris Voorbraak, 1988 Rapport d’évaluation IRFED - MMU, 1998