ITECO.be

Pourquoi fait-on une évaluation ? C’est de cette question qu’il faut toujours partir au moment d’entreprendre un processus de ce type. Cet article vise à aider les animateurs en éducation au développement à rendre explicites les logiques implicites présentes dans tous les projets, en examinant les différentes phases d’un processus évaluatif.

Nous fournirons, à cette fin, des techniques utiles à l’évaluation d’un projet spécifique, et surtout à l’analyse de la politique globale d’éducation au développement de l’ONG. L’évaluation est et reste un instrument au service de l’évaluateur, de ses besoins et de ses objectifs. L’évaluation « objective » en soi n’existe pas, il n’y a que différentes interprétations possibles de la réalité.

Que peut-on évaluer ? Tous les objectifs d’un projet peuvent être évalués : il faut choisir les aspects les plus intéressants. Ce qui est généralement évalué, ce sont les personnes, les responsabilités, les objets, les informations, les activités, l’impact externe, le nombre de participants aux activités (pour donner un exemple d’évaluation quantitative) ou le type de changement qui a eu lieu à l’intérieur d’une structure (évaluation qui peut être quantitative ou qualitative).

Les données obtenues doivent toujours être observables (même dans l’analyse qualitative) et utiles à l’objectif de l’évaluation. Un objectif peut toujours être évalué. Mais il se peut qu’il ne soit pas mesurable : en effet, la mesure renvoie l’évaluation uniquement au niveau quantitatif alors que certains éléments des projets ne sont pas quantifiables même s’ils devraient être observables. Il importe de distinguer entre objectifs à court terme, à moyen terme et à long terme.

Comme on peut le déduire du schéma suivant, chaque objectif fait partie d’une finalité (laquelle n’est habituellement pas mesurable). Tout projet peut être subdivisé en plusieurs étapes partielles qui doivent être évaluées selon une logique particulière. Le problème réside dans la définition a priori aussi bien de la place que de la logique du projet à l’intérieur du changement politique souhaité :

• les objectifs spécifiques du projet d’ éducation au développement
• les objectifs généraux de l’ONG en matière d’ éducation au développement
• les objectifs plus larges du milieu concerné par l’ éducation au développement dans son ensemble
• le changement politique final visé.

Comment évaluer ?

Autre difficulté majeure du processus évaluatif, le choix entre méthode quantitative ou qualitative. Bien que la première soit souvent perçue comme neutre, il est nécessaire de les employer toutes les deux (en veillant à ce que les éléments recueillis avec les deux méthodes soient observables). L’objectivité et la neutralité de l’évaluation quantitative sont une pure illusion : n’importe quelle grille d’évaluation peut être utile si elle est adaptée aux différents projets des promoteurs.

Quel type d’évaluation ?

Bien souvent, deux modèles extrêmes d’évaluation sont utilisés :
1. l’évaluation externe réalisée par un observateur une fois le projet achevé
2. l’évaluation interne ou participative, planifiée a priori, qui prévoit également l’autoévaluation des partenaires.

Lors de la réalisation, par exemple, de projets à résultats transférables, —typiques des expériences pilotes— le bailleur de fonds impose une évaluation, et parfois l’intervention d’un expert censé garantir davantage d’objectivité. Cette intervention ne rend toutefois pas une évaluation plus objective et neutre, car les critères choisis par une personne extérieure peuvent s’avérer inadéquats.

L’évaluation aura plus de sens si l’animateur responsable du service évalué participe à la définition des critères qui seront appliqués. Même quand l’évaluation est imposée, l’animateur doit pouvoir s’en approprier et participer à sa réalisation, en impliquant bien évidemment le groupe cible. Celui-ci devrait être un véritable partenaire : les problèmes des projets s’expliquent en fait, dans la plupart des cas, par la faible connaissance et le peu d’implication du groupe cible, lequel, dans le cas d’une évaluation participative, peut au contraire devenir une sorte de partenaire du projet.

L’auto-évaluation mérite une attention toute particulière et peut s’avérer très importante si elle n’est pas confondue avec du nombrilisme. Souvent, il suffit de regarder le budget que l’organisation y consacre, pour déterminer si elle est vraiment prioritaire pour l’organisation. Ce premier niveau d’analyse permet de comprendre que l’évaluation ne doit pas forcément être compliquée : elle constitue une possibilité de réflexion sur les actions menées.

L’évaluation comme instrument d’analyse politique

Le problème principal auquel il convient de réfléchir est le changement souhaité. Dans un processus évaluatif, il importe de définir la place et la logique du projet à l’intérieur de l’ONG. Il ne faut pas seulement approfondir le choix des “ critères objectifs ”, mais plutôt pourquoi il y a ce type d’objectifs— et non d’autres—, la place du projet dans l’organisation, le rôle que celle-ci joue et veut jouer en matière d’éducation au développement ainsi que le rôle de l’ éducation au développement dans le changement politique. Dans l’évaluation d’un projet, il s’agit donc de déterminer également son positionnement politique.

Puisque le but de l’éducation au développement est d’aider les personnes à devenir des citoyens du monde et à prendre conscience de la dimension internationale, en vue de modifier leurs attitudes et leurs comportements, il en découle la nécessité de s’interroger sur le rôle des ONG et sur leur contribution à la construction de cette réalité.

La place de l’éducation au développement doit être définie par l’ONG avec sérénité et à partir d’une approche globale, touchant plusieurs aspects : chaque organisation a une identité ou est à sa recherche ; elle possède une histoire, des valeurs qui dépendent également de ses origines, de ses ressources humaines et financières ; elle opère dans un contexte du Nord (raciste, antiraciste, dans un contexte économique et politique de droite ou de gauche) ; et elle essaie d’avoir une visibilité à partir du contexte dans lequel elle est insérée. L’ONG doit clarifier le choix politique qui la caractérise.

Ce n’est qu’après avoir étudié à fond ces thématiques qu’on peut réfléchir au rôle de l’ éducation au développement dans l’ONG et, par conséquent, à son pouvoir de changement politique. L’éducateur au développement doit être conscient des limites de son action ainsi que de la place occupée par l’éducation au développement parmi les finalités politiques de l’organisation.

Et en Italie ?

L’ensemble du mouvement associatif italien est en crise d’identité : les grandes luttes des années quatre-vingt se sont diluées dans des activités de service perdant ainsi de vue l’option politique. Aujourd’hui, nombre d’ONG cherchent à survivre, à être visibles, à l’avant-garde, à se mettre à jour : comment trouver du temps pour entamer une réflexion politique plus large ?

En Italie, le changement culturel est significatif sur le plan politique : c’est pourquoi la visibilité de l’association devient toujours plus déterminante. Malgré la nécessité d’une approche globale vis-à-vis du territoire, le monde de la coopération italien n’est pas doté d’une stratégie politique générale.

Que faire, sinon s’insérer de manière profonde sur le territoire et d’accroître le rôle politique des organisations afin de repenser la coopération ; également, dépasser la distinction actuelle entre projet au Nord et au Sud, via la création de partenariats aussi bien au Nord qu’au Sud.

Il apparaît en fait de plus en plus clair qu’il est nécessaire de bâtir une identité propre à partir de dynamiques participatives dans le contexte d’une réflexion globale. La réflexion sur le changement social devrait être entamée, sous la forme d’un projet commun, par des acteurs sociaux aussi bien du Sud que du Nord, tout en impliquant ceux qui n’appartiennent pas au monde de la coopération. L’évaluation de chaque projet n’a de sens qu’en rapport avec le contexte politique élargi. Une réflexion de ce type doit avoir lieu à l’intérieur de l’ONG.

Au moment d’entamer un projet d’éducation au développement, de multiples questions ouvertes subsistent : quelle cohérence y a-t-il entre le projet et le choix politique ? Quel est le rôle du Sud dans les finalités politiques de l’ONG ? Comment mettre plus en valeur l’importance politique centrale du Sud ? Education au développement, également au Sud ? Quelle est la finalité politique du Sud ? Quels sont les modèles de développement que l’on souhaite proposer ?

Dans les projets d’éducation au développement, la promotion de l’importance capitale du Sud s’impose avec toujours plus de force. Son rôle peut être, à ce propos, direct ou indirect. Il est direct quand il existe un échange portant sur un projet commun et un engagement social. Il est indirect quand ce n’est pas le Sud qui parle du Sud, mais qu’il existe une sorte de traduction, même si elle est réalisée par des experts : il arrive qu’on ne donne la parole qu’à quelques représentants locaux qui font malgré tout office de représentation. Une représentation artistique, par exemple, a-telle une valeur en dehors de son contexte ? Ne risque-t-on pas de créer un intérêt purement exotique ?

Un artiste doit-il être considéré comme valable tout simplement parce qu’il est du Sud ? En effet, le Sud a été souvent considéré comme l’usager d’un traitement d’assistance. Certes, il y a eu des progrès dans ce domaine. Ce que nous proposons est de se servir des innovations pour exalter le Sud tout en suscitant la réflexion.

Quel rapport avec les médias ?

La possibilité de gestion des médias détermine les potentialités du projet. L’utilisation des médias est en même temps importante et problématique : beaucoup d’informations devraient être rectifiées, mais il faudrait que les ONG s’accordent davantage en la matière. D’ailleurs, les médias touchés sont normalement les plus petits, qui font preuve d’une plus grande disponibilité, mais qui ont un moindre impact sur le grand public. Si l’on veut trouver des moments de réflexion communs avec les médias, pour leur transmettre une autre vision du Sud, il est nécessaire de construire un espace fixe et une relation stable.

Quelle relation entre éducation au développement et récolte de fonds ?

A côté des projets d’éducation au développement, beaucoup d’associations continuent de proposer un message à partir d’un modèle qui se contente de demander de l’argent au public, sans chercher à susciter chez lui une interprétation complexe d’une situation ; ceci peut même constituer un obstacle dans les campagnes d’aide d’urgence. Les projets de ce type mettent l’accent sur la récolte de fonds, en employant des messages qui visent le court terme et qui font référence au devoir d’aider les plus pauvres et les nécessiteux, de telle sorte qu’ils occupent la presque totalité de l’espace disponible dans les médias.

Il existe un problème de coordination entre éducation au développement et récolte de fonds, avec le risque que les grandes ONG européennes actives dans ce domaine absorbent tous les espaces et tous les fonds fournis par la société, au risque de laisser les plus petites organisations vivoter dans une situation précaire. Le défi consiste à trouver un message capable de rendre les conscients, sans pour autant tomber dans le slogan.

Illustration d’une évaluation

Dans un processus évaluatif, comme nous l’avons déjà dit, il importe avant tout de clarifier ce qu’on veut évaluer et pourquoi : les réponses à ces questions émergeront grâce au recours à différentes méthodologies. Nous présenterons brièvement ici celles appliquées lors du séminaire.

Dans cette rencontre, nous avons réalisé une auto-évaluation, avec une méthode participative : à travers des grilles et un travail en couples, en groupes et en plénières, les participants devaient lire leurs projets en vue de les placer in fine dans le cadre des finalités politiques de chaque ONG.

Le choix du domaine d’intervention

De l’analyse effectuée par les groupes, ressortent certains points de réflexion intéressants, par exemple les motivations à la base du choix du domaine d’action. Les suivantes ont été mentionnées parmi celles qui justifient le choix de l’école (un secteur considéré comme prioritaire) :

• l’école est un lieu prioritaire pour faire de la formation
• l’école est un endroit où l’on trouve une diversité de représentation des bénéficiaires, ce qui permet le recours à une diversité d’approches aussi bien au niveau des thématiques que des publics
• l’école constitue un partenaire stable et facile
• l’école peut s’ouvrir à d’autres espaces.

Les domaines d’intervention sont quelquefois sélectionnés sans effectuer d’abord une analyse politique détaillée de la réalité, qui mette en évidence les besoins ainsi que les relations de ces besoins avec les objectifs. Le choix de l’école comme champ d’intervention, par exemple, est motivé par la possibilité d’établir un partenariat stable ; on peut toutefois se demander si c’est vraiment le cas. Et même si l’école était un partenariat facile, dans l’optique du changement souhaité, quelle serait la meilleure solution ? Faire naître un partenariat facile et connu, ou construire des nouveaux partenariats avec d’autres groupes cibles plus intéressants mais plus difficiles à contacter parce qu’on ne les connaît pas ?

La clé de lecture

Dans la première phase du séminaire, les participants ont relu et interprété les projets, en étant attentifs aux réussites —en les mettant en relation avec les potentialités—, et aux échecs –en les mettant en relation avec les limites internes et externes. Les résultats auxquels nous sommes parvenus sont les suivants :

Les réussites

• dans le projet, le groupe cible devient partenaire de l’action
• le projet a permis une ouverture à d’autres acteurs du territoire
• le projet a favorisé la création de nouveaux liens avec d’autres groupes
• le partenaire a été impliqué de manière stable dans le projet
• le projet a eu un effet multiplicateur
• dans le projet, la formation a assumé un rôle politique
• le projet a répondu aux attentes du groupe cible
• le recours aux médias s’est avéré bon.

Dans un processus évaluatif est utile de focaliser les potentialités et les points forts à l’intérieur d’un projet car ce sont eux qui déterminent les succès.

Les potentialités et les points forts

• le projet est né d’une analyse de la réalité sans avoir été imposé d’en haut ;
• le projet et les méthodologies utilisées correspondaient aux objectifs ;
• dans le projet ont été employées des ressources externes déjà identifiées dans d’autres expériences d’éducation au développement ;
• le projet s’est distingué par une bonne organisation ;
• le projet a produit et diffusé un bon matériel ;
• le projet a été caractérisé par de bons rapports avec les institutions ;
• dans le projet, les ressemblances et les différences y ont été valorisés ;
• le projet s’est caractérisé par une approche innovatrice ;
• dans le projet, la représentation du Sud a été réalisée par le Sud. Dans un processus évaluatif, il est également utile de focaliser les obstacles ou les limites internes d’un projet, car souvent ce sont eux qui déterminent les échecs.

Les limites et les points faibles

• le projet a souffert d’une très forte rotation entre les agents occupés d’éducation au développement
• le projet a révélé une faible connaissance du territoire
• les ressources du projet étaient inadéquates
• l’évaluation ne pouvait y être mesurée de manière directe
• dans le projet, il y a eu une estimation erronée des temps et des espaces du groupe cible
• le projet manquait de cohérence méthodologique
• les institutions lui ont imposé des limites.

Qu’entendons-nous par impliquer le cible ?

L’implication du groupe cible est fréquemment considérée comme une condition indispensable pour la bonne réussite du projet. Il est toutefois nécessaire de définir cet objectif avec plus de précision : se contenter d’une définition générique d’un objectif à ce point significatif ne permet en général pas de l’évaluer de manière adéquate.

Comment encourager l’implication ?

L’implication est promue quand :

• le groupe cible participe à toutes les phases du projet
• la satisfaction et les compétences sont évaluées en utilisant d’indicateurs précis -*la communication est adaptée au type de cible et au type d’implication souhaitée -*l’implication est stimulée dès la phase de planification du projet
• il est prévu la possibilité de s’adapter au cible au cours du projet
• le projet relie les problèmes locaux aux problèmes internationaux
• le projet à identifié les thématiques les plus significatives pour le groupe cible -*l’organisation est crédible et visible.

Et l’implication à l’école ? Quelques indicateurs pour mesurer l’implication des élèves :

• augmentation de l’attention pendant les cours
• attitudes critiques des élèves vis-à-vis de la publicité
• accroissement des compétences portant sur un emploi plus correct de la langue et des langages
• augmentation de la technique et de l’autonomie technique
• acquisition d’une plus grande capacité de déconstruction des stéréotypes -*volonté de poursuivre le projet.
• Quelques indicateurs pour mesurer l’implication des enseignants :
• acquisition d’un point de vue différent
• des propositions d’activités concrètes en matière d’interculturalité et d’ éducation au développement à l’école
• questionnement des rapports avec le Sud.

Des indicateurs pour mesurer l’implication de l’opinion publique  :

• il y a une manifestation de curiosité de la part de l’opinion publique
• l’opinion publique change tant aux niveaux du langage que des attitudes
• des changements dans les comportements et dans la pratique quotidienne sont évidents
• le public s’engage à la promotion d’un projet d’éducation au développement.

Voici pour finir une proposition d’une échelle des différents types de participation et d’implication de la part du groupe cible :
1. l’intérêt est exprimé
2. on manifeste un changement de mentalité
3. un changement dans les comportements quotidiens est palpable
4. le groupe cible devient partenaire
5. le groupe cible devient une ressource pour l’association
6. le groupe cible devient autonome pour proposer des initiatives d’éducation au développement.

Pour impliquer le groupe cible, la visibilité et la crédibilité d’une ONG jouent souvent un rôle important, ainsi que le caractère significatif d’une proposition qui met en relation problèmes locaux et problèmes internationaux.

En guise de conclusion, nous voudrions une nouvelle fois attirer l’attention sur la nécessité d’affronter le processus évaluatif comme étant un instrument puissant destiné à valoriser les potentialités de chaque projet, et ce à condition de les situer à l’intérieur d’un horizon plus large. De ce point de vue, les grilles ou les indicateurs choisis par l’évaluateur sont à son service : ils sont facilement identifiables à la condition de d’abord bien préciser les objectifs. Ce texte décrit la tenue d’un atelier sur l’évaluation organisé par les ong italiennes Fratelli dell’Uomo et ASPEM et fut publié dans le n°10 de Forum Valutazione, périodique du Comitato internazionale per lo sviluppo dei popoli, CISP