ITECO.be

Dans la foulée du questionnement des ONG et de leur fédération Acodev sur l’évaluation, le COTA a décidé, en 2000, d’entreprendre une étude pour connaître la pratique et identifier les besoins des ONG belges en matière d’outils méthodologiques dans le domaine de l’évaluation des projets de développement dans le Sud. Un questionnaire a été envoyé à l’ensemble des ONG belges.

La deuxième phase de la recherche a consisté en des entretiens plus approfondis, menés auprès d’un échantillon de quinze ONG de financement de partenaires du Sud, dont onze de petite taille, afin de valider, affiner et compléter les résultats du questionnaire écrit. Un résumé des principaux éléments tirés des questionnaires et des entretiens est repris ci-dessous.

Concept flou et méconnaissance de l’évaluation

Les premiers résultats du questionnaire montrent essentiellement un besoin et une demande des ONG ( 81 % ) pour des outils méthodologiques et conceptuels en matière d’évaluation. Plus de 90 % des ONG de financement de partenaires se déclarent familières avec le concept d’évaluation. En approfondissant le sujet on constate que la plupart des ONG de petite taille ou récentes confondent souvent évaluation et audit ainsi que évaluation et suivi. Lorsque le bailleur de fonds est à l’initiative de l’évaluation, la distinction entre évaluation et audit n’est pas toujours perçue et les ONG craignent des sanctions si l’évaluation est critique. Les ONG confondent parfois évaluation et suivi par l’ONG du Nord (rappelons que l’étude a pour objet les ONG belges donc situées au Nord) lorsque ce suivi implique une visite de terrain par le gestionnaire de projet ou par un membre de la direction de l’ONG. En effet, la plupart des ONG voient principalement l’évaluation comme un outil de pilotage à leur disposition pour améliorer et réorienter le projet.

Les ONG soulignent aussi un rôle important de l’évaluation, celui d’apprentissage pour les différents acteurs et notamment pour elles-mêmes.

Partenaires et bénéficiaires

Dans le cadre du cofinancement des ONG par la coopération belge, les actions appuyées au Sud sont nommées « financement de partenaires « alors que la notion de partenaire recouvre des réalités extrêmement différentes. Les entretiens ont montré une multitude de compréhensions et de définitions du partenariat ainsi qu’une confusion fréquente entre partenaires et bénéficiaires en utilisant des amalgames et vocables réductifs, comme « la population », « les villageois », « les bénéficiaires ».

Dans les évaluations à leur initiative, les ONG agréées pour le financement de partenaires et projets estiment que dans 40 % des cas le « partenaire local » participe à l’organisation et à la préparation d’une évaluation, mais souvent il s’agit d’une consultation sur le moment de l’évaluation et les termes de référence. La notion de participation des bénéficiaires est ambiguë et correspond souvent à la simple consultation de représentants des bénéficiaires ou des organisations de base. Comme l’écrit une ONG, « la participation est généralement passive et consiste essentiellement à vérifier le degré de satisfaction des bénéficiaires qui sont évidemment les mieux placés pour dire si le projet répond à leurs attentes ».

Lorsqu’elles parlent des évaluations qu’elles mènent ou commanditent, les petites ONG font souvent référence aux visites de terrain plutôt qu’à une évaluation avec un ou des objectifs clairs, une méthodologie et des critères explicites…

Une culture d’évaluation insuffisante

Malgré l’utilité des évaluations, la plupart des ONG estiment que la culture d’évaluation n’est pas suffisamment généralisée parmi elles : trop peu de culture d’apprentissage au sein de l’ ONG, peur de la remise en question des actions et des personnes, manque de culture de l’efficience et de l’efficacité à long terme et crainte que l’évaluation soit vue essentiellement comme un contrôle et un jugement qui condamne. La principale raison évoquée est le manque de moyens conceptuels. La méthodologie de l’évaluation est une boîte opaque dont le contenu est peu connu ou inconnu et qui cache souvent une méconnaissance de ce qu’est une évaluation.

Outre le coût (voir plus loin), surtout pour les petites ONG, les autres raisons invoquées sont le manque de temps et de ressources humaines tant internes à l’ ONG (gestionnaire débordé) qu’externes et la difficulté (aussi manque d’argent et de temps) de trouver de bons évaluateurs. Plus que les ONG de financement de partenaires, la grande majorité des ONG d’éducation au développement éprouvent des difficultés à trouver des évaluateurs.

Utilité de l’évaluation et parfois déception

Plus de 90 % des ONG de financement de partenaires considèrent que l’évaluation leur a été utile mais beaucoup d’ ONG se demandent comment mieux restituer et surtout mieux utiliser les résultats de l’évaluation et comment mettre en œuvre les recommandations.

Pour la plupart des ONG, l’intérêt et l’apport d’une évaluation sont fortement dépendants des évaluateurs, de l’opérationnalité des recommandations et de la méthodologie utilisée. Par contre, les ONG qui ne financent pas des partenaires estiment souvent que l’utilité de l’évaluation dépend aussi du moment de l’évaluation ainsi que du commanditaire et du gestionnaire de projet.

Certaines ONG sont déçues par les évaluations parce qu’ « il n’y a pas de suite » alors que celle-ci est de la responsabilité de l’ ONG ( et de son partenaire ) : les recommandations ne se mettent pas en place par miracle ou par la vertu du « y a qu’à ».

Certaines ONG estiment que l’utilité est la plus grande lorsque l’évaluateur :

• est un œil extérieur qui permet de mieux cerner les facteurs de blocage,
• construit des ponts avec d’autres expériences,
• permet de catalyser une réflexion commune et la porte au niveau des différents acteurs. La grande majorité des ONG de financement de partenaires estiment que leurs projets ou programmes ont besoin d’autant ou de plus d’évaluations qu’actuellement. Ce sont les grandes ONG qui sont le plus demandeuses.

Un autre type d’évaluation ?

Pour certaines ONG, les évaluations devraient plus avoir un rôle d’appui et de conseil que de contrôle. L’évaluation devrait avoir lieu à mi-parcours et s’inscrire dans une démarche de suivi plus approfondi. D’autres ONG estiment qu’il faudrait installer une relation de confiance entre les évaluateurs ou un bureau d’évaluateurs et les ONG partenaires de façon à construire un « processus évaluatoire » à moyen ou long terme plutôt que d’avoir des évaluations ponctuelles et des évaluateurs isolés.

D’autres ONG estiment qu’un des rôles de l’évaluation devrait être de mieux capitaliser pour le futur et pour d’autres projets les expériences acquises. D’autres estiment qu’il faudrait plus de pratiques d’auto-évaluation ou des évaluations de type stratégique. La plupart des ONG sont a priori intéressées par « l’évaluation participative » mais sans bien savoir ce que c’est ni en connaître les implications : l’évaluation participative est souvent perçue comme une recette nouvelle et miraculeuse qui va découvrir les solutions aux problèmes d’un projet et assurer l’appropriation du projet par les bénéficiaires. Un résultat inattendu mais fréquent pour les petites ou jeunes ONG est que l’évaluation montre la nécessité pour ces ONG d’introduire un dispositif de suivi plus rigoureux.

Besoins, souhaits, difficultés

En vue d’améliorer leurs pratiques en matière d’évaluation, les ONG signalent leurs besoins et souhaits :

• Plus de temps et de personnel et de l’argent pour organiser et suivre les évaluations et pour permettre un suivi-évaluation ;
• des concepts plus clairs et plus détaillés, des outils méthodologiques et une méthodologie plus précis ;
• des conseils techniques et méthodologiques, notamment pour élaborer les termes de référence, la mise à disposition d’un manuel et l’organisation de formation à l’évaluation ;
• pouvoir mieux planifier les évaluations et établir un processus d’évaluation qui permette en même temps de renforcer l’institution ;
• pouvoir identifier de bons évaluateurs externes.

Coût élevé de l’évaluation : Beaucoup d’ONG estiment que les évaluations coûtent cher, et en particulier les honoraires des évaluateurs européens, et que, pour les petits projets, la part d’une évaluation dans le budget d’un projet est trop importante. Pour les petites ONG, le 1 % des financements de projets par la DGCI pour qu’elles initient des évaluations internes est insuffisant pour couvrir le coût de l’évaluation.

Besoin d’appui en évaluation :
La grande majorité des ONG — et spécialement les ONG d’éducation au développement— estiment qu’un appui en matière d’évaluation leur serait utile. Les thèmes les plus demandés sont par ordre d’importance :

• Comment conduire une évaluation participative (avec les bénéficiaires) ?
• Quel type d’évaluation privilégier ?
• Comment utiliser les résultats d’une évaluation ?
• Comment préparer une évaluation ?
• Comment conduire une auto-évaluation ? Comment conduire une évaluation externe ?

Les questionnaires et les entretiens avec les ONG montrent à la fois leur souci de l’impact des projets et leur méconnaissance de l’évaluation d’impact. Cette question a mis en lumière le fait qu’ une part importante des ONG ne disposent pas d’outils, de méthodes ou d’un système structuré de suivi des activités, résultats ou performances des projets, programmes ou partenaires qu’elles appuient.

Conclusions

Selon les résultats du questionnaire, les ONG sont demandeuses d’appui méthodologique en matière d’évaluation. Un service ponctuel d’appui est préféré par les grandes ONG alors qu’un manuel et un séminaire de formation sont davantage demandés par les petites ONG.

Les entretiens ont confirmé le besoin d’outils méthodologiques et conceptuels mais également certains aspects qui mériteraient une amélioration :

• la confusion entre évaluation et suivi des actions,
• l’ambiguïté quant à leurs relations avec les partenaires et bénéficiaires,
• leurs réticences et leur appréhension du regard extérieur, mais, surtout,
• leur inexpérience en matière d’évaluation, et
• leur désarroi sur le « comment faire ? ».

Les institutions de services ont ainsi un vaste champ de prestations à proposer aux ONG. Dans une première phase, le COTA y contribue par l’élaboration, l’édition et la diffusion du guide Organiser l’évaluation d’une action de développement, destiné aux ONG du Nord ( voir page 41 de ce numéro ). Ce guide est conçu pour être directement utile aux petites ONG du Nord qui appuient des actions dans le Sud, souhaitent faire évaluer ces actions et ne savent pas toujours comment faire. Il est élaboré pour le commanditaire de l’évaluation et non pour l’évaluateur, c’est-à-dire comme un outil pour l’ ONG qui veut —en collaboration avec son partenaire— lancer l’évaluation de ses actions dans le Sud. Le guide se veut un outil directement utile et opérationnel en matière d’organisation et de suivi d’une évaluation pour aider les ONG insuffisamment expérimentées à programmer, commanditer, suivre et utiliser une évaluation réalisée par des évaluateurs externes à l’ ONG.