ITECO.be

Christian Hugues a suivi initialement une formation en gestion dans une grande école de commerce, puis des études supérieures en gestion publique, en France. Son expérience en tant que contrôleur de gestion, dans une collectivité territoriale française, l’a amené à s’intéresser à l’évaluation des services publics. Après avoir effectué une recherche sur cette question, en 1998 il a créé evalua, un bureau spécialisé dans le pilotage et l’évaluation des interventions des organismes publics. Actif dans de multiples secteurs d’intervention publique -comme ceux de la santé, de l’économie, de l’environnement, de l’enseignement, du développement local et de la coopération internationale-, le cabinet preste également des services en matière de formation à l’évaluation.

L’éducation au développement est l’un de vos secteurs d’activité ; or vous avez mené peu d’évaluations dans ce domaine : pourquoi ?

Ce n’est pas faute d’avoir essayé ! Les commandes dans ce domaine sont très rares, tant pour des bureaux d’études privés, comme le nôtre, que pour des organismes associatifs. La raison en est la faible formalisation des pratiques d’éducation au développement.

En Belgique, la Coopération belge exige des ONG qu’elles consacrent 1% des montants reçus à l’évaluation. N’y a-t-il pas de contraintes similaires en France ?

Ce n’est pas encore le cas en France. Les bailleurs publics les plus actifs en éducation au développement, c’est-à-dire les ministères des affaires étrangères, de l’éducation et de l’agriculture, n’obligent pas les associations à évaluer les projets qu’ils soutiennent. Les seuls à l’exiger, ce sont l’Union européenne et les collectivités régionales, mais le nombre d’actions en éducation au développement qu’elles financent reste très limité. Le caractère non contraignant de l’évaluation constitue un frein au développement de la culture évaluative, d’autant plus que cette dernière est absente au sein du monde associatif, le principal porteur des projets d’éducation au développement. Educasol, une plate-forme qui regroupe tous les organismes actifs en éducation au développement en France, planche régulièrement sur la question de l’évaluation, et à chaque fois c’est le même constat qui revient : la bonne volonté est là, mais les réalisations concrètes tardent à arriver.

A quoi tient la difficulté d’évaluer ces pratiques ?

Les associations, qui devraient être porteuses de ce type d’initiatives, ne disposent pas des moyens financiers nécessaires ni des méthodes adéquates. L’autre acteur principal concerné, le ministère de l’éducation, a bien un département spécialisé dans l’évaluation, mais qui ne partage que très peu, voire pas du tout, son savoir-faire avec les autres acteurs extérieurs. C’est pourtant lui qui autorise les associations à s’investir en milieu scolaire et universitaire. Il y aurait beaucoup à gagner en matière d’innovation s’il existait un échange entre les pouvoirs publics, des associations et d’autres acteurs tels que des centres universitaires et des bureaux d’études privés.

Le monde associatif y trouve-t-il son compte ?

Il ne se sent pas vraiment malheureux, dans la mesure où une évaluation pourrait provoquer une remise en cause assez importante : une démarche évaluative interpellerait forcément le professionnalisme des bénévoles, principale force de frappe des associations en milieu scolaire. Or celles-ci n’ont pas d’autorité pour contraindre les bénévoles à se former et à adapter leurs méthodes d’enseignement.

Et les écoles ?

Elles ne sont pas très chaudes non plus. Pour l’association, l’enjeu n’est pas de réaliser une intervention ponctuelle à propos, par exemple, du commerce équitable, mais d’avoir dans l’enseignant un partenaire prêt à intégrer cette thématique dans son programme pédagogique. Or le fait que des intervenants extérieurs viennent porter un regard sur les contenus des cours serait très gênant, car cela touche la prérogative même de l’enseignant en France, c’est-à-dire sa liberté d’organiser comme il le veut les programmes émanant du ministère. De même, les établissements scolaires, au niveau local, sont plutôt heureux de ne pas être confrontés à un dispositif d’évaluation forcément lourd.

Comment peut-on mesurer l’impact des actions d’éducation au développement en milieu scolaire ?

La méthode la plus rigoureuse serait celle de type expérimental, en visant deux classes et deux enseignants du même niveau, dont l’une bénéficierait d’une intervention en éducation au développement (le groupe expérimental) et l’autre pas (le groupe de contrôle). Il faudrait mesurer un certain nombre de critères à chaud, juste après l’intervention, et procéder de même à froid, quelques semaines voire quelque mois plus tard. On pourrait ainsi identifier d’éventuels changements en ce qui concerne les connaissances et les comportements des jeunes. On le voit, cette méthode d’évaluation, employée normalement par le ministère de l’éducation français, serait très lourde pour une école.

L’éducation au développementa-t-elle une spécificité propre en tant qu’objet d’évaluation ?

Je ne le crois pas. Reprenons l’exemple de l’intervenant extérieur en milieu scolaire : que son message porte sur la santé, sur l’environnement ou sur la solidarité internationale, la démarche est la même du point de vue expérimental. Ce qui est toutefois propre à l’éducation au développement, c’est que les intervenants sont en majorité des bénévoles qui, pour la plupart, ne disposent d’aucune méthode formalisée d’intervention. Au cours des travaux récents que nous avons réalisé auprès des associations, nous avons constaté que les animateurs mobilisés, certes motivés, qui se rendaient dans les écoles et dans les universités ne possédaient pas de véritable « kit » adéquat pour les différents contextes d’intervention. Or on ne dit pas la même chose à un lycéen de 16 ans qu’à un étudiant de 23 ans qui est en maîtrise ou en master.

Quel intérêt accordez-vous à l’impact, par rapport aux autres domaines d’évaluation ?

La question de l’impact, sans doute la plus difficile, n’est souvent que subsidiaire dans les cahiers des charges ! J’ignore s’il s’agit d’une spécificité française, mais ici nous nous intéressons essentiellement à la mise en œuvre, puis aux résultats, et très rarement à l’impact ! Le monde associatif, disposant de peu de moyens, suit la même logique. La rigueur méthodologique est ainsi sacrifiée sur l’autel de l’analyse à chaud menée par le bénévole ou l’enseignant.

Comment les associations gèrent-elles cette faiblesse ?

Les bénévoles qui interviennent en milieu scolaire ou universitaire sont confrontés en permanence à leurs propres déficiences : ils se rendent compte que ni leur bonne volonté ni leur expérience professionnelle ne suffisent à faire passer le message. Au cours de notre travail, nous avons rencontré nombre de bénévoles désarçonnés ou franchement déstabilisés par les réactions des étudiants. Malheureusement, au lieu de plancher sur les méthodes d’intervention, beaucoup d’associations préfèrent se retrancher derrière le public le plus facile, c’est-à-dire les collèges et des lycées d’enseignement général, quitte à délaisser toute une série d’autres groupes. Dès lors, les associations se retrouvent de plus en plus dans une situation où les interventions en éducation au développement sont gérées par les bénévoles les plus expérimentés ; derrière eux, il y a tout un bataillon, en perpétuel renouvellement, qui maîtrise moins bien les outils.

Une étude récente [1] a montré que les évaluations effectuées en Belgique ne sont pas suffisamment mises à profit : les résultats restent à l’intérieur de chacune des ONG, sans véritable valorisation ni partage des connaissances. Qu’en est-il en France ?

Chez nous, la volonté de partage dans ce domaine existe bel et bien, et la plateforme Educasol constitue à cet égard un outil très intéressant. Seulement, en France, on s’y prend vraiment comme des Français ! Cette plateforme a eu l’ambition folle de vouloir recenser toute la diversité des intervention en éducation au développement, au détriment d’une démarche plus transversale, qui viserait à individualiser les bonnes pratiques et celles à éviter. Pour moi, l’enjeu de l’évaluation en éducation au développement consisterait à chercher les combinaisons performantes entre le sujet qu’on veut traiter, les outils éducatifs et les méthodes de communication qu’on va mobiliser, et les compétences de l’intervenant. Mais on en est loin !

La situation va-t-elle s’améliorer ?

Je n’y crois pas tellement. Je ne vois pas, de la part du ministère de l’éducation, une volonté d’ouverture pour renforcer les capacités de l’ensemble des acteurs. L’Union européenne se montre, certes, plus proactive en matière d’évaluation, mais son impact reste limité, en raison de la diminution des crédits affectés à l’éducation au développement et donc du faible nombre d’ONG françaises concernées. En ce qui concerne les associations, je les vois difficilement parvenir à convaincre leurs conseils d’administration d’investir des fonds dans l’évaluation : à choisir entre l’action et la compréhension de ces actions, les conseils d’administration pencheront vers le premier. En bref, je ne crois pas à une démarche volontaire de leur part. Les choses pourraient toutefois s’améliorer si l’on assistait à un basculement des financements publics européens et de l’État vers les collectivités territoriales, en particulier des régions dont la préoccupation évaluative est beaucoup plus consistante.

Quel est, à votre avis, l’aspect le plus important du processus évaluatif ?

Les moments-clés ne sont pas tant ceux de la collecte des données et de la rédaction des conclusions que ceux de l’interface avec les commanditaires de l’évaluation. La qualité de l’évaluation tient surtout à la façon dont les parties prenantes s’en approprient. La plus grande erreur consisterait à s’en tenir uniquement à la remise du rapport final, de laisser le client en prendre connaissance et affronter tout seul le moment le plus difficile de l’évaluation : celui de la prise des décisions.