La seizième dimension

Mise en ligne: 3 mai 2006

Plutôt qu’appliquer des modèles mathématiques, avec des grilles à quinze dimensions, pour être sûr que la démarche est scientifique, pour Jean Lemaître, auteur d’un rapport d’évaluation des publications éducatives, commandé par la DGCD, l’évaluation relève surtout d’un processus permanent d’animation. Propos recueillis par Andrés Patuelli

En 2004, la Direction générale de la coopération au développement belge (DGCD) a commandé une évaluation des publications d’éducation au développement qu’elle soutenait [1]. Rencontre avec Jean Lemaître [2], auteur de cette évaluation.

La commande d’évaluation passée par la DGCD avait-elle des présupposés ?

Il est vrai que la question qui m’était posé par la DGCD n’était pas tout à fait neutre : je sentais qu’il y avait de leur part l’idée que les ONG n’effectuaient pas bien leur travail et qu’il fallait trouver le moyen de faire des économies. Il y avait également une pression assez grande, pour dire que le modèle à suivre était celui des ONG flamandes, qui avaient fusionné plusieurs magazines sous un seul titre, MO* [3] . J’ai mené mon travail de la manière la plus autonome possible et j’ai eu le sentiment de ne pas avoir abouti aux conclusions que la DGCD attendait.

Vos conclusions étaient globalement positives...

Mon étude portait sur les réponses de 26 ONG, sur un total de 32 ayant bénéficié, en 2002, de 825 mille euros de soutien de la part de la DGCD. Il m’a semblé que cette somme, sans doute modeste par rapport au budget d’une toute petite entreprise de presse, avait eu une forte plus-value. En effet, elle avait généré 63 publications, dont 28 périodiques et 43 publications gratuites, qui touchent des domaines différents et un public assez étendu. Dans mes conclusions et recommandations, j’ai voulu souligner qu’il y avait, certes, moyen d’utiliser cet argent de manière plus efficace, mais que la solution n’était sans doute pas de le réduire. La souplesse du soutien accordé par la DGCD aux publications, et qui peut de prime abord paraître désordonnée, est à mon sens plutôt un atout dans la mesure où elle contribue à l’émergence d’un pluralisme, ce qui est une condition fondamentale de toute démarche éducative.

La frilosité des ONG face à l’évaluation de la DGCD a-t-elle perturbé votre travail ?

Non. Les difficultés que nous avons rencontrées, avec mon collègue néerlandophone, étaient davantage liées à la méthode de travail avec la DGCD qu’à l’attitude des ONG. Le questionnaire sur le volet quantitatif, portant notamment sur le tirage et les publics touchés par les publications, avait été élaboré et envoyé aux ONG par le commanditaire, avant que nous n’ayons signé le contrat. De notre côté, nous avons rédigé le questionnaire portant sur l’aspect qualitatif et réalisé une série d’interviews. Le document envoyé par la DGCD avait été mal conçu, et nous nous sommes retrouvés en présence de réponses peu cohérentes, floues et difficiles à analyser.

Les publications d’éducation au développement posent-elles des problèmes particuliers pour leur évaluation ?

Je crois que les publications, en général, posent davantage de difficultés à l’évaluateur que d’autres types de produits, les questions qualitatives étant les plus complexes. Il est possible de savoir si une publication est plus ou moins lue ; mais comment vérifier si les informations qu’elle propose sont véritablement comprises, et si elles sont à l’origine des éventuels changements constatés auprès des lecteurs ? A cette complexité de départ vient s’ajouter celle propre à l’éducation au développement, dont le but est de sensibiliser aux problématiques des rapports Nord-Sud.

Comment faudrait-il s’y prendre pour évaluer l’impact ?

Pour évaluer l’impact d’une publication, il faut s’adresser aux lecteurs. Or -et c’est une des faiblesses de notre travail- nous n’avons interrogé que les responsables des ONG ou des publications, lesquels ont une connaissance assez limitée de leur public et de sa manière de redistribuer les informations qu’il a reçues. C’est pourquoi nous avons signalé la nécessité de disposer de davantage de moyens si l’on voulait dans l’avenir évaluer l’aspect qualitatif. Cependant, je crois avoir compris que la DGCD était surtout intéressée par le volet quantitatif. A ce propos, nous avons également proposé qu’il y ait un débat entre les ONG afin de déterminer les meilleurs indicateurs de la qualité. S’il est vrai que nombre d’entre elles avaient procédé à des évaluations en vue de mesurer l’impact de leurs publications, la diversité des méthodes employées empêchait de tirer des conclusions transversales.

Christian Hugues estime que la méthode la plus rigoureuse pour évaluer l’impact en milieu scolaire est celle de type expérimental. Cette méthode serait-elle applicable aux publications ?

Le milieu scolaire se prête bien à une évaluation de l’impact dans la mesure où les lieux sont identifiés, avec des enseignants qui jouent le rôle de médiateurs et des classes qui sont suivies. D’ailleurs, c’est concernant les publications qui s’adressent à un public scolaire que nous avons reçu les indications les plus précises pour notre étude. Par contre, dans le cas des publications s’adressant à d’autres types de publics, leurs lecteurs sont bien plus difficiles à identifier, car nombre d’entre elles sont distribuées gratuitement. C’est une difficulté propre au secteur de l’éducation au développement. Puis, en ce qui concerne les méthodes, je reste extrêmement prudent par rapport à certaines méthodes d’évaluation passe-partout et rassurantes de par leur apparente objectivité. C’est dû, peut-être, à ma formation de journaliste, mais je crois que si l’on veut évaluer, il faut travailler de manière participative : rencontrer les gens et prendre son temps. Je n’ai aucune recette-miracle, et je suis persuadé qu’il convient de croiser plusieurs méthodes.

Il ressort de votre étude que la plupart des publications des ONG s’adressent à un public ‘intermédiaire’ et à des sympathisants, seuls 16% d’entre elles visant le grand public. Elle fait également état d’une préférence marquée pour la qualité de l’information, tout en reconnaissant leur faiblesse en termes de vulgarisation. Peut-on dire que les ONG ont tendance à se retrancher derrière un public convaincu, au détriment d’un autre, à conquérir ?

Je puis partager votre avis, mais en le nuançant. De l’analyse quantitative réalisée, et contrairement à une évaluation précédente [4], il ressort que les ONG ne font pas circuler l’information en vase clos. Certes, les ONG parviennent plus aisément à dialoguer avec un public ‘intermédiaire’, c’est-à-dire des gens déjà formés, des sympathisants, des fonctionnaires, des enseignants, mais la diversité des publics et des contenus est tout à fait pertinente. Cela dit, il manque visiblement, du côté francophone, des publications qui touchent un public plus large. J’ai dit, en début d’interview, que l’objectif d’une démarche éducative était rencontré par les ONG du fait du pluralisme, de la participation et de l’expertise dont leurs publications font preuve. Néanmoins, la vulgarisation, à ne pas confondre avec la simplification, devrait également faire partie d’une telle démarche. Or, du côté francophone, il y a globalement un déficit à cet égard.

Quelles sont les compétences qu’il faudrait développer pour améliorer la performance des publications d’éducation au développement ?

Ma réponse va vous paraître un peu corporatiste mais, pour moi, elles auraient beaucoup à gagner si elles avaient recours à des journalistes. Non parce qu’ils sont plus intelligents que les militants ou les chercheurs des ONG, mais parce que, de par leur formation, ils sont à même de s’exprimer en fonction des différents publics et de rendre l’information plus claire. Ceci demande beaucoup de temps et de métier. Or, dans le milieu des ONG, il y a -dans le meilleur des cas- un rédacteur en chef à temps plein qui doit faire appel à des freelances ou à des collaborateurs bénévoles.

Disposer de davantage de moyens, cela suffirait-il à débloquer la situation ?

A budget égal, il y a des terrains où des collaborations entre les ONG permettraient d’améliorer leur efficience. Dans ce sens, j’ai formulé dans mon rapport plusieurs propositions ; je vous en cite quelques-unes. Tout d’abord, afin d’épargner les coûts tout de même considérables d’impression, il ne serait pas idiot de créer une instance de coordination chargée de centraliser les commandes et les appels d’offres, d’autant plus que cela n’atteint en rien l’indépendance éditoriale des ONG. Rien n’empêche non plus de créer un pool de graphistes professionnels au service de toutes les publications qui ont la volonté de toucher un public plus large, surtout quand on sait la place privilégiée qui occupe l’image dans notre culture : une mise en page soignée est aussi une forme de respect à l’égard du lecteur.

Mener des actions concertées dans le domaine du marketing et de la promotion est peut-être moins facile dans la mesure où l’on touche les fichiers d’adresses, qui sont un peu le trésor de guerre de chaque ONG, mais cela n’interdit pas de réaliser des campagnes en commun, de créer des bases de données communes ou d’améliorer les réseaux de diffusion. A cet égard, un site portail pourrait également être fort utile pour la promotion des activités ouvertes au public, un terrain où l’actuelle logique de segmentation ne fait que nuire à la diffusion de l’information. Je pourrais enfin rappeler l’utilité d’un échange entre ONG sur les méthodes et plus particulièrement sur les indicateurs qualitatifs de l’évaluation. Tout cela pourrait être encouragé par la DGCD dans ses modes de subvention. En vue d’obtenir davantage de plus-value pour son soutien, elle pourrait conditionner l’aide à une démarche de collaboration entre ONG.

Vous avez de même invité la DGCD et les ONG concernées à poursuivre le débat autour de vos propositions. Qu’en est-il deux ans après ?

Nous avons bien sûr défendu nos conclusions auprès de la DGCD, mais je n’ai plus rien entendu depuis. C’est dommage. Les pouvoirs publics, qui s’étaient montrés sourcilleuses quant à l’emploi de l’argent octroyé aux ONG, ont manqué de cohérence en commandant une étude à laquelle il n’a pas été fait suite. Du côté des ONG, je me rappelle avoir rencontré le CNCD et ACODEV, qui avaient tous deux réagi assez positivement à mes propositions. Plus récemment, à la fin de l’année passée, j’ai eu l’occasion d’évaluer les publications de SOS-Faim.

Avez-vous l’impression que vos propositions ont été entendues ?

Je n’en sais rien. N’étant pas du milieu, je ne pourrais pas vous en dire beaucoup plus...

Les ONG belges ont-elles du mal à travailler ensemble ?

Je ne suis pas un grand connaisseur du milieu de la coopération Nord -Sud, mais je crois savoir qu’il y a des relations de concurrence, des chasses gardées, des jalousies, ou même des égoïsmes. La culture belge francophone est marquée par des courants philosophiques différents de ceux existant du côté flamand. Il est inutile de vouloir aller contre l’histoire : il faut alors adapter nos formes de soutien à ce qui fait la spécificité de la culture et l’histoire francophones. Mais il faut également dépasser certaines contradictions : à ce propos, les pouvoirs publics ont un rôle à jouer dans la façon d’attribuer les subsides.

Comment peut-on arriver à une culture de l’évaluation ?

Je crois, et je vous le dis avec beaucoup d’humilité, qu’il est important d’aider les ONG à développer une culture permanente de l’évaluation plutôt que de confier de temps en temps des études à des intervenants extérieurs : il ne faut pas que des évaluations effectuées tous les cinq ou dix ans servent de cache-misère. Plutôt qu’appliquer des modèles mathématiques, avec des grilles à quinze dimensions, pour être sûr que la démarche est scientifique, je crois que l’évaluation relève surtout d’un processus permanent d’animation. Il est tout à fait naturel que certaines ONG ne soient pas très chaudes, étant donné que le gâteau se rétrécit et qu’on ne va pas révéler à l’autre ses secrets pour obtenir mille euros de plus. Mais là encore les pouvoirs publics ont un rôle plus pro-actif à jouer.

[1« Evaluation des publications éducatives des ONG de coopération au développement, cofinancées par la DGCD », 2004. La partie néerlandophone a été confiée à Peter Dhondt. L’on peut se procurer le rapport en le demandant à www.acodev.be

[2Journaliste de formation, Jean Lemaître est également consultant et évaluateur. Il est de même coordinateur du DESS en communication européenne à l’Institut des hautes études en communication sociale, à Bruxelles.

[3MO*, Mondiaal magazine, est une initiative de 11.11.11., Oxfam, Wereldsolidariteit, Plan, Broederlijk Delen, Trias, FOS et Vredeseilanden. MO* est distribué gratuitement avec l’hebdomadaire Knack, appartenant à Roularta media, tiré à 140.000 exemplaires.

[4Une étude menée par l’Université catholique de Louvain concluait, en 1994, au fait que les publications des ONG étaient essentiellement centrées sur elles-mêmes.