ITECO.be

Pourquoi dix questions ?

Parce que c’est le nombre de questions auquel je suis arrivé lorsque je me suis penché, à partir de mon expérience à la fois d’évaluateur externe et de demandeur d’évaluations, sur les éléments les plus susceptibles d’engendrer des erreurs et des malentendus. Je me dois d’ajouter immédiatement que j’ai également commis des erreurs. Nous apprenons tous de notre expérience et les erreurs sont souvent les expériences dont on apprend le plus ! Cette observation me semble appropriée pour commencer un article sur l’évaluation.

1. Quel genre d’évaluation ?

Il y a plusieurs questions auxquelles une organisation est censée répondre : Sommes-nous en passe de réaliser les objectifs que nous nous sommes fixés et sinon, que devons-nous faire pour redresser la situation ? Avons-nous atteint les objectifs de tel ou tel projet ? Sommes-nous proches de l’objectif final ? Avons-nous utilisé nos ressources de manière efficace ? Pouvons-nous améliorer nos méthodes de travail habituelles ? Disposons-nous de différents moyens en vue d’atteindre les objectifs fixés ? Comment sommes-nous perçus par nos partenaires et groupes cibles ? Par quoi devons-nous commencer ?, et ainsi de suite.

Un grand nombre de difficultés naissent de la multiplicité d’acceptions du terme “ évaluation ”. Il arrive qu’une organisation ne sache pas très bien à quelles questions elle veut répondre ou encore qu’elle veuille répondre à toutes les questions qu’elle se pose et à d’autres encore, alors qu’elle ne dispose ni du temps ni du budget nécessaires.

2. Pour quelles raisons voudriez-vous faire appel à un évaluateur externe ?

Travailler avec un évaluateur externe comporte, inévitablement, des avantages comme des désavantages. Le problème le plus évident est que les consultants coûtent de l’argent et si vous n’avez pas déterminé un budget d’évaluation, vous déciderez peut-être qu’un examen et un rapport internes suffiront. Voici encore un aspect négatif de l’évaluation externe : une personne externe à l’organisation risque en effet de ne pas connaître le passé de celle-ci, ou il lui faudra du temps pour qu’elle le connaisse, temps dont un évaluateur interne n’aura pas besoin. Ce manque de connaissance de l’organisation pourrait également mener les évaluateurs à faire des observations ou recommandations inappropriées. Je dois constamment me demander, en tenant compte du contexte et des circonstances particulières, si la solution que je propose au commanditaire est la meilleure ou si elle n’est pas trop influencée par ma théorie privilégiée du moment.

Bien sûr, certaines évaluations ne se prêtent pas à être entreprises par un consultant. Dans ce cas, l’évaluation externe ne constituera pas toujours la réponse appropriée à vos besoins.

Selon moi, l’avantage le plus important que présente un évaluateur externe réside justement en ce qu’il est externe et dès lors présumé neutre et objectif, il doit être à même de prendre du recul par rapport au travail dans lequel vous vous êtes peut-être fortement impliqué depuis des années. Une personne extérieure expérimentée et compétente identifie souvent plus facilement les problèmes et les solutions à apporter qu’une personne plus impliquée dans l’organisation. Par exemple, les membres de groupes cibles fortement impliqués dans votre travail éprouveront des difficultés à vous critiquer ou vous complimenter directement alors qu’ils le feront plus facilement s’ils s’adressent à une personne neutre. En outre, l’indépendance de l’évaluateur augmente la crédibilité de votre rapport d’évaluation au cas où vous voudriez le présenter aux personnes qui l’ont financé.

Il est également possible que vous ne disposiez pas au sein de votre organisation de toutes les compétences nécessaires pour entreprendre l’évaluation. Faire appel à un consultant est généralement un bon moyen d’importer ces compétences dans l’organisation lorsque celle-ci en a besoin.

Il est absolument nécessaire de bien se rendre compte qu’un évaluateur n’est pas un inspecteur, quelqu’un que l’on doit craindre, qui ne vient que pour émettre des critiques, vous rabaisser ou vous édicter sa manière d’agir. Il ou elle devrait au contraire être perçu comme un ami dont le but est d’essayer de vous aider dans votre organisation. Dans cette optique, il émettra des critiques constructives, des suggestions ou des recommandations. Vous êtes complètement libre d’en tenir compte ou non. Le fait d’avoir recours à un évaluateur ne vous empêche en aucune manière de jeter son rapport à la poubelle s’il ne vous agrée pas. En réalité vous ne voudrez pas en arriver là, mais le fait d’avoir cette possibilité à l’esprit vous fera prendre conscience du fait que vous êtes libre d’accepter ou de rejeter les données fournies par l’évaluateur.

Mais, me rétorquerez-vous, que se passerait-il si les personnes ayant payé l’évaluation voulaient voir le rapport ? L’option théorique « de la poubelle » n’est plus valable. Toutefois, vous pourriez envisager de présenter un compte rendu, que vous auriez rédigé vous-même et qui se baserait sur le rapport de l’évaluateur, ce qui vous permettrait d’insérer le rapport dans un contexte qui vous conviendrait mieux. Ou vous pourriez encore rédiger un rapport additionnel dans lequel vous exposeriez votre opinion dans le cas où vous ne seriez pas d’accord avec celle de l’évaluateur. Mais, d’après mon expérience personnelle, le plus important est que les commanditaires de l’évaluation soient enthousiastes à l’idée d’avoir une organisation qui est prête à évaluer son travail de manière adéquate et qui montre ainsi qu’elle désire écouter, s’ouvrir à de nouvelles idées et améliorer son fonctionnement. Un rapport d’évaluation « négatif » n’a pas forcément un effet négatif sur la personne qui a commandé ce rapport, surtout si l’organisation y réagit de manière positive.

« Notre plus grande gloire n’est pas de ne jamais échouer mais de nous relever à chaque fois que nous échouons ». (Ralph Waldo Emerson)

3. Chacun dans l’organisation est-il d’accord sur le but de l’évaluation ?

Les aspects soulignés par le rapport d’évaluation peuvent varier selon le but que l’évaluateur et vous vous serez fixé. Si votre but est de savoir si vous avez bien entrepris un travail particulier ou pas, vous pouvez vous attendre à ce que l’évaluation souligne autant les réussites que les échecs. Toutefois, si vous cherchez prioritairement à trouver un moyen d’améliorer la qualité de votre travail et à redéfinir votre plan d’action, dans ce cas l’évaluateur mettra l’accent sur les échecs et erreurs afin de définir les recommandations pour l’avenir. C’est cette différence d’accentuation dans le rapport d’évaluation qui peut être source de conflits si les membres de l’organisation ne sont pas d’accord sur le but de l’évaluation. Par exemple, si une personne exerçant une fonction à responsabilités recherche de nouvelles idées et de nouvelles voies et que le rapport d’évaluation ne lui fait qu’un petit compliment rétrospectif, il trouvera cela sans doute aimable mais pas forcément utile ; de même qu’un membre du personnel harcelé par sa direction se verrait mis en danger par un rapport qui insisterait trop sur les tâches en attente et pas assez sur les tâches déjà accomplies. Lorsque l’heure de la réunion où le rapport final doit être présenté a sonné, il est trop tard pour que l’évaluateur s’exclame sur la défensive : « Mais je croyais que c’était cela que vous vouliez ! » pendant que les participants se regardent l’un l’autre pour essayer de savoir ce qu’ils voulaient vraiment.

4. Qui lira le rapport ?

D’après mon expérience personnelle, il semble y avoir quatre niveaux de publicité :

• Le rapport est réservé aux membres de l’organisation : seuls le personnel de l’organisation et la direction recevront le feed-back.

• Le rapport est envoyé aux commanditaires.

• Ainsi qu’aux membres du groupe cible et partenaires à qui l’on peut n’envoyer qu’un compte rendu.

• Le rapport est ouvert au public : copies ou comptes rendus sont disponibles pour tous sur simple demande.

Ce dernier niveau peut s’avérer très appréciable en ce qui concerne le partage des connaissances : vos conclusions pourraient très bien intéresser fortement une autre organisation d’éducation au développement qui envisagerait d’effectuer un travail semblable. Il est évident que la manière dont sera rédigé le rapport dépendra du nombre de lecteurs visés et que si vous pouviez déterminer le plus rapidement possible ce lectorat, cela vous aiderait à trouver la réponse à la question suivante.

5. Comment garantir la confidentialité du processus d’évaluation ?

Lorsque j’interroge une personne dans le cadre d’une évaluation, je veux que celle-ci me dise tout ce qu’elle a à me dire, et ce, sans aucun embellissement. Pour cela, il faut un contexte approprié dans lequel la personne ne se sente pas menacée et qui lui offre tous les gages de confidentialité. Toutefois, ce qui importe vraiment est que je puisse lui garantir l’anonymat, étant donné que les informations que je reçois ne sont pas confidentielles puisqu’elles seront reprises dans le rapport que je remettrai à l’organisation qui a demandé cette évaluation et qu’elles seront peut-être même lues par le monde entier. Dès lors, certains dilemmes doivent être examinés : que dois-je faire si je ne peux offrir l’anonymat ? Ce cas de figure peut se présenter si vous voulez évaluer, disons, les relations de travail avec vos différents partenaires. Dans ce cas-ci, vous devez savoir qui a dit quoi. En admettant que les personnes interrogées acceptent de renoncer à l’anonymat (ce qu’elles font d’habitude, dans l’esprit d’une critique amicale et constructive), le rapport peut reprendre des commentaires effectués publiquement ainsi que le nom de leurs auteurs. Dans ce cas, il n’est peut-être pas indiqué de divulguer le contenu de ce rapport à un trop large public. La solution sera probablement de ne présenter l’ensemble du rapport qu’aux membres de l’organisation et de présenter un compte rendu (effectué par l’évaluateur ou par vous-même) qui ne reprenne ni les noms ni les détails.

6. La mission de l’évaluateur est-elle claire pour les deux parties ?

A ne pas confondre avec la question 3. Ici, il s’agit de la relation que vous désirez établir avec le consultant externe. Vous devez vous assurer que :

• Vous êtes d’accord avec le but de l’évaluation. Celui-ci est clair pour vous et sera de préférence rédigé sur papier.
• Vous êtes d’accord avec le produit final (le genre de rapport, ses destinataires, le nombre de copies…).
• Vous êtes tombés d’accord sur le moyen par lequel vous allez communiquer entre vous. Vous devez être à même de savoir sur quoi travaille l’évaluateur, et ce, à tout moment. Il ou elle doit pouvoir contacter le client (de préférence une personne désignée comme contact) à tout moment où cela s’avérerait nécessaire.
• Vous êtes d’accord avec le rôle que l’évaluateur et vous-même jouerez (voir question 7).
• Vous êtes d’accord avec le calendrier des travaux.
• Vous êtes d’accord avec le prix.
• Il existe un contrat écrit et signé par l’évaluateur et vous-même qui reprend les points ci-dessus.

7. Avez-vous prévu le temps nécessaire pour une évaluation externe ?

Ceci peut paraître un peu sévère. Il se peut que vous vous soyez donné un mal fou pour financer et mettre sur pied une évaluation externe afin, en partie, de gagner du temps. Vous avez raison de penser que l’évaluateur effectuera la majeure partie du travail et que vous économiserez ainsi le temps que vous auriez mis à le faire vous-même. Toutefois, il vous faudra prévoir du temps pour les activités suivantes : rencontrer au moins une première fois l’évaluateur ; trouver et fournir les données et rapports ; peut-être établir les premiers contacts avec les membres de votre groupe cible qui doivent être interrogés ou participer à l’évaluation de toute autre manière ; vous occuper des demandes de renseignements de l’évaluateur ; répondre probablement vous-même aux questions de l’évaluateur en tant que partie prenante de l’évaluation et assister à un débriefing final ou réunion de feedback sur le rapport. En outre, bien sûr, vous devez prévoir du temps pour que l’ensemble de l’organisation prenne connaissance des conclusions de l’évaluation, les assimile et publie le rapport. (Personne n’a jamais dit que c’était facile !).

Pendant ce temps, l’évaluateur doit assister aux premières réunions, vous proposer un projet d’évaluation rédigé sur papier qui expose de manière générale le but, le processus, le produit, le calendrier et les coûts (pour discussion, amendement et acceptation) ; entreprendre l’investigation et produire le rapport et peut-être assister à une réunion de feedback.

8. Quand devez-vous établir la planification de l’évaluation ?

La réponse à cette question cruciale est simple : au tout début du travail. Toutefois, la plupart d’entre nous (y compris moi-même) tendent à n’y penser qu’à la fin, c’est-à-dire lorsque la majeure partie du travail d’investigation semble enfin appropriée, même si ce travail a déjà été planifié et budgété. Il y a un certain nombre de choses qui peuvent mal se dérouler si elles n’ont pas été planifiées au début du travail.

Tout d’abord, il est plus difficile de répondre à certaines questions à la fin de l’évaluation. Un grand nombre d’évaluations ont pour but de déterminer la mesure dans laquelle les objectifs d’un projet ont été atteints. Qu’en est-il si l’objectif était « d’améliorer le fonctionnement des ressources en éducation au développement », ou « d’améliorer les compétences et la compréhension des groupes cibles » ? Dans ces cas, il aurait été utile de mener un processus d’investigation du genre « avant et après » afin de pouvoir effectuer une comparaison qui permette d’établir s’il y a eu ou non une augmentation ou une amélioration. Parfois, on demande l’évaluation d’un projet terminé afin d’examiner le travail effectué par les participants deux ans ou plus auparavant. Si l’évaluation avait été planifiée dès le départ, cette partie de l’évaluation aurait pu se faire au moment le plus approprié.

En effet, la première étape de l’évaluation d’un projet est constituée de la planification des objectifs du projet. Les exemples proposés ci-dessus peuvent passer pour des objectifs peu intéressants parce qu’ils sont difficiles à évaluer. Toutefois, ils auraient constitué des objectifs plus valables si le processus d’évaluation avait été planifié en même temps que la définition de ces objectifs. Lorsque l’on fixe un objectif, quel qu’il soit, il est utile de se poser les questions suivantes : « comment saurai-je que l’objectif est atteint ? » et « comment vais-je collecter ces informations ? ». Vous pouvez ainsi bénéficier de conseils d’évaluation externes lors de cette période de planification. Ensuite, il se peut que l’organisation ne possède pas de données pertinentes et ne parvienne pas à collecter les données nécessaires. Si vous connaissez dès le début une grande partie des questions de l’évaluation, vous pourrez dès ce moment collecter les informations nécessaires pour y répondre.

9. Comment mesurer l’impact de votre travail ?

Il est d’habitude assez facile de mesurer les résultats d’un travail ; avez-vous effectivement organisé cette conférence ? La publication a-t-elle été présentée à temps ? Mais comment peut-on mesurer les modifications apportées à travers les résultats atteints ? Cette question difficile mais d’une importance vitale ne peut être traitée dans un article aussi court mais nous pouvons aborder ce problème de différentes manières. A nouveau, il faut commencer à l’étape de la planification du projet et réfléchir aux indicateurs que nous serions susceptibles de voir en cas de réussite. La chose est connue comme étant difficile, mais il est également possible d’identifier les indicateurs rétrospectivement. Si nous élaborons un système d’évaluation qui recherche régulièrement des indicateurs préalablement identifiés ainsi que des événements qui pourraient être significatifs tout au long de la période de travail évaluée et au-delà, il est possible de collationner les résultats, même traités isolément sur un plan anecdotique, à travers un modèle qui indique la mesure de l’impact. C’est le type de travail pour lequel une personne extérieure qui possède une solide expérience en évaluation pourrait vous aider. Je dis « pourrait » parce que l’éducation au développement est un territoire pratiquement inexploré. Nous devons l’explorer ensemble et en apprendre plus à son sujet.

10. Avez-vous pensé à la conclusion et au suivi ?

Le travail de l’évaluateur se termine-t-il avec l’envoi du rapport à l’organisation ? Voulez-vous que l’évaluateur assiste, par exemple, à une réunion de restitution interne au cours de laquelle l’évaluateur peut présenter les conclusions de l’évaluation devant, disons, le personnel et la direction ? Cette réunion donnerait aux participants l’occasion de débattre du résultat de l’évaluation et pourrait également faciliter le processus décisionnel au sein de l’organisation. Vous voudriez peut-être également que l’évaluateur s’adresse à un public plus large.

Les évaluateurs sont parfois maîtres dans l’art de proposer toutes sortes de recommandations. Il est plus facile d’identifier les possibilités existantes lorsqu’on n’est pas chargé de les appliquer ! Vous aurez compris qu’une fois encore je parle en connaissance de cause mais je ne suis pas pour autant sur la défensive : si l’on me demande de trouver des idées, je le fais. Si l’on me demande de critiquer mes recommandations, je le fais également. Souvent, il est utile de bien distinguer « recommandations » et « suggestions ». Toutefois, vous pourriez envisager de demander à l’évaluateur d’établir des plans plus détaillés et plus coûteux pour l’une ou l’autre recommandation, une fois que vous aurez décidé de manière interne laquelle en valait le plus la peine.

L’évaluation et la planification sont des tâches cycliques. Lorsque l’évaluateur externe a mené sa mission à bien, c’est à vous de continuer le travail à l’aide de vos propres ressources et compétences en expertise. Si vous avez des doutes, il est important que vous en discutiez avec l’évaluateur dès que vous prenez le relais, afin que le résultat puisse être construit de manière à faciliter le passage de témoin ou que toute recommandation quant à une activité future prenne ce problème en considération.

« Lorsque l’on doit choisir entre changer d’avis et prouver qu’il n’y a aucune raison de le faire, presque tout le monde se met à chercher la preuve » (Loi de Galbraith).

Pour conclure

Quiconque envisage de recourir aux services d’un évaluateur externe serait bien inspiré de prendre contact avec d’autres organisations d’éducation au développement qui ont déjà eu recours à de tels services. Alors que la majeure partie de cet article a été écrit du point de vue de l’évaluateur externe (quoique pas complètement), vous aurez ainsi la possibilité d’entendre un autre son de cloche. Cette observation constitue, je pense, une manière appropriée de terminer un article traitant de l’évaluation.