ITECO.be

Licencié en sciences psychopédagogiques, François-Marie Gérard travaille depuis onze ans comme consultant en formation et en évaluation de projets éducatifs au Bureau d’ingénierie en éducation et en formation, BIEF, dont il est le directeur adjoint. Créé en 1989, le BIEF s’occupe d’évaluation et de formation tant dans le monde des entreprises que dans celui de l’enseignement primaire, secondaire et supérieur. Son champ d’intervention dans le domaine de l’enseignement est assez large, puisqu’il porte sur les supports pédagogiques —les manuels scolaires, par exemple—, sur les dispositifs pédagogiques —les méthodes d’enseignement—, sur les plans de formation —les curriculums— ou sur les plans d’action et les systèmes eux-mêmes.

Si la plupart de ses clients sont des pays en développement, du Djibouti au Chili, en passant par le Burkina Faso, la Moldavie, la Tunisie, le Bénin, le Niger, le Kazakhstan, la Mauritanie, la Côte d’Ivoire, d’autres se situent en Suisse, en France et en Belgique, comme les Éditions De Boeck, l’AFS, la Croix-Rouge et Acodev. Toutefois, précise François-Marie Gérard, « peu importe que ces clients viennent du Nord ou du Sud, même si nous sommes particulièrement sensibles aux problématiques du développement : notre choix est de travailler avec tous ceux qui sont soucieux de mettre en œuvre une démarche pertinente et efficace d’éducation ou de formation » .

• La DGCI incite les ONG à évaluer leurs actions d’éducation au développement, en dépensant au minimum 1 % des subsides reçus pour la mise en oeuvre de leur programme quinquennal. Arrivés à la fin du premier plan quinquennal, peu d’ONG l’ont déjà réalisée. Plusieurs explications ont été avancées [1], notamment la peur d’éventuels résultats peu favorables —lesquels résultats doivent être joints aux rapports d’activités à remettre au bailleur de fonds— et l’absence d’une culture de l’évaluation dans ce secteur, un manque particulièrement ressenti en matière de méthodologie. Qu’en pensez-vous ?

François-Marie Gérard : La principale difficulté est cette absence de véritable culture de l’évaluation. Les ONG ne voient sans doute pas ce que pourrait leur apporter une démarche d’évaluation. Je crois qu’il y a là une similitude avec le monde de l’enseignement : l’évaluation y occupe une place importante, mais quasi exclusivement par rapport aux élèves, les équipes éducatives ayant du mal à imaginer qu’une évaluation de leur fonctionnement et de leur efficacité puisse servir la qualité de leur enseignement. Cette attitude dépend certainement d’une mauvaise compréhension de l’évaluation : celle-ci est surtout perçue comme une sanction, mettant en évidence les lacunes des évalués. L’évaluation peut parfois sanctionner, mais elle peut aussi servir d’autres finalités : il est important d’évaluer pour, d’une part, orienter les démarches et les actions et, d’autre part, les réguler. Dans cette perspective, ce qui est recherché, c’est la qualité du travail accompli et à accomplir. On évalue afin d’assurer la qualité. Cette évaluation doit porter à la fois sur les objectifs poursuivis —sont-ils pertinents ?—, sur les moyens mis en œuvre —sont-ils cohérents avec les objectifs ?— et sur les résultats —correspondent-ils aux objectifs ?

• L’un des principaux problèmes méthodologiques est de mesurer l’impact des actions éducatives auprès du public : il est bien plus facile, par exemple, de compter le nombre de visiteurs d’un site web invitant à regarder le Sud sans préjugés, que d’estimer si ses contenus ont provoqué un changement positif chez les visiteurs du site. Les outils d’évaluation existants ne seraient pas adaptés aux particularités des actions réalisées par les ONG dans ce domaine. Qu’en est-il dans le monde de l’enseignement ? Existe-t-il des méthodes qualitatives d’évaluation auxquelles les ONG puissent avoir recours ?

François-Marie Gérard : L’évaluation de l’impact d’actions, qu’elles soient éducatives ou non, est toujours délicate : même si l’on parvient à identifier sur le terrain des effets attendus ou non, il est surtout difficile de déterminer dans quelle mesure ces effets peuvent ou non être attribués à l’action. On peut ainsi avoir une action très performante en ce sens qu’elle atteint ses objectifs, mais dont il est impossible d’isoler l’impact, non pas parce qu’elle n’en aurait pas eu, mais parce que d’autres actions ou événements ont eu un effet inverse. « Prenons le cas d’une action visant à créer une perception des pays du Sud sans préjugés, grâce à un site web. Admettons que celui- ci soit particulièrement bien réussi et rencontre un intérêt certain, facilement mesurable. Admettons que l’on ait pu réaliser une mesure de l’attitude du public avant et après l’action, et que cette mesure n’indique pas de changement significatif. Cela ne signifie pas pour autant que l’action n’a pas eu d’effet. Simplement, d’autres événements, tels par exemple ceux du 11 septembre, ont eu un impact négatif supérieur ou égal. Cette difficulté est réelle. C’est pour cela qu’il est important de bien évaluer la pertinence des objectifs de l’action, c’est-à-dire leur capacité a priori d’atteindre l’impact escompté, et l’efficacité de cette action en termes d’atteinte des dits objectifs. Si l’on peut certifier qu’un projet a des objectifs pertinents et les a atteints, on peut inférer un impact positif, même si celui-ci n’est pas observé. « La difficulté méthodologique de mesurer l’impact est relative. Lors de la définition du projet, il convient de déterminer avec précision quel est l’impact recherché. Cette définition devrait se faire à l’aide d’indicateurs objectivement vérifiables, comme c’est le cas par exemple dans la méthode de planification des interventions par objectifs. Dans le projet cité tout à l’heure, on décidera par exemple qu’on souhaite une amélioration de 20 % dans le nombre de personnes qui déclarent avoir une perception positive des pays du Sud. En définissant un tel indicateur au moment de l’élaboration des objectifs, on verra l’importance d’avoir une mesure de la situation actuelle et on réalisera par exemple une enquête auprès d’un public représentatif. Cette enquête sera renouvelée à la fin du projet, ou plutôt après un certain temps. Techniquement, tout cela n’est pas trop difficile. Mais il convient pour cela de se poser la question de l’évaluation avant de commencer l’action. « La difficulté existe aussi dans l’enseignement, mais n’est pas toujours perçue : comment évaluer l’efficacité d’un apprentissage si l’on n’a pas mesuré la (non-) maîtrise des compétences avant de l’entamer ? La situation la plus fréquente est cependant l’absence d’évaluation de départ ».

• Il s’agirait donc de bien formuler les objectifs, en vue de pouvoir les confronter aux résultats, une fois le projet achevé. Pour y parvenir, un emploi rigoureux du langage serait donc nécessaire ; or, dans le milieu de la coopération, il existe la tendance à formuler des objectifs généraux très larges et ambitieux, du type : « susciter des changements de valeurs et d’attitudes sur les plans individuels et collectifs de façon à rechercher les bases d’un monde plus juste, dans lequel ressources et pouvoir sont équitablement répartis » . Il ne s’agit là ni des conclusions du Concile Vatican II ni des résolutions de la Deuxième Internationale, mais bien des objectifs d’un réseau d’éducation au développement belge. Trouvez-vous ce même type de difficulté dans le champ de l’enseignement voué, lui aussi, en principe, à provoquer des « grands changements » auprès de son public ?

François-Marie Gérard : On peut très bien comprendre ce type d’objectifs, et ils correspondent effectivement aux nobles intentions des promoteurs des projets. Ces intentions sont absolument nécessaires, parce qu’elles justifient toutes les actions entreprises, mais il est clair que sur la base de telles intentions, il est absolument impossible d’évaluer leur réalisation. De telles formulations existent aussi dans le champ de l’éducation. Par exemple, le Décret Missions de la Communauté française de Belgique définit quatre objectifs généraux, dont « promouvoir la confiance en soi et le développement de la personne de chacun des élèves » . Inévaluable évidemment. Dans le jargon pédagogique, on parle pour ce niveau d’objectifs de « finalités » qui sont définies dans une politique éducative. Pour rendre opérationnelles ces finalités, il faut définir des objectifs généraux qui seront eux-mêmes déclinés en objectifs opérationnels, clairement évaluables. Pour bien faire, il faudrait que les objectifs généraux soient également évaluables, c’est-à-dire qu’ils décrivent un effet attendu sur le terrain, qui soit observable. Par exemple, « les élèves peuvent discuter et argumenter leurs choix ; leur orientation scolaire correspond à leurs potentialités et leurs intérêts » . Il faut bien sûr encore définir des indicateurs objectivement vérifiables et les sources de vérification. Mais c’est possible. « Ceci dit, il ne faut pas se leurrer : il arrive très rarement que des objectifs éducatifs soient clairement définis afin de permettre une évaluation en termes d’impact. C’est pourquoi, dans le monde de l’éducation, il y a une tendance à utiliser des indicateurs objectifs, définis et reconnus internationalement par l’OCDE ou l’Unesco : le nombre des réussites et des redoublements, le nombre d’étudiants sans emploi quelque temps après leur sortie du système ou le nombre de demandes d’emploi non encore satisfaites formulées par les produits du système. Ces indicateurs sont intéressants, mais ils ne permettent pas d’avoir une connaissance plus qualitative de l’impact des systèmes, d’autant plus qu’un nombre ne veut pas dire grand-chose. Il faut savoir comment ce nombre est perçu par les acteurs et bénéficiaires du système ».

• Un autre facteur qui démotiverait l’évaluation parmi les ONG est qu’elle serait ressentie comme déstabilisatrice de l’équilibre interne, dans la mesure où elle pourrait mettre en cause les compétences des membres de l’organisation. L’évaluation est-elle également perçue comme déstabilisatrice dans votre milieu d’action ? Comment gérez-vous cet aspect ?

François-Marie Gérard : Il s’agit là d’une difficulté réelle : les acteurs ont l’impression que ce sont eux qui sont évalués, jugés, et non pas leurs méthodes ou leurs modes de fonctionnement. De plus, ils perçoivent cette évaluation comme une critique négative et non comme une aide à l’amélioration des pratiques. Pour lutter contre cette difficulté que nous rencontrons souvent, plusieurs moyens existent. « Il faut, d’abord, bien définir les objectifs de l’évaluation et assurer leur transparence. Si les acteurs savent clairement que l’objectif est d’améliorer les pratiques, en se fondant sur les démarches positives, ils seront mieux préparés à accepter cette évaluation et à s’y investir. Pour assurer cette transparence, le mieux est d’impliquer les acteurs eux-mêmes dans leur définition, ainsi que dans celle des critères d’évaluation. Il ne s’agit pas là d’un biais à l’évaluation, mais d’une manière de se mettre d’accord ensemble sur ce qu’on en attend. L’évaluateur doit bien sûr dégager les lacunes du fonctionnement des actions, mais il doit aussi et surtout mettre en évidence les « bonnes pratiques » qui sont à l’œuvre. C’est en effet sur celles-ci qu’on pourra s’appuyer pour pallier les lacunes. Cette analyse doit permettre d’établir un diagnostic de la situation, ainsi que la « thérapeutique » qui peut être utilisée pour surmonter les difficultés. Le meilleur moyen de déterminer cette thérapeutique est de travailler avec les acteurs concernés. « Le respect de ces quatre principes, que nous essayons de mettre en oeuvre dans nos actions d’évaluation, devrait permettre une meilleure perception de l’évaluation par les acteurs du projet, parce qu’ils se sentent impliqués et respectés ».

• Le concept de « thérapie » dont vous parlez me fait penser à ce qui se passe dans la psychologie clinique où il existe différentes écoles qui apportent des réponses différentes au même problème : une certaine approche sera ainsi plus adéquate que d’autres pour résoudre un certain type de problème et pour un certain type de patient. La psychanalyse, par exemple, demande un fort engagement intellectuel et beaucoup d’argent pour la financer ! Le marché des psychologues n’est d’ailleurs pas transparent — ils ne peuvent pas faire de publicité— et les gens ont en général une idée assez approximative du psy. Un patient peut donc tomber chez le « mauvais » thérapeute pour traiter son problème… Sans vouloir nullement comparer évaluation et psychologie clinique, peut-on dire que toutes les méthodes d’évaluation ne sont pas adéquates pour toutes les organisations ? Existe-t-il aussi dans le champ de l’enseignement une idée approximative voire erronée de l’évaluateur ? Le marché de l’évaluation est-il aussi peu transparent ?

François-Marie Gérard : Il existe effectivement différentes écoles en matière d’évaluation. Notre démarche, au BIEF, s’inscrit clairement dans une approche socio-constructiviste, qui elle-même peut se rattacher au mouvement cognistiviste en psychologie. Ce sont des grands mots pour dire que toute réalité se construit à travers des représentations. Et qu’il est donc nécessaire de prendre en compte ces représentations pour réaliser une évaluation. D’autres démarches d’évaluation sont plus objectivistes. Cette tendance est minoritaire parmi les théoriciens de l’évaluation, mais je ne suis pas sûr que ce soit le cas parmi les praticiens. « Et sans doute y a-t-il là un manque de transparence du marché de l’évaluation, lié notamment au fait que les demandeurs n’ont eux-mêmes pas une vision très claire de ce qu’ils peuvent attendre de l’évaluation et des exigences méthodologiques. Lorsque quelqu’un demande une évaluation, il demande aussi la plupart du temps de l’objectivité. Il s’agit là d’une demande tout à fait légitime, mais qui peut fausser le processus. L’évaluation doit surtout éviter l’arbitraire. Mais de nombreux choix doivent être effectués durant le processus d’évaluation, si possible en accord avec les acteurs concernés : évaluer pour quels objectifs, avec quels critères, quels indicateurs, quelles méthodes... Pour clarifier le marché, je crois qu’avant de commencer une évaluation, il faudrait demander à l’évaluateur comment il va procéder, quels fondements théoriques alimenteront sa démarche, comment il va prendre en compte les acteurs du projet… « Une dernière remarque : ce qui se passe dans l’enseignement a une très mauvaise influence sur la perception que l’on a de l’évaluation. Celle-ci est une pratique présente à tout moment dans l’enseignement... et nous gardons tous une image plus ou moins positive de l’évaluation selon notre parcours scolaire et la manière dont se sont déroulés les interrogations et les examens ! Souvent, malheureusement, il ne s’agit que de contrôles. Et l’évaluation est alors perçue comme un simple contrôle. La démarche de régulation, de l’évaluation formative, a encore du chemin à faire ».

• L’envie de procéder à des évaluations objectives est une préoccupation très répandue : celle-ci serait la seule manière légitime, valable, de le faire. Est-ce toutefois possible ? On ne se trouve peut-être pas dans la même situation que la presse, lorsqu’on demande aux journalistes de rapporter les faits de manière objective ? Il est pourtant clair que l’objectivité est impossible : les journalistes et les médias sont des agents actifs dans la construction de la réalité, qui travaillent dans un contexte politique, économique et culturel particulier…

François-Marie Gérard : La comparaison avec le cas des journalistes est intéressante. Il est vrai que dans les deux cas, on souhaite disposer d’une information objective, en ce sens que l’information doit correspondre à la réalité et non la travestir. Dans les deux cas, l’information doit être pertinente —elle doit être en rapport avec ce que l’on cherche à savoir—, valide —elle doit informer sur ce qu’on prétend qu’elle informe— et fiable —elle ne doit pas dépendre de la personne qui la récolte ni du moment. Ces trois exigences sont fondamentales, car ce sont elles qui garantissent la rigueur du processus. Mais pour les journalistes comme pour les évaluateurs, il faudra —sur la base de cette information objective— construire la réalité, créer du sens. Cela dit, les nombreuses tentatives tant théoriques que pratiques de rendre l’évaluation objective semblent toutes déboucher sur un échec. Ce qu’il est nécessaire d’éviter dans l’évaluation n’est cependant pas la subjectivité, mais l’arbitraire : des évaluations ne se fondant pas sur une démarche consciente et rigoureuse. Pour être plus précis, non seulement l’objectivité de l’évaluation est impossible, parce que la subjectivité est inévitablement présente tout au long de son processus, mais cette subjectivité s’avère en outre nécessaire pour que l’on puisse vraiment parler d’un processus d’évaluation. En d’autres termes, il n’y a évaluation que parce qu’il y a subjectivité ! [2]

• Quels sont les critères d’évaluation les plus employés aujourd’hui dans le monde de l’enseignement au niveau international ? Ne sont-ils pas influencés par la course au rendement dominant ces derniers temps ?

François-Marie Gérard : L’évaluation des systèmes éducatifs se réfère dans la plupart des cas à trois critères : 1) l’efficacité, qui consiste à voir si le système a permis d’atteindre ses objectifs ; 2) l’efficience, qui permet de confronter les résultats obtenus avec les moyens mis en œuvre pour y arriver ; et 3) l’équité, où l’on cherche à savoir si le système bénéficie à chacun, sans discrimination. Il est intéressant à constater que les deux premiers critères ont été inspirés par des économistes de l’éducation, alors que le troisième est plutôt d’ordre social. « Ces critères traditionnels sont bien sûr importants, mais ils ne me semblent pas pouvoir couvrir toute la réalité scolaire. Il est nécessaire d’utiliser également, et c’est souvent le cas, des critères d’ordre pédagogique tant en termes de pertinence des objectifs qu’en termes de cohérence des moyens mis en œuvre, notamment des méthodes et des stratégies pédagogiques. Il s’agit de voir si les pratiques éducatives sont les plus appropriées pour atteindre les objectifs éducatifs et pédagogiques. On voit que les pratiques doivent être évaluées en fonction des objectifs, et notamment aujourd’hui en liaison avec l’approche pédagogique par compétences. Il est aussi intéressant d’évaluer le système en fonction de sa capacité à susciter auprès des jeunes un engagement pour apprendre et pour agir. « En ce qui concerne l’évaluation de projets, y compris d’éducation au développement, le BIEF a développé un cadre de référence qui organise l’évaluation en fonction d’un ensemble de critères :

• la continuité, ou utilité : l’effet attendu sur le terrain, ou objectif global, correspond-il aux besoins de l’institution ? Leur apporte- t-il une réponse ?
• la pertinence : les objectifs spécifiques du projet sont-ils pertinents par rapport à l’effet attendu sur le terrain ; c’est-à-dire : permettent- ils d’atteindre cet effet ?
• l’efficacité externe, ou impact : le produit obtenu permet-il d’atteindre l’effet attendu sur le terrain ? Celui-ci est-il réellement observé dans les faits ?
• l’efficacité interne : le produit réel correspond-il au produit attendu ? L’objectif spécifique est-il atteint ?
• l’adhésion : y a-t-il adéquation entre les composantes de l’action et les besoins des personnes, que ce soit au niveau de l’effet attendu sur le terrain, des objectifs de l’action ou des stratégies ?
• la conformité : y a-t-il adéquation entre les composantes de l’action et le cadre normatif, éthique, déontologique ?
• la cohérence : les moyens prévus ( stratégies, ressources…) permettent-ils d’atteindre les objectifs ?
• la faisabilité : les objectifs peuvent- ils être maintenus compte tenu des stratégies prévues et des ressources disponibles ?
• l’applicabilité : les moyens effectifs sont-ils bien les moyens prévus ?
• la régulation : compte tenu du déroulement de l’action, des moyens effectivement nécessaires, ne faut-il pas revoir les moyens prévus ?
• l’efficience : le produit est-il obtenu avec un minimum de moyens ? N’aurait-on pas pu obtenir le même résultat à un coût moindre ?

« Évaluer sur la base de ces critères permet de travailler en profondeur et d’aborder un projet dans toutes ses dimensions. Chacun de ces critères nécessite bien sûr d’être décliné à travers un certain nombre d’indicateurs concrets ».