Un atelier pour aborder la détermination d’indicateurs et du suivi de changement a été organisé au Sénégal par Solidarité Socialiste. Le résultat, synthétisé par Marc Totté, est largement extrapolable à des expériences d’éducation au développement et d’action sociale
De manière générale, l’enjeu consiste à formuler des indicateurs de changements utiles, c’est-à-dire facilitant une prise de décision, et pertinents, en prise avec les réalités que vivent les gens. Ainsi, il est important de dépasser le stade des indicateurs d’activité (nombre de formations, de participants, d’intrants fournis) pour documenter les résultats (apprentissages acquis, nouvelles pratiques observées).
Exemple : Demander lors des entretiens à une dame d’écrire son nom sur un cahier a permis d’avoir une appréciation des résultats des séances d’alphabétisation : malgré de nombreuses séances dans le village, très peu de femmes savent écrire leur nom et la présidente (la plus alphabétisée) y parvient difficilement. Plus que le nombre de séances réalisées et le nombre de participantes, cette information est capitale pour apprécier le changement.
Dans une perspective stratégique, informer des effets –positifs, négatifs, imprévus, indirects- apparaît très important pour questionner l’environnement, les acteurs, les populations au-delà de l’horizon du projet. C’est un compromis important entre la difficulté d’informer d’un impact global (qui demande un certain recul, pose le problème de l’attribution vis-à-vis d’une intervention donnée) et la nécessité de dépasser l’environnement de l’intervention (de « ses »partenaires, de « ses » bénéficiaires) pour interroger plus largement les incidences sur la population.
Exemples : La mise en place de moulins à mil dans un certain nombre de villages a eu un effet sur les conditions des femmes âgées les plus défavorisées dont la seule ressource était de moudre un peu de grain pour les autres.
La création de mutuelles de santé a des effets sur la façon de se représenter la maladie, notamment dans la lutte contre le fatalisme.
La mise en valeur de versants par des diguettes a eu pour conséquences dans certains terroirs la reprise des terres par les propriétaires et donc une précarisation des gens les moins bien lotis, même si les rendements (résultats) ont bien augmenté. Par contre, le niveau des nappes phréatiques a sensiblement augmenté grâce à ces aménagements et cela profite à tout le monde, en particulier aux femmes dont la corvée d’eau se trouve allégée).
Aussi, il faut lutter contre la tendance au toujours plus d’information et toujours moins de communication.
Exemple : Des paysans français reviennent chaque année former leurs homologues en Afrique au maraîchage et, chaque année, demandent pourquoi les tomates n’ont pas de tuteurs. C’est quelqu’un de l’extérieur qui, en cherchant à comprendre les motivations des paysans, découvrira que compte tenu des possibilités de marché et du travail que cela représenterait, les 25% restants (préservés de l’humidité et des insectes) suffisent largement à couvrir leurs besoins.
Pour répondre à ces différentes dimensions, la démarche basée sur la qualité semble particulièrement intéressante, car basée sur des indicateurs de satisfaction et de processus.
Apprécier la satisfaction des bénéficiaires est relativement rare dans les projets de développement. La plupart « apprécient » la satisfaction à travers une sorte de convention de ce qui est « bon » pour le bénéficiaire (les rendements ont augmenté, donc les paysans doivent être contents) sans se donner la peine de rechercher les avis et témoignages des gens.
Les indicateurs de processus sont également rares. Ces indicateurs doivent permettre d’identifier les goulots d’étranglement, les points critiques et blocages sur l’intégralité de la chaîne d’actions.
On retiendra quatre catégories d’indicateurs : d’activités, de satisfaction, de processus et d’effets.
La formulation des indicateurs obéit à un certain nombre de caractéristiques. Deux « écoles » complémentaires existent à cet égard : celle classique des indicateurs smart, qui sont spécifiques (univoques) ; mesurables, vérifiables ; acceptés ; réalistes (vérifiables à un coût acceptable) ; et qui ont une échéance. Et celle des indicateurs spiced, qui sont subjectifs, participatifs, interprétés et communicables croisés (recoupés et comparés), empowerants et divers et désagrégés.
Bien qu’il soit possible de trouver ces caractéristiques dans chacune des catégories d’indicateurs, on retiendra que les indicateurs de satisfaction et d’effets présentent plus souvent des caractéristiques « épicées » (spiced) car plus subjectives.
Exemple : Les agriculteurs impliqués dans une régénération de bourgoutières (pâturages naturels dans les cuvettes inondées du fleuve Niger) avaient été invités à suggérer des indicateurs pour apprécier l’opération. La suggestion la plus souvent proposée était de voir si les vaches donnaient du lait à des moments de l’année où la production de lait était faible si aucun complément de fourrage n’était apporté. Les femmes de ces agriculteurs, consultées également, ont proposé un indicateur très simple et très parlant : « demander aux enfants s’ils ont eu assez de koundou », une boisson sucrée, rafraîchissante et nutritive, faite à base de bourgou ! Comme l’exploitation du bourgou est contrôlée par les hommes, propriétaires des troupeaux, l’indicateur suggéré par les femmes indique que s’il reste du bourgou pour donner du koundou aux enfants, ou même pour en vendre, c’est qu’il y a certainement assez de bourgou pour les vaches laitières !
Un autre exemple : Au Burkina Faso, nous recherchions des indicateurs pour apprécier dix ans après les effets d’aménagements anti-érosifs sur la réalimentation des puits. Les habitants du quartier prétendaient que les puits ne tarissaient plus mais il n’y avait aucun moyen de vérifier et donc difficulté d’aller au-delà. Jusqu’à ce qu’une femme évoque les mariages. Alors qu’auparavant les femmes fuyaient le quartier étant donné la corvée d’eau, aujourd’hui elles viennent d’autres villages. Cet indicateur global montre un changement majeur dans les conditions de vie.
L’exercice est utile et intéressant mais pose certains problèmes de compréhension concernant les indicateurs de satisfaction et de processus. La difficulté à partir des préoccupations des gens pour poser les indicateurs de satisfaction est surtout apparue dans certains groupes ou l’indicateur présuppose la satisfaction plus qu’il ne la questionne. L’indicateur était :
« Les rendements ont augmenté de x %».
« La présence des femmes dans les instances a augmenté de x %».
Les réponses sont tributaires des difficultés que l’on rencontre dans la pratique à réellement faire exprimer des craintes ou des insatisfactions. Les réponses sont souvent positives et marquées souvent aussi d’opportunismes : le projet de développement est toujours un enjeu de ressources et de pouvoir. Les participants ne veulent donc pas, implicitement, poser un indicateur qui sera compliqué de documenter par la suite. A cet égard, il importe de bien distinguer ce que l’on recherche comme changement de l’indicateur, et surtout de la source ou de la procédure de documentation. Une fois l’indicateur posé, il est plus aisé de discuter de la façon dont on peut le documenter.
Cette difficulté traduit aussi le manque d’outils sociologiques d’entretiens ou d’observation à partir de personnes-témoins ou d’individus « stratégiques » . Des méthodes existent pour révéler des informations plus délicates ou conflictuelles. Les entretiens ne sont d’ailleurs pas les seules méthodes possibles et les non-dits peuvent aussi être des indicateurs d’insatisfactions dans certaines circonstances. Avant tout le secret réside dans la relation établie avec la ou les personnes interrogées. Sans relation suffisamment construite, pas de bonne communication et l’information risque de rester sans valeur par rapport aux enjeux réels du milieu.
En ce qui concerne les sources de vérification on retrouve certaines sources communes comme les rapports de réunion des instances. Les traitements de ces sources peuvent cependant fortement varier selon les catégories d’indicateurs : traitements plus quantitatifs pour les résultats voire certains effets et plus qualitatifs pour les indicateurs de satisfaction et de processus.
« Suivre » peut vouloir dire bien des choses, pas toujours compatibles au même moment : gérer, rendre compte, apprendre et accompagner le changement. Considérer ces éléments comme complémentaires mais situés à des moments différents d’une intervention (ou de toute action humaine), permet de tenir compte de chacune des dimensions tout en resituant la finalité de tout cela qui est de réajuster et dialoguer pour accompagner le changement.
Dans cette phrase chaque mot à son importance. Accompagner le changement (plutôt que le décréter) suppose de :
S’inscrire dans les évolutions en cours (plutôt que les prédire).
Expérimenter (plutôt que déterminer à l’avance toutes les dimensions).
Réajuster régulièrement (plutôt que de bloquer les indicateurs et les « cadres »).
Dialoguer en permanence (la communication est essentielle et elle dépend autant de la relation que de l’information).
La façon de considérer le changement peut-être très variable. Pour se persuader de l’importance d’une approche plus stratégique - qui cherche à mesurer le changement à travers autant les résultats que les procédures, la satisfaction, les effets – il apparaît important de repartir de quelques constats des « dérives » de l’aide. Ce travail est complété par un résumé de l’importance de l’analyse des effets et ensuite de quelques éléments sur les clefs pour le changement.
Parmi les critiques de l’aide qui peuvent être nombreuses on retiendra surtout la tendance a une professionnalisation par l’ingénierie du projet et le manque d’analyse des contextes. La tendance à anticiper et prescrire plutôt qu’à expérimenter et un manque de responsabilisation de l’ensemble de la chaîne d’acteurs aux résultats et plus largement à l’impact.
Cela s’explique en partie par la dépendance accrue aux financements publics et à leurs conditionnalités de plus en plus fortes, qui souvent impriment des logiques pas forcément responsabilisantes. Mais cela s’explique aussi par les particularités de l’aide au développement en tant que ‘secteur’ d’activités.
L’une des particularités concerne la dissociation entre le financement du « service » et le bénéficiaire : la chaîne entre le financeur (le public au Nord et les administrations de la coopération au développement) et le bénéficiaire étant longue et géographiquement très distendue, il est difficile de faire le lien entre le financement du service (ou du produit) et la satisfaction des gens. La demande des bénéficiaires peut se trouver en complète déconnexion de l’offre de service ou de produits. Entre les deux s’insère un certain nombre d’intermédiaires qui tentent de faire cette articulation, mais avec leurs propres logiques institutionnelles et souvent en postulant le besoin plus qu’en le construisant réellement avec les principaux concernés. Le résultat est généralement que la structure en appui (pas nécessairement l’ONG du Nord mais aussi celle du Sud) est dans une démarche qui consiste à « trouver des problèmes aux solutions » .
Dans ce cadre, un dispositif de suivi peut parfaitement participer à continuer à conditionner ses utilisateurs à répondre aux exigences du projet (son cadre logique) sans interroger les autres réalités des « bénéficiaires-cibles ».
Exemples : l’appui à un groupement de femmes pour la production et la commercialisation du fonio a été réorienté par elles vers du micro crédit. Les représentants de l’ONG d’appui ont tout d’abord reproché ces changements avant d’en prendre intelligemment leur parti.
Le suivi peut donc, aussi, à l’inverse, tenter de réellement faire le lien entre le financement et le bénéficiaire :
La démarche axée sur la qualité force à se rapprocher beaucoup plus des perceptions des populations et à trouver moyen de les interroger. Elle oblige aussi à plus s’interroger sur ses propres pratiques et ses représentations. L’analyse des effets quant à elle oblige à s’interroger sur les répercussions de son intervention et à rentrer dans une démarche de compréhension plus exigeante.
Les deux s’alimentent, bien entendu, l’une l’autre : l’écoute des populations doit permettre de renseigner sur les effets et l’analyse de ceux-ci permet de poser les bonnes questions aux populations. C’est donc une démarche itérative et continue qui ne s’accommode pas facilement d’un phasage trop strict du cycle de projet.
Les effets se situent assez loin dans la chaîne de l’impact mais la relation avec l’intervention reste possible. Il est beaucoup plus difficile d’établir encore cette relation entre l’intervention et l’impact par exemple.
Dans l’espace des conséquences d’une intervention, on peut distinguer des aspects négatifs et des aspects positifs. Dans chacun des cas, l’intérêt consiste à repérer les effets indirects, imprévus, qui vont au-delà de l’intuition qu’on peut avoir sur les conséquences de son action. Il apparaît même, dans certains cas, que des effets peuvent être « contre-intuitifs », c’est-à-dire aller en sens opposé à ce que l’intuition imagine ; c’est le cas par exemple des moulins à mil ou du crédit-épargne sur les plus pauvres, ou encore des aménagements physiques qui renforcent la propriété des terres, cités ci-dessus.
S’interroger sur ces différents effets revient aussi à dépasser l’espace du projet-partenaire pour questionner plus globalement les populations environnantes.
Ce faisant, cette démarche répond à une critique importante de l’aide qui tient à sa tendance à fonctionner avec ses propres partenaires et à créer des « circuits-courts » pour favoriser l’obtention de résultats rapides, sans se préoccuper de savoir si cela crée des concurrences entre acteurs et entre bénéficiaires. Se poser la question des effets oblige donc nécessairement à être plus dans le politique au quotidien, c’est-à-dire le repérage des tensions et des rapports de force, et dans la recherche de régulation.
La qualité se définit comme l’aptitude d’un ensemble de caractéristiques intrinsèques à satisfaire des exigences. Une exigence est un besoin ou une attente formulés, habituellement implicites, ou imposés. Cette définition est intéressante dans la mesure où elle montre bien l’importance de distinguer « besoin » et « attente », ainsi que ce qui est « implicite » de ce qui est « formulé ». Elle attire l’attention sur un fait trop peu connu et pourtant démontré : un besoin n’est souvent exprimé qu’en fonction des solutions qu’on lui connaît.
Si les gens ne parlent pas des larves d’insectes qui mangent le mil c’est parce qu’ils n’imaginent pas de solutions possibles ou qu’ils n’imaginent pas que leur interlocuteur ONG puisse en avoir, tant ce dernier parle surtout de « diguettes », « reboisement » « fertilité » « rendements »….
La qualité est une réponse intégrant les besoins et les attentes des bénéficiaires. Les questions que pose la démarche qualité à une organisation sont les suivantes :
Avons-nous répondu aux besoins et aux attentes des différents bénéficiaires pour cette prestation ? (indicateurs de satisfaction).
Avons-nous des ‘demandes’ traitées convenablement dans les délais requis ? (indicateurs de conformité).
Quelles sont les opérations sur ce processus de production qui posent le plus de problèmes ? (indicateurs de processus).
Ces différents éléments sont mis en relation dans une « boucle de la qualité » qui distingue bien la qualité perçue et attendue des bénéficiaires de celle voulue ou réalisée par l’organisation.
Le monde du développement a peu intégré encore ces dimensions. Elles s’avèrent pourtant importantes pour renforcer (et parfois revoir) les relations aux bénéficiaires et pour questionner sa propre « chaîne » de processus. Particulièrement dans un secteur où la chaîne d’acteurs est complexe et la relation entre le financeur et le bénéficiaire très indirecte et marquée par de nombreux intermédiaires.
Le changement ne se décrète pas. Des changements se produisent en permanence sans que nous en ayons conscience mais, parfois, percevoir une chose équivaut à la figer : rendre visible un échec scolaire ou un changement de personnalité dû à l’adolescence peut participer à figer la personne dans sa position « d’échec » ou « d’ado ».
Le changement doit partir des ressources et des possibilités internes du système. Tout système humain, de la monade aux institutions plus vastes, a fondamentalement besoin d’être d’abord reconnu et valorisé pour évoluer. Provoquer le changement dans un système ne consiste pas à tenter d’éliminer ses dysfonctionnements mais plutôt à en déceler les fonctions utiles pour ensuite les exploiter dans la conduite du changement : c’est alors que les ressources du système deviennent facilement mobilisables pour parvenir au changement souhaité.
Mettre l’accent sur les défauts et les dysfonctionnements du système plutôt que sur ces ressources -comme le font la plupart des outils de l’aide au développement (l’arbre à problèmes en particulier)- ne facilite pas le changement.
Le changement doit être voulu. La tendance naturelle de l’homme est de toujours en faire plus dans le même sens mais beaucoup moins d’essayer de faire et surtout de penser les choses autrement. C’est l’exemple des paysans français qui chaque année montrent l’importance de tuteurs pour les tomates et ne se posent pas la question de savoir pourquoi ce changement n’est pas voulu par les gens.
Beaucoup d’idées fausses, de « bon sens », sont des freins au changement :
Face à un échec il ne faut pas se décourager mais toujours réessayer : beaucoup de gens ont investi de nombreuses années de leur vie sur ce principe sans tenter autre chose et sans chercher à voir les choses différemment.
Pour résoudre un problème il faut toujours d’abord en rechercher les causes : ces mêmes personnes en considérant que la recherche des causes est difficile et nécessite du temps se piègent dans leur échec. Identifier la cause n’est pas indispensable.
Il y a une seule solution possible, il faut la trouver. Dans la réalité plusieurs solutions sont possibles (mais elles ne sont pas toujours reproductibles dans les mêmes contextes).
Si le problème est complexe, la solution doit l’être aussi ; la réussite se paie cher, etc. Là également, les choses apparaissent moins simples, certaines petites solutions peuvent avoir de grands effets.
La mauvaise communication est due à un déficit d’information. Cet amalgame conduit à ce que l’on tente de résoudre des problèmes de communication par la création d’outils techniques qui affaiblissent en fait les relations entre les individus. Si la fluidité des échanges d’information est une condition indispensable à l’évolution, elle n’est pas suffisante. L’évolution repose sur la qualité des relations, qui, elle-même libère et développe les échanges d’information.
Il y a deux types d’utopies selon Watzlawick : les utopies négatives pour lesquelles il n’y a pas de solutions et les utopies positives qui laissent entendre un monde sans problèmes. Le fait de poser un objectif de changement en des termes trop vagues et globaux (la paix et la sérénité totales, l’égalité pour tous) ne fait qu’engendrer des solutions qui créeront encore un peu plus de problèmes. Le « truc » est d’extraire de ces utopies des objectifs suffisamment concrets pour qu’ils puissent être rapidement réalisés et de montrer aux concernés, dans une seconde étape, qu’un premier changement a déjà pu être atteint.
L’illusion du contrôle correspond au fait de définir des objectifs de changement en termes totalement inadéquats : bon nombre de gens cherchent vainement à satisfaire des aspirations parfaitement illusoires dans la mesure où leur accomplissement ne relève pas de leur responsabilité. Un exemple classique est celui de la personne qui pense que son problème sera résolu si elle parvient à transformer l’autre, ou mieux encore, si l’autre change de lui-même.
Chercher à résoudre des problèmes en termes de « changement de mentalités », ou de changement culturel » relève de l’illusion et piège à l’avance tout changement. Combien de fois entendons-nous ce genre de réactions : « Je ferai moins de contrôles quand ils m’auront prouvé qu’ils travaillent comme des gens responsables » ? Ce genre de marchandage conduit à des situations bloquées : d’une part il inverse, de façon pernicieuse, l’ordre chronologique efficace qui favoriserait le changement, d’autre part, il alimente précisément la permanence des attitudes reprochées aux destinataires.
Quelques principes pour s’inscrire dans le changement : 1) Examiner, clarifier ou redéfinir l’énoncé du problème. 2) Explorer les solutions déjà tentées. 3) Projeter le futur souhaité pour construire le désir de changement. 4) Exploiter les ressources, tirer profit des résistances.
Les théories du changement nous incitent à la modestie : ce qui piège le changement, c’est principalement nos idées toutes faites sur le monde, les autres et sur nous-mêmes, celles qu’un prétendu bon sens nous inculque depuis l’enfance. Un même problème peut avoir plusieurs solutions et plusieurs représentations. Partir de ce point de vue permettrait d’améliorer sensiblement les façons de penser et de faire du développement.
La démarche axée sur la qualité apporte dans cette perspective une attitude d’écoute des bénéficiaires et des outils d’interpellations des pratiques et processus. L’appréciation et la mesure des effets – en plus des résultats – s’inscrit tout à fait dans cette logique d’ensemble qui vise à s’inscrire dans des changements portés par les principaux concernés.