ITECO.be

Formé à la recherche sociale et à présent chargé d’études au sein du Collectif d’échanges pour la technologie appropriée, [1], à Bruxelles, Mario Bucci a commencé à travailler en Italie dans une coopérative d’animateurs sociaux auprès de jeunes défavorisés. Par le biais des recherches-action menées, il découvre l’évaluation. Et découvre aussi que porter un regard critique envers l’action et la soutenir à travers la réflexion est une démarche qui correspond bien à sa personnalité. Vingt-cinq ans plus tard, il estime encore que certaines expériences d’auto-évaluation menées dans le cadre de ces premières expériences ont été parmi les plus grandes réussites de sa carrière.

Arrivé en Belgique au début des années nonante, il a travaillé comme consultant pour la Commission européenne dans l’évaluation des programmes d’éducation et formation professionnelle et des programmes d’égalité des chances. Dans ce cadre, il a fait la rencontre de nombreux consultants et chercheurs, notamment ceux de l’Institut Tavistock de Londres, centre d’excellence dans la recherche sociale qui développe une vision critique sur l’évaluation.

La participation à une étude pilotée par la Direction générale du budget à la Commission européenne visant à passer en revue l’ensemble des pratiques dans son sein en matière d’évaluation, l’a amené à être impliqué dans la création de l’European Evaluation Society. Dans ce cadre, il constate que l’évaluation comme analyse coût-bénéfice constitue la vision dominante dans les administrations. La logique managériale, largement répandue, se traduit aussi dans des méthodes comme le cadre logique, la gestion axée sur les résultats et autres, qui sont ensuite imposées aux associations. Reconnaître que l’évaluation peut servir à plusieurs objectifs pourrait servir à diversifier les approches et les pratiques en la matière. Si le but est de rassurer le bailleur de fonds, le cadre logique pourrait encore être considéré comme un outil approprié. Si, par contre, on veut réfléchir sur les pratiques et on est ouvert à des formes de remise en question, il est indispensable alors de faire autrement.

Contrôle, gestion et apprentissage

On distingue en général trois objectifs pour l’évaluation :

1. Rendre des comptes. Aussi appelé imputabilité (de l’anglais, accountability). La reddition de comptes peut avoir lieu face aux bailleurs, aux partenaires et aux bénéficiaires. En fonction du destinataire de la reddition et à qui va-t-on rendre des comptes, les questions à répondre ne seront pas les mêmes et toute l’évaluation sera, par conséquent, différente. La question du pouvoir et des ressources se joue ici : les bailleurs sont en droit de demander des réponses ; la population, pas toujours, et le plus souvent on n’attend pas de la population des questions mais bien des remerciements. A ce propos, on constate que les organisations de la solidarité internationale dans le monde anglo-saxon se posent plus fréquemment la question de la légitimité et des formes de la présence du Nord ailleurs dans le monde, ce qui se fait plus rarement dans le monde francophone.

2. Aider à la gestion. Les modalités ici vont dépendre de la structure de l’organisation qui porte l’initiative évaluée, si elle est verticale ou plutôt horizontale. Dans le premier cas, la dynamique décisionnelle va plutôt du haut vers le bas, et les questions prises en compte par l’évaluation seront surtout celles du management. Dans le deuxième, les questions qui intéressent les opérateurs de terrain auront aussi une place et l’évaluation sera construite autour de celles-ci. Un cas généralement intéressant est celui des ONG qui soutiennent à distance des associations du Sud, car dans la détermination du type de questions que l’évaluation doit traiter se reflètent les types de relation qui existent entre les partenaires.

3. Apprendre. La question ici est de savoir qui doit apprendre, à quel sujet et à quel niveau. Il peut y avoir des apprentissages sectoriels (par exemple, des méthodes pour renforcer la gestion des ressources naturelles), ou des apprentissages sur les méthodes de mobilisation sociale (par exemple, comment mobilise-t-on les communautés de base dans la gestion des ressources naturelles ?) Lorsque l’apprentissage porte sur le renforcement des capacités, on se posera des questions autour des dimensions socio-pédagogiques. De ces exemples on voit que l’évaluation varie en fonction des sujets et des niveaux d’apprentissage.

Vision linéaire du changement et « simplifications » statistiques

Dans les discours autour de l’évaluation il y a des visions qui s’opposent. D’une part il y a l’idée qu’il existe un point de vue unique et objectif à propos d’un projet, et que l’évaluation a pour but de le faire ressortir et de le communiquer. Une autre logique se base sur la multiplicité des points de vue et sur la dimension relationnelle entre les acteurs qui portent les différents points de vue, sur la reconnaissance de la différence des parties qui entrent en jeu. En simplifiant, la première perspective promeut en général l’utilisation de méthodes statistiques qui sont perçues comme les seules capables d’assurer la rigueur souhaitée. La deuxième, qui peut arriver même au relativisme total (une parole en vaut une autre), défend des approches permettant la construction de perspectives d’évaluation partagées. Dans cette dialectique, le rôle de l’évaluateur est essentiel. Quelle est donc la valeur du point de vue de l’évaluateur étant donné sa
position ?

Vu la pluralité de cadres, c’est un peu étonnant que le cadre logique soit encore l’outil privilégié dans la coopération au développement, même s’il faut reconnaître que la vision linéaire du processus de changement qui veut que tout soit prévisible et quantifiable est dominante. On peut se demander, par exemple, pourquoi on a du mal à accepter les études de cas qualitatifs, qui permettent une compréhension profonde des processus de changement, même si elles le font au prix de la généralisation des conclusions. En général l’administration publique a besoin de savoir si ce qu’elle a investi a produit les résultats attendus. Il y a peu d’intérêt pour la compréhension du pourquoi les changements se sont produits et comment. Il faut dire cependant, que les méthodes statistiques (qui se basent sur des généralisations et des hypothèses qui simplifient la complexité des contextes et des processus) ne mènent pas non plus à une vérité absolue.

La vision linéaire et objectiviste correspond aux préoccupation de certaines catégories d’acteurs qui ont le pouvoir d’imposer les questions d’une évaluation. Ce sont des questions légitimes, mais il faut constater qu’il y en a bien d’autres. La difficulté réside dans le fait que prendre en compte une pluralité de questions dans une étude d’évaluation équivaut à en faire accroître les coûts.

Les ONG ont généralement peu de moyens pour faire de l’évaluation. Avec ces moyens limités, les ONG ont tendance à vouloir combiner plusieurs objectifs dans une même étude et essayent de répondre à toutes sortes de questions en même temps. Avec la conséquence que la qualité des évaluations est souvent modeste. Il vaudrait mieux choisir : on ne peut pas répondre de manière fiable et rigoureuse, par exemple, aux préoccupations des bailleurs, à celles des partenaires et à celles des groupes cibles, à des questions d’impact et d’efficience, avec des recommandations sur la suite d’une intervention, sur trois pays en deux semaines avec dix mille euros comme budget. La distance entre le voulu et le faisable est énorme.

La dépendance des pouvoirs publics impose généralement de prendre en compte leurs points de vue et leurs questions, sauf pour les ONG qui récoltent beaucoup des fonds privés, et ont donc une plus grande autonomie. L’expérience montre que, d’une part, les commanditaires des évaluations (et les ONG en particulier) ne savent pas toujours ce que répondre à une question d’évaluation implique en termes pratiques et, d’autre part, il y a des choix difficiles à faire par rapport à l’attribution des quelques rares ressources. Il y a donc un besoin clair d’appui à la conception d’une évaluation, à la rédaction de termes de référence qui aient du sens.

Enfin, il faut distinguer entre évaluation et regard d’expert. La différence est de savoir où l’on place la responsabilité de ce que l’on dit. L’évaluateur est surtout un expert en évaluation et pas nécessairement dans le contenu de ce qui est à évaluer. Sa responsabilité se trouve dans les méthodes employées. La validité du regard de l’expert, par contre, est dans la personne de l’expert et non dans les procédures utilisées pour la récolte et l’interprétation des données. Celles-ci sont objectivables, pas le regard de l’expert. Ce qui peut par ailleurs être préférable, voire même indispensable dans certaines situations, à condition qu’on fasse clairement la différence entre l’une et l’autre.

La plupart des demandes d’évaluation ont comme origine une exigence des bailleurs. Ceci n’a pas d’influence que sur l’évaluation : on observe chez les organisations une corrélation entre le niveau de dépendance des financements publics et l’orientation de l’organisation à la gestion de ces financements. Il y a des organisations presque entièrement tournées vers les fonds institutionnels, dans le sens où la dépendance de ces financements est telle que l’organisation adopte de manière naturelle les priorités de ses donateurs et se structure pour y répondre. Le contenu des évaluations n’est qu’un corollaire d’une structure profonde.

Concilier jugement et apprentissage

Est-ce que l’évaluateur peut apporter une nouveauté tant sur le fond que sur la forme ? Souvent, lorsqu’on vise la reddition de comptes, on connaît déjà les résultats de l’initiative que l’on veut évaluer, et on cherche uniquement l’aval d’un point de vue extérieur et « objectif ». Lorsque l’évaluation est orientée vers l’apprentissage, la question se pose de réussir à apporter des éléments suffisants pour stimuler une réflexion critique et une remise en cause par rapport à l’initiative évaluée.

La difficulté est donc de concilier apprentissage et jugement. De plus en plus, cependant, des organisations se posent la question de la capitalisation, c’est-à-dire on réfléchit sur ce que l’on fait pour faire mieux ou pour faire autre chose. Les efforts pour l’instant sont assez timides, surtout à cause des implications pratiques (ressources à allouer, orientation de toute l’organisation vers l’apprentissage). Les exemples les plus connus sont ceux émanant d’organisations qui ont suffisamment de fonds propres et la culture appropriée pour se remettre en question de manière ouverte, comme Oxfam International et Action Aid, et peuvent même se permettre d’avoir un département d’évaluation et apprentissage.

Un exemple de cette orientation vers l’apprentissage est la méthode de la cartographie des incidences (en anglais, outcome mapping). Elle a été conçue au Canada au début des années 2000 pour mettre en exergue l’orientation d’une intervention vers le changement, de telle manière à permettre à tout moment de réorienter l’action. Elle reconnaît que les processus de changement ne sont pas linéaires, et permet donc que l’action puisse donc bifurquer ou revenir en arrière.

Comme le cadre logique est presque unanimement utilisé dans la coopération au développement, des communautés de réflexion essayent de rendre compatible l’utilisation de la cartographie des incidences et du cadre logique, de manière à ne pas dupliquer le travail. Les indicateurs dans le cadre logique, sont des marqueurs des progrès dans la cartographie des incidences, et ainsi de suite.

Evaluation ou planification

L’une (la cartographie des incidences) et l’autre (le cadre logique) ne sont néanmoins pas à proprement parler des méthodes d’évaluation, mais bien de planification. Elles orientent par rapport aux liens entre objectifs et moyens. Une fois que la programmation est établie, les mêmes cadres sont utilisés pour le suivi et l’évaluation. Et là où le cadre logique peut être utilisé simplement pour vérifier si les activités ont été réalisées selon les plans, la cartographie des incidences s’intéresse aux changements de comportement, qui seraient à la base de tout changement.

Pour arriver aux effets souhaités, la cartographie des incidences permet, si nécessaire, de modifier le parcours des actions, par le biais d’activités intermédiaires, par exemple. Le principe est donc que le processus initialement prévu peut être remis en question et, par exemple, on peut faire deux fois A et sauter B pour arriver à C. Dans les faits, la cartographie des incidences est probablement en train de devenir une nouvelle mode, la CTB et des ONG de taille, comme Vredeseilanden et Solidarité mondiale, l’ont déjà adoptée et, dans le cas de Vredeseilanden, toute l’organisation est structurée autour de cette méthode.

Du Canada vient aussi la gestion axée résultat, GAR. C’est encore un avatar du cadre logique mais, dans le cas de la GAR, l’accent est mis sur le résultat plutôt que sur les activités. Dans le contexte belge, la DGD a adopté la GAR et depuis la plupart des ONG fait référence à cette approche.

Combiner action et planification

Hélas, comme pour le cadre logique, l’utilisation de la cartographie des incidences ainsi que celle de la GAR peut être très normative. Pour toutes ces trois méthodes, le principe est que pour agir, il faut avoir tout prévu et planifié au préalable. Au contraire du principe de la recherche-action, méthode d’intervention qui est relativement ouverte par rapport aux finalités d’une initiative, et qui intègre une planification par étapes, qui est validée par les résultats obtenus par la combinaison d’action et de réflexion sur la pratique. C’est sans doute la méthode la plus intéressante si l’on se place dans l’optique des mouvements sociaux et des acteurs de la société civile. Son utilisation au sein des administrations semble, au contraire, plus difficile.

A l’intérieur de la démarche de recherche-action, l’évaluation, aussi bien l’évaluation externe que l’évaluation interne et l’autoévaluation, est un moyen parmi d’autres de faciliter la réflexion critique. L’évaluation s’intègre dans l’action, dès le départ. De plus, elle opère davantage dans un rapport de partenariat plutôt qu’en tant qu’évaluation externe. Ainsi, pour les trois ans à venir, le COTA a décidé de s’engager dans des initiatives d’apprentissage collectif, à partir de projets de recherche action avec trois ONG belges et leurs partenaires du Sud.