ITECO et l’évaluation

Mise en ligne: 18 juillet 2012

Une histoire faite de proximité et de distance, par Antonio de la Fuente

Le changement culturel a été l’objet social d’ITECO depuis sa création dans les années soixante. L’objectif de son activité principale, la formation, était le passage des participants aux formations d’un état de conscience à un autre, l’évolution, la transformation des significations à travers le processus pédagogique. Aujourd’hui, ITECO cherche également à produire des modifications dans les valeurs et les attitudes du public tant sur le plan individuel que collectif, une mise en question des modes de penser, de sentir et de se comporter, une métamorphose culturelle. Depuis ses origines, le changement est la référence.

Une autre fonction d’ITECO a été dès le début de prêter service à d’autres institutions concernées par l’action sociale. La demande de ces institutions était de réfléchir sur leurs pratiques. Il s’agissait parfois de saisir les changements produits chez les participants à un voyage organisé. A d’autres moments de découvrir les contradictions, les écarts et les méconnaissances à l’intérieur des équipes par rapport aux objectifs de leurs actions. ITECO, par ses vues plus ou moins proches des finalités de ces institutions et par une expertise facilitant l’expression des personnes dans des situations de groupe, leur inspirait confiance. Il s’agissait à cette époque de faire parler les gens et à partir de cette parole, écoutée par tous, de rectifier les écarts possibles.

La volonté de bien faire, à l’origine de ces demandes, était attisée par la perception des changements culturels qui s’opéraient dans la société. En fait, jusqu’aux environs des années quatre-vingt, ITECO pouvait pressentir les résultats de ses actions à partir du constat de la présence de son public dans des pratiques sociales et politiques diversifiées. Mais, l’action sociale étant devenue moins visible ces dernières décennies, des questions sur les effets des pratiques de formation sont réapparues. Y avait-il réellement des passages, des transformations de significations, des changements dans le public ?

Certaines ONG et organisations sociales ont voulu alors estimer les effets de leurs actions, mais elles se méfiaient foncièrement, comme nous d’ailleurs, des éclairages que pouvaient leur apporter les méthodes évaluatives traditionnelles. Le concept d’évaluation était situé « dans l’autre camp », dans celui du pouvoir. La vision dichotomique, qui prédominait à cette époque, rendait plus difficile l’acceptation de la démarche d’évaluation. ITECO lui même a entamé une approche, disons, circonspecte.

Les ONG manquaient-elles d’une culture de l’évaluation ? Certainement, pour la plupart. Faisaient-elles un amalgame trop rapide entre évaluation et sanction ?

Certes aussi. Mais… il y avait de quoi ! La culture n’apparaît pas hors contexte et dans la culture des organisations de financement de la coopération au développement cette confusion était aussi souvent présente. Elle pouvait être observée également dans les évaluations que les ONG du Nord réalisaient vis-à-vis des actions au Sud. Pendant longtemps, beaucoup d’évaluations de projets au Sud suivaient une vision plutôt ethnocentrique. L’observation avait lieu à travers une sorte de mise en scène dans laquelle les acteurs de terrain présentaient, au mieux pendant une semaine, leurs meilleurs rôles. La capacité des experts du Nord de tout comprendre en si peu de temps était surestimée. Pour d’autres évaluations, une vision technique, dite scientifique, visait une objectivité sublimée, qui s’est révélée par la suite impossible à atteindre. En effet, s’il est vrai que les ONG n’avaient et n’ont pas encore toutes une culture d’évaluation, les bailleurs de fonds, s’ils en avaient une, ils ont dû modifier, eux aussi manifestement, leurs vues en la matière.

ITECO, situé au croisement des points de vue des théoriciens et des praticiens du Nord et du Sud, sensible au débat sur l’évaluation, a voulu contribuer à cette discussion. Un séminaire destiné aux ONG et aux mouvements sociaux a été organisé en 1990 pour présenter différentes méthodes d’évaluation, afin de fournir aux participants un matériel à analyser. Ils pouvaient ainsi évaluer les avantages et les désavantages de ces méthodes.

L’objet du travail d’ITECO étant l’action culturelle, le chemin presque « naturel » a été d’aller voir du côté des méthodes d’auto-évaluation et des méthodes prenant en compte la participation des acteurs impliqués dans le processus d’évaluation. En fait, à ce moment-là, tant au Nord comme au Sud, des courants se manifestaient qui cherchaient des alternatives aux procédés traditionnels d’évaluation : il y a eu, et il y a encore, « l’évaluation animée », « l’évaluation illuminative » « l’évaluation démocratique », « l’évaluation plurielle »… Certains bailleurs de fonds, d’ailleurs, se rendant compte que les méthodes utilisées ne reflétaient pas complètement la réalité, ont encouragé parfois des expériences originales. Ainsi, l’Union européenne a accepté à une occasion de réaliser une évaluation des projets du Sud dont l’évaluateur s’est immergé pendant un mois dans le contexte de la réalité à évaluer. C’était un moment d’exploration et de tâtonnement.

Le débat a été riche en production de savoirs. La recherche de méthodes alternatives a interrogé les enjeux de l’évaluation et a incité les évaluateurs à faire des efforts pour mettre en contexte l’acte d’évaluer, pour l’intégrer dans une réalité sociale changeante. Elle a introduit la question de l’éthique, de la légitimité et de la vision plurielle des acteurs en jeu. ITECO, en rejetant un mouvement pendulaire a réalisé un effort d’intégration entre l’utilisation des données quantitatives et des concepts comme efficacité, d’efficience et un prise en compte des subjectivités au travers de la participation.

Nous avons cherché à comprendre comment la participation peut avoir lieu dans le cadre d’une évaluation. Donner la parole aux acteurs concernés par l’évaluation peut ne pas suffire. La question est de savoir quand, comment et où une parole relativement « vraie » peut émerger, quelles sont les conditions dans lesquelles les acteurs impliqués par l’évaluation peuvent s’exprimer sans que des enjeux du pouvoir et les hiérarchies ne l’empêchent.

Notre approche de l’évaluation, encore imprécise, continuait lentement. La DGD, à l’époque AGCD, incitée par un regard critique sur son propre agir, avait imposé une formation consistante pour les candidats coopérants-ONG. ITECO a proposé une semaine de formation sur le thème de l’évaluation. Ce module, réalisé pendant plusieurs années et plusieurs fois par an, lui a permis de se mettre à jour sur les méthodes existantes, et l’a situé dans une sorte d’observatoire de ce qui se faisait en la matière.

C’est à ce période-là qu’ITECO a reçu ses premières demandes d’évaluation formellement énoncées. Les questions relatives à la réalité des changements que ITECO espérait induire chez son public se sont imposées également et nous nous sommes mis à la recherche de procédés qui permettraient de sortir de l’impressionnisme. Une évaluation du cycle de formation de base d’ITECO, dit cycle d’orientation, a été entamée, ce qui a demandé de penser l’évaluation avant de construire le cycle et d’uniformiser les méthodes utilisées par les différents formateurs. Cette démarche nous a confronté à la difficulté d’évaluer les processus pédagogiques dans la formation d’adultes. Nous avons eu toutefois des éclairages sur le processus pédagogique qui nous ont encouragés à répéter l’expérience en entreprenant cette fois une évaluation avec des évaluateurs externes, en cours actuellement.

C’est peut-être la place qu’ITECO occupe, entre la coopération et la pédagogie d’adultes, qui lui a valu en 1994 d’être sollicité par l’Union européenne pour diffuser une évaluation sur dix ans de cofinancement des projets d’éducation au développement à échelle européenne. Cette évaluation, réalisée par des institutions universitaires, nous a permis un apprentissage majeur sur l’évaluation en éducation au développement. Ce travail s’est clôturé par un séminaire avec la participation d’ONG européennes et du Sud, dont une des recommandations finales a été de se doter d’une réflexion et de pratiques d’évaluation conséquentes en la matière. Ce ne fut pas facile de passer des vœux à la pratique. En fait, nous avons pu comprendre à travers cette activité les réticences des ONG et d’autres organisations qui subissent des variations budgétaires et qui vivent dans l’insécurité des emplois face aux évaluations demandées par des bailleurs de fonds. Par ailleurs, la discontinuité, due à la rotation des équipes, rend parfois inefficaces les mesures de correction proposées par les évaluations. Actuellement, sans doute, des avances considérables se sont produites dans la culture d’évaluation des instances financières, toutefois l’évaluation-sanction n’est pas encore parvenue à être seulement un phantasme des ONG.

Plus tard, un projet de formation des formateurs de jeunes en éducation au développement en Europe a permis à ITECO de former un groupe d’accompagnement constitué par des sociologues et des pédagogues, afin de réfléchir à la question de l’évaluation. L’utilisation de méthodes plus rigoureuses pour analyser et faire avancer les pratiques d’éducation au développement est apparue alors comme indispensable.

Ces outils devraient cependant s’accompagner, chaque fois, d’une adaptation à l’action évaluée. Ils doivent continuer à être pluriels à l’instar de la pluralité des actions d’éducation au développement, sans quoi le risque de voir apparaître une demande anxieuse d’une méthode rassurante et la tentation de la proposer comme on propose un kit, une passe partout garante d’objectivité. Il faut ne pas oublier qu’il n’y a pas une culture de l’évaluation, mais bien deux ou trois. La culture des associations subsidiées et évaluées, la culture des évaluateurs, la culture des bailleurs de fonds. C’est le rapprochement de ces cultures qui est profitable, le dialogue, non l’imposition menaçante.

En tant que centre de formation, ITECO a commencé par offrir un espace pour le débat sur le sujet, pour l’analyse, pour construire des ponts entre des positions différentes. ITECO continue à s’y interroger et à garder cet espace de réflexion mais pas uniquement comme observateur mais aussi comme praticien de l’évaluation.