ITECO.be

La demande qui m’a été adressée est de situer les aléas et les limites du cadre logique au regard de ma pratique d’évaluateur. Étant donné le public d’Antipodes, j’y répondrai en limitant mon propos à des cas d’évaluations intermédiaires et finales de projets cofinancés par les pouvoirs publics, que ces projets soient de développement ou d’éducation au développement. Plus précisément encore, j’aimerais mettre ici la technologie du cadre logique à l’épreuve de la réalité de projets adressés à des enfants ou à des adolescents par les ONG, mais j’aimerais aussi situer l’utilisation du cadre logique dans la perspective plus large du contexte où s’insèrent ces projets. Qu’est-ce à dire ?

Les enfants ne sont évidemment pas des pommes de terre ! Leurs apprentissages, leur socialisation et leur intégration sociale (leurs changements d’attitudes, de comportements et de représentations) obéissent à des facteurs autrement plus complexes et moins maîtrisables et identifiables que ceux qui régissent la croissance des plantes.

En effet, les aléas qui conditionnent la réussite de tels projets ne sont pas à proprement parler climatiques ou économiques, voire statistiquement prévisibles : l’environnement significatif de l’enfant est avant tout social (famille, communauté) et culturel. Il est aussi juridique et politique lorsqu’il s’agit de promouvoir ou de faire respecter ses droits. Dans ce dernier cas, les organisations qui travaillent avec des enfants et développent une approche centrée sur leurs droits sont appelées à travailler dans des situations difficiles et dans un environnement institutionnel complexe marqué par des conventions internationales , des dynamiques législatives spécifiques et des rapports particuliers entre diverses initiatives, qu’elles soient publiques ou privées.

Ces projets visent des changements structurels à long terme menant à plus de justice et d’équité, à la création d’un milieu plus intégrant pour l’enfant, notamment les plus vulnérables et les plus démunis d’entre eux, tout en soulageant à court terme la souffrance concrète de certains dont il faut faire respecter les droits. Les projets adressés par les ONG aux enfants et aux adolescents sont donc essentiellement des projets que l’on pourrait qualifier de qualitatifs plutôt que de quantitatifs. Même s’il peut s’avérer utile, dans un souci d’objectivation, de tenter de quantifier les objectifs et les résultats de tels projets, ces quantifications ne sont finalement qu’indicielles (la pointe de l’iceberg) car le véritable output humain comme tel, qu’il soit individuel ou collectif, actuel ou futur, reste difficile à évaluer. De tels projets se différencient des projets quantitatifs par le fait qu’ils travaillent sur et avec l’humain, à savoir des sujets dotés de subjectivité, des acteurs qui produisent du sens et vivent des valeurs qui leur sont propres. Et évaluer, n’est-ce pas justement tenter d’apprécier la valeur des choses ? ‘Valeur’ pour qui ?

Dès lors, le transfert au domaine social et humain d’une technique (celle du cadre logique) initialement conçue à des fins militaires et industrielles ne relève pas d’une simple transfusion mécanique. Il s’agit d’un geste lourd de sens et de répercussions concrètes qui peut entraîner des rejets, au même titre, voire pour les mêmes raisons, que la mondialisation de l’usage de l’anglais (comparaison n’est pas raison !). Le cadre logique véhicule une conception linéaire de l’action caractérisée par la prévision, le contrôle et la maîtrise. C’est un instrument de planification standardisé, connoté culturellement, historiquement situé, qui convient particulièrement bien aux besoins de systématisation et de contrôle des gestionnaires, décideurs et bailleurs de fonds. Cependant, comme tout instrument, il ne constitue pas une fin en soi et ne trouve pas son sens en lui-même mais bien dans l’usage qu’on en fait. Ainsi que le souligne avec pertinence Luisa María Aguilar, « le cadre logique doit être au service des personnes », et pas l’inverse !

Il est évident qu’une action bien programmée doit idéalement contenir ‘dans et dès’ sa conception les moyens de sa propre évaluation. Des indicateurs bien conçus dès le départ, facilement vérifiables, devraient en fin de compte suffire pour suivre l’action et réaliser une bonne évaluation interne des résultats. Cependant, dans le cas des projets évoqués, il est significatif de constater, et ce dès les premiers briefing avec les commanditaires, que la demande d’évaluation externe déborde généralement la simple ‘explication mécanique des résultats’ pour porter sur la ‘compréhension des processus’. Le terme ‘processus’ lui-même est utilisé dans un sens non strictement ‘mécanique’ (identification des chaînes de causes à effets) mais bien dans une perspective de ‘recherche du sens et de la valeur’ de l’action, de son impact réel. L’attente d’évaluation est davantage qualitative que quantitative . « Que se passe-t-il par rapport aux processus humains, sociaux ? », « Quelle sont, au-delà des résultats, la valeur, le sens de l’action pour les différents acteurs ? », « Quels changements induit-elle réellement, sur le plan des personnes, du contexte et de l’environnement, des représentations des gens ? », telle est souvent la préoccupation sous-jacente, voire explicite, de la demande d’évaluation. Force est de constater qu’une sorte de malaise ambiant règne face à l’insuffisance du quantitatif et du cadre logique pour évaluer de tels projets.

En quoi consiste alors la démarche d’évaluation ? On peut considérer le cadre logique comme une idéalisation a priori, un construction plausible de l’action. Il est évident (et cela fait partie de la nature du réel) que les choses ne se déroulent jamais strictement ‘comme prévu’ et que ‘ce qui se passe’ a des effets qui dépassent parfois largement ce que l’on visait ! En cours d’action, dans la pratique d’exécution d’un projet, le cadre logique doit concrètement servir de boussole pour maintenir le cap. Autant dire qu’il est parfois mis rudement à l’épreuve du réel. Il est clair que le qualitatif peut et doit être planifié, mais le cadre logique doit pouvoir se laisser questionner, soit en tant que référent pertinent pour l’action, soit dans sa conception. L’important est de garder clairement en tête les priorités (la promotion des droits de l’enfant, par exemple) sans perdre le nord...

Mais qui donc a élaboré ce cadre logique !

La phase d’identification, de conception et de négociation d’un projet est fondamentale. Comme pour la construction d’un édifice, elle en constitue la base, les fondations. Dès qu’il prendra connaissance du projet par le biais des documents qui lui seront remis, l’évaluateur sera d’abord interpellé par la conception du cadre logique, son architecture, sa cohérence. Cependant, son sens pour l’action n’apparaîtra qu’en cours d’évaluation, en s’entretenant avec les différents acteurs.

En effet, chaque cadre logique est produit selon un processus spécifique. Et ce processus peut être ‘plus’ ou ‘moins’ démocratique. Cela dépend des priorités, des valeurs, de la structure et du mode de fonctionnement de l’organisation. De sa ressource-temps aussi. Qu’elle soit opérateur intermédiaire ou exécutant direct du projet, une organisation possède parfois son propre département ‘projets’ qui élabore le cadre logique de façon plus ou moins autonome et spécialisée, ceci en vue de la captation des fonds. Ainsi, il est des cas où le cadre logique constitue un ‘référent absent’ dans la tête de ceux qui exécutent concrètement le projet au jour le jour. Le sens qu’ils attribuent alors à leurs activités est sans grand rapport avec les objectifs du projet tels qu’inscrits dans le cadre logique. Il arrive que ce dernier ne soit qu’une reconstruction sur papier d’une action en cours. Ceci engendre une situation quasi schizophrénique, le cadre logique vivant sa vie propre dans l’univers de paperasses et de bureaux qui est le sien tandis que l’action se déroule, elle, indépendamment de lui sur le terrain. Il s’agit là évidemment d’un cas limite. On comprend que cette situation est propice à de potentiels conflits, à des incompréhensions, et peut affecter l’ambiance du projet.

En effet, des tâches conçues ‘ailleurs’, comme la collecte d’informations (ce n’est qu’un exemple), peuvent être imposées à certains exécutants du projet pour répondre à la nécessité ‘abstraite’ (pour eux) de fournir des indicateurs quantitatifs aux bailleurs de fonds. Ainsi, concrètement, un éducateur de rue peut se voir contraint de noter sur le terrain une série d’informations, ce qui constitue pour lui une tâche accessoire et harassante qui entrave la qualité de sa présence auprès d’enfants et de situations requérant une attention urgente et soutenue de sa part, ce qu’il estime en général être sa principale mission. Idem pour une éducatrice d’un centre communautaire qui, alors que la situation ne le nécessite pas à ses yeux, devra prendre les présences, enquêter auprès des familles, etc. Que dire du traitement ultérieur de l’information ainsi collectée ? Dans des contextes d’urgence et de pénurie, il mangera un temps organisationnel précieux bien nécessaire aussi pour assurer le suivi-évaluation et le monitoring du projet. De la même façon, dans les projets d’éducation au développement, les dispositifs de contrôle des ‘changements induits’ et la prise d’information qu’ils nécessitent sont souvent secondaires en importance pour ceux qui exécutent l’activité elle même. ’Ainsi, des consignes non négociées ne seront pas appropriées par les acteurs et risqueront d’entraver les activités, voire, pire encore, d’induire leur routinisation et un certain désinvestissement.

Il est donc essentiel que les différents acteurs, y compris et surtout les bénéficiaires, participent d’une façon ou d’une autre à l’élaboration et à la planification de l’action (et influent sur la formulation du cadre logique) pour que celle-ci soit pertinente à leurs yeux et qu’ils adhèrent à ses objectifs. Pour des projets adressés à des enfants ou à des adolescents, il est parfois difficile, mais essentiel également, de trouver des méthodes pour intégrer leur point de vue dans la conception et l’exécution des projets. Ces processus démocratiques nécessitent des méthodologies adéquates et rigoureuses, absentes de manipulation de la part d’un acteur ou d’un groupe d’acteurs. La participation à ce stade est seule garante de la pertinence du projet et conditionne la motivation de chacun durant son exécution.

Des bâtons dans les roues

La participation est nécessaire pour fonder l’action, quel que soit l’outil pour la conceptualiser. Certaines organisations s’en sortent très bien avec d’autres méthodologies tout aussi pertinentes de construction des projets, telle la méthode PIPO, par exemple. L’imposition d’utiliser le cadre logique est alors questionnée. La mise en question du cadre logique n’est donc pas toujours seulement ‘idéologique’ ou encore ‘épidermique’ (une inertie ou une peur face à l’effort d’apprendre une technologie aux concepts a priori rébarbatifs ou de dépenser du temps et de l’argent en formations pour se l’approprier).

A la maîtrise d’une méthodologie alternative au cadre logique peut venir s’amalgamer un autre motif d’agacement et de rejet : une programmation annuelle en ‘années civiles’, désynchronisée par rapport au rythme juin-juin de certains bailleurs de fonds (époque de remise des plan d’action des ONG à leurs financeurs gouvernementaux). Pour illustrer ce cas de ‘double programmation’, imaginons (et ce n’est pas imaginaire !) une organisation du Sud qui rassemble chaque année en novembre tout son personnel, et celui des organisations partenaires qui exécutent ses projets ou bénéficient de ses services, pour réaliser sa programmation annuelle selon une méthodologie participative axée sur la méthode PIPO. Se présente à cette organisation la possibilité attrayante d’un cofinancement quinquennal via un gouvernement européen. Imaginons (et cela, oui, c’est plutôt imaginaire !) que cette organisation puisse se payer le luxe de rassembler les mêmes personnes en avril (deux fois par an) pour faire une programmation pour l’année suivante (qui débute six mois plus tard !) selon un autre format (celui du cadre logique). Même dans le meilleurs des cas, il subsiste le problème suivant : dans l’intervalle de six mois qui sépare la construction du cadre logique et la programmation annuelle propre à l’organisation et à ses partenaires, bien des événements peuvent être survenus qui rendent obsolètes des pans entiers du cadre logique (cela non plus, ce n’est pas imaginaire !).

Ces événements ne sont pas rares dans les projets évoqués car l’environnement social, politique et institutionnel des organisations de droits de l’enfant est bien souvent instable, complexe et peu prévisible : des changements de lois peuvent avoir lieu, des programmes politiques être mis en place, qui remettent en question les méthodologies ; des opportunités de formation, d’organisation ou de participation à des événement peuvent se présenter et avoir des effets. Chez les responsables des projets, une grande tension apparaît alors qui peut se répercuter sur le terrain : faut-il se rapporter au cadre logique pour satisfaire les bailleurs de fonds (et obtenir les financements qui permettent de réaliser les projets) ou aux besoins réels du moment qui se rapprochent davantage de la programmation annuelle propre ? Comment intégrer l’événement, l’aléa ? A cela viennent se greffer d’autres contraintes comme le temps (l’urgence), les imprévus à régler, les autres financements aux exigences desquels il faut satisfaire également (rapports d’activités). En bref, dans la pratique, cela revient souvent à réaliser la quadrature du cercle !

De telles organisations doivent donc pouvoir maintenir une certaine flexibilité sans que le cadre logique devienne totalitaire et contre-productif. Il s’agit pour elles d’un problème d’efficience globale, et le temps (pris pour l’élaboration du cadre logique) et les contraintes (injectées par sa présence) font partie de cette efficience globale. On comprend dès lors que, sur le terrain et dans les situations d’urgence, la tendance soit à l’optimalisation réaliste du rapport entre ressources investies et résultats, plus qu’au perfectionnisme idéaliste... Tant pis s’il y a des concessions à faire au cadre logique et à ses impératifs de quantification ! Priorité à l’humain !

Au service des personnes

Pour obtenir des financements publics, le cadre logique est une obligation qui s’accompagne d’une obligation d’évaluation. L’évaluation externe s’inscrit donc dans cette logique. Elle serait sans doute très différente si elle en sortait. Qu’on me comprenne bien ici : je ne prêche pas pour un manque de rigueur ou de systématisation dans l’évaluation, voire encore pour l’absence de prise en compte du cadre logique en cours d’action ou pour l’évaluation. Bien au contraire : plus on maîtrise l’outil, plus on le relativise mais aussi plus on en apprécie les qualités, dépendant de son usage. Je veux juste souligner ici le fait que la démarche d’évaluation est une démarche compréhensive qui dépasse de loin le simple contrôle-vérification attenant au cadre logique. Qu’on le veuille ou non, l’évaluation est une pratique sociale et l’évaluateur externe est un acteur social : le sens de sa présence n’est pas neutre et sans effets. Le travail d’objectivation qu’il fait via les critères de pertinence, efficacité, efficience, impact et durabilité liés au cadre logique et à la gestion du cycle du projet s’accompagne inévitablement d’un travail de réappropriation de l’action par les acteurs, ne fut-ce que par le travail que ceux-ci fournissent pour construire des réponses à ses questions. Dans ce sens, toute évaluation présente une dimension formative. C’est l’outil utilisé (la méthodologie d’évaluation, le cadre logique) qui permet de ‘médiatiser’ les interactions et de créer une relative neutralité ‘exempte de jugements’. Il n’est pas rare que la présence non impliquée mais participante de l’évaluateur, surtout lorsque celui-ci rassemble autour d’une même table les différents acteurs, catalyse des processus de négociation, de réflexion et d’échange, et permette ainsi aux personnes de reconstruire collectivement ou de se réapproprier le sens social de l’action, y compris celui du cadre logique comme outil.

Se référant à des projets qualitatifs (formation, droits de l’enfant, droits des femmes, développement communautaire), Luisa María Aguilar souligne qu’« il y a beaucoup de bons projets qui n’ont jamais utilisé le cadre logique comme outil de planification et de suivi-évaluation ». En effet, pour elle, « de bonnes actions sont avant tout celles qui ont une vision stratégique, même si cette vision n’est pas toujours très explicite ; ce n’est pas le cadre logique qui va, d’une manière magique, rendre l’action bonne ». Cependant, quand on va sur le terrain, on constate aussi qu’il y a « beaucoup de projets où l’on injecte beaucoup d’argent et rien ne change. L’argent n’est pas mal versé, dit-elle, mais pas bien exploité ! ». Dans ces situations, « l’idée du cadre logique, c’est d’aider les gens à s’organiser mieux, c’est un instrument pour assurer l’efficacité des projets, leur amélioration ». Et de continuer : « Pour qu’une action soit bonne, il faut toujours qu’il y ait une sorte de synergie, de force, de vision... Le cadre logique est un outil qui peut être intéressant pour autant qu’il y ait une articulation entre la vision politique, la stratégie de l’action et les actions. Jusqu’où le projet est-il placé dans le contexte (communauté, municipalité, région, pays), c’est ce que j’entend par vision politique. La stratégie, c’est à dire quelle articulation y a-t-il entre les objectifs spécifiques, les résultats et les activités, pour arriver à influencer la politique. Et les actions, ce sont les activités concrètes, avec les enfants, par exemple ». Et de conclure : « Si on peut utiliser le cadre logique comme un instrument de suivi des résultats autant que des processus, ce peut être un atout, car pour que le cadre logique soit efficace, il faut qu’il y ait une lecture stratégique, parce que c’est vraiment un instrument de stratégie ! Si on le voit comme une chose morcelée pour pouvoir évaluer et exécuter les activités, le budget, tout cela peut être fait, oui, mais cela ne peut pas garantir l’efficacité du projet en termes de changements... ».