Au défi de l’imagination

Mise en ligne: 16 décembre 2010

Une approche subjective de l’évaluation est plus appropriée, par Mags Liddy

Traduit de Liddy, M (2010) Editorial’ in Policy & Practice : A Development Education Review, Vol. 11, Autumn 2010, pp. 1-6.

La recherche c’est une pratique de tous les jours. Nous explorons des multitudes d’options avant de prendre une assurance automobile. Nous lisons de la documentation sur notre destination de vacances et sur l’histoire du patrimoine et des lieux touristiques, nous évaluons la valeur et l’utilité d’un produit pour notre mode de vie. L’exemple le plus fréquemment cité de recherche en éducation au développement est le travail d’évaluation. L’évaluation formative peut grandement contribuer à l’impact des programmes d’éducation au développement si elle est appliquée pendant leur exécution, alors que l’évaluation sommative donne un compte rendu écrit des réalisations. En outre, certains bailleurs de fond rendent l’évaluation obligatoire.

Si l’évaluation partage des points communs avec le suivi, il y a une différence majeure dans leur finalité. Les deux s’intéressent à l’exécution des programmes et sont centrés sur la réalisation des buts et des objectifs ; toutefois, le suivi se préoccupe surtout des questions opérationnelles et administratives, tandis que l’évaluation est une analyse stratégique pour éclairer les pratiques et évaluer l’impact. L’évaluation peut être considérée comme de la recherche appliquée et stratégique, car elle utilise les méthodes des sciences sociales afin d’examiner rigoureusement la valeur ajoutée et de voir l’impact des programmes d’enseignement ou de formation. Certains reprochent à l’évaluation d’être technique et fonctionnelle, et la considèrent comme un simple outil de mesure. Je crois que cette critique confond le suivi et l’évaluation. Elle nie également la contribution que l’évaluation peut apporter à la réalisation du programme et aux bénéfices attendus pour les participants.

Par ces propos, je veux dire que puisque l’évaluation utilise des méthodes de recherche scientifique elle doit être reconsidérée comme un processus de recherche de valeur. Charles Wright Mills salue l’imagination sociologique qui nous permet d’ « appréhender l’histoire et les histoires de vie ainsi que les relations entre les deux au sein de la société. C’est sa mission principale et sa contribution ». L’évaluation en tant que processus de recherche a besoin de nous rappeler sa mission et son potentiel et de nous aider à situer l’éducation au développement dans son environnement spécifique historique et social.

Dans la pratique

En substance, l’évaluation est une analyse stratégique d’un programme éducatif ou de formation. Les pratiques de suivi peuvent compléter le travail d’évaluation en informant par le récit écrit de ce programme, mais le suivi a une fonction distincte de contrôle. Dans la pratique le suivi pose des questions centrées sur l’efficacité, l’analyse du budget, et peut aborder l’efficacité du programme dans certaines limites. Le suivi peut suivre la continuité dans l’exécution du programme, et examiner les avancées vers les objectifs du programme. Certains font valoir que la fonction première du suivi c’est l’utilité car il se concentre sur l’identification et le traitement des difficultés opérationnelles. Cette caractéristique fonctionnelle du suivi est souvent appliquée à l’évaluation, mais l’évaluation est située à un niveau plus profond de l’analyse, elle apprécie les résultats par rapport aux objectifs, explore la valeur ajoutée des programmes en vue des futurs programmes, et afin d’établir un compte rendu écrit de la pratique. L’évaluation pose des questions sur la pertinence et l’impact, en particulier sur l’impact à long terme des programmes. Il s’agit essentiellement d’un jugement porté sur un programme, car à la base du mot évaluation c’est la valeur qui est en jeu.

Cette dimension de jugement de l’évaluation peut créer des conflits pour les participants et dans le processus lui-même. L’évaluation est souvent une exigence des programmes financés par l’État. L’Union européenne définit explicitement l’évaluation du projet comme une phase cruciale, notamment pour accorder des subventions en lien avec l’atteinte des résultats et des objectifs dans le cadre des budgets convenus.

Cette approche de l’évaluation met l’accent sur la rentabilité et reflète la dimension de mesures fonctionnelles, plutôt que sur l’impact à long terme et le changement social, qui est l’un des objectifs de l’éducation au développement. La mesure des résultats ne prend pas en compte le contexte spécifique de ce travail.

Aux États-Unis, l’exigence d’une évaluation obligatoire fait l’objet de nombreuses critiques car l’évaluation est utilisée comme un outil de justification pour obtenir des financements publics. Cette perspective soulève des préoccupations quant à la fiabilité des participants dont l’emploi ou d’autres avantages sont tributaires d’un financement continu. L’évaluation des avantages et des inconvénients d’un programme est nécessaire pour guider la pratique future et permettre le changement, mais elle peut représenter un défi personnel et professionnel.

Professionnellement, cela peut être difficile si votre sécurité financière dépend d’une évaluation favorable. Cela peut être également difficile sur le plan personnel puisque l’évaluation porte sur votre travail et votre contribution aux objectifs du programme, ce qui peut avoir un impact sur la satisfaction au travail et les performances futures.

Mark Smith définit l’évaluation comme « une exploration systématique et un jugement porté sur des processus de travail, des expériences et des résultats... [qui] accordent une attention particulière aux objectifs, valeurs, perceptions, besoins et ressources ». Cette définition pointe la dimension subjective de l’évaluation à travers la désignation des valeurs, des perceptions et des processus. La dimension subjective permet d’inclure les expériences des participants et leur histoire de vie, plaçant ainsi la recherche en éducation au développement et l’évaluation dans le contexte historique et social. Prendre en compte la dimension personnelle devient donc important dans la mesure où l’évaluation pourrait affecter la vie des participants. Cependant, je crois que l’inclusion de la subjectivité est également nécessaire car toute recherche en éducation au développement, comme toute évaluation, ne peut ignorer le contexte historique et social du travail réel.

L’éducation au développement est située dans le contexte de la mondialisation, des changements climatiques et des inégalités croissantes, pour ne nommer que quelques questions abordées. L’éducation au développement soulève des questions sur notre compréhension personnelle, et permet à l’apprenant de construire à partir de sa compréhension du monde et sur la base de ses connaissances antérieures, plutôt que d’imposer un point de vue sur ces questions. L’éducation au développement demande délibérément aux apprenants d’explorer leurs croyances éthiques et d’adopter une prise de position critique, et elle encourage l’action pour la justice sociale. Cette focalisation subjective s’oppose à une position objective associée à des méthodes de mesure fonctionnelles ou à beaucoup de méthodes de recherche.

Le choix des méthodes

Une grande partie des travaux d’évaluation peut porter sur des ensembles prédéfinis d’indicateurs et d’objectifs, basés sur des résultats d’apprentissage et des buts prédéfinis eux-mêmes. Toutefois, si le subjectif est l’approche appropriée pour l’éducation au développement, comme indiqué plus haut, alors ce doit être reflété dans le choix des méthodes de recherche utilisées. Une lecture subjective permet de multiples interprétations du monde, facilite l’émergence des perceptions individuelles et est principalement associée à des méthodes de recherche qualitative.

Choisir les méthodes de recherche et des outils appropriés pour l’évaluation des programmes d’éducation au développement qui reflètent l’éthique de l’éducation au développement est absolument nécessaire pour répondre aux critiques et aux techniques de mesure dont nous avons parlé. L’éducation au développement revendique Freire comme fondement théorique. En toute logique, en tant qu’éducateurs au développement, nous devrions utiliser les approches de Freire dans notre travail. Smith applique le modèle de Freire à l’évaluation en adaptant le travail de Joanne Rowland intitulé « Comment savons-nous si cela fonctionne ? ». Il définit quatre caractéristiques d’un travail d’évaluation dialogique :

1. L’évaluation fait partie d’un modèle de réflexion-action du changement.

2. L’évaluation donne de l’autonomie (du pouvoir d’action) aux participants lorsque les conclusions et les recommandations sont fondées sur un consensus entre les parties.

3. Le dialogue et la recherche plutôt que la mesure sont au cœur de l’évaluation.

4. L’évaluateur est un facilitateur plutôt qu’une personne extérieure objective et neutre.

Ces caractéristiques rappellent fortement l’éthique de l’éducation au développement, en particulier le pouvoir d’action (l’autonomie), la prise de décision en groupe et le changement. En parlant d’éthique de l’éducation au développement, je veux parler des approches éducatives inclusives et participatives, la prise de décision démocratique et un engagement éthique pour une justice sociale au niveau mondial. Les approches participatives en évaluation de l’éducation au développement sont importantes car elles incluent les apprenants et les formateurs dans le processus de recherche et d’évaluation, plutôt que de faire une évaluation sur eux. Ces approches les font participer pleinement au travail d’analyse, plutôt que de les mettre en situation de spectateurs, de fournisseurs d’information ou d’objets d’étude. Les approches fondées sur des enquêtes permettent le dialogue et l’échange pour discuter les questions soulevées et développer le processus de recherche lui-même, alors que le processus de décision en groupe permet à tous les participants et à toutes les parties prenantes d’être informés et de décider ce qui est écrit à leur sujet et sur leur travail.

De nouvelles approches innovantes en matière d’évaluation et de recherche sont constamment développées et exploitées. L’utilisation et l’analyse de méthodes de recherche visuelle (observation), qui peut refléter la créativité et l’innovation du travail d’éducation au développement. L’évaluation d’évènements d’éducation au développement et de conférences peut être créative et amusante, tout en fournissant un aperçu des apprentissages des participants et des réflexions sur l’événement. Des médias, incluant des films et des documentaires, sont souvent utilisés dans l’éducation au développement pour renforcer la sensibilisation et la compréhension, ainsi que la création de nouveaux médias à travers les technologies des médias sociaux. Ce sont également des espaces possibles pour l’évaluation. Des moyens rigoureux pour lire les réalisations et interpréter les résultats doivent être développés. Le Centre pour les méthodologies de l’audiovisuel à l’Université McGill a élaboré un guide pour la lecture des textes culturels développés à partir de l’analyse sémiotique (Mitchell & Reid-Walsh). Dans son travail d’éducation au développement, le Reading International Solidarity Centre utilise un axe X et Y pour lire les commentaires des apprenants sur le développement durable afin d’évaluer leur compréhension. Un axe représente le spectre du local au global, et l’autre, celui de la justice environnementale à la justice sociale.

Des approches novatrices pour des méthodes de recherche dialogique et d’évaluation peuvent refléter plus fidèlement l’éthique de l’éducation au développement ; en outre, il faut une position éthique forte dans la méthodologie de recherche en éducation au développement et dans le travail d’évaluation doivent avoir. Toutes les recherches sociales ont une responsabilité sociale à l’égard des participants. Les travaux de recherche universitaires ou menés par des instituts de recherche sont évalués par un comité d’examen de recherche, et certaines organisations professionnelles ont des codes de conduite contraignants en matière d’éthique. Cependant les chercheurs indépendants (moi y compris) ne sont pas liés par des directives ou évalués par des pairs. Dans le cadre de l’Association irlandaise pour le développement de l’éducation de recherche communautaire, IDEA, je cherche à développer des lignes de conduite directrices pour les praticiens de la recherche en éducation au développement, non pas comme un code de conduite obligatoire, mais plutôt comme un guide de bonnes pratiques qui reflète le renforcement des capacités et l’autonomisation des participants au cours du processus de recherche.

En conclusion

Charles Wright Mills défie les scientifiques et les chercheurs en sciences sociales de développer leur imagination sociologique et de nous situer au sein des systèmes historiques et sociaux. Il dit :

« Par son l’utilisation de l’imagination sociologique, les personnes dont les mentalités ont balayé seulement une série d’orbites limitée arrivent souvent à se sentir comme si elles se réveillaient soudainement dans une maison qui leur semblaient familière... Des décisions anciennes qui paraissaient sûres autrefois, leur paraissent aujourd’hui le produit d’un esprit dépassé. Leur capacité d’étonnement est ravivée. Ils acquièrent une nouvelle façon de penser, ils éprouvent une transvaluation des valeurs ».

L’évaluation doit être récupérée d’avoir été considérée comme un outil de gestion et de la langue de l’objectivité pour refléter directement l’éthique du travail d’éducation au développement. À son niveau le plus fonctionnel et le plus bas, l’évaluation peut éclairer la pratique et guider les programmes de développement. Cependant l’évaluation a le potentiel pour aller plus loin, elle peut nommer l’invisible et les pratiques non remises en question qui ajoutent du mérite aux programmes éducatifs en réveillant le familier dans leur maison. L’évaluation a le potentiel de transformer et de permettre de nouvelles manières de réfléchir par l’inclusion et la participation, si conçue et mise en place d’une manière dialogique visant l’autonomisation des personnes. L’évaluation peut créer des connaissances avec les participants en fonction de leur vécu de l’éducation au développement, peut éveiller l’étonnement et raviver les mérites de la recherche.

Traduit de l’anglais (Irlande) par Brigitte Gaiffe

References

European Union (2008) The Lifelong Learning Programme 2007-2013.

Freire, P (1972) Pedagogy of the Oppressed, Penguin, London.

Mills, CW (1959) The Sociological Imagination, Oxford University Press, London.

Mitchell, C & Reid-Walsh, J (2002) ‘Physical Spaces : Children’s bedrooms as cultural texts’ in Mitchell C & Reid-Walsh, J (2002) Researching children’s popular culture : the cultural space of childhood, Routledge, New York, pp. 118-130.

Rowlands, J (1991) How do we know it is working ? The evaluation of social development projects, cited in Smith, MK (2001, 2006) ’Evaluation’ in the encyclopedia of informal education, and in Rubin, F (1995) A Basic Guide to Evaluation for Development Workers, Oxfam, Oxford.

Reading International Solidarity Centre (2008) How Do We Know It’s Working ? A toolkit for measuring attitudinal change in global citizenship, Reading International Solidarity Centre, (RISC), Reading.

Smith, MK (2001, 2006) Evaluation in the encyclopaedia of informal education.