Webinaire sur l'utilisation des données issues des évaluations des apprentissages

Corps

Malgré le nombre croissant de pays qui participent à des évaluations des élèves à grande échelle et l’ampleur des ressources humaines et financières investies, les efforts réalisés dans ce domaine ne conduisent pas nécessairement à une utilisation efficace de ces données sur le plan des politiques et de la planification. Certes, de nombreuses publications pointent l’importance des données sur les apprentissages pour améliorer les pratiques, mais les raisons pour lesquelles elles restent sous-exploitées ne sont pas systématiquement comprises. L’UNESCO et ses partenaires ont donc organisé un webinaire pour partager les résultats de leurs récents travaux sur ce thème. 

Trois grandes questions émanant des conclusions des récentes recherches et des activités de renforcement des capacités y ont été abordées :

  1. Quels sont les principaux facteurs qui favorisent ou entravent l’utilisation efficace des données sur les apprentissages ?
  2. Quelles sont les principales caractéristiques d’un contexte propice à l’utilisation des données sur les apprentissages ?
  3. Quels sont les risques liés à une « mauvaise utilisation » des données issues des évaluations ? 

Ieva Raudonyte de l’IIPE a présenté les conclusions d’une étude bibliographique sur l’utilisation des données d’évaluation des apprentissages pour élaborer des politiques éducatives, en soulignant l’importance de bien comprendre comment les pays utilisent les données issues des évaluations des apprentissages et pourquoi cette utilisation n’est pas toujours efficace. On ne peut pas se focaliser uniquement sur les évaluations des apprentissages et les processus qui y sont directement liés ; il faut adopter une perspective plus large prenant en compte la culture d’utilisation des données et la planification, ainsi que la dynamique inhérente à l’élaboration des politiques. Enfin, malgré tout le potentiel des données sur les apprentissages, il faut aussi envisager les risques d’utilisation abusive, par exemple la prise de décisions sur la base d’un score unique aux tests ou l’usage des données pour justifier de priorités déjà définies à l’avance.

Davide Ruscelli du Bureau de l’UNESCO à Dakar a identifié un certain nombre d’obstacles qui compliquent l’utilisation efficace des évaluations à grande échelle par les pays, comme le manque d’adhésion aux évaluations, la publication tardive des résultats, le manque de coordination entre les évaluations à grande échelle et les autres évaluations, ou encore une mauvaise collaboration institutionnelle. Par ailleurs, il est important de veiller à ce que les données sur les apprentissages répondent aux questions politiques que se posent les décideurs et à ce que les capacités des groupes chargés des évaluations soient renforcées.

Guy Roger Kaba de la Conférence des ministres de l’Éducation des États et gouvernements de la Francophonie (CONFEMEN) s’est concentré sur le rôle des données du PASEC dans l’élaboration des politiques éducatives. Il a présenté les résultats préliminaires d’une enquête sur l’utilisation des données du Programme d’analyse des systèmes éducatifs (PASEC) par les pays participants pour améliorer la qualité de l’apprentissage. D’après les résultats, les données du PASEC 2014 ont été largement utilisées pour promouvoir l’enseignement préscolaire, pour améliorer la qualité, la disponibilité et l’attribution des équipements scolaires et des ressources pédagogiques, ainsi que pour consolider la formation des enseignants et revaloriser leur statut. Il a aussi souligné les obstacles qui peuvent empêcher l’utilisation efficace des données issues des évaluations des apprentissages : mauvaises diffusion et répartition des données, contraintes financières et matérielles, ou problèmes liés à la gouvernance des systèmes éducatifs.

Maya Prince de l’équipe Recherche et Prospective en Éducation de l’UNESCO a fait remarquer que la capacité des évaluations des apprentissages à grande échelle à guider les politiques et les pratiques n’était pas forcément leur unique raison d’être. La participation à une évaluation est souvent motivée par divers objectifs, à la fois techniques, économiques, socioculturels et politiques. Elle a aussi attiré l’attention sur les limites des évaluations à grande échelle, notamment leur champ d’étude restreint et l’exclusion des plus vulnérables et marginalisés, ainsi que les risques potentiels de surutilisation et de surinterprétation des données. En outre, associer évaluations et reddition de comptes peut comporter certains risques, comme le fait d’enseigner en fonction des tests, la réduction du contenu des programmes, le fait de s’intéresser uniquement aux élèves qui, selon les enseignants, auront de bons résultats – même si les éléments prouvant ce type de conséquences indésirables restent assez limités. Maya Prince a indiqué qu’alors que les évaluations des apprentissages à grande échelle ne sont pas bien adaptées aux structures dans lesquelles l’obligation de rendre des comptes est importante, l’attention accordée récemment au classement global obtenu à des évaluations transnationales comme indicateur des progrès nationaux pourrait inciter les autorités chargées de l’éducation à réformer les programmes ou adapter les pratiques d’enseignement au contenu ou au style de ces évaluations transnationales dans l’objectif d’améliorer les performances des élèves. 
 


Voici une sélection d'informations issues de la session de questions-réponses en ligne et hors ligne.

Comment faire en sorte que les résultats des évaluations des apprentissages à grande échelle (LSLA) permettent de répondre aux besoins en matière de prise de décisions et d’identifier les causes profondes de l’insuffisance des acquis scolaires alors que de nombreux facteurs peuvent entrer en jeu ?

Les responsables politiques doivent être impliqués dès la conception de l’évaluation afin que ses résultats répondent à leurs besoins. Dans le cas de l’évaluation PASEC, un questionnaire type permet d'identifier la plupart des problèmes qui se posent à l'échelle nationale afin de prêter attention aux aspects spécifiques à chaque pays. De plus, ses items sont créés en fonction de propositions émanant des pays afin de prendre en compte ce qui est réellement enseigné dans les classes. L’évaluation SEACMEQ a une particularité importante : son « fil rouge politique » que l’on retrouve tout au long du cycle de l’évaluation, de l’identification des enjeux politiques jusqu’aux suggestions de réponses aux problèmes politiques initiaux, fondées sur les recherches (Saito, 1999).

Les évaluations à grande échelle ne sauraient répondre à toutes les questions que pourraient se poser les décideurs, mais elles doivent permettre de comprendre les diverses dimensions liées à l’apprenant, à l’enseignant, à l’école, au système éducatif et aux contextes économiques, sociaux et politiques. Les données issues des évaluations des apprentissages doivent donc être prises en compte et analysées conjointement avec toute une série d’autres informations générées à l’échelle nationale et internationale afin de saisir les causes profondes de l’insuffisance des acquis scolaires. Il est également primordial de prévoir des discussions avec différentes parties prenantes. 

Il semble que l’une des raisons pour lesquelles les gouvernements n’utilisent pas les données est qu’elles nécessitent une interprétation très technique qui ne facilite pas leur compréhension. Existe-t-il un cadre pour simplifier la présentation des données issues des évaluations, afin qu’elles soient facilement compréhensibles et utilisables ?

Les responsables politiques ont besoin de messages clairs et de recommandations pragmatiques pour guider leur prise de décisions. Il est important que ceux qui produisent et analysent les données relatives aux apprentissages transmettent des messages politiques clairs et concis qui auront plus de chances d’être pris en compte par les décideurs. La CONFEMEN s’efforce actuellement de rendre ses produits de communication plus faciles à lire. Ses équipes travaillent aussi en collaboration avec les pays pour traduire les données du PASEC en pistes de réflexion.

En pratique, pour simplifier les messages politiques issus de l’analyse des évaluations, il est possible de rédiger par exemple de courts documents d'orientation, des séminaires de diffusion destinés aux responsables politiques, ou encore des rapports centrés sur les principaux messages, mais qui donnent aussi accès à une méthodologie plus détaillée, pour les lecteurs qui s’intéressent aux éléments techniques. 

TALENT travaille sur la diffusion en collaboration avec les directeurs de la planification et les responsables nationaux des évaluations des apprentissages à grande échelle de différents pays d’Afrique subsaharienne. Il est essentiel de mettre en place des consultations pour que les divers besoins en matière d’information des principales parties prenantes puissent être identifiés. Il est également important d'inclure au sein d'une même stratégie de diffusion différentes méthodes de communication, qui tiennent compte des diverses utilisations prévues et anticipent de potentielles conséquences indésirables (Robertson S., présentation lors de l’atelier régional TALENT, 2018). Divers produits ou méthodes peuvent contribuer à répondre aux besoins des différentes parties prenantes et les aider à comprendre les résultats des LSLA ainsi que leur signification au regard de la situation du système éducatif. Il peut tout aussi bien s’agir de rapports très techniques destinés à un public spécialisé de chercheurs que de produits relativement plus « légers » d’un point de vue technique, comme des rapports pour les médias, des communiqués de presse et des blogs. 

Il serait intéressant d’avoir des exemples de pays de divers contextes qui utilisent efficacement les données issues des évaluations des apprentissages à grande échelle (LSLA).

L’étude à venir de la CONFEMEN sur l’utilisation des résultats du PASEC 2014 mettra en avant les bonnes pratiques des pays participants, ainsi que diverses façons d’utiliser les données sur les apprentissages selon les pays. Elle sera disponible vers la fin 2019 sur le site Internet de la CONFEMEN.  

Le Bureau de l’UNESCO à Dakar, qui assure le secrétariat de TALENT, travaille sur un document d'orientation regroupant les meilleures pratiques en matière d'utilisation des LSLA, qui sera publié au dernier trimestre 2019. Plusieurs exemples positifs ont été relevés en Afrique subsaharienne, comme l’introduction de l’enseignement en langue maternelle au début de la scolarité en Ouganda et au Mali, l’amélioration du système de formation des équipes enseignantes à tous les niveaux au Sénégal et l’utilisation des résultats des LSLA dans l’élaboration du rapport d’État sur le système éducatif national, avec le soutien de l’IIPE Pôle de Dakar. 

Existe-t-il des pays dans lesquels les données sont utilisées pour informer les apprenants, enseignants, administrateurs, responsables politiques et les diverses parties prenantes, et combler le fossé entre eux ?

Le projet de recherche actuellement mené par l’IIPE-UNESCO examine des exemples positifs dans lesquels les données relatives à l’apprentissage comblent le fossé entre les différentes parties prenantes, sur le plan de leur travail et de leurs besoins. C’est notamment ce que tente de faire le système d’évaluation gambien en créant un cadre institutionnel permettant aux écoles, aux responsables régionaux ainsi qu’aux principaux services du ministère d’utiliser efficacement les données sur l’apprentissage.

Les problèmes politiques ont de graves répercussions sur les évaluations des apprentissages. En tant que planificateurs, que pouvons-nous faire pour surmonter cette difficulté ?

Comme les autres éléments du système, les évaluations des apprentissages ne sont pas isolées des dynamiques politiques, ce qui peut parfois nuire à leur fonctionnement ainsi qu’à la possibilité de les exploiter. L'une des stratégies possibles consiste à donner officiellement mandat, à long terme, à une agence chargée de l’évaluation, en veillant à ce qu’elle soit suffisamment financée pour être moins vulnérable à l’instabilité politique et aux changements de régime (Tobin et al., 2015). L’agence chilienne chargée des évaluations en est un bon exemple. Cet organisme bien établi au sein du ministère de l’Éducation a conservé son indépendance par rapport à toute influence politique directe, tout en veillant à ce que l’évaluation réponde aux préoccupations politiques et priorités du gouvernement (Ferrer, 2006). 

Qu’en est-il de la capacité technique des enseignants et du reste du personnel éducatif à faire passer les évaluations de l’apprentissage eux-mêmes et à utiliser les résultats en classe ?

Les évaluations des apprentissages à grande échelle sont des évaluations menées à l’échelle du système en se fondant sur des échantillons, avec comme objectif principal de donner un aperçu de la réussite scolaire d'un groupe d’apprenants sur une année donnée et dans un nombre limité de domaines. La mine de renseignements qu'elles rassemblent joue un rôle majeur pour guider et orienter les actions politiques. Leur objectif principal n’est pas d’être utilisées par les enseignants, qui ont de nombreux autres types d’évaluations à leur disposition pour leur pratique quotidienne. Néanmoins, dans certains cas, des données issues des évaluations des apprentissages à grande échelle ont été utilisées avec les enseignants (voir l’exemple de l’université d’Oxford). Par ailleurs, certains systèmes encouragent le recours à des évaluations nationales à grande échelle par les chefs d’établissement et les enseignants à des fins de planification au niveau de l’établissement (par exemple en Gambie). La conception des évaluations peut considérablement contribuer à l’efficacité de cette pratique.

Nous avons déjà évoqué l’une des limites des LSLA : le fait qu’elles se focalisent uniquement sur les compétences de lecture, écriture et calcul. À l'heure où les pays ont de plus en plus tendance à élargir leurs objectifs éducatifs en englobant un large éventail d’aptitudes et compétences, sans se limiter à des domaines thématiques, les données des LSLA peuvent-elles vraiment être utilisées pour atteindre des objectifs éducatifs en pleine évolution ? Si oui, comment faire ?

On peut considérer que le nombre limité de domaines et d’aptitudes ciblés est intrinsèque à la conception des LSLA. Ces dernières se concentrent nécessairement sur un nombre limité de matières et d’aptitudes, plus précisément des domaines d’apprentissage facilement mesurables qui se prêtent à des comparaisons à l’échelle du système ou entre plusieurs pays, ou sur des compétences considérées comme fondamentales, qui permettent d’approfondir les apprentissages dans d’autres domaines. Toutefois, même pour les domaines couramment évalués, elles ne tiennent pas suffisamment compte de l’étendue des connaissances disponibles. Par exemple, pour les évaluations linguistiques, il est fréquent que des sous-domaines tels que la littérature, l’écriture ou la compréhension orale ne soient pas pris en compte.

Par ailleurs, les LSLA n’évaluent pas suffisamment tout l’éventail des connaissances dans des domaines très variés, comme les arts ou la maîtrise des médias et de l’information, ni les diverses compétences que les écoles sont censées développer, comme le civisme, la responsabilité environnementale ou la réflexion collaborative. Cela peut donc conduire à une restriction des multiples objectifs éducatifs et dimensions d’apprentissage.

Néanmoins, de plus en plus d’efforts sont faits pour intégrer une plus large gamme de connaissances, compétences, attitudes et valeurs dans les évaluations à grande échelle, qu’elles soient nationales ou transnationales. C’est par exemple le cas de l’évaluation SEA-PLM (qui mesure les attitudes et comportements mondiaux en matière de civisme) ou de l’ICCS (comment les jeunes assument leur rôle de citoyens). À l’échelle nationale et infranationale, il existe également l’initiative Optimizing Assessment for All de Brookings-UNESCO, qui aide les pays à améliorer l’évaluation, l’enseignement et l’apprentissage des compétences du 21e siècle. Cependant, cette initiative pilote porte principalement sur d’autres types d’évaluations, comme les évaluations formatives en classe, qui semblent être un point d’entrée plus adapté pour appréhender ces compétences.

Il faudra encore attendre longtemps avant que les évaluations nationales et transnationales ne recueillent systématiquement des éléments d'information liés aux modes de vie sains, aux valeurs et attitudes qui favorisent la démocratie, à la protection des droits de la personne, au respect de la diversité culturelle, à la citoyenneté active et responsable et à la durabilité environnementale ou à d’autres principes mis en avant dans l’Agenda 2030. La question de savoir si des évaluations des apprentissages à grande échelle seraient souhaitables pour ces domaines est elle-même discutable.

D’autres ressources sont disponibles sur le site Internet de TALENT.