Utiliser les données pour améliorer la qualité de l’éducation

L’importance des données

Le fait que les acquis scolaires n’aient pas progressé aussi vite que le développement de l’éducation est une préoccupation dans le monde entier. On ne connaît toujours pas toute l’étendue du déficit d’apprentissage, car de nombreux pays disposent de peu de données systématiques sur les élèves qui apprennent et ceux qui n’apprennent pas. Les évaluations des apprentissages fournissent des données sur le statut de l’apprentissage, qui peuvent être utilisées pour suivre la qualité des systèmes et les acquis scolaires des élèves. Un suivi régulier peut révéler des changements sur la durée en réponse à des interventions pour améliorer les résultats des élèves, tout en en faisant remonter des informations et en apportant des données supplémentaires pour la prise de décisions.

Les données d’apprentissage, associées à d’autres aspects de la qualité comme le contexte, l’environnement d’enseignement et d’apprentissage, ainsi que les caractéristiques des élèves, peuvent permettre de déterminer quels facteurs affectent le plus les acquis scolaires. En révélant des écarts en matière de réussite des élèves et de fourniture de services, les données peuvent servir à identifier les groupes qui bénéficient de moins de services et obtiennent de moins bons résultats. Une fois ces inégalités identifiées, des mesures peuvent être mises en œuvre pour y remédier.

Les données peuvent être utilisées pour garantir l’obligation de rendre des comptes en matière d’utilisation des ressources par le système. Elles indiquent en effet si l’augmentation de l’investissement public dans l’éducation a donné lieu à des progrès mesurables de la réussite des élèves. Même si l’obligation directe de rendre des comptes concernant les résultats incombe principalement à l’école, la nécessité de créer des conditions favorables grâce à un environnement politique et pratique relève de la responsabilité des décideurs à tous les niveaux administratifs.

De quel type de données a besoin chaque acteur ?

À chaque niveau du système, des décisions pilotées par les données sont prises pour améliorer les apprentissages. Lorsqu’on passe du niveau de l’établissement au niveau national, la spécificité des données diminue et le temps qui s’écoule entre la collecte des données et leur application augmente. Les décisions concernant chaque élève, classe et établissement sont prises localement, là où les données brutes sont produites, tandis que celles qui s’appliquent à l’ensemble du système sur la base de données ventilées sont prises à l’échelle nationale.

Enseignants

Les enseignants gèrent le processus d’enseignement et d’apprentissage. Ils suivent l’apprentissage des élèves par des moyens informels, comme des interrogations et des jeux, ainsi que des tests formatifs. Ils utilisent les données pour évaluer les performances d’un élève, ses points forts, ses points faibles et ses progrès. Des informations supplémentaires sur le parcours d’un élève permettent à l’enseignant de diagnostiquer les causes possibles de ses faibles performances et d’y remédier. Les données peuvent aussi être utilisées à des fins d’auto-évaluation, pour permettre aux enseignants d’identifier dans quels domaines ils pourraient améliorer leur pédagogie ou leur gestion de classe.

Chefs d’établissement

Les chefs d’établissement évaluent les performances globales de l’école. Ils examinent les résultats et les acquis des élèves, les performances du personnel et l’utilisation des ressources de l’école. Ils établissent et suivent les pratiques, les programmes et les orientations de l’école. Les chefs d’établissement ont besoin de données brutes sur les acquis et d’informations sur les pratiques des enseignants en classe et leur contribution aux résultats des élèves, ainsi que sur leurs propres performances, évaluées par leurs supérieurs.

Parents et membres de la communauté

Les parents et les membres de la communauté ont besoin d’informations sur les résultats des élèves, notamment leurs points forts et points faibles, ainsi que sur les problèmes de comportement. Ils sont attentifs aux résultats des examens publics, car ces performances sont déterminantes pour l’accès de leurs enfants à un niveau d’enseignement supérieur ou à l’emploi. Les parents et le personnel de l’établissement peuvent échanger et définir un programme d’action pour répondre aux besoins des élèves. Les parents peuvent contribuer à l’amélioration de l’établissement par le biais d’associations de parents et d’enseignants et de conseils d’école.

Acteurs locaux (à l’échelle du district et de la région)

Les acteurs à l’échelle du district ont la responsabilité de surveiller la gestion et la qualité des écoles du secteur. Ils collectent et regroupent les données des établissements sur l’assiduité et les résultats des élèves, sur l’attrition et l’absentéisme des enseignants, ainsi que sur les ressources. Ils jouent un rôle important pour identifier les besoins en ressources des établissements, suivre les normes et recommander des mesures d’amélioration.

Les administrateurs, coordinateurs et cadres à l’échelle de la région prennent des décisions sur la base d’éléments révélant un problème suffisamment grave, ou des occasions suffisamment propices pour justifier d’y consacrer du temps et des ressources. Ils s’efforcent de trouver la meilleure manière de planifier et d’intervenir afin de fournir à de grands groupes d’établissements les ressources et l’expertise dont ils ont besoin pour établir et évaluer leurs programmes éducatifs et, en fonction des résultats aux évaluations, d’adopter des procédures visant à améliorer l’efficacité.

Responsables nationaux

Les responsables nationaux prennent des décisions politiques de portée générale sur les liens entre les directives gouvernementales et les plans et ressources nécessaires pour respecter ces directives. Ils ont besoin d’informations sérieuses à l’échelle du système sur les résultats actuels des élèves et les facteurs qui y sont associés, ainsi que de données sur les tendances à long terme. Collectées et compilées, ces informations sont à l’origine de décisions relatives à l’ensemble ou à une part importante du système éducatif. Les sources de ces données peuvent être les SIGE, les résultats aux examens nationaux et les évaluations des apprentissages.

Quelles informations peuvent apporter les données et comment peut-on les utiliser ?

Les données des apprentissages, complétées par des données générales, apportent des informations sur la qualité des apprentissages des élèves, sur les facteurs qui sont associés à leur réussite et sur les groupes qui obtiennent de faibles résultats. Ces informations peuvent être utilisées pour analyser le système, améliorer l’allocation des ressources, établir la liste des priorités ou être utilisées lors du cycle décisionnel.

Analyse du système éducatif

Pour analyser les systèmes éducatifs, plusieurs questions peuvent être posées :

• Qu’apprennent les élèves ?
• Leur apprentissage correspond-il aux besoins et aux aspirations du pays, des membres de la collectivité et des parents (pertinence) ?
• Les ressources sont-elles employées de manière optimale pour obtenir des résultats (efficacité interne) ?
• Quels sont les principaux facteurs qui influencent l’apprentissage ?
• Quels aspects du système doivent être améliorés ?

Si les données montrent que les acquis scolaires de certains groupes sont faibles en raison de leur lieu de vie, de leur origine ethnique, de leur religion ou de leur handicap, des mesures peuvent être prises pour fournir des ressources supplémentaires, comme des enseignants ou des livres, dans le but d’améliorer leurs performances.

Amélioration de l’allocation des ressources

Les données peuvent révéler des problèmes relatifs à la fourniture et à l’utilisation des ressources. L’infrastructure des écoles, la disponibilité du matériel pédagogique et l’utilisation des heures de cours influencent les résultats scolaires. Perfectionner le matériel pédagogique en l’accompagnant d’informations sur son utilisation pourrait contribuer à améliorer les résultats obtenus.

Définition des priorités et prise de décisions politiques

Selon Clarke (2017), en fonction de leurs revenus, les pays ne privilégient pas les mêmes éléments en matière d’orientation et de conception. En général, les pays à revenu élevé disposant de programmes d’évaluation bien établis utilisent les données pour mener des réformes de l’ensemble du secteur ou mettre en œuvre un programme d’interventions visant à améliorer les acquis scolaires. Les pays à faible revenu qui commencent à utiliser les programmes ont tendance à mettre les mauvais résultats sur le compte de quelques problèmes distincts, comme l’allocation des ressources ou les qualifications des enseignants. Cela donne lieu à des politiques ponctuées de quelques interventions discrètes.

L’analyse des données peut permettre d’identifier les domaines qui méritent d’être améliorés, puis de définir un programme d’action. Par exemple, Meckes et Carrasco ont constaté qu’au Chili, à la suite de la publication de la corrélation entre le statut socioéconomique des élèves et leurs résultats, des politiques contre le manque d’équité ont été réclamées (Raudonyte, 2019).

L’utilisation par les Seychelles des conclusions du SACMEQ en 2000 est un exemple d’utilisation des résultats d’une évaluation pour l’élaboration de politiques. Les données du SACMEQ révélaient de grandes différences d’acquis scolaires parmi les élèves d’une même école, imputables à une pratique de longue date consistant à faire des groupes de niveau selon les aptitudes des élèves dès la première année de scolarisation. En 6e année, le fossé entre les résultats des apprentissages des filles et garçons s’était tellement creusé que la classe d’élite comptait plus de filles et la classe inférieure plus de garçons. Grâce à des canaux de communication efficaces, à un contexte politique favorable et à un véritable dialogue entre les acteurs, la décision de mettre un terme à la politique de classes de niveaux a pu être prise (Leste 2005, cité dans Raudonyte, 2019).

La collecte régulière de données des apprentissages et d’autres données connexes pour suivre la mise en œuvre de politiques peut donner des informations sur le statut des activités prévues, révéler des difficultés de mise en œuvre, mettre en évidence des signes précoces d’impact et suggérer des modifications pour combler les lacunes. Par exemple, l’initiative Learn to Read dans l’État indien du Madhya Pradesh a été accompagnée d’un suivi mensuel, sous la forme de tests normalisés visant à détecter les lacunes et ajuster la mise en œuvre (Tobin et al., 2015).

Les évaluations nationales peuvent être utilisées pour mesurer l’impact de l’orientation politique sur les acquis scolaires et pour faire remonter des informations afin de remédier aux carences constatées. En théorie, l’enchaînement entre les tests, l’établissement des priorités, l’élaboration des politiques, leur mise en œuvre, et enfin leur suivi et leur évaluation en fonction de nouveaux tests devrait se dérouler sans accroc. En pratique, ce type de mécanisme de retour d’information est souvent moins bien organisé. Cela peut être dû, entre autres, au manque d’expérience en matière d’utilisation des évaluations, à une faible capacité technique, à une mauvaise coordination entre les organes chargés de l’évaluation et de la prise de décision, ou encore à un manque de fonds.

Difficultés d’utilisation des données

Pour que les données puissent être utilisées de manière efficace, elles doivent être exploitables, disponibles à toute personne en capacité d’agir et présentées de manière appropriée à chaque groupe d’acteurs concernés. Les obstacles à l’utilisation des données peuvent être les suivants :

Disponibilité des données

Si un programme d’évaluation n’est pas suffisamment financé, il est possible qu’il ne puisse pas être mené à bien. Une analyse trop tardive peut empêcher que les données soient diffusées à temps. Les résultats risquent d’être dissimulés s’ils ne correspondent pas aux attentes. Les conclusions peuvent être ignorées si elles ne répondent pas aux besoins du système, ou si elles ne sont pas exploitables ou liées à des options politiques viables.

Problèmes d’accès

Les problèmes d’accès aux données peuvent être les suivants : les résultats n’ont pas été communiqués au grand public et aux personnes en capacité d’agir ; les résultats ont été conservés par un ministère de l’Éducation afin de restreindre leur utilisation par d’autres acteurs et d’empêcher que les médias et le grand public ne fassent pression pour que des mesures soient prises ; le contenu et le format des rapports ne sont peut-être pas adaptés à certains groupes cibles, qui ont besoin de données et modes de présentation divers, ou ne conviennent à aucun d’entre eux.

Problèmes de qualité

Des problèmes relatifs à la conception, à la pertinence et à la crédibilité du programme d’évaluation peuvent entraîner une situation dans laquelle les données ne sont pas divulguées ou sont ignorées. Des déficiences, réelles ou supposées, du dispositif, de l’échantillonnage et de l’analyse de l’évaluation peuvent poser des problèmes de validité et de pertinence. Avec des évaluations occasionnelles ou mal conçues, les compétences et les contenus ne sont pas comparables sur la durée. La formulation de messages politiques fondés sur les résultats de l’évaluation sans analyse de données supplémentaires nécessite une grande prudence.

Capacité et compétences limitées pour évaluer et utiliser les données

Les ministères de l’Éducation peuvent manquer d’expérience des évaluations nationales, disposer de procédures de prise de décision mal conçues et avoir de faibles capacités techniques. Il est possible que le personnel technique ne soit pas suffisamment spécialisé en conception d’évaluations, ainsi qu’en analyse et interprétations approfondies des données. Les recommandations formulées peuvent alors s’avérer superficielles et peu instructives. Les responsables politiques risquent de ne pas comprendre les implications de l’évaluation ou ne pas se concentrer sur son analyse en raison de contraintes de temps. La collecte, l’analyse, la disponibilité et l’utilisation des données peuvent être mises à mal par des contraintes financières.

Climat politique

Un conflit ou des troubles politiques peuvent avoir une incidence sur la mise en œuvre de l’évaluation. En cas de sensibilités politiques dues à de faibles taux de réussite, il est possible que les données ne soient pas utilisées. Une recommandation peut ne pas être suivie d’effet en raison d’un manque de volonté politique.

Minimiser les difficultés

Les problèmes de crédibilité et d’acceptabilité peuvent être résolus en faisant participer tous les acteurs concernés à la conception et à la mise en œuvre d’une évaluation. L’équipe chargée de l’évaluation doit avoir les compétences techniques pour la concevoir, l’organiser et analyser ses résultats. Une formation technique continue du personnel existant et potentiel est nécessaire pour garantir la qualité en prenant en compte l’attrition.

Il est possible de renforcer les capacités à l’échelle locale ou de créer un organisme de coordination régional. Dans les deux cas, un investissement important dans le renforcement des capacités est nécessaire, ce qui peut prendre du temps et être coûteux.

Pour que le grand public soit informé, il faut utiliser judicieusement les médias à tous les stades de l’évaluation, en particulier pour la diffusion des résultats, et prévoir des discussions régulières entre les acteurs. La diffusion des résultats sera facilitée si un budget est prévu pour cela, s’il existe un plan de diffusion et si les rapports préparés sont adaptés aux besoins des différents utilisateurs.

Les structures, ainsi que les mécanismes d’orientation politique et de prise de décision qui existent déjà au sein des ministères peuvent aussi être un obstacle à l’utilisation des données. Afin de s’adapter à une culture de prise de décision pilotée par les données, les ministères de l’Éducation pourraient avoir besoin de restructurer et de redéfinir les rôles et responsabilités au sein de l’organisation. Il est nécessaire d’établir des liens au sein du personnel et avec des institutions externes concernées, et de les maintenir.