Usar datos para mejorar la calidad

La importancia de los datos

Hay una preocupación a escala mundial porque los resultados de aprendizaje no han seguido el ritmo de expansión de la educación. La dimensión del déficit educativo es en buena medida desconocida, porque muchos países tienen pocos datos sistemáticos sobre quién está aprendiendo y quién no. Las evaluaciones del aprendizaje proporcionan datos sobre el estatus del aprendizaje, que pueden emplearse para monitorear la calidad de los sistemas y los resultados de aprendizaje del alumnado. El monitoreo regular puede revelar cambios a lo largo del tiempo en respuesta a las intervenciones dirigidas a mejorar los resultados del alumnado, proporcionando un feedback y datos adicionales que ayuden en la toma de decisiones.

Los datos sobre aprendizaje, en conjunción con otras dimensiones de calidad como el contexto, el ambiente de enseñanza y de aprendizaje y las características de los y las aprendices, pueden revelar cuáles son los factores que afectan más a los resultados del aprendizaje. Revelando las carencias en los logros del alumnado y en la dotación de servicios, los datos pueden usarse para identificar a aquellos grupos a los que no se les está atendiendo adecuadamente y que están rindiendo por debajo de lo esperado. Una vez identificados, pueden abordarse estas desigualdades.

Los datos pueden emplearse para pedir cuentas al sistema por sistema al uso de recursos mostrando si el aumento de la inversión pública en educación ha tenido como resultado una ganancia mensurable en los logros del alumnado. Aunque la responsabilidad directa por los resultados reside principalmente en las escuelas, las políticas capacitadoras y el entorno de práctica son responsabilidad de quienes toman las decisiones en todos los niveles administrativos.

¿Qué distintos actores requiere cada tipo de datos?

Las decisiones guiadas por los datos para mejorar el aprendizaje se toman en todos los niveles del sistema. La especificidad de los datos disminuye desde el nivel de las escuelas hasta el nivel nacional y el lapso de tiempo entre la recogida y el análisis de datos se incrementa. Las decisiones que atañen a los y las estudiantes individuales, a los grupos de clase y a las escuelas se toman de manera local, allí donde se producen los datos en crudo. Las decisiones a escala del sistema, basadas en los datos agregados, se hacen de manera nacional.

El personal docente en el aula

El personal docente en el aula gestiona los procesos de enseñanza y aprendizaje. Monitorean el aprendizaje del alumnado por medios informales, como cuestionarios, juegos y exámenes formativos. El profesorado emplea estos datos para evaluar el desempeño de sus estudiantes, sus fortalezas, sus debilidades y su progresión. La información adicional sobre el contexto de cada estudiante individual permite que el docente pueda diagnosticar posibles razones para su desempeño deficiente y aplicar soluciones. Los datos pueden también emplearse para una autoevaluación que identifique cómo puede el profesorado mejorar su pedagogía o su gestión en el aula.

Direcciones de la escuela

Los equipos directivos de las escuelas evalúan el desempeño general de la escuela. Examinan los logros y rendimiento del alumnado, el desempeño de la plantilla y el uso de los recursos de la escuela. Necesitan los datos en crudo de los logros, información sobre las prácticas en el aula que lleva a cabo su personal docente y su contribución a los resultados del alumnado, así como sobre su propio desempeño tal y cómo lo puntúan las inspecciones.

Familias y comunidades

Las familias y comunidades necesitan información sobre los logros del alumnado, incluyendo sus fortalezas y debilidades y sobre cualquier otro tema de comportamiento. Les preocupan los resultados de los exámenes oficiales, puesto que de ellos depende el futuro de sus hijos e hijas, su educación o su empleo futuro. Las familias y el personal de la escuela pueden debatir y pactar una agenda para actuar en pro de las necesidades del alumnado. Las familias pueden contribuir a la mejora de la escuela mediante las asociaciones de familias y profesorado y en los consejos escolares.

Actores en el nivel de distrito y provincial

Los distintos actores en el nivel del distrito tienen la responsabilidad de supervisar la gestión y la calidad de las escuelas del distrito. Recopilan y agregan datos de las escuelas sobre la asistencia y los logros del alumnado, sobre la carencia de profesorado y su absentismo y sobre los recursos. Juegan un importante papel en la identificación de las necesidades de la escuela en lo que se refiere a los recursos, así como en el monitoreo de los criterios y recomendando medidas de mejora.
Las administraciones, coordinaciones y supervisiones en el nivel provincial toman decisiones basadas en la evidencia de que hay problema lo bastante grave o una oportunidad lo bastante buena como para justificar la adjudicación del tiempo y de los recursos provinciales. Se centran en cómo planificar y emplear las intervenciones para proporcionar a amplios grupos de escuelas con los recursos y el conocimiento experto necesario para implantar y evaluar sus programas educativos y, guiados por los resultados de las evaluaciones, para adoptar procedimientos que mejoren la eficacia.

Funcionariado al nivel nacional

El funcionariado a nivel nacional toma decisiones políticas amplias sobre los vínculos entre las directivas del gobierno y los planes y recursos que se necesitan para cumplir con dichas directivas. Necesitan una información sustancial en el nivel del sistema sobre los actuales resultados del alumnado y los factores asociados, junto con datos sobre las tendencias a largo plazo. Estos se recolectan y se cruzan para proporcionar las bases para las decisiones sobre el sistema educativo en su conjunto o sobre una gran parte de este. Las fuentes de los datos incluyen EMIS, resultados de los exámenes nacionales y evaluaciones del aprendizaje.

¿Qué informaciones pueden proporcionar los datos y cómo se pueden emplear?

Los datos del aprendizaje, aumentados con los datos de contexto, proporcionan información sobre cómo está aprendiendo el alumnado y sobre qué grupos han tenido unos resultados deficientes. Esta información puede emplearse para hacer análisis del sistema, para mejorar la adjudicación de los recursos, para establecer la agenda o durante el ciclo político.

Análisis de los sistemas educativos

Los sistemas educativos pueden analizarse en términos de:

• Qué está aprendiendo el alumnado.
• Si su aprendizaje responde a las necesidades y las aspiraciones de las familias, las comunidades y el país (relevancia).
• Hasta qué punto los recursos se usan para producir resultados (eficiencia interna).
• Qué aspectos del sistema requieren mejorarse.

Si los datos muestran que los resultados de aprendizaje de algunos grupos son bajos debido a su localización, a su etnicidad, religión o discapacidad, se pueden adoptar medidas para proporcionar recursos adicionales, como profesorado o libros, dirigidos a mejorar sus logros.

Mejora en la adjudicación de recursos

Los datos pueden revelar problemas en el suministro y en el uso de los recursos. La infraestructura escolar, la disponibilidad de materiales de instrucción, y el uso del tiempo de instrucción incluyen en los resultados del aprendizaje. Unos materiales de instrucción mejorados, con información sobre su uso, pueden contribuir a una mejora de los logros.

Establecimiento de la agenda y decisiones políticas

Según Clarke (2017) los países, según sus diferentes niveles de ingresos, enfocan de distinta manera la política y el diseño educativo. Generalmente, los países de altos ingresos, con programas de evaluación establecidos, usan los datos para hacer reformas en el sector o para hacer un programa de intervenciones que busca mejorar los resultados de aprendizaje. Los países de bajos ingresos, que están empezando a usar estos programas, tienden a identificar unos pocos temas aislados, como la adjudicación de los recursos o las cualificaciones del profesorado, como responsables de los logros deficientes. Las políticas resultantes incluyen unas pocas intervenciones concretas.

El análisis de los datos puede identificar las áreas que necesitan una mejora, a partir de las cuales se puede diseñar el plan de acción. Por ejemplo, Meckes y Carrasco concluyeron que, en Chile, la publicación de la correlación entre el estatus socioeconómico del alumnado y sus resultados académicos impulsaron la exigencia de políticas que abordaran los temas de equidad (Raudonyte, 2019).

El uso que se hizo en Seychelles de las conclusiones del SAQMEQ en 2000 proporciona un ejemplo de cómo usar los resultados de las evaluaciones para la formulación de políticas. Los datos de SACMEQ indicaban enormes diferencias en los resultados de aprendizaje entre el alumnado de una misma escuela, atribuibles a la práctica, establecida desde hacía mucho tiempo, de distribuir al alumnado según sus capacidades a partir del 1er grado. En el grado 6º los logros de aprendizaje entre niños y niñas diferían hasta el punto de que había más chicas en la clase de elite y más niños en la clase inferior. Unos canales de comunicación efectivos, un contexto político capacitador y un diálogo efectivo entre los actores contribuyeron a la decisión de adoptar una política no discriminadora (Leste, 2005, citado en Raudonyte, 2019).

La recolección regular de datos de aprendizaje y de otros tipos para monitorear la implantación de las políticas puede informar sobre el estatus de las actividades planificadas, revelar los desafíos de la implantación, señalar indicadores tempranos del impacto y sugerir modificaciones para ajustar las deficiencias. Por ejemplo, la iniciativa Learn to Read en Madhya Pradesh se monitoreó mensualmente mediante exámenes estandarizados para detectar deficiencias y ajustar su implantación (Tobin et al., 2015).

Las evaluaciones nacionales pueden usarse para calibrar el impacto de las políticas sobre los resultados del aprendizaje y para proporcionar un feedback que aborde las deficiencias. En teoría, debería haber una progresión ininterrumpida que vaya desde las primeras pruebas, pasando por el establecimiento de agendas, la formulación de políticas, la implantación, y el monitoreo y evaluación basados en más pruebas. En la práctica, este mecanismo de feedback a menudo no está tan bien organizado. Esto puede deberse, entre otras cosas, a una falta de experiencia en el uso de evaluaciones, a una capacidad técnica insuficiente, a una falta de coordinación entre los organismos de evaluación y quienes toman las decisiones y a una falta de financiación.

Desafíos en el uso de los datos

Para que los datos puedan usarse de manera eficaz deben ser procesables, estar disponibles para quienes estén en situación de actuar y presentarse de una manera adecuada para cada grupo de personas interesadas. Las barreras en el uso de los datos pueden incluir las siguientes:

Disponibilidad de los datos

Una financiación inadecuada de un programa de evaluación puede suponer que el programa no pueda completarse. Los retrasos en el análisis pueden impedir que los datos se publiquen en el momento adecuado. Los resultados pueden retenerse si no están a la altura de las expectativas. Las conclusiones pueden negarse si no responden a las necesidades del sistema, o si no son procesables o no pueden vincularse con opciones políticas viables.

Problemas de acceso

Los problemas de acceso a los datos incluyen: el fracaso a la hora de comunicar los resultados, tanto al público en general como a quienes se encuentran en situación de actuar; los resultados retenidos dentro de un ministerio de educación para restringir su uso por parte de otros grupos de interés y para evitar que los medios de comunicación y el público en general presionen para la acción; el contenido y el formato de los informes puede no adecuarse a las necesidades de todos los grupos concernidos, que necesitan una variedad de datos y de modos de presentación de estos datos.

Temas de calidad

Los problemas en el diseño, la relevancia y la credibilidad de los programas de evaluación pueden conducir a que los datos se queden retenidos o que se ignoren. Las deficiencias reales o percibidas en la instrumentación, el muestreo y el análisis de la evaluación pueden suscitar dudas sobre su validez y relevancia. Unas evaluaciones ocasionales o mal diseñadas pueden suponer que las destrezas y los contenidos no sean comparables a lo largo del tiempo. Hay que actuar con precaución para no desarrollar mensajes políticos basados en los resultados de las evaluaciones sin un análisis de los datos suplementarios.

Capacidad y destrezas limitadas para evaluar y emplear los datos

Es posible que a los ministerios de educación les falte experiencia con las evaluaciones nacionales, que tengan establecidos procedimientos deficientes para la toma de decisiones y una baja capacidad técnica. El personal técnico puede carecer de conocimiento experto para el diseño de evaluaciones, para el análisis en profundidad de los datos y para la interpretación de estos. Las personas que toman las decisiones puede que no entiendan las implicaciones de las evaluaciones o puede que no se centren en el análisis por limitaciones temporales. La recolecta, análisis, disponibilidad y uso de los datos puede verse afectado negativamente por limitaciones en la financiación.

Clima político

El conflicto y la inestabilidad política pueden tener un impacto negativo en la implantación de las evaluaciones. Las sensibilidades políticas debidas a los bajos niveles de logro pueden impedir el uso de los datos. Puede que haya una falta de voluntad política para actuar siguiendo una recomendación.

Minimizar los desafíos

Los temas de la credibilidad y la aceptabilidad pueden abordarse implicando a todos los grupos de interés en el diseño y la implantación de una evaluación. El equipo de evaluación debería poseer la competencia técnica para diseñar y aplicar la evaluación y para analizar los resultados. Una formación técnica continua de la plantilla, tanto la existente como la potencial, es necesaria para garantizar la calidad y para permitir la jubilación.

Construir capacidad local o establecer un organismo coordinador regional son algunas posibilidades. Ambas opciones requieren una inversión sustancial en capacitación que puede ser costosa y llevar mucho tiempo.

El uso sensato de los canales de comunicación de masas en todos los estadios de la evaluación, incluyendo la divulgación de los resultados y las conversaciones regulares con los grupos de interés, garantizará que se mantiene al público informado. La distribución se puede facilitar mediante un presupuesto para la divulgación y un plan de divulgación y si los informes se preparan a medida de las necesidades de los diferentes usuarios.

Las estructuras existentes, los procesos de elaboración de políticas y de toma de decisiones dentro de los ministerios pueden también ser una barrera para el uso de los datos. Con el fin de adaptarse a una cultura de toma de decisiones basadas en los datos, los ministerios de educación pueden necesitar reestructurar y redefinir los papeles y las responsabilidades dentro de la organización. Hay que establecer y conservar vínculos entre la plantilla con las instituciones relevantes ajenas.