El uso de los datos de las evaluaciones del aprendizaje: ¿qué hemos aprendido hasta ahora? 10 de julio 2019
A pesar que son cada vez más los países que participan en las evaluaciones de estudiantes a gran escala y de los importantes recursos humanos y financieros que se invierten, el trabajo realizado no acaba por traducirse necesariamente en un uso efectivo de estos datos en la formulación y planificación de políticas educativas. Aunque se ha publicado mucho sobre la importancia que tienen los datos sobre el aprendizaje para mejorar la política y la práctica educativa, seguimos careciendo de un conocimiento más sistemático de las razones de la infrautilización de estos datos. Por ello la UNESCO y varias entidades colaboradoras han organizado un seminario web para informar sobre los resultados de su trabajo más reciente sobre la materia.
Este seminario web ha tratado tres temas fundamentales inspirados en las conclusiones de los trabajos de investigación y capacitación más recientes:
- ¿Cuáles son los principales facilitadores y las barreras para un uso eficiente de los datos sobre el aprendizaje?
- ¿Cuáles son los elementos fundamentales de un entorno general que propicie la utilización de los datos sobre el aprendizaje?
- ¿Cuáles son los riesgos que entraña la “mala utilización” de los datos de las evaluaciones?
Ieva Raudonyte, investigadora asociada del IIPE, presento las conclusiones de un examen sobre la biografía existente en torno al uso de los datos sobre la evaluación del aprendizaje en la formulación de políticas educativas, haciendo hincapié en la importancia de entender cómo los países utilizan los datos sobre la evaluación del aprendizaje y las posibles razones que explican la posible ineficacia de este uso. No es suficiente con mirar únicamente a las evaluaciones del aprendizaje y a los procesos vinculados directamente a estas, sino que es tener una perspectiva más amplia, teniendo en cuenta la cultura existente sobre el uso de las evidencias y el planeamiento así como las dinámicas inherentes a la formulación de políticas. Por último, aunque los datos sobre el aprendizaje tienen un enorme potencial, debe tenerse en cuenta también la posibilidad de que esta información se utiliza de manera inadecuada como, por ejemplo, utilizar la puntuación de una única prueba como base para tomar decisiones o utilizar datos como excusa para justificar agendas políticas previamente definidas.
Davide Ruscelli, de la oficina de la UNESCO en Dakar, ha identificado diferentes barreras que hacen que los países tengan serias dificultades para utilizar de manera eficaz las evaluaciones a gran escala. Algunas de estas barreras son la falta de implicación en las evaluaciones, la lenta publicación de los resultados, la no integración de las evaluaciones a gran escala con evaluaciones de otro tipo, y la deficiente colaboración institucional. Además, es importante garantizar que los datos sobre el aprendizaje respondan a las preocupaciones de los responsables de política educativa y reforzar las competencias de las unidades de evaluación.
Guy Roger Kaba de la Conférence des Ministres de l'Education des Etats et Gouvernements de la Francophonie (CONFEMEN) trato específicamente el papel que tienen los datos del PASEC en la formulación de políticas educativas. Presentó los resultados preliminares de una encuesta sobre cómo los países participantes han utilizado los datos del thePrograma d'Analyse des Systemes Educatifs (PASEC)para mejorar la calidad del aprendizaje. Los resultados revelaron que los datos del PASEC 2014 se utilizaron ampliamente para promover la educación preescolar, mejorar la calidad, disponibilidad y reparto de equipos escolares y recursos pedagógicos, así como para reforzar la formación de los docentes y mejorar el estatus del profesorado . También destacó las barreras que impiden utilizar de manera eficiente los datos sobre la evaluación del aprendizaje debido a la difusión y utilización ineficaz de los datos, a falta de recursos materiales y financieros así como a problemas relacionados con la gestión de los sistemas educativos.
Maya Prince, del equipo de Investigación y Previsión de la Educación de la UNESCO, señaló que las razones para realizar una evaluación del aprendizaje a gran escala deberían ir quizás más allá de las posibilidades que ofrece para inspirar y formular políticas y prácticas educativas. La participación en una evaluación implica a menudo una combinación de razones que incluyen las de tipo técnico, económico, sociocultural y político. También llamó la atención sobre las limitaciones de las evaluaciones a gran escala, incluida la falta de amplitud y la exclusión de las personas más vulnerables y marginadas, así como los potenciales riesgos de sobreuso u sobreinterpretación de los datos. Además, asociar las evaluaciones y la rendición de cuentas puede generar ciertos riesgos como, por ejemplo, que los docentes enseñen pensando en las pruebas, reduciendo el currículo y ocupándose únicamente de los estudiantes que creen que van a sacar mejores resultados, aunque sigue habiendo pocas evidencias sobre estas consecuencias no deseadas. Señaló que, a pesar de que las evaluaciones del aprendizaje a gran escala no sean adecuadas en contextos de alta rendición de cuentas, es posible que el creciente interés que despierta la clasificación obtenida en los programas de evaluación internacionales como indicador de progreso nacional este sirviendo para que las administraciones educativas tenga nuevos incentivos para reformular los programas educativos o adaptar las prácticas docentes al contenido o al estilo de estos programas internacionales en un esfuerzo por mejorar el rendimiento de los estudiantes.
A continuación se ofrece una selección de la sesión de preguntas y respuestas presenciales y online.
¿Cómo podemos conseguir que los resultados de las evaluaciones del aprendizaje a gran escala (EAGS) respondan a las necesidades de los responsables educativos e identifiquen las causas fundamentales de los bajos resultados de aprendizaje en un contexto en el que pueden influir muchos factores?
Los responsables educativos deben participar en el diseño y desarrollo de las evaluaciones si quieren que estas respondan a sus necesidades. La evaluación PASEC utiliza un cuestionario tipo para identificar la mayoría de los intereses y preocupaciones de los países, prestando de este modo atención a las características específicas de cada uno. Además, la estructura y preguntas de la evaluación se realizan en base a las propuestas procedentes de los países para tener en cuenta lo que se enseña realmente en las aulas. Una de las características más importantes de la evaluación SACMEQ es lo que se conoce como el "hilo conductor de la política educativa" presente en todo el ciclo de la evaluación, que comienza identificando los intereses y preocupaciones políticas, y termina ofreciendo sugerencias, basadas en estudios y análisis, sobre cómo resolver los problemas planteados por la política educativa existente (Saito, 1999).
Es posible que las evaluaciones a gran escala no puedan responder a todas las preguntas de los responsables educativos, pero deben ser capaces de entender las diferentes dimensiones relacionadas con el alumno, el docente, la escuela, el sistema educativo y económico, y los contextos sociales y políticos. Por lo tanto, los datos de las evaluaciones del aprendizaje deben considerarse y analizarse junto con otra serie de evidencias obtenidas a nivel nacional e internacional para comprender las causas fundamentales que subyacen a los bajos resultados del aprendizaje. También es fundamental mantener conversaciones inclusivas con los diferentes agentes educativos y partes implicadas.
Parece que una de las razones por las que los gobiernos no utilizan los datos es que su interpretación es muy técnica y, por lo tanto, difícil de entender. ¿Hay algún sistema que simplifique la presentación de los datos de las evaluaciones y permita entender y utilizar los datos con facilidad?
Los responsables educativos necesitan mensajes claros y recomendaciones prácticas sobre las que poder tomar sus decisiones. Es importante que quienes producen y analizan los datos sobre el aprendizaje sean capaces de comunicar la información con claridad y sencillez para facilitar su toma en consideración por los responsables educativos. CONFEMEN está trabajando actualmente en simplificar la lectura de sus productos de comunicación. Además, sus equipos están trabajando conjuntamente con los países para convertir los datos del PASEC en temas de reflexión.
Entre las formas prácticas de simplificar los mensajes de política educativa generados a partir de los análisis están la elaboración de notas informativas abreviadas, la celebración de seminarios de difusión dirigidos a responsables educativos e informes sobre mensajes clave, que también permiten a los interesados en aspectos técnicos acceder a metodologías más complejas.
TALENT ha estado trabajando en la difusión con directores de planeamiento y directores nacionales de evaluaciones del aprendizaje a gran escala de diferentes países del África subsahariana. Una herramienta clave es realizar consultas para identificar las diferentes necesidades de información de los principales agentes educativos. También es importante incluir diferentes métodos de comunicación en estrategias de difusión utilizables en múltiples contextos y capaces de prever posibles consecuencias imprevistas (Robertson S., presentación en el taller regional TALENT, 2018). Existen diferentes productos o métodos que pueden ayudar a satisfacer las necesidades de los diferentes agentes educativos y ayudarles a entender los resultados de las EAGS y lo que significan en relación con la situación del sistema educativo. Los productos varían desde informes muy técnicos destinados a una audiencia especializada de investigadores hasta productos relativamente "más ligeros" desde el punto de vista técnico como, por ejemplo, informes de prensa, comunicados de prensa y blogs.
Sería bueno escuchar ejemplos de países de diferentes contextos que hacen un uso eficaz de los datos de las evaluaciones del aprendizaje a gran escala (EAGS).
El próximo estudio de CONFEMEN sobre el uso de los resultados del PASEC 2014 destacará las buenas prácticas de los países participantes, así como sus diferentes formas de utilización de los datos del aprendizaje. El estudio se publicará a finales de 2019 en el sitio web de CONFEMEN.
La Oficina de la UNESCO en Dakar está elaborando, en su condición de Secretaría de TALENT, una nota informativa recopilatoria de las mejores prácticas en el uso de las EAGS que se publicará en el último trimestre de 2019. En la región del África subsahariana podemos encontrar algunos ejemplos positivos, como la introducción de la enseñanza de la lengua materna en los primeros cursos en Uganda y Malí; la mejora del sistema de formación del personal docente a todos los niveles en Senegal; el uso de las EAGS se materializa en la elaboración del Informe Estatal sobre el Sistema Nacional de Educación, apoyado por el IIPE-Pôle de Dakar.
¿Hay países en los que se utilizan datos para inspirar, informar y crear puentes entre alumnos, docentes, funcionarios de educación, responsables educativos y los diferentes agentes educativos?
El proyecto de investigación de la UNESCO-IIPE actualmente en marcha está examinando ejemplos positivos en los que los datos del aprendizaje están sirviendo para crear puentes y reducir distancias entre el trabajo y las necesidades de los diferentes agentes educativos. Por ejemplo, el sistema de evaluación de Gambia está tratando de trabajar en esta dirección mediante la creación de un entorno institucional que permitiría garantizar que las escuelas, los funcionarios regionales y los departamentos clave del Ministerio utilicen eficazmente los datos del aprendizaje.
Las evaluaciones del aprendizaje se ven seriamente afectadas por los problemas políticos. ¿Cuál es la mejor manera de hacer frente a este problema desde nuestra perspectiva de planificadores?
Las evaluaciones del aprendizaje, como otros elementos del sistema, no están al margen de las dinámicas políticas, lo que a veces puede influir negativamente en su funcionamiento, así como en la captación de sus datos. Una posible estrategia puede ser crear una agencia de evaluación que tenga un mandato legal a largo plazo y financiarla adecuadamente para que sea menos vulnerable a la inestabilidad política y a los cambios de regímenes (Tobin et al., 2015). La agencia de evaluación de Chile es un buen ejemplo. Este organismo del Ministerio de Educación tiene un gran arraigo y está al margen de influencias políticas directas, sin que ello sea obstáculo para que sus trabajos de evaluación den respuesta a las preocupaciones e intereses de política educativa y a las prioridades del gobierno (Ferrer, 2006).
¿Qué hacemos con la capacidad técnica de los docentes y del resto del personal educativo para realizar ellos mismos evaluaciones del aprendizaje y utilizar los resultados en el aula?
Las evaluaciones del aprendizaje a gran escala son evaluaciones de nivel que utilizan técnicas de muestreo, con el objetivo principal de ofrecer una radiografía de los resultados académicos de un grupo de estudiantes en un año determinado y dentro de un número limitado de ámbitos. La gran cantidad de información que recopilan juega un papel fundamental a la hora de guiar y orientar las acciones educativas. Estas informaciones no están pensadas principalmente para que las utilicen los docentes. Estos utilizan otros muchos tipos de evaluaciones en su actividad diaria. Sin embargo, hay ejemplos de cómo se han utilizado datos de evaluaciones del aprendizaje a gran escala con docentes (véase el ejemplo de la Universidad de Oxford). Además, algunos sistemas fomentan el uso de evaluaciones nacionales a gran escala por directores de escuelas y docentes en planificaciones a nivel escolar (por ejemplo, Gambia) y el diseño de la evaluación podría contribuir considerablemente a mejorar su eficacia.
Se mencionó anteriormente que una de las limitaciones de las EAGS es que se concentran únicamente en evaluar las competencias de lectoescritura y aritmética. ¿Es posible utilizar de manera eficaz los datos de las EAGS para alcanzar unos objetivos educativos cambiantes cuando la tendencia de los países es ampliar estos objetivos e incluir no sólo las materias troncales sino también otras muchas habilidades y competencias? Si es así, ¿cómo se vería esto?
El número limitado de ámbitos y capacidades evaluadas por las EAGS es algo que puede considerarse intrínseco a su propio diseño. Las EAGS se centran necesariamente en un número limitado de materias y habilidades, concretamente, en áreas de aprendizaje fáciles de medir y susceptibles de utilizarse para realizar comparaciones entre sistemas o países, o en aquellas consideradas como competencias básicas que permiten seguir aprendiendo en otras áreas. Sin embargo, las evaluaciones de los ámbitos más comunes no prestan suficiente atención al conjunto de conocimientos disponibles. Por ejemplo, las evaluaciones del lenguaje pasan frecuentemente por alto ámbitos tales como la apreciación de la literatura, la redacción y la comprensión auditiva.
Además, no evalúan adecuadamente el amplio abanico de conocimientos de una serie de ámbitos, como la alfabetización artística, mediática e informacional, o las competencias generales que se supone deben desarrollar los colegios como las de ciudadanía, responsabilidad medioambiental o pensamiento colaborativo. Esto podría desembocar en una reducción o simplificación de los múltiples objetivos de la educación y de las dimensiones del aprendizaje.
A pesar de todo, las evaluaciones del aprendizaje a gran escala, tanto nacionales como internacionales, están incorporando cada vez más una amplia variedad de conocimientos, competencias, actitudes y valores. Véase, por ejemplo, el SEA-PLM, un programa de evaluación de la educación primaria en Asia que mide las actitudes y comportamientos de ciudadanía global, o el estudio ICCS, Estudio Internacional sobre Educación Cívica y Ciudadana, ICCS, que tiene como objetivo evaluar cómo los jóvenes están asumiendo su papel como ciudadanos. A nivel nacional y regional podemos encontrar también la iniciativa conjunta Optimizing Assessment for All de la Institución Brookings y la UNESCO, que tiene como objetivo ayudar a los países a mejorar la evaluación, la enseñanza y el aprendizaje de las competencias del siglo XXI. Sin embargo, este proyecto piloto se centra principalmente en otros tipos de evaluaciones, como las evaluaciones formativas en el aula, que parecen ser un punto de entrada más adecuado para captar este tipo de competencias.
Pasará mucho tiempo antes de que estas evaluaciones nacionales e internacionales capturen a gran escala elementos de datos vinculados a estilos de vida saludables, valores y actitudes que apoyen la democracia, la protección de los derechos humanos, el respeto a la diversidad cultural, la ciudadanía responsable activa y la sostenibilidad medioambiental, u otros principios presentados por la Agenda 2030. También sería debatible si queremos realmente que las evaluaciones del aprendizaje a gran escala se ocupen de estas áreas.
Visite el sitio web de TALENT para encontrar más recursos.