Evaluaciones al nivel del sistema

Last update 29 Mar 18
FICHA 4

Las evaluaciones al nivel del sistema pueden mejorar el aprendizaje siempre que se diseñen para garantizar la validez, fiabilidad y equidad, y si los datos se utilizan con el fin de realizar un cambio sistémico.

Las evaluaciones sumativas realizadas a niveles regional, nacional e internacional pueden servir para dos finalidades principales: certificar los resultados académicos de los estudiantes y supervisar y evaluar la oferta educativa de la calidad a nivel sistémico. A la hora de desarrollar sistemas de evaluación sumativa se deberían tener en cuenta sus diferentes objetivos, así como sus características fundamentales de contenido, validez, fiabilidad,  aseguramiento de la calidad e impacto.

 

Cuestiones y debate

¿Qué es la evaluación para el monitoreo del sistema? La mayoría de los sistemas educativos recopilan información sobre el aprendizaje de los estudiantes a través de exámenes regionales o nacionales. Sin embargo, los exámenes se utilizan habitualmente más para  titular y seleccionar a los estudiantes que para monitorear la calidad del sistema educativo en su conjunto. Son cada vez más los países que monitorean la calidad del sistema educativo mediante un programa independiente de exámenes y encuestas que suponen la realización de muestreos de alumnos de determinadas edades o cursos. Estas evaluaciones no otorgan calificaciones ni facilitan comentarios o información a los estudiantes, sino que facilitan resultados agregados para medir tendencias a lo largo del tiempo.

Como ejemplo de este tipo de evaluaciones de monitoreo del sistema podemos encontrar los tests nacionales y regionales sobre determinadas materias (por ejemplo el plan de evaluación educativa 2012-2015 de Finlandia); evaluaciones domiciliarias dirigidas a los ciudadanos (por ejemplo, las evaluaciones sobre aprendizaje básico realizadas en la India, Pakistán, Kenia, Tanzania, Uganda, Mali y Senegal); o los exámenes escolares internacionales como los del Estudio Internacional de las Tendencias en Matemáticas y Ciencias (TIMSS), el Estudio Internacional del Progreso en Comprensión Lectora (PIRLS), el Programa Internacional para la Evaluación de Estudiantes, (PISA), los estudios llevados a cabo por el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE), el Programa de Análisis de los Sistemas Educativos de la CONFEMEN (PASEC), el Consorcio de África Meridional para la Supervisión de la Calidad de la Educación (SACMEQ)  (SACMEQ), y la Métrica del Aprendizaje en la Escuela Primaria del Sudeste Asiático (SEA-PLM). Estos diferentes instrumentos de evaluación son marcadamente diferentes entre sí y aunque habitualmente para los alumnos de las escuelas no tienen apenas repercusiones académicas, sin embargo, su utilización tiene una gran repercusión y supone frecuentemente un coste elevado para los gobiernos, los políticos y los responsables de las políticas educativas. Por lo tanto, un conocimiento en profundidad de las funciones, métodos y limitaciones de cada tipo de evaluación es esencial para los planificadores de la educación, cuyas decisiones se basan en los resultados de estos exámenes.

Diseño de la evaluación sumativa a gran escala para el monitoreo del sistema: Al decidir si seguir un régimen de evaluación ya existente o diseñar uno propio, los planificadores deben tener en cuenta una serie de preguntas fundamentales, entre las que se encuentran: ¿Cuál es  la finalidad de la evaluación y cómo se van a utilizar los resultados para ser aplicados en la práctica? ¿Qué área curricular (por ejemplo, matemáticas, ciencias, lengua materna) y qué constructo (lectura y escritura, aritmética) ha de ser evaluado)? ¿En qué fase debería tener lugar la evaluación y para qué fin? ¿Con qué frecuencia debería realizarse la evaluación? ¿Qué instrumentos normalizados, procedimientos de administración y puntuación deberían utilizarse? ¿Qué costes habría que cubrir y por parte de quién? ¿Debería realizarse la evaluación sobre toda la población o solamente sobre una muestra representativa? ¿Cómo se incorporarán a nivel del sistema los resultados académicos individuales obtenidos en las diferentes escuelas/regiones? ¿Qué otra información general (recursos escolares, características familiares) debería recopilarse para analizar los resultados finales? ¿Cómo se analizarán, compartirán y utilizarán los resultados? Aunque no se puede responder aquí a todas estas cuestiones, hay que tener en cuenta cuatro consideraciones fundamentales para todos los procesos de diseño de las evaluaciones: contenido,  validez, fiabilidad y  aseguramiento de la calidad.

  • Contenido: El contenido de una evaluación es determinado por aquellos aspectos más valorados del aprendizaje y por lo que se puede esperar de los estudiantes en términos de progresión y resultados. Tener un buen conocimiento de los objetivos educativos y unos resultados del aprendizaje claramente definidos ayudará a determinar cuáles son los tipos de tareas a incluir en la evaluación o en la cartera de informaciones y datos objetivos.(6)(11)
  • Validez: La validez general se encuentra referida a si una evaluación mide con precisión el objeto de la medición. No todos los conocimientos pueden ser desglosados en tareas que encajen dentro de las limitaciones de tiempo y procedimiento de los métodos de evaluación sumativa habituales. Las tareas de evaluación deberían complementarse idealmente entre sí para medir el conocimiento en contexto, aplicación, análisis y capacidad.(2)
  • Fiabilidad: Una medición fiable de una evaluación produce resultados consistentes en todos los apartados relacionados dentro de un mismo examen, a lo largo de las diferentes instancias de la administración del examen y a lo largo de las calificaciones asignadas por los diferentes examinadores. La fiabilidad de un sistema de evaluación general reside en la metodología utilizada en el muestreo de estudiantes, en el diseño de los instrumentos de evaluación, en  los procedimientos de administración y puntuación y en los métodos de agregación y análisis de datos. La fiabilidad implica también que la evaluación debe ser coherente y comparable entre los diferentes candidatos, y que deben minimizarse los errores y parcialidades de los asesores.(11)
  • Aseguramiento de la calidad: Los procedimientos de transparencia y aseguramiento de la calidad son absolutamente fundamentales en aquellos países en donde la corrupción y el nepotismo político siguen siendo parte del contexto social.(3) En general, cuanto más peso se le da a la evaluación sumativa, más estricto debe ser el sistema de aseguramiento de la calidad mediante métodos tales como la moderación de las notas con evaluadores de otras escuelas, la doble corrección, exámenes tipo test y la utilización de programas informáticos especiales para analizar los resultados por cohortes, escuelas y regiones.(8)(16)

Impactos de la evaluación sumativa: A nivel nacional, regional y escolar, los datos de las evaluaciones sumativas son una de las fuentes más importantes de información para analizar el funcionamiento del sistema educativo, diagnosticar problemas, proyectar tendencias a lo largo del tiempo, determinar la necesidad de realizar intervenciones específicas o en todo el sistema, planificar el desarrollo de capacidades institucionales y  formar docentes, diseñar currículos, elaborar presupuestos y  distribuir recursos.(10) En muchos países, los datos de las evaluaciones son utilizados también para exigir responsabilidades y mejorar el funcionamiento de las escuelas y de los docentes.(9) La presión de la responsabilidad, que puede tener muchos efectos positivos en el sentido de que los docentes trabajen más duro y de forma más eficaz para preparar a sus alumnos, también puede repercutir negativamente sobre la enseñanza y el aprendizaje, como por ejemplo al restringir los métodos de enseñanza y los contenidos y también al minar la moral de los docentes.(12)(14)

A nivel de los propios estudiantes, la evaluación sumativa puede ser positiva para los alumnos cuando las tareas de evaluación ofrecen los resultados del aprendizaje deseados y cuando la información facilitada sobre los resultados es utilizada con fines formativos (por ejemplo, evaluación sumativa + información = evaluación formativa).(15) Cuando los alumnos participan en los procesos de evaluación consiguen entender mejor los objetivos del aprendizaje y están mejor preparados para implicarse más cognitivamente para conseguir estos resultados.(4)(5) Sin embargo, un sistema educativo que da gran importancia a la evaluación sumativa y a la selectividad produce estudiantes con una fuerte orientación extrínseca hacia las notas y el estatus social, pero con una baja motivación intrínseca para el aprendizaje a largo plazo.(2) Además, el uso frecuente de tests y exámenes con gran repercusión en los resultados académicos puede llevar a que los estudiantes copien en los exámenes y a presiones para ampliar el tiempo de aprendizaje utilizando profesores particulares.

 

Inclusividad y equidad

Desigualdad e injusticia social: Las evaluaciones sumativas interactúan de forma compleja con la injusticia social, la desigualdad, la miseria y otras formas de carencia.(1) Los estudiantes desfavorecidos que tienen baja confianza y autoestima, o que carecen de motivación y compromiso, pueden verse aún más desmotivados por la presión de las pruebas y exámenes. Además, la utilización indebida de los resultados obtenidos por los medios y por los políticos puede hacer un daño muy considerable reforzando estereotipos injustos e inexactos. Muchos estudiantes desfavorecidos pueden beneficiarse en gran medida de modos personalizados de evaluación sumativa, como el trabajo con proyectos y con portafolios, que pueden promover elevados niveles de compromiso .(1)(11)

 

Ejemplos de políticas

  • Finnish [PDF]
  • Uganda [PDF]
  • Netherlands [PDF]
  • SEAMEO Region [PDF]
References and sources
  1. Beets P. and van Louw, T. (2011) Social justice implications of South African school assessment practices, Africa Education Review, 8(2): 302-317
  2. Boud, D. (2000) Sustainable Assessment: Rethinking Assessment for the Learning Society, Studies in Continuing Education, 22:2, 151-167
  3. Bethell , G. and Zabulionis, A. (2012) The evolution of high-stakes testing at the school–university interface in the former republics of the USSR, Assessment in Education: Principles, Policy & Practice, 19:1, 7-25
  4. Carless, D. (2015) Exploring learning-oriented assessment processes. Higher Education, 69(6), 963-976.
  5. Carless, D. (2007) Learning-oriented Assessment: Conceptual Bases and Practical Implications. Innovations in Education and Teaching International, 44(1): 57-66
  6. Harlen, W. (2007) Assessment of Learning. London: SAGE
  7. Harlen, W. (2009) Improving Assessment of Learning and for Learning, Education 3-13: International Journal of Primary, Elementary and Early Years Education, 37(3):247-257
  8. Harlen, W. (2012) On the Relationship between Assessment for Formative and Summative Purposes, In Gardner, J. (Ed.) Assessment and Learning. London: SAGE
  9. Hutchinson, C. and Young, M. (2011) Assessment for Learning in the Accountability Era: Empirical Evidence from Scotland, Studies in Educational Evaluation 37: 62–70
  10. Kellaghan, T., Greaney, V. and Murray T. (2009) Using the Results of a National Assessment of Educational Achievement. Washington DC: The World Bank.
  11. Lau, A.(2015): ‘Formative good, summative bad?’ - A Review of the Dichotomy in Assessment Literature, Journal of Further and Higher Education.
  12. Lee, J. (2008) Is Test-Driven External Accountability Effective? Synthesizing the Evidence from Cross-State Causal-Comparative and Correlational Studies, Review of Educational Research, 78(3): 608-644
  13. R4D. 2015. Bringing Learning to Light: the Role of Citizen-led Assessments in Shifting the Education Agenda. Washington, DC: Results for Development Institute
  14. Stobart, G. and Eggen, T. (2012) High-stakes Testing – Value, Fairness and Consequences, Assessment in Education: Principles, Policy & Practice, 19(1): 1-6
  15. Taras, M. (2010) Assessment for Learning: Assessing the Theory and Evidence. Procedia Social and Behavioral Sciences (2): 3015–3022
  16. Zupanc, D., Urank, M. and Bren, M. (2009) Variability analysis for effectiveness and improvement in classrooms and schools in upper secondary education in Slovenia: Assessment of/for Learning Analytic Tool, School Effectiveness and School Improvement, An International Journal of Research, Policy and Practice, 20(1): 89-122
Añadir a favoritos

Glosario

En la biblioteca