Desarrollar un marco de monitoreo

Por qué desarrollar un plan de monitoreo?

El objetivo principal de cualquier sistema educativo es proporcionar al alumnado los conocimientos, las destrezas y los valores necesarios para una participación efectiva en la sociedad. La mayoría de los países registran datos contables, que se centran en contar las escuelas, el alumnado, la entrada de recursos y la salida de estos en forma de resultados del aprendizaje. Un plan para monitorear los resultados del aprendizaje puede proporcionar las bases para un completo monitoreo y evaluación (M & E) que pueda evaluar el desempeño de un sistema educativo a lo largo del tiempo. El plan puede emplearse para monitorear el aprendizaje en los niveles nacionales e internacionales. Este último plano permite hacer comparaciones entre los países y puede utilizarse para monitorear el avance hacia el Objetivo de Desarrollo Sostenible 4 (ODS 4). Uno de los objetivos principales del M & E en educación es garantizar que a toda la población y a todos los niveles se le proporciona una educación equitativa y de buena calidad (UNESCO, 2016:116).

Deberá diseñarse un plan para el monitoreo de la calidad en los diferentes niveles (país, región, escuelas) y para los diferentes grupos (autoridades escolares, profesorado, alumnado). Los planes de monitoreo emplean una serie de herramientas y componentes distintos para recolectar y organizar los datos estadísticos que se necesitan para monitorear el desempeño de un sistema (UNESCO, 2016). Esto incluye herramientas en el nivel de la escuela para recolectar datos sobre el alumnado y el profesorado, sistemas de gestión de la información educativa (EMIS) a nivel nacional, sistemas de información de recursos humanos o de gestión del profesorado para el reclutamiento y asignación del profesorado, sistemas de valoración e inspección educativa y sistemas de gestión financiera. El plan puede también incluir evaluaciones del alumnado en el nivel del sistema.

¿Qué debería monitorear el plan?

El monitoreo debería hacerse tanto en el nivel individual como en el sistémico. El profesorado, las familias y los responsables docentes necesitan información sobre su propia escuela. El personal funcionario del ministerio de educación necesita estadísticas agregadas en diversos niveles administrativos. Los ministerios de economía y finanzas necesitan información sobre las entradas de recursos del sistema, sobre su uso y sobre su gasto para calcular su rentabilidad.

El monitoreo de la calidad de la educación en términos de insumos, procesos y resultados puede clasificarse en una tipología con tres partes:

• Monitoreo del cumplimiento, que busca garantizar que las instituciones educativas cumplan con los criterios y las normas y que se centra en los insumos educativos como el profesorado, los manuales de texto, las aulas y el material.
• El monitoreo diagnóstico se centra en los procesos instructivos y en si el alumnado está o no aprendiendo. Proporciona información sobre la calidad de la educación que proporcionan las escuelas.
• El monitoreo del desempeño se centra en monitorear los logros académicos del alumnado mediante exámenes. Esto proporciona información sobre el resultado de las inversiones que se han hecho en educación. (Adaptación de Richards, 1988)

Estos tres tipos de monitoreo, usando diferentes herramientas de monitoreo, pueden coexistir dentro de un sistema educativo. Por ejemplo, los sistemas de contabilidad incluyen datos sobre los insumos, los procesos y los resultados que pueden emplearse para apoyar a la escuela al nivel de su gestión.

¿Cuáles son los componentes de un plan de monitoreo?

Un plan de monitoreo eficaz debería proporcionar respuestas a varias preguntas.

• ¿Qué indicadores deberían medirse para determinar lo que se ha hecho, lo bien que se ha hecho y qué es lo que se ha logrado? El indicador debería estar directamente relacionado con el resultado o con la meta esperada. Debería ser mensurable y estar bien definido. Los valores de referencia y los valores meta son calculables.
• ¿Quién va a recolectar los datos y cómo se van a recolectar? Esto indicará qué institución o personal se responsabilizará de la recogida así como qué herramientas se van a emplear, que pueden incluir listados, formularios o encuestas.
• ¿Cómo se organizará el flujo de datos, desde los lugares en los que se recolecten originalmente hasta el personal técnico y después hasta el personal de gestión y hasta los niveles en los que se toman las decisiones? Esto se puede hacer mediante redes ya existentes de datos compartidos, como EMIS, o mediante programas informáticos diseñados especialmente a medida.
• ¿Quién comprobará la calidad de los datos, llevará a cabo el análisis de los datos, redactará los informes y tomará decisiones basadas en los datos? Puede que se necesite experiencia técnica o conocimiento experto.
• ¿Cómo se gestionarán los datos para garantizar la privacidad, permitir el acceso a quienes lo necesiten y garantizar el almacenamiento seguro en el tiempo? Almacenar los datos en un sistema informático especialmente destinado a ello, con un acceso monitorizado, probablemente garantizaría todos estos requisitos.

¿Qué herramientas hay disponibles para el monitoreo?

Los planes de monitoreo generalmente se basan en una serie de herramientas y prácticas diversas para la recolección de datos.

Censos escolares

La mayoría de los países emplean un censo anual escolar como la forma principal de recolectar información de escuelas de todo el país. El censo escolar normalmente adopta la forma de un cuestionario, e incluye preguntas sobre la infraestructura escolar, el mobiliario y el material, los materiales de enseñanza y de aprendizaje, los ingresos y gastos de la escuela, las características del profesorado y las características del alumnado. Los datos del censo escolar pueden también emplearse para proporcionar un feedback al equipo de gestión de la escuela y al profesorado.

Auditorías escolares

La mayoría de los sistemas escolares tienen una institución que se encarga de auditar los asuntos financieros, materiales y de infraestructura, los recursos humanos y otros aspectos de los informes del censo escolar y de los mecanismos de rendición de cuentas de la escuela.

Sistemas de gestión de la información educativa (EMIS)

Un EMIS es una base de datos que centraliza los datos a nivel de escuela recogidos a partir de un censo escolar anual, de datos transaccionales sobre las operaciones de los actores implicados en la educación y de datos procedentes de otras fuentes (como los datos del censo de población). Lo usan ministerios de educación, ONGs, investigadores, donantes y otros actores implicados en la educación como una fuente fiable de datos educativos para la planificación, monitoreo y toma de decisiones políticas. A menudo existe también un sistema separado de recursos humanos o de gestión del profesorado (TMIS), que se emplea para tomar decisiones sobre la dirección de las escuelas y el reclutamiento y asignación del profesorado.

Encuestas sobre la dirección, el profesorado y el alumnado

Los programas de evaluación internacionales a gran escala aplican encuestas al alumnado, al profesorado y a los equipos directivos de las escuelas para conseguir información contextual. Dicha información incluye percepciones sobre la calidad de los procesos educativos, incluyendo las prácticas del profesorado, el clima de la escuela y las prácticas de liderazgo y gestión de las escuelas. Las encuestas proporcionan a los líderes educativos una forma de recoger información en el nivel del sistema sobre la calidad de los procesos educativos, incluso cuando no es posible hacer una observación pedagógica directa a gran escala.

Inspecciones educativas

Las inspecciones educativas pueden contribuir a la calidad de las escuelas y de los sistemas educativos. Aunque la terminología varía de un país a otro, los nombres más habituales para estos procesos son acreditación escolar, inspección o supervisión. Estos procesos generalmente tiene dos objetivos ligados: la rendición pública de cuentas y el desarrollo de la escuela.

Reportes de escuela (SRC)

Los reportes de escuela aportan información sobre las escuelas, que incluyen datos de matrículas, asistencia de profesorado y alumnado y desempeño académico del alumnado, de una manera accesible para el público en general. Existen varios modelos, desde los modelos muy institucionalizados donde cada escuela proporciona la información y se publica regularmente en internet, hasta reportes puntuales llevados a cabo con la ayuda de las organizaciones de la sociedad civil. Al publicar los datos de las escuelas, las SRC promueven la transparencia y la asunción de responsabilidades.

Encuestas de Seguimiento del Gasto Público (PETS) y Encuestas Cuantitativas de Prestación de Servicios (QSDS)

Los PETS hacen un seguimiento de los fondos, desde su origen central hasta el nivel de las escuelas. Usando métodos de muestreo, tratan de medir la pérdida o el desvío de fondos en el sistema educativo, proporcionando información sobre si los recursos se están usando de las maneras que se pretendían para las necesidades operativas generales y para los esfuerzos en pro de la mejora de la calidad de la educación. Los PETS pueden usarse para comprobar si los flujos de recursos clave, que tienen un impacto directo sobre el aprendizaje, llegan hasta sus beneficiarios, como los fondos escolares, o si se usan para comprar manuales de texto, materiales de aprendizaje, materiales etc. Un PET se suelen combinar con una Encuesta Cuantitativa de Prestación de Servicios (QSDS), que se centra en otras dimensiones, como el profesorado fantasma o el absentismo laboral del profesorado, y que también son claves para mejorar la calidad del aprendizaje.

Mapeos

La tecnología de Sistemas de Información Geográfica (GIS) puede usarse para mapear los datos en zonas geográficas, exponiendo los patrones regionales y las relaciones que no resultan tan obvias cuando se representan únicamente mediante tablas numéricas y bases de datos. El mapa visual de datos complejos puede ayudar a la toma de decisiones en factores como la distribución de recursos, la asignación del profesorado y la planificación para la educación en situaciones de conflicto o de emergencias.

Protocolos de observación pedagógica y en el aula

El proceso fundamental a la hora de mejorar los resultados del aprendizaje es la interacción entre profesorado y alumnado. Aún así, muchos sistemas de monitoreo educativo no recolectan datos sobre ese proceso, porque requiere de una observación directa y de la codificación fiable de una información que, principalmente, es cualitativa, ambas cosas difíciles de conseguir a gran escala. Muchos sistemas usan la observación pedagógica como parte del proceso de evaluación y certificación del profesorado. La observación pedagógica puede usarse también en un formato peer to peer como parte de la formación y desarrollo profesional continuo del docente.

Estudios de seguimiento de graduaciones

Los estudios de seguimiento de graduaciones son encuestas que tratan de determinar el porcentaje de alumnado graduado que han sido provechosamente contratados, que trabajan por cuenta propia o que han sido admitidos en estudios post secundarios después de haber terminado la educación secundaria, analizado en relación a otras importantes variables de contexto. Los estudios de seguimiento suelen llevarse a cabo entre el alumnado licenciado de las instituciones de formación profesional o post secundarias, pero pueden también emplearse después de la graduación en el sistema de enseñanza básica, especialmente en contextos donde la mayoría de los graduados de la educación secundaria no acceden a la educación superior.

Encuestas de satisfacción de las empresas y sobre la brecha de destrezas

Este enfoque hace encuestas entre las empresas para evaluar si los graduados poseen las destrezas y cualidades que se requieren para su empleabilidad en diferentes sectores de la economía. En muchos países, hay determinadas industrias que contratan sistemáticamente a trabajadores de otros países porque tienen la percepción de que los graduados locales no tienen las destrezas técnicas que se necesitan para el trabajo. Las encuestas de satisfacción de las empresas o las encuestas sobre la brecha de destrezas pueden también revelar problemas en un nivel más básico, como por ejemplo insuficientes habilidades de comunicación y colaboración. Las personas encargadas de la planificación educativa pueden emplear estos datos para replantear las asignaturas que se enseñan en las escuelas, así como el enfoque pedagógico general.

Encuestas de gasto

Estas pueden emplearse para monitorear los gastos entre los diferentes grupos, como el alumnado o los hogares. Los Servicios de Información de la Gestión Financiera (FMIS) recogen e integran procesos de gestión de la financiación pública incluyendo formulación de presupuesto, ejecución, rendición de cuentas e informes.

Evaluaciones del aprendizaje

Los datos de evaluación pueden jugar un papel clave en un plan de monitoreo como parte del análisis de los problemas de un sistema educativo así como para monitorear los planes de mejora. Los datos procedentes de los exámenes nacionales también pueden incorporarse a un sistema de monitoreo a través de un EMIS o de los reportes escolares.

Monitoreo para avanzar hacia el ODS 4

Hay una conciencia cada vez mayor de la necesidad de contar con datos estadísticos comparables a escala internacional para medir los avances hacia las metas del ODS 4. La Global Alliance to Monitor Learning, promovida por la UIS, apoya las estrategias nacionales para la evaluación de los aprendizajes y el desarrollo de indicadores comparables internacionalmente y de herramientas metodológicas para medir los progresos hacia las metas clave del ODS 4.