Ceibal y la evaluación en línea

Yet another bean photoCon mucho gusto socializamos la entrevista realizada por Síntesis Educativa a Andrés Peri y Oscar Luaces, encargados de diseñar la evaluación en  línea utilizando las  XO del Plan Ceibal.

 “Que la comparación sea exigente y no complaciente”

Uruguay, país pionero en la implementación del modelo “una computadora por alumno”, avanza también en el diseño de mecanismos de evaluación que aprovechen el masivo equipamiento informático disponible. Para conocer esta experiencia entrevistamos a Andrés Peri y Oscar Luaces, funcionarios a cargo del programa.

Hacia finales del año pasado, una noticia ganó los titulares en el Uruguay y circuló rápidamente por todo el ambiente educativo hispanoamericano: alumnos de 3º a 6º año de primaria pública habían sido sometidos a una evaluación en línea utilizando las laptop XO del Plan Ceibal para medir sus conocimientos en Ciencia, Matemática y Lectura, y fallaron en más del 50% de las preguntas.

La prensa, probablemente en solidaridad con el creciente clamor popular que desde hace un tiempo reclama una mejora en el alicaído sistema educativo uruguayo, criticó duramente la prueba y sus resultados. Varios funcionarios intentaron explicar que el examen había tenido una finalidad diagnóstica y no sumativa, pero entre idas y vueltas se perdieron de vista muchos aspectos importantes de la evaluación en sí, y con ellos también se diluyó la posibilidad de divulgar sus lecciones, si es que las produjo.

Con el propósito de echar luz sobre estas cuestiones entrevistamos a Andrés Peri, director de la División de Investigación, Evaluación y Estadística (DIIE) de la ANEP, y a Oscar Luaces, coordinador del Departamento de Evaluación de Aprendizajes.

¿Por qué una evaluación en línea, y cómo se la aplica?

Desde el año 2009 Uruguay logró, a través del Plan Ceibal, que todo alumno que concurre a la escuela pública disponga de una computadora portátil (XO), y que todo centro docente disponga de conectividad a Internet con la posibilidad de utilizar este recurso a nivel de aula.

Esto nos brinda la posibilidad de utilizar esta herramienta para el desarrollo en el alumno de nuevas competencias así como la de ser utilizada como recurso auxiliar de los procesos educativos. En tal sentido, un año antes de que se lograra la universalización del plan la DIIE ya estaba piloteando su utilización con fines evaluativos.

Para llevar adelante el proyecto nuestro Departamento desarrolló una plataforma virtual que le permite al docente consultar material informativo referido a la evaluación en línea, registrarse como maestro de clase, registrar a su grupo, aplicar las pruebas a sus alumnos, ver el resultado de esa aplicación en forma inmediata, comunicarse con nuestro equipo para efectuar consultas y realizar una evaluación de la actividad respondiendo a una encuesta que se le proporciona.

La participación de los docentes en la actividad es voluntaria, no obstante lo cual el grado de participación es muy alto, supera en todos los casos el 80% del universo de grupos escolares de escuelas públicas

En lo que se refiere a la evaluación propiamente dicha debemos destacar que es una actividad diseñada y desarrollada por distintos organismos educativos que alinean sus acciones en pos de un objetivo común: “mejorar la calidad de la educación de nuestro país”.

¿En qué consisten las pruebas?

Las pruebas son construidas para evaluar logros de aprendizaje en tres áreas: Matemática, Lectura y Ciencias Naturales y tienen como referente una tabla de especificaciones que es previamente acordada y sometida a discusión y conocimiento de los docentes que participan. En dicha tabla se explicitan los contenidos y competencias que han sido seleccionados en función de su relevancia y pertinencia en el logro los fines educativos nacionales explicitados por el currículo vigente.

Las actividades de prueba tienen el formato de múltiple opción con cuatro alternativas de respuesta de las cuales una sola es la correcta. Las pruebas tienen la característica de ser un formato único para todo el país con una cantidad de ítems que varía entre 20 y 25 actividades.

Los alumnos disponen de actividades piloto para ensayar este formato, que no es de uso habitual en el aula, a fin de enfrentar la prueba con una experiencia previa que facilita su abordaje.

¿Cuál fue el universo de la evaluación?

La evaluación en línea 2011 aplicada en los meses de agosto-setiembre, abarcó la población escolar de 3º a 6º grado de educación primaria (aproximadamente desde los 8 años a los 12 años de edad).

Al estar evaluando cuatro grados consecutivos la propuesta de evaluación fue diseñada pensando en el posterior análisis transversal de los resultados. Este objetivo determinó el desafío de incluir actividades comunes a más de un grado y otras, comunes a los cuatro grados involucrados en la experiencia.

En base a ello, se acordó construir dos formas de pruebas por disciplina a evaluar: una para los grados de 3º y 4º y otra para los de 5º y 6º. En ambas formas se incluyeron actividades comunes a los cuatro grados que por su relevancia se consideró importante mantener en forma transversal. Esta organización de las actividades permite tener información acerca de los logros académicos de los escolares y ver de qué forma varían según el grado que están cursando.

¿Qué nos puede decir de la mecánica de aplicación?

El día de la aplicación el docente ingresa a la plataforma y en el menú principal accede a las pruebas disponibles para ser aplicadas, selecciona una de las disponibles y comienza la aplicación. En pantalla le aparece el listado de los alumnos que él registró, marca los ausentes y da comienzo a la aplicación. Seguidamente instruye a sus alumnos a comunicarse con la plataforma a través de la dirección web www.alumnos.evaluacion.com.uy, donde ellos acceden digitando el número de su documento de identidad. Este diseño garantiza que la evaluación se haga solamente con la presencia y control del maestro de clase.

¿Cómo se procesan los resultados, y cuándo llegan al maestro?

Los resultados de la evaluación están a disposición del docente inmediatamente después que el último niño culmina la evaluación. Este aspecto es uno de los que más valoran los docentes porque permite la retroalimentación en tiempo real para cada uno de los alumnos, porque el maestro puede aplicar la evaluación tantas veces como quiera, y porque constituye una instancia de aprendizaje colectivo entre todos los maestros del grado evaluado, al poder dialogar con los otros maestros (de su escuela o de otra) y acceder a fichas didácticas especialmente diseñadas en función de las actividades de evaluación, de forma de romper el “aislamiento del aula” y potenciar la formación en servicio.

Según se consigna, esta evaluación es la tercera de una serie. ¿También en años anteriores se siguió el mismo protocolo, con los mismos objetivos y técnicas?

Efectivamente esta evaluación es la tercera de una serie iniciada en el año 2009. En esa oportunidad se aplicó en 2º año de educación primaria y se efectuaron aproximadamente un total de 87.000 aplicaciones.

En el año 2010 se volvió a replicar la misma evaluación en 2º año y se sumó una evaluación en 6º año. El número de aplicaciones alcanzó las 270.000.

En 2011 el número de aplicaciones alcanza aproximadamente a las 465.000. En todos los casos el diseño y el objetivo de la actividad ha sido el mismo.

Usted afirma que la prueba no buscó medir “la suficiencia de los estudiantes”. ¿Qué es exactamente lo que buscó medir, o cuál fue su propósito concreto?

En Uruguay las evaluaciones de sistema, encaradas a nivel nacional, tienen la característica de ser formativas, esto significa que la información es producida con la finalidad de potenciar las prácticas pedagógicas para la mejora de la calidad de la educación.

En función de esto está expresamente acordado que la información no puede utilizarse bajo ningún concepto para calificar a los alumnos ni para determinar su promoción o aplazamiento así como la no se debe utilizar para calificar a docentes ni para realizar ranquin de escuelas. De esta forma los resultados se manejan en forma confidencial por cada centro y solamente se publican los totales.

La evaluación PISA nos demuestra que los sistemas educativos eficaces realizan y utilizan la información de evaluaciones estandarizadas. Nosotros creemos que estas pueden contribuir a comprender el nivel de dispersión de aprendizajes de un grupo y favorecer un tratamiento diferenciado según las necesidades de cada alumno.

Hay una regla bastante difundida en la comunidad educativa que dice que “hay que evaluar sólo lo enseñado”. Si esta prueba fue más allá, ¿qué justifica la desviación de la norma?

Esa regla es válida para la evaluación a nivel de aula o a nivel de centro donde lo aprendido por el alumno ha sido acordado previamente y sus resultados pueden repercutir en su calificación. Cuando estamos evaluando a nivel de sistema y con finalidad formativa, no solamente es imposible respetarla sino que es conveniente no hacerlo, porque (a) la evaluación se propone en un momento del año en el que cada docente puede que aún no haya tratado el tema de la actividad propuesta, (b) en estos momentos se está estrenando un nuevo currículo sobre el cual existen temas nuevos que es necesario discutir acerca de la forma y la profundidad con la que deben ser encarados, y (c) el sistema de evaluación en línea, al proponer una actividad de evaluación que no fue hecha por el docente, le brinda a éste la oportunidad de ver cómo se desempeñan sus estudiantes en una actividad nueva que es central al programa oficial.

En una entrevista usted comentó “cuando fue lo de PISA, cuando la gente vio las actividades, dijo ‘ah, pero esto no era tan fácil’. Eso me parece que podría llegar a pasar si ven las actividades que están colgadas en la página de Primaria, propuestas para esta evaluación en línea”. Claramente las actividades propuestas por PISA no fueron “fáciles” para una mayoría de estudiantes latinoamericanos, pero sí pudieron ser satisfechas por los alumnos de Finlandia, Singapur o Taiwan. ¿Cuál es su comentario al respecto?

En Uruguay existe una percepción generalizada de que nos ha ido mal en PISA porque se compara el ranking de países sin considerar la cantidad de países participantes en cada ciclo. Si en el 2003 ocupábamos el lugar 35 de 40 países, y ahora ocupamos el 47 de 65, lo que muestra en realidad estabilidad o leve mejoría, pero no descenso a pesar de que el lugar en el orden baje.

La gente también se alarma con el hecho de que el 42% de los alumnos están por debajo del umbral de competencia, porque cree que en los países de la OCDE este guarismo es cero. Sin embargo, 1 de cada 5 alumnos de la OCDE tampoco llegan a ese nivel de competencia. Claro que la diferencia sigue siendo importante, pero no es de la magnitud que la gente supone.

El objetivo de política educativa sigue siendo no tener alumnos por debajo del umbral de competencia, y lo preocupante del caso uruguayo es que no hemos logrado reducir esa proporción en los tres ciclos que hemos participado, ni mejorado la distribución social de los conocimientos.

Contrario a su valoración positiva de los exámenes PISA, algunos funcionarios de alto nivel en Latinoamérica han manifestado su rechazo por esta prueba, proponiendo en cambio la confección de evaluaciones “a medida” de los sistemas educativos regionales. ¿Cuál es su posición al respecto?

PISA ha adquirido un carácter totémico: la he visto usada como apoyo para argumentaciones diametralmente contrarias: “Como dice PISA…. (y luego agregan lo que ellos creen que pasa en el sistema educativo)”.

Yo creo que es problemático que la única medida de desempeño de aprendizajes comparable en el tiempo y entre centros educativos sea una evaluación internacional. Estas no pueden ser un sucedáneo de un sistema nacional de aprendizajes, sino un complemento. Eso es lo que acontece en Primaria con el SERCE, pero en Educación Media no hemos logrado tener una línea de continuidad con las evaluaciones nacionales.

Me parece que su relevancia está sobredimensionada por la falta de evidencias fuertes sobre el desempeño del sistema educativo en la educación media. Por eso se ha convertido en una referencia casi exclusiva sobre la desigualdad de aprendizajes en el sistema educativo.

Igual no comparto la idea de que tenemos que participar en evaluaciones regionales exclusivamente. En un mundo cada vez más global, yo creo que hay que participar de las evaluaciones más globales posibles y PISA representa el esfuerzo más claro en ese sentido.

Uno participa en PISA porque quiere, nadie le impone nada, más que cumplir los estándares de calidad para asegurar la comparabilidad de los resultados y cumplir un calendario muy exigente. Mientras que PISA nos muestre señales de cómo van algunos aspectos relevantes sobre nuestro sistema educativo, y coincidamos con el marco de evaluación de los constructos que mide (cultura científica, razonamiento matemático y lectura) prefiero que la comparación sea exigente y no complaciente.

¿Cuál es la política pública que Uruguay impulsa en el terreno de la evaluación de la calidad educativa?

En Uruguay fue recientemente creado el Instituto Nacional de Evaluación Educativa (INEE) quien podrá ser un actor relevante en el monitoreo permanente de dimensiones centrales sobre el aprendizaje de los alumnos y otros aspectos de la calidad educativa.

Uruguay ha hecho una apuesta fuerte a la incorporación de las TIC en educación a través del Plan Ceibal, lo que ha eliminado la brecha de acceso por sector social y ha enriquecido la experiencia educativa.

La evaluación en línea es un ejemplo de las nuevas posibilidades tecnológicas y se prevé para el 2012 hacer el piloto de la primera evaluación adaptativa (donde en lugar de una prueba única, a los niños se le van proponiendo actividades de evaluación en función de su habilidad). Estos desarrollos, junto con otros que potencian el protagonismo de los centros educativos van a permitir que los planteles docentes puedan trabajar colaborativamente para mejorar el aprendizaje de todos los alumnos.

Usted propuso a la gente que “vean la prueba, que la hagan en sus casas y vean que las actividades eran demandantes cognitivamente”. ¿Considera usted que el ciudadano común está en posición de juzgar el grado de dificultad de esta prueba en relación con la enseñanza impartida, el nivel cognitivo de los alumnos según su edad, y las didácticas aplicables? ¿Piensa que el juicio de la opinión pública al respecto puede contener elementos objetivos y científicos capaces de orientar los procesos educativos?

En lo que respecta a invitar a la población a ver y resolver las pruebas debo aclarar que no es mi propósito que el público sea un experto en educación y que juzgue las actividades como si fuera un docente con una sólida formación teórica y científica. Lo que se pretende es acercar al pueblo a la discusión educativa involucrándolo en una tarea que también le compete, porque la educación es un hecho social, responsabilidad de todos.

El plan Ceibal, al proporcionar una computadora por alumno, se transforma en una poderosa herramienta que ayuda a lograr que las familias se vuelvan a acercar a la escuela y hagan suyos los problemas de la educación. La evaluación también es un tema altamente motivante, capaz de generar opiniones y reacciones de la sociedad las cuales a su vez deben ser tenidas en cuenta por parte de los técnicos que tienen la responsabilidad de adoptar políticas públicas para lograr una educación de calidad con equidad.

Por último, ¿cómo evalúa el reflejo que los medios hicieron de esta evaluación, presentándola en muchos casos como “una prueba del fracaso educativo”?

La verdad es que nos dolió el tratamiento que le dieron algunos medios de prensa que no comprendieron la propuesta y tomaron la evaluación en línea como una evaluación sumativa y de rendición de cuentas. Utilizaron la evaluación como supuesta prueba de sus prenociones sobre el sistema educativo.

Lo cierto es que no somos comunicadores y erramos publicando los resultados. Aunque hicimos advertencias sobre cómo comprenderlos, no fueron tomadas en cuenta. Incluso un medio de prensa sacó una nota posterior diciendo que “ante los malos resultados de la evaluación en línea, las autoridades dicen que eran para reflexionar”, cuando el carácter formativo estaba desde el inicio de la propuesta.

La verdad es que, actualmente, el tema educativo pasó a ser muy sensible, y no es fácil enganchar al público en un debate racional. Es más fácil ir a las prenociones sobre el sistema, que comprender una propuesta de evaluación innovadora y sus potencialidades para la mejora continua.

Andrés Peri Hada (Montevideo, 1964) es Sociólogo egresado de la UDELAR y Magister en Sociología y Doctor en Demografía por la Universidad de Texas en Austin. Es Director de la División de Investigación, Evaluación y Estadística desde el 2005. Ha sido representante del Uruguay en la Asamblea de Gobierno de Pisa (PGB) y coordinador nacional del Segundo y del Tercer Estudio Regional Comparativo y Explicativo del LLECE de Unesco. Ha publicado varios libros y artículos en su especialidad. Fue consultor internacional de CARE International, WFP, Celade y Cepal.

Oscar A. Luaces Bernasconi nació en 1952 en San José de Mayo, Uruguay. Es Maestro de Educación Primaria y Máster en Evaluación de Políticas Públicas por la Universidad ORT de Montevideo. Desempeñó cargos docentes desde el año 1979 como maestro de escuela rural, maestro secretario y maestro director. A partir del año 1994 integra el equipo técnico del Área de Evaluación de Aprendizajes de la División de Investigación, Evaluación y Estadística dependiente de la Administración Nacional de Educación Pública de Uruguay. En la actualidad ocupa el cargo de Coordinador de dicha unidad.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *