sábado, 26 de junio de 2010

LA MEDICION DE LOGROS DE APRENDIZAJE

Es importante destacar y celebrar que a lo largo del decenio pasado casi todos los países latinoamericanos han estado haciendo grandes esfuerzos para medir la calidad del aprendizaje escolar mediante sistemas de pruebas nacionales. En muchos de ellos se realizaron incluso anteriormente algunas mediciones estandarizadas más o menos masivas, ya sea para evaluar el impacto de programas o proyectos o como parte de alguna investigación. Sin embargo, fue recién en la segunda mitad de los noventa que la mayoría de ellos, frecuentemente con apoyo de organismos internacionales, se decidió a aplicar diversas herramientas que le permitirían medir y evaluar sistemáticamente los aprendizajes, con el objetivo de proveer información al sistema educativo y a la sociedad que podría servir como un insumo para tomar decisiones y mejorar los procesos educativos.

En casi todos los países de la región se han realizado ya mediciones nacionales o estatales de logros para alumnos de varios grados escolares y en una diversidad de áreas o competencias curriculares. En muchos casos, hay ya más de una experiencia de aplicación y se ha publicado y difundido al menos parte de sus resultados. En algunos países se han realizado también estudios para investigar qué factores escolares y extraescolares son los que más fuertemente inciden sobre esos logros, con la intención de utilizar los hallazgos para mejorar el diseño e impacto de programas.


Pese a estos grandes esfuerzos y aun cuando en la mayoría de los casos se cuenta con un sistema inicial de pruebas estandarizadas e incluso de desempeño, como se mencionó anteriormente, en muchos casos aún no puede decirse que existe ya un mecanismo permanente, sólidamente institucionalizado, de medición de la calidad. Tampoco se cuenta, en la mayoría de los casos, con instrumentos que para hacer seguimiento a lo largo del tiempo de los resultados de aprendizaje, para vincularlos de manera válida y confiable a los diversos factores contextuales y los propiamente escolares que inciden sobre ellos y/o hacer un seguimiento a lo largo del tiempo de los resultados e impactos de distintas políticas o programas introducidos durante el período en cuestión.


Muchos de estos esfuerzos no han sido lo suficientemente sistemáticos ni sostenidos. Ha habido falta de continuidad del trabajo, agudizado durante períodos de cambios de gobierno, cada uno de los cuales trae una perspectiva diferente sobre la importancia de la medición de la calidad. Esto se traduce en falta de actualización de las pruebas, una tendencia a ignorar sus resultados y a no usarlos adecuadamente en el proceso de toma de decisiones por las autoridades o por los usuarios del sistema. Obviamente, esto lleva también a un insuficiente impacto de las evaluaciones sobre el conjunto del sistema educativo.


En muchos países, los fines, objetivos, los enfoques y los procedimientos seguidos por los sistemas no han sido discutidos ni entendidos suficientemente por todos los grupos sociales que deberían constituirse en sus usuarios. En algunos casos ni siquiera han sido discutidos ni aceptados por los actores del mismo sector educativo, por no mencionar a la totalidad de los funcionarios de los niveles centrales donde se formulan y supervisan las políticas y sus resultados. Es justamente debido a esta falta de definiciones básicas y de compromisos sociales claros con la calidad y transparencia de los sistemas que éstos son aún muy vulnerables a cambios en la administración del gobierno e incluso a cambios en la identidad de los responsables de un ministerio.


Sobre la base de Ravela et al. (1999) y observaciones adicionales, podrían identificarse cerca de una veintena de fines diferentes que persiguen o podrían perseguir los sistemas nacionales de evaluación de logros de aprendizaje:


Finalidades diversas que pueden perseguir los sistemas de evaluación de logros de aprendizaje escolar


– Informar a la opinión pública y generar una cultura social de la evaluación.


– Contribuir a la generación de conocimiento, proporcionando insumos para la investigación aplicada sobre el funcionamiento de los sistemas educativos, las prácticas de enseñanza, el impacto de las variables sociales sobre el aprendizaje de los niños (también identificar los factores determinantes del logro) y los tipos de intervenciones más efectivos para mejorar los aprendizajes.


– Construir un "mapa de situación" del sistema educativo con el fin de identificar áreas o unidades prioritarias de intervención y tipos de intervenciones necesarias, de manera de garantizar igualdad de oportunidades de aprendizaje y focalizar consecuentemente los recursos.


– Comunicar valores y expectativas de logros.


– Motivar mejoras y logros vía la comparación, competencia o emulación.


– Alertar a la opinión pública sobre deficiencias en los resultados de los sistemas educativos y la necesidad de que se apoyen intervenciones para su mejoramiento.


– Identificar metas claras, mensurables y comunicables, centradas en los aprendizajes, para los esfuerzos de mejoramiento del sistema educativo, que faciliten la movilización y apoyo de la opinión pública y otros responsables.


– Devolver información a las escuelas y maestros para que éstos examinen en detalle los resultados de su trabajo y mejoren sus prácticas pedagógicas.


– Brindar a los padres de familia información que les permita evaluar y controlar la calidad de las escuelas.


– Contribuir a establecer (o monitorear logro de) estándares de calidad para el sistema educativo.


– Certificar el dominio de un núcleo de conocimientos y capacidades o competencias por parte de los alumnos que finalizan un determinado nivel de enseñanza.


– Seleccionar u ordenar a los estudiantes (o a escuelas o jurisdicciones) para acreditar su elegibilidad para ciertos privilegios, acceso a programas o, incluso, sanciones.


– Evaluar el impacto de políticas, innovaciones o programas específicos.


– Retroalimentar el currículo y los planes de estudio.


– Realizar estudios de tipo costo-beneficio, que orienten las decisiones para una distribución más eficiente y efectiva de recursos siempre escasos.


– Contar con argumentos persuasivos para obtener mayores recursos del presupuesto público o proponer cambios en orientaciones generales del sistema educativo.


– Demostrar el peso del factor docente en los aprendizajes e influir en la formación, capacitación y desempeño de los maestros.


– Evaluar la productividad de los maestros a los efectos de establecer un sistema adecuado de incentivos.


–Promover una responsabilización efectiva de todos o algunos de los actores involucrados en los procesos educativos, incluyendo a los propios alumnos.


Sostienen Ravela et al.:

"… es imposible que un mismo diseño del sistema de evaluación sirva para todos los fines señalados… Algunos pueden ser perseguidos con un mismo diseño, pero otros son incompatibles entre sí…. cada una de estas finalidades tiene sus propias exigencias técnicas. Para algunos de estos fines son adecuados ciertos tipos de pruebas que no lo son para otros. Para algunos de estos fines se requieren ciertos tipos de muestras que no son adecuadas para otros… Las definiciones técnicas que sirven para un fin no sirven para otro o, lo que es peor, pueden dar lugar a graves malentendidos cuando se las utiliza para ese otro fin.


La experiencia indica que en muchos países de la región ha sido insuficiente la reflexión acerca de los fines específicos que se espera cumplan los sistemas de evaluación dentro de un país, así como acerca de las definiciones técnicas más adecuadas para cada fin. Muchos países han trabajado a partir de un propósito general de informar sobre los resultados del sistema educativo para contribuir a su mejoramiento, pero sin diseñar una estrategia más específica. Por otra parte, es bastante común que sobre la marcha las autoridades ministeriales comiencen a demandar que las evaluaciones sirvan para nuevos propósitos o que aporten información para fines para los que no fueron diseñadas".


La mayor parte de países no han elaborado ni se han comprometido con un plan de trabajo detallado de largo plazo respecto al desarrollo de sus capacidades de evaluación ni a la revisión periódica de sus objetivos, de manera de poder evaluar y de ser necesario retrasar sus estrategias para adaptarse a posibles cambios en sus finalidades prioritarias. El costo ya incurrido en el desarrollo de ciertas capacidades y enfoques técnicos los induce a una cierta inercia y se continúa aplicando métodos de medición que ya no están en capacidad de dar respuesta a las nuevas preguntas y necesidades que van emergiendo.


Se reconocen –con mucha reserva, y no en todos los países– las debilidades técnicas que afectan los procesos de desarrollo y validación de los distintos instrumentos de medición. Pero se prefiere no discutirlas públicamente por temor a que ello debilite o deslegitime el proceso necesariamente gradual de desarrollo de capacidades técnicas y políticas para consolidar la evaluación. Como en muchos otros terrenos de acción educativa, aquí tampoco parecería existir el derecho a experimentar ni mucho menos a equivocarse, aun cuando, en la mayoría de los casos, no se han atado "consecuencias costosas" o "implicancias altas" (high stakes) a los resultados obtenidos por alumnos o escuelas.


En parte debido a esta cerrazón al escrutinio externo, no siempre se aplican procedimientos que garanticen que las pruebas sean instrumentos válidos para los usos que se les pretende dar ni se han instalado mecanismos institucionales que aseguren que la calidad y pertenencia de las mismas irá mejorando con el tiempo.


Por ejemplo, la idea de que la validez de una evaluación depende fuertemente del uso que se pretende dar a los datos, es decir, de las acciones, decisiones e inferencias que se realizarán sobre la base de las mediciones, y que no es sólo función de la "calidad intrínseca" de los instrumentos de medición ("que efectivamente midan lo que se quiere medir", la concepción tradicional y ya caduca de la validez), no está del todo asentada en nuestro medio. Tampoco lo está la idea de que la validez es una cuestión relativa, de grado. No hay mediciones perfectamente válidas, sino que hay unas más válidas que otras, y ello depende del uso que se pretenda hacer de ellas. Y para que los usuarios puedan evaluar la validez de las mediciones para sus propios propósitos, resulta muy importante documentar rigurosamente todos los pasos seguidos en la construcción de las pruebas, cosa que frecuentemente no se ha hecho.



Asimismo, aunque todos los sistemas pretenden alejarse de la medición de capacidades más básicas de pensamiento y evaluar la capacidad de aplicación de razonamientos más complejos, existen abundantes indicios de que los instrumentos tienden a seguir enfatizando lo primero: la recordación de hechos, la retención de datos o las definiciones formales de ciertos conceptos, las habilidades para el cómputo o para resolver "problemas" que casi no requieren de procesamiento complejo de información y que se parecen poco a los de la vida real, etc. Es más, con demasiada frecuencia se mide lo que es más fácil medir y luego explicar, no lo que según el currículo es lo prioritario. Salvo excepciones, la interdisciplinariedad que tanto se reclama para la enseñanza no se hace manifiesta en las pruebas mismas.


Otra debilidad frecuentemente observada es que, pese a manifestaciones explícitas de que se pretende utilizar los resultados para retroalimentar el currículo y los planes de estudio, a menudo el tipo de cobertura de áreas de conocimientos (número reducido de ítemes) y el tipo de diseño de las pruebas (referidas a normas), así como el tipo de pruebas (principalmente de opción múltiple) y la calidad de su elaboración (construcción de distractores, por ejemplo) no son adecuados para llegar a entender realmente qué aspectos del currículo son aprendidos exitosamente o para formular recomendaciones sobre posibles énfasis, secuencias o maneras en que podrían ser mejor enseñados.


Por escasez de recursos humanos y financieros en las unidades responsables de la medición (y muchas veces en el país), y por la reserva con que se suelen manejar las bases de datos resultantes, los análisis a los que se someten los datos son bastante escasos. Esto difiere de lo que se puede atestiguar cuando, por ejemplo, se revisan las revistas profesionales y académicas de países desarrollados, en las cuales aparecen numerosos artículos que se han basado en investigaciones y análisis de resultados de pruebas de logros para explorar la validez de diversas hipótesis sobre efectos de determinadas variables sobre el rendimiento escolar en distintos contextos. En América Latina, los datos no son normalmente asequibles a investigadores externos a las unidades de medición datos, presumiblemente por temor a los costos políticos de una divulgación no controlada de resultados que se alejan de lo deseable, pero también por los considerables costos que supone poner esas bases de datos en un formato y con documentación de apoyo que permita a posibles usuarios externos manipularlos de manera adecuada. El hecho de que la mayoría de las agencias responsables de las mediciones estén insertas en las estructuras de los ministerios de educación y no, como en la mayoría de los países desarrollados, en instituciones no gubernamentales contratadas por aquéllos, refuerza, desafortunadamente, esta tendencia.


Valverde, en Ravela et al. 1999, cap. II.

La mayor parte de los sistemas de evaluación de la región, junto con la aplicación de las pruebas, recogen un importante volumen de información de carácter contextual, tanto con relación a las características socioculturales de los alumnos como con relación a las características propias de las escuelas y maestros. El objetivo de esta recolección de datos es medir el grado de determinación o "asociación" entre factores posiblemente explicativos de los niveles de logro encontrados. Sin embargo, este tipo de información es escasamente difundida y poco utilizada en el análisis de los resultados de aprendizaje. Salvo excepciones, la información recogida se emplea tan sólo para establecer clasificaciones elementales de escuelas o alumnos, con el fin de que los lectores de los informes puedan contextualizar sus propios análisis de los datos que pueda realizar un lector de los informes.


Otra debilidad básica de muchos de los emergentes sistemas es que pocos de ellos han establecido pública y claramente, y con anterioridad a sus primeras aplicaciones de pruebas, qué tipo de decisiones se espera poder tomar con los resultados de las mediciones. No se ha estimulado una discusión nacional o al interior de los centros escolares o ámbitos administrativos específicos sobre las implicancias de los mismos.


La carencia de una cultura de rendición de cuentas se evidencia en cierta reticencia o desconfianza hacia las mediciones y en temores a revelar tanto los resultados como la metodología empleada. La debilidad de las estrategias de difusión de resultados y la discontinuidad en su implementación se deriva en algunos casos de las cuestiones anteriormente mencionadas; en otros, se debe a la escasez de recursos humanos para poder confrontar una posible avalancha de cuestionamientos que podrían ser legítimos, pero también posiblemente oportunistas y motivados por intereses políticos estrechos. Ello ha llevado a que la diseminación haya sido muchas veces limitada y su utilidad potencial haya sido frenada. También la falta de criterios claros y ampliamente compartidos (estándares de logros, criterios para establecer "líneas de corte" en cuanto a niveles aceptables o satisfactorios de logros, etc.) contra los cuales se deberían contrastar los resultados ha inhibido una actitud diseminadora más asertiva por parte de los organismos responsables en muchos países. No resulta sorprendente, por lo tanto, que, salvo excepciones, las pruebas nacionales de logros escolares parecen hasta el momento haber servido poco para informar las decisiones de políticas educativas y curriculares.


De otro lado, el impacto que los sistemas de evaluación puedan tener en el mejoramiento de la educación depende también del grado en que logren producir y difundir los resultados de manera apropiada, comprensible y relevante para diversos públicos. De ello dependerá también que los sistemas de evaluación logren el sostén político y financiero necesario para su institucionalización. Hasta el momento, en la mayoría de los países no se ha evaluado aún cuán efectivas son sus maneras de difundir información, cómo están siendo interpretados los resultados por diversos sectores clave de la opinión pública ni por actores del mismo sector educativo, ni qué tipo de inferencias hacen éstos a partir de las diversas publicaciones y espacios de debate que puedan existir al respecto. Es presumible que, para muchos padres y maestros, por ejemplo, los gráficos con que se pretende comunicar ciertas distribuciones de resultados escapen a su comprensión. Se desconoce cómo mejor preparar al periodismo para difundir de manera útil y constructiva los resultados de las evaluaciones –aunque es claro que nada puede garantizar que luego la cobertura que se dé a las mediciones resulte sesgada por intereses políticos más que "de políticas". Es por ello que se hace necesario producir y sistematizar conocimiento acerca de los modos de organizar y presentar la información derivada de las evaluaciones nacionales de logro educativo en la región, sus fortalezas y debilidades.


 


Autora

Patricia Arregui

La autora es investigadora del Grupo de Análisis para el Desarrollo (GRADE, Lima, Perú) y coordinadora del Grupo de Trabajo sobre Estándares y Evaluación del Programa de Promoción de la Reforma Educativa en América Latina (GTEE-PREAL). Agradece los comentarios a un primer borrador del mismo ofrecidos por Guillermo Ferrer. Las ideas y opiniones contenidas en el documento son responsabilidad propia y no implican una posición institucional al respecto de GRADE ni del PREAL.


Fuente

Análisis de prospectivas de la educación en la región de América Latina y el Caribe

Puede descargarse completa en

http://unesdoc.unesco.org/images/0013/001349/134963s.pdf


SISTEMAS DE DETERMINACION Y EVALUACION DE METAS DE LOGROS DE APRENDIZAJE ESCOLAR COMO INSTRUMENTOS PARA MEJORAR LA CALIDAD, LA EQUIDAD Y LA RESPONSABILIZACION EN LOS PROCESOS EDUCATIVOS EN AMERICA LATINA

LA SITUACION ACTUAL

Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs

Google+