domingo, 11 de enero de 2009

¿Para qué se evalúa?

El siguiente artículo, referido a la evaluación de sistemas educativos, lleva varios años desde su publicación, pero su actualidad deja entrever el poco o nulo avance en lo que a cultura de la evaluación en Argentina.

En todos los países las políticas de evaluación de la calidad se instalan bajo la convicción de que la calidad del sistema educativo es baja. Ante esto cabría preguntarse: ¿Para qué invertir tantos recursos en la elaboración e implementación de costosos y sofisticados sistemas nacionales de evaluación de la calidad educativa, cuyos resultados -o más bien, cuyos malos resultados- se conocen a priori? Ante esta pregunta podemos reconocer dos líneas de respuesta, ampliamente utilizadas hoy en el contexto argentino:

1) Se evalúa para generar una información sistematizada sobre el funcionamiento del sistema que los organismos oficiales históricamente no han mconstruido: En lo que respecta a la evaluación de aprendizajes, aun cuando en nuestro país se han realizado estudios, se carece de información secuenciada sobre los logros de los alumnos, así como de investigaciones sistemáticas acerca de los factores que afectan esos logros. Los indicadores disponibles, tales como deserción y repitencia, tienen utilidad limitada, porque no proveen datos acerca de lo que aprenden los alumnos. Además, las mediciones de los aprendizajes con fines de promoción, no poseen la estandarización necesaria para que sean tomados como indicadores de calidad de educación. La puesta en primer plano del problema de la calidad de los aprendizajes torna absolutamente insuficientes los indicadores tradicionalmente empleados para evaluar el desempeño de los sistemas educativos: evolución de la matrícula, cobertura, repetición, deserción, etc.

Dichos indicadores respondían al supuesto implícito de que dentro de la escuela se aprendía, supuesto que ha dejado de tener vigencia. Digamos que, realizados bajo ciertas condiciones, los operativos nacionales de evaluación de la calidad pueden suministrar información más precisa acerca de en qué áreas del currículum el rendimiento de los alumnos (que es lo que en definitiva miden los operativos de evaluación de la calidad) es más bajo, en qué escuelas, en qué provincias, en qué países. Desde ya, parece fundamental producir toda la información posible sobre el sistema, en particular en países como el nuestro, donde es llamativa la escasez y la irregularidad de la información de que se dispone sobre la situación educativa. Pero, si lo que se pretende es "conocer lo que se aprende en las escuelas" el tipo de resultados que proveen los operativos en la Argentina, no aportarían información relevante habida cuenta del nivel de agregación de los resultados para cada una de las áreas. El tipo de información que se presenta como resultados de los operativos tiene la siguiente forma: porcentaje de respuestas correctas, incorrectas y sin respuesta por ítem, por jurisdicción y a nivel nacional.

2) tal información es imprescindible para intervenir pedagógicamente en el mejoramiento de los aprendizajes: "...evaluar es obtener información sobre los logros de aprendizaje de los alumnos con el objeto de identificar los problemas y sus causas, para poder generar distintas estrategias que aporten soluciones específicas para cada una de las dificultades". "La información acerca de resultados alcanzados es un insumo insustituible para rediseñar y actualizar contenidos y metodologías. Sólo a partir de la información provista por la evaluación se puede planificar y saber por qué rumbo está andando el sistema educativo en su conjunto y cada uno de los tramos o subsistemas que lo componen".

Profundizando esta perspectiva, el SNE propone vincular los niveles de rendimiento de los alumnos con diferentes variables con el fin de aislar aquellos aspectos de la tarea escolar sobre los que es necesario intervenir. "Para el análisis de resultados, en este caso de calidad de logro, no es suficiente considerar los puntajes obtenidos. Estos sólo tendrán verdadero valor si se los redimensiona a partir de considerar las condiciones en que esos resultados aparecen (historia personal, características institucionales, etc.), porque no puede dejarse de considerar que el resultado es una forma de recorte arbitrario, que fuera de contexto, puede distorsionar las interpretaciones que a partir de él se hagan".

Como decíamos más arriba, se considerarán entonces objetivos complementarios "aportar al conocimiento de la asociación (correlación) del rendimiento escolar de los alumnos con variables relacionadas con la conformación de sus hogares, la educación de los padres, los antecedentes escolares de los alumnos, las características de los docentes del curso y del director del establecimiento".

En este sentido, el universo a investigar , es el conjunto de alumnos que en la Argentina cursan, en 1993, el último grado de la enseñanza primaria común y de la enseñanza media en las modalidades Bachillerato, Comercial, Técnica (Industrial y Agraria).

Pero las unidades de observación a investigar son el alumno, la familia del alumno, director del establecimiento donde cursa el alumno. Pero la presentación de estos resultados de las correlaciones realizada en mayo de 1994, contiene la distribución de frecuencia de algunas variable que fueron medidas en los diversos cuestionarios aplicados a docentes, alumnos y directores, y se excluyen los resultados obtenidos a través de los cuestionarios administrados a familias. Sólo se establecen correlaciones entre los rendimientos de matemática y lengua y algunos factores escogidos a modo de ejemplificación: recursos didácticos del establecimiento, tamaño del establecimiento, antigüedad en la docencia, que no proveen de información distinta o más relevante que las numerosas investigaciones tanto a nivel nacional como internacional, acerca de las variables que intervienen en la producción del éxito y el fracaso escolar. Un operativo de tal alto costo y complejidad, sólo estaría justificado si puede proveer de información diferente, sea porque determine nuevas variables asociadas al logro, cosa que no ocurre (además en ese caso, ¿Por qué operativos de evaluación, y no investigaciones educativas?; sea porque permite discriminar cada área del curriculum escolar, cuál es el factor que produce cierto nivel de logro, pero para ello, la agregación de información en indicadores nacionales y el establecimiento de rankings por provincias no tendría sentido.

Por otra parte, si se trata de evaluar para obtener información más precisa de las variables asociadas al logro en cada área, habría que determinar la unidad de intervención -¿el alumno que no rinde? ¿el maestro del alumno que no rinde? ¿la escuela?, el departamento, la provincia?-. Resulta evidente que resultados del tipo “el 60 % de los alumnos argentinos de 4º grado no supera más del 43% de los ítems de Matemática”, no permiten establecer sobre qué factores intervenir, ni tampoco sobre quiénes intervenir. En ese caso, sólo se podrá concluir en términos generales, que hay que .enseñar más Matemática. A lo sumo se podrían determinar los temas que presentaron estadísticamente mayores niveles de fracaso, cuya enseñanza habría que intensificar. Semejante nivel de generalidad y ambigüedad no parece ser una buena base para el diseño de políticas de mejoramiento de la calidad. La reducción de la escala a niveles provinciales conserva el mismo problema.

Sin embargo, ésta parece ser la opción que ha seguido la Secretaría de Programación y Evaluación Educativa del MCE a través de la producción de las .Recomendaciones metodológicas para la enseñanza y aportes para el mejoramiento de los resultados del aprendizaje.

En efecto, estos materiales tienen como objetivo plantear .algunas alternativas metodológicas para la enseñanza de los contenidos identificados que mostraron dificultad. Fueron elaborados para los niveles primario y medio en las dos áreas evaluadas y presentan, en términos generales la siguiente estructura:
1) presentación del ítem (se reproduce el ejercicio tal como fue presentado en la prueba);
2) identificación del área de conocimiento en el que está incluido el tema evaluado.;
3) identificación de la operación requerida (ubica cuáles son los procedimientos y/o estrategias que el alumno debió utilizar para resolver el problema);
4) identificación de la dificultad que presentó el ítem a los alumnos (se describen las posibles causas que puedan haber llevado a la elección de algunas de las opciones que no constituyen la respuesta correcta);
5) consideraciones didácticas y
6) sugerencia de actividades para desarrollar en el aula que permitan ejercitar las competencias comprometidas en la resolución del tipo de problema planteado.

Estas recomendaciones están dirigidas al conjunto de los docentes que enseñan cada área en las escuelas medias del país y al conjunto de los docentes de nivel primario. El análisis de estos materiales permite, en principio, algunas observaciones: en primer lugar, en cuanto al recorte de la unidad de intervención, se recurre finalmente a la consigna .hay que enseñar más Matemática., medida cuya dudosa eficacia ya ha sido analizada; en segundo lugar, a pesar de las correlaciones con otros factores que incidirían en los bajos rendimientos, lo que está en la base de estas estrategias de mejoramiento es la hipótesis excluyente de que el bajo rendimiento de los alumnos es producto de una mala enseñanza; y en tercer lugar nos parece necesario destacar que el hecho de que desde un nivel central que no tiene ya la responsabilidad sobre la gestión de ningún establecimiento, se prescriban actividades para realizar en el aula, constituye un mecanismo de regulación que podría inscribirse en lo que hemos llamado un nuevo estilo de gestión política del sistema.

Finalmente, si se pretendiera reducir esta incertidumbre reduciendo más aún la escala, y se tomara como unidad de análisis una escuela, un grado dentro de la escuela o un alumno, nos encontraríamos con que cuanto más se particulariza la unidad de análisis -aún si esto permitiera asociar con mayor precisión factores y rendimiento- más se imposibilitaría la definición de una intervención en la escala política. La única política posible sería que cada escuela dispusiera de toda la información que provea el dispositivo de evaluación y elaborara sus propias estrategias de mejoramiento; pero, en primer lugar, las escuelas por su labor cotidiana ya disponen periódicamente de información sobre el rendimiento de todos sus alumnos, con lo cual no se estaría produciendo información nueva en esta escala -excepto por su comparabilidad a nivel nacional, que no sería particularmente útil a los fines del diseños de la intervención pedagógica-; y, en segundo lugar, si conocer con exactitud los guarismos fuera suficiente para diseñar estrategias de mejoramiento, la tan mentada crisis de la calidad educativa quedaría reducida a un problema de disponibilidad de información. La ingenuidad del razonamiento es evidente.

El discurso internacional de la evaluación ofrece una tercera línea de respuesta, por cierto menos técnica pero más contundente, a la pregunta ¿para qué evaluar la calidad?, que consiste en afirmar que la evaluación misma produce una elevación de la calidad: .la evaluación ejerce una doble función:
1) alimentar la reflexión de cada actor (enseñantes, administrativos) sobre el estado del sistema en el cual trabaja e, indirectamente, sobre su propia acción sobre el sistema, y 2) provocar, gracias a la comparación, una mejor comprensión, una apreciación más exacta del sistema, de los establecimientos escolares y de las unidades educativas, y también favorecer una cierta emulación entre ellos.

En una formulación menos elegante, la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA) afirma que .los instintos competitivos de la mayoría de las sociedades modernas las empujan a ver los resultados de los estudios como retos para mejorar el rendimiento. (Lapointe, A., et. al., 1989:8); de hecho, .los problemas se agudizan debido a la falta de competencia entre las escuelas. (Banco Mundial, 1993). En efecto, .creo que si vamos a tener un sistema educativo inglés-británico necesitamos tener tantas pruebas como podamos para que nos lleven a los niveles de los franceses y alemanes.

Es decir, la evaluación provocaría en los actores -sea porque aumenta la reflexión sobre la tarea educativa, porque pone información a su disposición, o porque estimula la competitividad-, una acción que mejorará la calidad de aquello que se evalúa. En esta línea, el artículo 48º de la Ley Federal de Educación de la Argentina, afirma que las autoridades políticas .deberán garantizar la calidad de la formación impartida en los distintos ciclos, niveles y regímenes especiales mediante la evaluación permanente del sistema educativo. Un año de implementación del Operativo Nacional de Evaluación de la Calidad parece confirmar la correlación entre evaluación y calidad establecida en la ley, a juzgar por los notables avances en los resultados del Segundo Operativo Nacional de la Calidad, por sobre los resultados del primero, con sólo un año de diferencia entre ambos.

Extraído de
La evaluación de la calidad
Un análisis del discurso oficial
GABRIELA DIKER
SILVINA FEENEY
Revista del Instituto de Investigaciones en Ciencias de la Educación
Año VII, Nº 12, Agosto de 1998

No hay comentarios:

Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs