lunes, 25 de agosto de 2008

La comparación en evaluación, en búsqueda del "efecto escuela"

PROGRAMA EVALUACION DE LA CALIDAD DE LA EDUCACION
CUMBRE IBEROAMERICANA
DOC. 1 TRATAMIENTO Y USOS DE LA INFORMACIÓN EN EVALUACIÓN. Tiana Ferrer

Del Documento 1, copié algunos párrafos del capítulo 3, cuya autoría corresponde a Tiana Ferrer, y que resultas de importancia a la hora de repensar la evaluación de los centros educativos


La comparación en evaluación
Uno de los métodos utilizados más habitualmente en los informes de evaluación para tratar y presentar la información obtenida es el análisis comparativo. En algunos ámbitos concretos, como es el caso de la evaluación de los resultados académicos alcanzados por los alumnos o de los logros de las instituciones educativas, esta práctica se ha convertido en la predominante, bien sea empleándola de manera exclusiva o en combinación con otras. Para comprobar la veracidad de esa observación, basta la simple consulta de algunos de los informes elaborados por los organismos e instituciones citadas en el epígrafe anterior.


El recurso a la comparación como uno de los procedimientos habituales de análisis y tratamiento de datos en los estudios de evaluación no es fruto de una decisión caprichosa ni casual, sino que tiene que ver con la propia esencia de la tarea evaluadora. En efecto, al inicio del documento se afirmaba que evaluar consiste en emitir juicios a partir de una información recogida y tratada de forma sistemática. Pero esa emisión de juicios implica realizar una comparación con algún elemento de referencia, bien sea interno o externo. En rigor, no puede formularse una conclusión acerca del valor o mérito de una determinada realidad si no se compara con otra o con un modelo ideal previamente construido. Por eso puede afirmarse que, en última instancia, la evaluación implica la comparación.

El tratamiento comparativo de la información
Entre las operaciones comparativas más frecuentemente utilizadas en los informes de evaluación se destacan tres que conviene examinar con cierto detenimiento. La primera de ellas consiste en comparar los datos obtenidos con un criterio o norma que sirva de referencia para la emisión de un juicio de valor.


Es el enfoque que se utiliza, por ejemplo, para realizar lo que se conoce como evaluación criterial del aprendizaje, consistente en el establecimiento de unos criterios precisos para determinar los niveles de rendimiento y en el estudio subsiguiente de su cumplimiento o no por parte de cada alumno. También se aplica un procedimiento semejante para llevar a cabo la acreditación de centros escolares, a partir del contraste de las características de la institución evaluada con un cierto número de requisitos previamente acordados. En uno y otro caso, el mérito de aquello que se valora se determina de acuerdo con el grado de cumplimiento de los criterios preestablecidos y no mediante la posición relativa ocupada por el alumno o el centro en el seno del grupo al que se encuentre adscrito.


La segunda de las operaciones mencionadas consiste en realizar comparaciones entre varias entidades semejantes, de manera sincrónica o transversal. En este caso, las diversas realidades objeto de evaluación se comparan entre sí, de acuerdo con la situación que presentan en un momento determinado. Es el tipo de procedimiento utilizado para llevara cabo la evaluación normativa del aprendizaje, basada en otorgar calificaciones mediante la comparación del alumno con sus compañeros y la determinación del lugar que ocupa en su grupo de referencia. Es también el tratamiento que se realiza, por ejemplo, en los estudios internacionales de rendimiento educativo, que tanto auge han experimentado en los últimos años, o el que se emplea para construir tablas de clasificación de centros escolares, como los que algunos países han publicado recientemente.


La tercera operación consiste en comparar la información obtenida a partir de una misma realidad, en dos o más momentos sucesivos, de manera diacrónica o longitudinal. En esta aproximación, la realidad evaluada no se compara con otras semejantes ni con un modelo ideal, sino consigo misma, pero introduciendo en el análisis la dimensión temporal. Es el tipo de tratamiento que se realiza, por ejemplo, en los estudios de seguimiento de cohortes de estudiantes con objeto de conocer su progreso académico a lo largo del tiempo, o cuando se pretende evaluar el impacto de determinadas medidas de política educativa adoptadas en un momento dado.


Cada una de estas tres operaciones ofrece diversas posibilidades, al tiempo que plantea algunos problemas. El examen de sus respectivas ventajas e inconvenientes puede ayudar a entender mejor su contribución en cada situación concreta, así como las cautelas con que deben utilizarse.

Las condiciones de una comparación justa
De acuerdo con una sugerente formulación de E. R. House, incluida en uno de sus textos más difundidos e influyentes, cualquier empresa evaluadora debe respetar tres principios clave: veracidad, coherencia y justicia (House, 1994) Si la aplicación efectiva de los tres constituye una exigencia ineludible, el tercero cobra especial importancia cuando se realizan análisis comparativos, dadas las consecuencias fuertemente dañinas que la comparación injusta puede acarrear para las entidades evaluadas.


El respeto al principio de justicia enunciado por House tiene mucho que ver con la adecuada contextualización de la información recogida y presentada a los destinatarios de la evaluación. En el caso de estudios de rendimiento de alumnos, centros o sistemas educativos, este requisito cobra una importancia capital. En efecto, como se indicaba en el apartado anterior, la evaluación del rendimiento debe ser debidamente contextualizada, teniendo en cuenta una serie de factores que inciden en los resultados conseguidos por los alumnos y los centros y que no tienen su origen en la simple diferencia de capacidades individuales. Variables tales como la extracción social de los alumnos, la actitud de los familias hacia la educación, el clima o ambiente escolar, la organización del centro, el estilo pedagógico de los profesores o el funcionamiento de la dirección pueden contribuir a explicar buena parte de las diferencias registradas entre los centros escolares.


De todos los factores señalados (y algunos más que podrían apuntarse), unos son fruto de la actuación educativa de las familias, los profesores y los centros escolares, mientras que otros vienen determinados de antemano y no puede influirse en ellos fácilmente. Así, un centro puede mejorar su organización, reforzar la formación de sus profesores, crear un ambiente favorable al estudio o poner en marcha programas valiosos de intervención psicopedagógica, pero no puede modificar la extracción social o cultural de sus alumnos, salvo que los sustituya por otros. Por ese motivo, la diferencia existente entre las diversas condiciones de partida debe ser tomada en cuenta a la hora de evaluar rendimientos. No sería justo ensalzar o denigrar a un centro simplemente por el efecto de las condiciones iniciales de su alumnado. De este modo, llevar a cabo una comparación justa implicaría neutralizar el efecto de tales condiciones sobre el rendimiento, valorando los resultados logrados a partir de un nivel teóricamente homogéneo.


Sin embargo, sabemos que dicha situación ideal está lejos de darse en la realidad. La diversidad de condiciones de partida de los alumnos y de los centros es muy considerable, explicando por sí sola parte de las diferencias observadas en los resultados. La necesidad de tener en cuenta esa diversidad a la hora de comparar rendimientos, sentando así las bases para una comparación justa, es lo que ha llevado a introducir la noción de valor añadido. La idea intuitiva que subyace bajo ese término consiste en reconocer que los centros pueden producir efectos diversos dependiendo de sus condiciones particulares, pero que la valoración de sus logros debe hacerse en función de la progresión conseguida (en términos de diferencia entre la situación final y la inicial) y no solamente de los resultados brutos obtenidos. De acuerdo con esta noción, el rendimiento de un centro A podría ser superior al de otro B aunque el resultado bruto del segundo fuese superior al primero; la clave estaría en la magnitud del avance registrado...


El factor con mayor importancia a la hora de estudiar el valor añadido por un centro consiste en el rendimiento inicial de sus alumnos. La inclusión en el análisis de datos acerca de dicho rendimiento inicial, junto a algunas características del alumnado, tales como su sexo, edad, extracción familiar y contexto socioeconómico, permite controlar la mayor parte de la variación debida a las condiciones de partida y estimar así con justicia y validez el valor añadido por el centro. En ausencia de dichos datos, las características contextuales del centro pueden proporcionar una aproximación, de mucha menor significación, pero digna de ser tenida en cuenta. Según este análisis, la estimación precisa del valor añadido requeriría disponer de datos relativos al rendimiento inicial de los alumnos y a sus variables contextuales individuales. Este requisito debe ser tenido en cuenta a la hora de emprender estudios de evaluación del rendimiento que quieran superar el simple estadio de la medición de los resultados brutos y efectuar una comparación justa.


Además de este primer resultado, que refuerza la necesidad de obtener y manejar datos relativos al rendimiento inicial de los alumnos y de sus características básicos, el estudio de Thomas y Mortimore proporcionó otras conclusiones de gran interés para el diseño y la puesta en marcha de estudios de evaluación del rendimiento:
1) En primer lugar, los análisis realizados demostraron la existencia indudable de un denominado efecto escuela (entendido como la influencia ejercida específicamente por el centro sobre el rendimiento de sus alumnos), ya que se apreciaron diferencias de rendimiento entre las instituciones participantes a pesar de controlar el efecto de las mencionadas variables individuales.
2) En segundo lugar, el cálculo del valor añadido proporcionó una imagen más realista y fiel de los logros de un centro que los simples resultados brutos obtenidos por sus alumnos en una prueba o examen. No obstante, los análisis realizados venían condicionados por la calidad, fiabilidad y validez de los datos utilizados, insistiendo así el estudio en la necesidad de cuidar los procedimientos utilizados para obtenerlos.
3) No obstante lo anterior, incluso teniendo en cuenta el cálculo del valor añadido, hay que señalar que los intervalos de confianza de los resultados logrados por los centros presentaron un grado considerablemente de solapamiento, lo que obligó a valorar con precaución las diferencias obtenidas. En realidad, sólo podría hablarse de diferencia real de eficacia entre dos centros cuando sus intervalos de confianza no se solapasen en absoluto, lo que constituye un caso no excesivamente habitual.
4) Otro resultado realmente interesante consistió en que el efecto escuela difería al considerar diversas áreas (matemáticas y lengua, por ejemplo), lo que induce a pensar que el valor añadido por los diferentes departamentos de un mismo centro no es idéntico. En cierto sentido, el centro no es completamente homogéneo a la hora de influir sobre sus alumnos.
5) Igualmente, el efecto escuela no se manifestaba con la misma intensidad en relación a distintos grupos de alumnos. Los análisis realizados pusieron de manifiesto que es frecuente que cada escuela beneficie especialmente a algún tipo determinado de alumno (unos a los de mayor rendimiento, otros a los de menos, o a los de determinado estilo de aprendizaje, etc.). Este resultado abre la puerta a análisis posteriores acerca de la posible concordancia entre ciertos características del centro y el tipo de alumno al que más beneficia.
6) De acuerdo con las observaciones anteriores, un planteamiento riguroso acerca del valor añadido obligaría a efectuar su cálculo para las puntuaciones totales promedio, para las de cada materia y para las obtenidas por grupos de alumnos de diferentes características, ya que el efecto no es idéntico en todos los casos.


Como puede fácilmente apreciarse, la investigación acerca del valor añadido se encuentra todavía en sus fases iniciales. No obstante, las posibilidades que encierra son tan ricas y prometedoras que animan a los evaluadores a continuar avanzando en esa dirección. El logro de una comparación efectivamente justa tiene mucho que ver con el éxito del empeño por conceptualizar y operativizar esa noción.

jueves, 21 de agosto de 2008

Evaluación Educativa

Comentario de Bibliografía:
Evaluación Educativa 2
Autor: SANTOS GUERRA, MIGUEL ANGEL
Editorial: MAGISTERIO DEL RIO DE LA PLATA
ISBN:950-550-194-3

La evaluación es un proceso que permite poner sobre el tapete nuestras concepciones sobre la sociedad, sobre la educación, sobre la tarea de los profesionales... Por eso podría plantearse esta interpretación: Dime lo que piensas de la evaluación y te diré qué tipo de profesional eres. E, incluso, qué tipo de persona. Más importante que evaluar y que evaluar bien es saber al servicio de qué personas y de qué valores se pone la evaluación. Porque la evaluación es más un proceso ético que una actividad técnica. Si evaluar es comprender, es fácil deducir que la evaluación permitirá mejorar la práctica profesional de los docentes y de las instituciones educativas. Lo importante es potenciar las funciones más ricas de la evaluación (diagnóstico, diálogo, comprensión, mejora, aprendizaje, ayuda...) y disminuir las menos deseables (comparación, discriminación, jerarquización...). Miguel Ángel Santos Guerra reflexiona en este libro sobre la naturaleza de la evaluación, sobre sus peligros y sus exigencias. En la primera parte, analiza los aspectos generales de la evaluación en la institución escolar. En la segunda parte, focaliza la atención en parcelas diversas: evaluación de alumnos, de profesores, de instituciones, etc. El entramado de todos los capítulos es una preocupación intensa por la ética.

A continuación transcribo algunos párrafos de esta interesante obra:

Cómo se realizan los procesos de autoevaluación de los alumnos
Cuando la hora de la verdad en el proceso de enseñanza/aprendizaje es el aprobar y no el aprender, nos encontramos con que se concibe la autoevaluación de los alumnos como una trampa que facilita la consecución de buenas calificaciones y no como un proceso de reflexión a través del cual el profesor puede comprender lo que el alumno piensa de su aprendizaje.


Este forcejeo de profesores y alumnos ante los fenómenos sancionadores de la evaluación (el profesor trata de que no le engañen los alumnos y éstos de salir, como sea, airosos en las evaluaciones) tergiversa la naturaleza de los procesos de enseñanza y aprendizaje. No importa qué, cuánto, cómo y por qué aprender sino por qué caminos es más fácil y más seguro aprobar.


Los profesores deberían pensar qué es lo que sucede en su quehacer para que se llegue a una desnaturalización de los procesos de tal magnitud e intensidad: mientras menos contenidos se trabajen, más fácil será aprobar; es decir: mientras menos se aprenda, mejor.


Este enfoque nos permite comprender fenómenos tan repetidos en la vida escolar: la alegría ante la pérdida de clases, las negociaciones a la baja en la selección de contenidos, las clásicas trampas en la realización de los exámenes, las reclamaciones para subir la nota, etc.


La autoevaluación de los alumnos permite al profesor conocer cuál es la valoración que éstos hacen del aprendizaje, de los contenidos que se trabajan, de los métodos que se utilizan y de las formas empleadas en la heteroevaluación. Cuando existen discrepancias notables, ¿por qué motivos se producen?, ¿ha sido el alumno excesivamente benevolente como parte interesada que es?, ¿se ha mostrado excesivamente riguroso al faltar la comparación con otros alumnos?, ¿qué interés le han supuesto los temas seleccionados y los modos de trabajarlos?, ¿qué diferencias se producen entre los distintos tipos de alumnos?...


Cómo se emprenden procesos de investigación sobre la evaluación de los alumnos
La investigación en la acción es un proceso de reflexión que los profesores emprenden sobre su propia práctica con el fin de entenderla y mejorarla. Este proceso de reflexión puede focalizarse, obviamente, sobre la evaluación de los alumnos.


El profesor se pregunta sobre la naturaleza de los procesos intermedios que tienen lugar entre la calificación y los objetos de la evaluación. Procesos que están cargados de valores, motivaciones, expectativas, juicios precios, concepciones sobre la educación, relaciones con los alumnos, experiencias anteriores, prejuicios sobre resultados, etc. De ahí que varíen tanto las evaluaciones realizadas por distintos jueces o por el mismo juez en diferentes momentos o respecto a distintas personas.


El profesor puede verse influido, en ese proceso mediador, por diferentes tipos de factores. Unos afectan a los alumnos (efecto halo, trayectoria anterior, cercanía emocional, atención en el aula, etc.), otros a la concepción del proceso evaluador (simple comprobación, momento de generar iniciativa, capacidad de síntesis, etc.), otros a sí mismos (estado emocional, ejercicios anteriores corregidos, estado de salud, etc.), otros a la comunidad escolar (comparación con otros docentes, expectativas de los padres, deseo de que la escuela tenga una determinada imagen, etc.).


"Entre la calificación, apreciación o juicio que se da a un examen o a cualquier tipo de realización o conducta de un alumno, y esa realización, conducta o trabajo materialmente observable del alumno, existe un proceso intermedio de elaboración de un juicio por parte del evaluador. El esquema planteado por Cauerni y Noizet (1978) establece la interacción entre tres elementos básicos que interactúan en el acto de la evaluación: el evaluador, provisto de una memoria que contiene diversas informaciones sobre el producto de la realización o conducta a evaluar y la realización de un acto de comparación. La interacción implica una medición, que es la esencia del acto de evaluar" (Gimeno, 1988).


La reflexión sistematizada sobre esos procesos intermedios hace que el profesor ponga en permanente tela de juicio sus concepciones pedagógicas, sus actitudes ante la actividad y sus formas de actuar.


Las preocupaciones temáticas pueden ser múltiples y estar arraigadas en cualquiera de los innumerables aspectos que el fenómeno de la evaluación alberga. Muchos interrogantes surgirán de la práctica del propio profesor: ¿Por qué mis calificaciones son diferentes a las de otro profesor del mismo curso?, ¿por qué mis alumnos difieren de mis criterios sobre la evaluación?, ¿qué piensan unos profesores de otros acerca de su forma de evaluar?...
Algunas prácticas pueden ser útiles para desentrañar la complejidad del proceso evaluador. Emitir informes de carácter cualitativo en lugar de calificaciones simplificadas como "apto" o "bien", "progresa adecuadamente", etc. puede desvelar las redes del significado psicológico, social, didáctico, del proceso evaluador; elaborar informes compartidos por un equipo de profesores sobre un curso o un alumno obligará a contrastar criterios y a elaborar un conocimiento matizado.


"La investigación en la acción es, según afirman Kemmis y Stake (1988), una especial forma de autoevaluación usualmente empleada por los profesores, aunque cada vez es más usada por los profesores en colaboración con los estudiantes y con otros miembros de la escuela. Se centra en la mejora de las prácticas educativas, la comprensión de dichas prácticas y de las situaciones en las que trabajan los profesores."


El resultado de esta investigación, realizada sobre la práctica, ayudará al profesor a comprender la entraña de la actividad que realiza y a tomar decisiones pertinentes que la mejoren. La evaluación de los alumnos se convertirá así en un excelente proceso para el aprendizaje del profesor.


La evaluación, entendida como un proceso de investigación sobre la práctica, estimulará un conocimiento permanentemente revisable sobre la práctica profesional.


"La nueva evaluación puede ayudar a mejorar este clima (se refiere al clima generado por la implantación del modelo de objetivos), a estimular la curiosidad acerca de la enseñanza v a modificar una presunción excesiva. Tal evaluación equivale a investigar la naturaleza y los problemas de la innovación educativa y el perfeccionamiento de las escuelas. Y se trata de una investigación que es relativamente no técnica v accesible. Esto hace también que resulte más fácil la definición de la posición que desempeña el que desarrolla el currículum como la de investigador" (Stenhouse, 1984).


Permítaseme una consideración sobre los procesos conducentes a conseguir que los profesores se planteen la evaluación de una forma no rutinaria. El modo de llegar a una situación más ambiciosa que permita convertir la práctica en un proceso de investigación no es la prescripción legal. Existen numerosos testimonios del fracaso de este tipo de intentos. Cuando en 1970 la Ley General de Educación exigió a los profesores realizar la evaluación continua, lo que se consiguió fue que los profesores repitiesen continuamente los errores que hasta entonces planteaban de forma trimestral. Cuando ahora se obliga a los profesores a plantear la evaluación cualitativa, sólo se conseguirá, en el mejor de los casos, una inquietante desazón. ¿Es que pueden improvisar los profesores unas actitudes y unos conocimientos técnicos por el simple hecho de que los exija la Ley? Cuando se pidió a los profesores que realizasen evaluación institucional a través de la elaboración de la Memoria de Centro, sólo se consiguió que elaborasen estériles informes carentes de una reflexión y discusión compartida.


No es ése el camino. Un modelo de formación asentada en la racionalidad práctica, un ejercicio profesional que favorezca los procesos de experimentación curricular y la concepción del currículum como investigación y un perfeccionamiento asentado sobre la exploración compartida, serán los medios más eficaces para conseguir unos profesionales menos preocupados por las prescripciones y menos crédulos ante los mitos y errores educativos.
Cuando hablamos de caminos nos estamos refiriendo a sendas de interminable y, a veces, tortuoso recorrido. No se trata de cortos senderos hacia una reconfortante posada, sino de caminos que van abriendo sobre la práctica y que nunca tienen un punto final.


En definitiva, lo que aquí se propone es convertir la evaluación en un proceso permanente de revisión y de análisis de la práctica. Porque la evaluación es una fuente en sí misma de interrogantes pero, además, contiene en su dinámica elementos suficientes para poner en cuestión toda la concepción curricular. El profesor puede encontrar en la evaluación un permanente camino de aprendizaje.

miércoles, 20 de agosto de 2008

¿Cuál es el manejo de los medios de prensa de las evaluaciones educativas?

Sabemos todos que la problemática educativa es de importancia social, abarca a toda la población, además hace a la distribución de bienes culturales de una comunidad, por lo cual cabría suponer que se trata de una temática prioritaria de los medios de comunicación masiva, en especial de la prensa escrita.

¿Pero realmente eso es cierto?, ¿Figura en las primeras planas los resultados de las en-cuestas de calidad educativa? Ciertamente no, se trata de noticias de muy segundo rango. ¿Le dan lo medios a las evaluaciones un sentido de búsqueda de mejoría? Para nada, lo cierto es que muchas veces, frente a las evaluaciones internacionales, el tratamiento es equivalente al de un torneo deportivo, y hasta a veces se oculta la realidad si en esos “torneos” los resultados no son lo esperado, operando con un nacionalismo mal entendido.

A todo esto hay que agregar que si se trata de medios oficialistas, seguramente utilizarán estos datos como una certificación de políticas educativas, desentendiéndose de la búsqueda de mejoras.

Otras veces utilizan rankings, lo que resulta particularmente cuestionable en especial cuando se trata de escuelas. Las razones por la cual no se obtienen consecuencias positivas de la publicación de estas clasificaciones de escuelas son diversas, y mencionaré algunas.

Primeramente se trata de una pretensión de ordenamiento de la “calidad” utilizando solo un indicador, y la realidad es mucho más compleja, y da una falsa impresión de ordenamiento.

Por otra parte no tiene en cuenta que se trata de resultados volátiles, que al año que viene una escuela que figura primera puede aparecer mucho más abajo, y además no considera la extracción social de los alumnos. Los alumnos con mejor nivel socioeconómico traen consigo mayores habilidades para obtener nuevos aprendizajes, o sea que por lo general esos rankings no valora lo que aporta la escuela.

Si bien es cierto que es necesario informar a las familias sobre el rendimiento de los establecimientos, este no resulta ser un medio adecuado, ya que dada la volatilidad de los resultados, los padres tendrían que cambiar año tras años a sus hijos de escuela, según lo indicado por el nuevo ranking.

Por último, en la batalla por conseguir una mejor calidad educativa, los medios masivos de comunicación deberían desempeñar una vital función, acompañando a las escuelas en su búsqueda de mejora, pero ciertamente no usando escalas de valoración que, al simplificar negativamente la realidad, solo genera descontento y desinformación.

lunes, 18 de agosto de 2008

¿En qué contribuye la evaluación de calidad educativa en la mejora de la actividad educativa?

Hoy en día existe una opinión muy generalizada sobre la capacidad de la evaluación para optimizar la actividad educativa. Hay cuatro ámbitos en los que lo puede hacer:

I ) Conocimiento y diagnóstico del sistema educativo.

La primera contribución que puede hacer es proporcionar datos, análisis e interpretaciones válidas y fiables que permitan formarse una idea precisa sobre el estado y la situación del sistema educativo y de sus componentes.
Es lo que suele denominarse función diagnóstica de la evaluación. Esta tarea de diagnóstico permite alcanzar un doble objetivo:

Primeramente satisface la demanda social de información que se manifiesta de manera creciente en las sociedades democráticas, aunque en medios de comunicaciones muchas veces se la trate como una competencia de países, tratando de disimular las “derrotas”, por otra parte sirve de base para los procesos de toma de decisión que se producen en los diferentes niveles del sistema educativo, a través de sus diversos agentes, pese a que la urgencia de las situaciones hace que se empleen otros criterios.

2) Conducción de los procesos de cambio

La segunda contribución consiste en proporcionar elementos para el seguimiento y la conducción de los procesos de cambio y de reforma educativa. Este tipo de trabajos, cada vez más frecuentes, permiten cumplir un triple propósito:

a) Obtener más y mejor información sobre el alcance y las consecuencias de estos procesos.
b) Objetivar el debate público sobre éstos, y ayudar a descargarlo de pasiones y prejuicios.
c) Dar apoyo a la toma de decisiones, que en estas circunstancias se debe hacer con carácter frecuente e inmediato.

3) Valoración de los resultados de la educación

La tercera contribución consiste en aportar un conocimiento objetivo y una valoración rigurosa de los resultados de la educación, generalmente por medio de una comparación a lo largo del tiempo o el espacio, cosa que permite, así, responder acerca de los resultados del sistema educativo. A pesar de la importancia que se atribuye a esta función, cabe recordar su gran dificultad, por motivos tanto conceptuales (no es fácil definirlos en un contexto en que las necesidades sociales e individuales están sometidas a cambios continuos) como metodológicos (entre los que se destaca la amplitud de la tarea, teniendo en cuenta la multiplicidad de dimensiones que abarca el concepto de resultado).

4) Mejora de la organización y del funcionamiento de las instituciones educativas

La cuarta de las contribuciones posibles es que proporciona información que permite conocer y valorar la organización y el funcionamiento de los centros docentes, con un doble propósito:

a) Proponer programas individualizados de mejora, a partir de la detección de los principales puntos fuertes y débiles.
b) Iluminar la situación general del sistema educativo, mediante el estudio de determinados casos concretos.

Esta contribución será posible apreciarla en un marco de cuidadosa contextualización de los resultados, desagregando los factores que son ajenos a las instituciones

sábado, 16 de agosto de 2008

Evaluación de Calidad de los Sistemas Educativos

A continuación transcribo algunos párrafos del libro de Elena Cano García "Evaluación de la Calidad Educativa", que se refieren a la evaluación de los sistemas educativos. Más allá de su indudable importancia, la autora hace referencias a los cuidados que hay que tener con su uso


CAPITULO IV
LA EVALUACIÓN DE LA CALIDAD DE LOS SISTEMAS EDUCATIVOS
INTRODUCCION

«En una democracia, los ciudadanos, los padres y los responsables públicos tienen el derecho de conocer en qué medida las escuelas públicas están cumpliendo sus responsabilidades hacia los alumnos y la comunidad social. Se necesita información creíble para que por parte de los profesores, administración y ciudadanos se adopten decisiones informadas».


JUSTIFICACIÓN DEL INTERES DE ESTE TIPO DE ESTUDIOS
Todos los motivos que han intentado desagregarse a continuación para facilitar su lectura, constituyen, de hecho, una amalgama de razones que se influyen mutuamente y que se hallan entremezcladas, siendo imposible desligarlas, más allá de para el puro análisis y presentación del trabajo. Éstos son:

1. Conseguir más información o superar la falta de datos. Se entiende que la evaluación es un instrumento que contribuye a un mayor conocimiento y diagnóstico de los sistemas educativos. Tiana (1993) considera que la evaluación es un sistema moderno -ya no estadístico ni intuitivo- de información y satisface la necesidad social de información.
2. Tomar decisiones, orientar la política y conducir los procesos de cambio. Pese a que tener más información puede ser un objetivo per se, de hecho su principal función es servir de base a la toma de decisiones. Sin embargo, se corre le peligro de que se utilice para justificar la distribución de fondos.
3. Rendir cuentas y valorar los resultados. Ello está íntimamente relacionado con la creciente autonomía de los centros. El rendimiento de cuentas contribuye a lograr una valoración objetiva de los resultados de la educación. Se trata de una tarea difícil pero que debemos acometer conceptual (¿qué son resultados?) y operativamente (¿cómo medirlos?) .
4. Mejorar el funcionamiento de los centros. Debe permitir mejorar la organización y funcionamiento de los centros educativos: por ello debe descender a niveles microscópicos (no tan sólo macro).

UN ANALISIS CRÍTICO
Dentro de las críticas que se pueden realizar a los estudios macro, hemos querido separar, por su diferente magnitud y enfoque, las críticas sustantivas, en el sentido de que cuestionan la base de estos análisis y se muestran contrarios a cualquier tipo de instrumento macro, de las críticas al desarrollo de estos macroestudios en el sentido de contemplar obstáculos, peligros o disfunciones, pero sin cuestionar su utilidad ni su conveniencia, sino al contrario, puntualizando lo que presenta inconvenientes precisamente para mejorar los sistemas de indicadores y de evaluación del sistema educativo.

Críticas a la base o al fondo
Los principales argumentos esgrimidos para atacar a la evaluación macro, principalmente realizada por organismos o agencias gubernamentales son:

1. Falsa creencia de que la calidad se puede objetivar y apreciar externamente (sin conocer los procesos internos)

Tras las evaluaciones de tipo macro suele existir la asunción de que es posible explicitar la calidad de los centros (y del sistema educativo) a través de la medición externa de una serie de características observables, que, o bien se refieren a los inputs o entradas o bien se refieren a los outputs o resultados, prescindiendo de los procesos que se desarrollan en cada escuela, de su cultura y su clima, de sus peculiaridades,... (básicamente por la dificultad de tener en consideración este tipo de cosas, difíciles de «medir» y, especialmente, en grandes muestras).
Ligado a este argumento hallamos las asunciones epistemológicas y ontológicas que dan lugar a estos estudios. Uno de los supuestos de base que sustentan este tipo de evaluación es considerar cada centro como una unidad y contrastarlo con los demás. En este sentido Sánchez (1991: 92) señala que no se pueden comparar diferentes colegios porque cada uno es único y con esta sencilla afirmación desmota los cimientos de la evaluación macro.
También en relación a este tipo de argumentos se critica la irrelevancia de los criterios que se toman como base para la evaluación. Rizvi (1993: 59) realiza una crítica de los estudios de eficiencia de los centros señalando que al buscar la eficiencia necesitamos responder a preguntas tales como eficiencia, ¿en términos de qué?, ¿costes monetarios?, ¿trabajo humano?, ¿sufrimiento?, ¿consumo de combustibles naturales?, ¿tiempo?, ¿o de qué?

2. Falsa finalidad de las evaluaciones: se usa para justificar en lugar de para mejorar

La evaluación parece resultar inútil para conseguir la mejora de la calidad educativa. Tras el diagnóstico a que dan lugar este tipo de evaluaciones, no se procede a realizar ningún plan de mejora; es decir, que no se intenta conocer para mejorar sino simplemente parece que sirva para juzgar y calificar.
Angulo (1993, a) señala que se suele decir que se evalúa o bien para ofrecer la información que los gobiernos necesitan para asegurar la eficacia y la eficiencia del sistema, o bien para mejorar la calidad de la educación a partir de conocer hasta qué punto los objetivos nacionales se están cumpliendo. Pero a su juicio ambas respuestas son simplistas, falsamente neutrales y caen en el juego político de las «necesidades nacionales». La crisis de los estados modernos se refleja en el sistema educativo. Incluso tras políticas supuestamente no intervencionistas se esconde, en opinión del autor, la intención de mantener el papel absolutamente indispensable que el Estado tiene para crear las condiciones de acumulación de beneficios del capital y asegurar un grado mínimo de armonía social.

3. Se evalúa «desde arriba» prescindiendo de los implicados

«Una evaluación que pretenda ser formativa respecto a un programa en desarrollo, así como informativa con audiencias externas, tiene que desarrollar una relación con el programa que sea colaborativa, crítica y constructiva. Una gran parte de su potencial formativo se basa en la calidad del diálogo entre participantes y evaluadores; es decir, en un intercambio de información e interpretaciones abierto, igual, tolerante y responsable. En semejante clima, la evaluación puede, a su vez, ser educada».

Se trata siempre de informaciones sesgadas en el sentido de que sólo valoran a los que están por debajo y, habitualmente, sus consecuciones.
Angulo et al. (1991) optan por otro tipo de evaluación al considerar que, además de legitimar ciertas políticas educativas y desacreditar otras, la evaluación puede llegar a convertirse en uno de los mecanismos más poderosos de control social y educativo y puede tener además otro sentido e ir orientada hacia el aprendizaje social, hacia la toma de conciencia, la participación, el conocimiento y la responsabilidad de todos y cada uno de los que ayudan, contribuyen y colaboran a la construcción del sistema educativo y de la sociedad en general. Consideran además, siguiendo a Cronbach (1985), que el juicio sobre la calidad de una realidad social no puede ser ni delegado ni sustraído a los sujetos implicados; el juicio es, en última instancia, un proceso de construcción, y la riqueza de dicha construcción estriba, a su vez, en que se convierta en un aprendizaje colectivo, en un diálogo y una reflexión conjunta, un proceso por medio del cual los sujetos puedan adquirir la capacidad y la responsabilidad para cambiar y decidir sobre la realidad inmediata.

4. Evaluación centrada en los resultados

«La demanda de una mayor calidad de la educación es interpretada por la burocracia como una demanda de resultados cuantificables sobre el proceso de enseñanza. Esta presión es sentida por los educadores. Es una presión que tiende a valorar el producto de la enseñanza, más que el proceso de aprendizaje; que pone más énfasis en la técnica que en la creatividad y que reemplaza la interacción por la receptividad».

Como indica Mestres (1988: 393), una política general de evaluación del sistema educativo con un sentido amplio (y entendiendo la educación como servicio público) abarcaría diferentes personas (alumnos, profesores y personal escolar), diferentes funciones (docentes, orientadoras, administradoras) y, en definitiva, aspectos muy diversos (organización escolar, estructuras de coste y financiación de actividades en los centros, participación e integración de los centros en su entorno, rendimiento escolar, labor social compensatoria que se realiza, formación de valores y actitudes democráticas, entre muchos otros).

5. Falta de tradición

Para algunos la evaluación no cuenta entre nosotros con una tradición comparable a la de otros países occidentales, por nuestra reciente historia pasada, momento en que la evaluación entendida como servicio social no tenía cabida.

«La evaluación del sistema educativo ha de ser no sólo una evaluación que se desarrolle según normas y criterios democráticos, sino que, además y fundamentalmente, debería contribuir a generar y extender la cultura democrática en las Administraciones e instituciones educativas, en los docentes, alumnado, padres y madres y, en fin, enriquecer el conocimiento de la sociedad civil sobre dicho sistema. Sólo en este caso, la evaluación del sistema educativo debería ser denominada evaluación democrática».
Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs