lunes, 27 de abril de 2009

PROGRAMA EVALUACION DE LA CALIDAD DE LA EDUCACION

CUMBRE IBEROAMERICANA
TRATAMIENTO Y USOS DE LA INFORMACIÓN EN EVALUACIÓN. Tiana Ferrer
La comparación en evaluación

Uno de los métodos utilizados más habitualmente en los informes de evaluación para tratar y presentar la información obtenida es el análisis comparativo. En algunos ámbitos concretos, como es el caso de la evaluación de los resultados académicos alcanzados por los alumnos o de los logros de las instituciones educativas, esta práctica se ha convertido en la predominante, bien sea empleándola de manera exclusiva o en combinación con otras. Para comprobar la veracidad de esa observación, basta la simple consulta de algunos de los informes elaborados por los organismos e instituciones citadas en el epígrafe anterior.

El recurso a la comparación como uno de los procedimientos habituales de análisis y tratamiento de datos en los estudios de evaluación no es fruto de una decisión caprichosa ni casual, sino que tiene que ver con la propia esencia de la tarea evaluadora. En efecto, al inicio del documento se afirmaba que evaluar consiste en emitir juicios a partir de una información recogida y tratada de forma sistemática. Pero esa emisión de juicios implica realizar una comparación con algún elemento de referencia, bien sea interno o externo. En rigor, no puede formularse una conclusión acerca del valor o mérito de una determinada realidad si no se compara con otra o con un modelo ideal previamente construido. Por eso puede afirmarse que, en última instancia, la evaluación implica la comparación.

El tratamiento comparativo de la información
Entre las operaciones comparativas más frecuentemente utilizadas en los informes de evaluación se destacan tres que conviene examinar con cierto detenimiento. La primera de ellas consiste en comparar los datos obtenidos con un criterio o norma que sirva de referencia para la emisión de un juicio de valor. Es el enfoque que se utiliza, por ejemplo, para realizar lo que se conoce como evaluación criterial del aprendizaje, consistente en el establecimiento de unos criterios precisos para determinar los niveles de rendimiento y en el estudio subsiguiente de su cumplimiento o no por parte de cada alumno. También se aplica un procedimiento semejante para llevar a cabo la acreditación de centros escolares, a partir del contraste de las características de la institución evaluada con un cierto número de requisitos previamente acordados. En uno y otro caso, el mérito de aquello que se valora se determina de acuerdo con el grado de cumplimiento de los criterios preestablecidos y no mediante la posición relativa ocupada por el alumno o el centro en el seno del grupo al que se encuentre adscrito.

La segunda de las operaciones mencionadas consiste en realizar comparaciones entre varias entidades semejantes, de manera sincrónica o transversal. En este caso, las diversas realidades objeto de evaluación se comparan entre sí, de acuerdo con la situación que presentan en un momento determinado. Es el tipo de procedimiento utilizado para llevara cabo la evaluación normativa del aprendizaje, basada en otorgar calificaciones mediante la comparación del alumno con sus compañeros y la determinación del lugar que ocupa en su grupo de referencia. Es también el tratamiento que se realiza, por ejemplo, en los estudios internacionales de rendimiento educativo, que tanto auge han experimentado en los últimos años, o el que se emplea para construir tablas de clasificación de centros escolares, como los que algunos países han publicado recientemente.

La tercera operación consiste en comparar la información obtenida a partir de una misma realidad, en dos o más momentos sucesivos, de manera diacrónica o longitudinal. En esta aproximación, la realidad evaluada no se compara con otras semejantes ni con un modelo ideal, sino consigo misma, pero introduciendo en el análisis la dimensión temporal. Es el tipo de tratamiento que se realiza, por ejemplo, en los estudios de seguimiento de cohortes de estudiantes con objeto de conocer su progreso académico a lo largo del tiempo, o cuando se pretende evaluar el impacto de determinadas medidas de política educativa adoptadas en un momento dado.
Cada una de estas tres operaciones ofrece diversas posibilidades, al tiempo que plantea algunos problemas. El examen de sus respectivas ventajas e inconvenientes puede ayudar a entender mejor su contribución en cada situación concreta, así como las cautelas con que deben utilizarse.

Las condiciones de una comparación justa
De acuerdo con una sugerente formulación de E. R. House, incluida en uno de sus textos más difundidos e influyentes, cualquier empresa evaluadora debe respetar tres principios clave: veracidad, coherencia y justicia (House, 1994) Si la aplicación efectiva de los tres constituye una exigencia ineludible, el tercero cobra especial importancia cuando se realizan análisis comparativos, dadas las consecuencias fuertemente dañinas que la comparación injusta puede acarrear para las entidades evaluadas.

El respeto al principio de justicia enunciado por House tiene mucho que ver con la adecuada contextualización de la información recogida y presentada a los destinatarios de la evaluación. En el caso de estudios de rendimiento de alumnos, centros o sistemas educativos, este requisito cobra una importancia capital. En efecto, como se indicaba en el apartado anterior, la evaluación del rendimiento debe ser debidamente contextualizada, teniendo en cuenta una serie de factores que inciden en los resultados conseguidos por los alumnos y los centros y que no tienen su origen en la simple diferencia de capacidades individuales. Variables tales como la extracción social de los alumnos, la actitud de los familias hacia la educación, el clima o ambiente escolar, la organización del centro, el estilo pedagógico de los profesores o el funcionamiento de la dirección pueden contribuir a explicar buena parte de las diferencias registradas entre los centros escolares.

De todos los factores señalados (y algunos más que podrían apuntarse), unos son fruto de la actuación educativa de las familias, los profesores y los centros escolares, mientras que otros vienen determinados de antemano y no puede influirse en ellos fácilmente. Así, un centro puede mejorar su organización, reforzar la formación de sus profesores, crear un ambiente favorable al estudio o poner en marcha programas valiosos de intervención psicopedagógica, pero no puede modificar la extracción social o cultural de sus alumnos, salvo que los sustituya por otros. Por ese motivo, la diferencia existente entre las diversas condiciones de partida debe ser tomada en cuenta a la hora de evaluar rendimientos. No sería justo ensalzar o denigrar a un centro simplemente por el efecto de las condiciones iniciales de su alumnado. De este modo, llevar a cabo una comparación justa implicaría neutralizar el efecto de tales condiciones sobre el rendimiento, valorando los resultados logrados a partir de un nivel teóricamente homogéneo.

Sin embargo, sabemos que dicha situación ideal está lejos de darse en la realidad. La diversidad de condiciones de partida de los alumnos y de los centros es muy considerable, explicando por sí sola parte de las diferencias observadas en los resultados. La necesidad de tener en cuenta esa diversidad a la hora de comparar rendimientos, sentando así las bases para una comparación justa, es lo que ha llevado a introducir la noción de valor añadido. La idea intuitiva que subyace bajo ese término consiste en reconocer que los centros pueden producir efectos diversos dependiendo de sus condiciones particulares, pero que la valoración de sus logros debe hacerse en función de la progresión conseguida (en términos de diferencia entre la situación final y la inicial) y no solamente de los resultados brutos obtenidos. De acuerdo con esta noción, el rendimiento de un centro A podría ser superior al de otro B aunque el resultado bruto del segundo fuese superior al primero; la clave estaría en la magnitud del avance registrado...

El factor con mayor importancia a la hora de estudiar el valor añadido por un centro consiste en el rendimiento inicial de sus alumnos. La inclusión en el análisis de datos acerca de dicho rendimiento inicial, junto a algunas características del alumnado, tales como su sexo, edad, extracción familiar y contexto socioeconómico, permite controlar la mayor parte de la variación debida a las condiciones de partida y estimar así con justicia y validez el valor añadido por el centro. En ausencia de dichos datos, las características contextuales del centro pueden proporcionar una aproximación, de mucha menor significación, pero digna de ser tenida en cuenta. Según este análisis, la estimación precisa del valor añadido requeriría disponer de datos relativos al rendimiento inicial de los alumnos y a sus variables contextuales individuales. Este requisito debe ser tenido en cuenta a la hora de emprender estudios de evaluación del rendimiento que quieran superar el simple estadio de la medición de los resultados brutos y efectuar una comparación justa.

Además de este primer resultado, que refuerza la necesidad de obtener y manejar datos relativos al rendimiento inicial de los alumnos y de sus características básicos, el estudio de Thomas y Mortimore proporcionó otras conclusiones de gran interés para el diseño y la puesta en marcha de estudios de evaluación del rendimiento:
1) En primer lugar, los análisis realizados demostraron la existencia indudable de un denominado efecto escuela (entendido como la influencia ejercida específicamente por el centro sobre el rendimiento de sus alumnos), ya que se apreciaron diferencias de rendimiento entre las instituciones participantes a pesar de controlar el efecto de las mencionadas variables individuales.

2) En segundo lugar, el cálculo del valor añadido proporcionó una imagen más realista y fiel de los logros de un centro que los simples resultados brutos obtenidos por sus alumnos en una prueba o examen. No obstante, los análisis realizados venían condicionados por la calidad, fiabilidad y validez de los datos utilizados, insistiendo así el estudio en la necesidad de cuidar los procedimientos utilizados para obtenerlos.

3) No obstante lo anterior, incluso teniendo en cuenta el cálculo del valor añadido, hay que señalar que los intervalos de confianza de los resultados logrados por los centros presentaron un grado considerablemente de solapamiento, lo que obligó a valorar con precaución las diferencias obtenidas. En realidad, sólo podría hablarse de diferencia real de eficacia entre dos centros cuando sus intervalos de confianza no se solapasen en absoluto, lo que constituye un caso no excesivamente habitual.

4) Otro resultado realmente interesante consistió en que el efecto escuela difería al considerar diversas áreas (matemáticas y lengua, por ejemplo), lo que induce a pensar que el valor añadido por los diferentes departamentos de un mismo centro no es idéntico. En cierto sentido, el centro no es completamente homogéneo a la hora de influir sobre sus alumnos.

5) Igualmente, el efecto escuela no se manifestaba con la misma intensidad en relación a distintos grupos de alumnos. Los análisis realizados pusieron de manifiesto que es frecuente que cada escuela beneficie especialmente a algún tipo determinado de alumno (unos a los de mayor rendimiento, otros a los de menos, o a los de determinado estilo de aprendizaje, etc.). Este resultado abre la puerta a análisis posteriores acerca de la posible concordancia entre ciertos características del centro y el tipo de alumno al que más beneficia.

6) De acuerdo con las observaciones anteriores, un planteamiento riguroso acerca del valor añadido obligaría a efectuar su cálculo para las puntuaciones totales promedio, para las de cada materia y para las obtenidas por grupos de alumnos de diferentes características, ya que el efecto no es idéntico en todos los casos.
Como puede fácilmente apreciarse, la investigación acerca del valor añadido se encuentra todavía en sus fases iniciales. No obstante, las posibilidades que encierra son tan ricas y prometedoras que animan a los evaluadores a continuar avanzando en esa dirección. El logro de una comparación efectivamente justa tiene mucho que ver con el éxito del empeño por conceptualizar y operativizar esa noción.

No hay comentarios:

Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs