jueves, 27 de diciembre de 2012

Hacia una definición más comprensiva de Evaluación Educativa


Reflexionar sobre cómo definir la Evaluación Educativa nos lleva a identificar sus elementos esenciales, y su razón de existencia, los siguientes párrafos derivan en un intento que puede ser orientador. 



En el proceso de construcción de una definición de evaluación que resulte más comprensiva es posible enumerar una serie de características que siempre están presenten en un proceso de evaluación y que sin duda amplían el horizonte de su aplicación.


En primer lugar se puede afirmar que toda evaluación es un proceso que genera información y en este sentido siempre implica un esfuerzo sistemático de aproximación sucesiva al objeto de evaluación. Pero esta información no es casual o accesoria sino que la información que se produce a través de la evaluación genera conocimiento de carácter retroalimentador, es decir significa o representa un incremento progresivo de conocimiento sobre el objeto evaluado. Desde esta perspectiva la evaluación permite poner de manifiesto aspectos o procesos que de otra manera permanecen ocultos, posibilita una aproximación en forma más precisa a la naturaleza de ciertos procesos, las formas de organización de los mismos, los efectos, las consecuencias, los elementos intervinientes, etc...


En síntesis es posible afirmar que en todo proceso de evaluación reconocemos la presencia de ciertos componentes:

1. búsqueda de indicios: ya sea a través de la observación o de ciertas formas de medición se obtiene información, esa información constituyen los indicios visibles de aquellos procesos o elementos más complejos que son objeto de nuestra evaluación. En este sentido siempre hay que tener presente que toda acción de evaluación finalmente se lleva a cabo sobre un conjunto de indicios que se seleccionan de modo no caprichoso sino sistemático y planificado, pero no por ello dejan de ser indicios. Por ejemplo la indagación sobre la adquisición de determinadas competencias por parte de un grupo de alumno requiere de la búsqueda de indicios, de pistas que nos permitan estimar la presencia o ausencia de dichas competencias.


2. forma de registro y análisis: a través de un conjunto variado de instrumentos se registran estos indicios, este conjunto de información que permitirá llevar a cabo la tarea de evaluación. En este sentido resulta positivo recurrir a la mayor variedad posible de instrumentos y técnicas de análisis con carácter complementario ya que en todos los casos se cuentan con ventajas y desventajas en el proceso de registro y análisis de la información.


3. criterios: un componente central en toda acción de evaluación es la presencia de criterios, es decir de elementos a partir de los cuales se puede establecer la comparación respecto del objeto de evaluación o algunas de sus características. Este es uno de los elementos de más dificultosa construcción metodológica y a la vez más objetable en los procesos de evaluación. Por una parte se corre el riesgo que se planteaba inicialmente de reducir toda la evaluación a una acción de carácter normativo en el cual solo se intenta establecer el grado de satisfacción o insatisfacción de determinadas normas. Por otra parte se puede caer en la tentación de eludir la búsqueda o construcción de criterios con lo cual toda acción de evaluación resulta estéril ya que solo es posible hacer una descripción más o menos completa del objeto de estudio pero no resulta factible realizar un análisis comparativo. La mayor discusión en materia de evaluación se platea alrededor de la legitimidad de los criterios adoptados en una determinada acción evaluativa, es decir quién y cómo se definen estos criterios. Esto se incrementa teniendo en cuenta lo que se planteaba inicialmente de la débil cultura evaluativa de nuestra práctica pedagógica escolar


4. juicio de valor: íntimamente vinculado con el anterior pero constituyendo el componente distintivo de todo proceso de evaluación se encuentra la acción de juzgar, de emitir o formular juicios de valor, este es el elemento que diferencia la evaluación de una descripción detallada, o de una propuesta de investigación que no necesariamente debe contar con un juicio de valor. Este es un elemento central de toda acción evaluativa y el que articula y otorga sentido a los componentes definidos anteriormente por lo que tanto la búsqueda de indicios, las diferentes formas de registro y análisis y la construcción de criterios estarán orientadas hacia la formulación de juicios de valor.


5. toma de decisiones: por último la toma de decisiones es un componente inherente al proceso de evaluación y que lo diferencia de otro tipo de indagación sistemática. Las acciones evaluativas cobran sentido en tanto soporte para la toma de decisiones. Este es un elemento que adquiere importancia central y no siempre es tenido en cuenta por quienes llevan a cabo los procesos de evaluación y/o quienes lo demandan. Volver la mirada sobre el componente de toma decisión significa reconocer que toda acción de evaluación es una forma de intervención que trae aparejada la toma de decisiones en algún sentido, aún cuando la decisión sea la inacción y por lo tanto los procesos o fenómenos objetos de evaluación sufren algún tipo de modificación como consecuencia de las acciones de evaluación. Por ello se vuelve imprescindible tener presente con anterioridad cuáles son él/los propósitos o finalidades que se persiguen con la evaluación propuesta.


Teniendo en cuenta lo antedicho resulta oportuna, en términos generales,           la definición propuesta por T. Tenbrink:

Evaluación es el proceso de obtener información y usarla para formar juicios que a su vez se utilizarán en la toma de decisiones.







Extraído de
Evaluación Educativa:
Una aproximación conceptual
Prof. Nydia Elola
Lic. Lilia V. Toranzos

jueves, 20 de diciembre de 2012

Evaluación en Educación

La evaluación en Educación ha adquirido mayor relevancia en todos sus niveles. Corresponde entonces preguntarnos ¿En qué centrarse al evaluar a los alumnos? ¿Conocimientos o procesos? ¿Estudiar las causas de los estados de sus aprendizajes? Por otra parte ¿Qué buscar en las evaluaciones a docentes? ¿Y a las instituciones?




A continuación expresaremos brevemente algunas ideas que nos parecen axiomáticas o que constituyen principios que deberán tenerse muy en cuenta para la planificación y ejecución de la evaluación de la Calidad Educativa que alcanzan los sistemas educativos en América Latina y el Caribe en los próximos años.


Sobre la evaluación del aprendizaje de los alumnos
· ‘Si quieres medir el cambio, no cambies la medida’: este principio obliga a pensar muy bien cuando diseñamos un plan de evaluación en el sentido de si son convenientes las pruebas construidas bajo los supuestos de la teoría clásica del test, o los de la teoría de respuesta al ítem; si las pruebas se harán con referencia a normas o a criterios; si lo mejor es -o no- elaborarlas en bloques incompletos balanceados. Estos elementos de carácter técnico tienen una importancia capital y determinan la posibilidad de la comparabilidad de los datos obtenidos a través del tiempo y, por lo tanto, la posibilidad de determinar ‘el movimiento’ de la calidad de la gestión del sistema educativo.

· Tránsito de una evaluación centrada en resultados a una que examina, de manera prioritaria, el estado de los procesos: pensamos que, en el futuro inmediato, la medición de los aprendizajes de los alumnos deberá moverse hacia una mejor aproximación a las causas del estado de su aprendizaje y, para ello, será necesario centrarse con mayor énfasis en la evaluación de los procesos educativos.



Sobre la evaluación del desempeño profesional de los docentes
· Hacia el entrenamiento en la autoevaluación: al valorar el desempeño profesional de los docentes debemos ponderar la función desarrolladora de la evaluación, lo que presupone tratar que el diálogo interpsíquico entre evaluadores y evaluados llegue a ser una asimilación intrapsíquica por par te de este último, por la vía del diálogo consigo mismo (monólogo) que ocurre, sobre todo, cuando el método principal utilizado es la autoevaluación.

· Tránsito de sistemas evaluativos muestrales a censales: conscientes de que cuando se trata de la CE el profesor y su desempeño hacen la principal diferencia, en adelante debemos concretar esfuerzos destinados a evaluar anualmente el desempeño de todos y cada uno de los docentes de nuestros sistemas educativos. Para ello será necesario potenciar el esfuerzo evaluador de los directivos de las escuelas y de los propios docentes, a partir de elevar sustancialmente su preparación y disposición para realizar una buena evaluación.



Sobre la evaluación de la efectividad de las políticas educativas
· Hacia el uso de métodos experimentales basados en el control más riguroso posible de las principales variables involucradas en las políticas educativas en cuestión: en el futuro será necesario utilizar de manera más rigurosa los métodos experimentales que garanticen, en la mayor medida posible, que los cambios favorables que tienen lugar en las variables dependientes (resultados del proceso educativo) pueden ser atribuidos al efecto de las variables independientes involucradas en las políticas educativas cuya eficacia ha sido puesta a prueba. Para ello será necesario realizar un mejor y mayor control de las variables concomitantes o ajenas involucradas en tales políticas educativas.

· Las variables dependientes involucradas en las políticas educativas no deberán restringirse al rendimiento escolar de los alumnos: y deberán contener elementos del crecimiento personal y/o profesional de los diferentes agentes educativos: generalmente las políticas educativas diseñadas e implementadas en nuestra región están dirigidas a la elevación del rendimiento académico de los alumnos. Sin embargo, esa no debería ser la única ni la principal variable dependiente (de resultado) a atender en ellas; el crecimiento personal de alumnos, docentes, directivos y padres de familia es un objetivo de mayor alcance y, por tanto, muy deseable.



Sobre la evaluación institucional
Tránsito de una evaluación de carácter absoluto a una de carácter relativo: en la escasa evaluación institucional realizada hasta el momento en nuestra región ha prevalecido una comparación, en términos absolutos, de los resultados de las distintas instituciones evaluadas, desconociendo sus diferentes niveles de partida y sin saber a qué atribuir las diferencias de tales resultados. Una acción evaluativa más justa requiere del uso de modelos de valor agregado, los que sí propician la realización de comparaciones de los resultados de cada institución con respecto a sí misma.







Autor
HÉCTOR VALDÉS
Director del Instituto Central de Ciencias Pedagógicas (ICCP) de Cuba
Extraído de
Reflexiones en torno a las evaluaciones de calidad educativa en América Latina
LLECE


miércoles, 12 de diciembre de 2012

Evaluación formativa, desde una perspectiva optimista

La evaluación formativa, o de proceso es puesta bajo la lupa en diversas oportunidades, los siguientes párrafos analizan las investigaciones sobre el tema, asumiendo una posición optimista.


La noción de evaluación formativa (EF) denota las acciones hechas para valorar el avance de los alumnos en el desarrollo de conocimientos o competencias, buscando aportar elementos al maestro y a los alumnos mismos para adecuar sus esfuerzos para alcanzar las metas de aprendizaje establecidas, y no para emitir un juicio definitivo al respecto. La noción opuesta es la de evaluación sumativa.

Aunque reciente, la literatura sobre EF comienza a proliferar y, en general, parte del supuesto de que su uso produce beneficios importantes sobre el aprendizaje. Sin embargo los estudios de carácter empírico que sometan este supuesto a la prueba de la experiencia son escasos. En estas páginas se revisa la literatura al respecto, con énfasis en la producida en los medios anglosajones.

Algunas síntesis de estudios sobre el sistema Mastery Learning que promovió Benjamín S. Bloom en las décadas de 1960 y 1970, llegaban a la conclusión de que era “una de las estrategias de enseñanza más efectivas que los maestros pueden utilizar, en cualquier nivel educativo” (Walberg).

Bloom plantea el tema en términos de lo que llama el problema de las dos sigmas, en alusión al dato de que la diferencia entre los alumnos de alto y bajo rendimiento suele situarse en el rango de dos desviaciones estándar; esto quiere decir que el reto de reducir las brechas del rendimiento de manera significativa en un sistema educativo consiste en mejorar el desempeño de los alumnos de menor rendimiento en el equivalente a dos desviaciones estándar (dos sigmas).

Según Bloom es posible conseguir mejoras de esa importancia con sistemas de enseñanza que asignan un tutor a cada alumno de bajo rendimiento (enseñanza tutorial uno a uno), lo cual es costoso; pero él afirma que con su sistema es posible obtener resultados similares, con un costo que no difiere mucho del que implican las formas tradicionales de enseñanza (Bloom, 1984a y 1984b).

Estudios en perspectiva optimista
Sin contar las relativas a resultados del modelo Mastery Learning, seguramente la revisión de literatura que más ha influido en las ideas sobre el efecto de la EF es la que publicaron en 1998 Paul Black y Dylan Wiliam. El artículo no es el primero en ese sentido, sin embargo, la conclusión tan positiva a la que llega llamó la atención entre los interesados en el tema, algunos de los cuales lo retomaron sin considerar sus alcances y límites, lo que posiblemente dio lugar a que se extendiera una visión acrítica de la evaluación formativa, en un medio que a veces parece ávido de soluciones milagrosas para los problemas que enfrenta.

La revisión se organizó en siete secciones: ejemplos notables; evaluación por los maestros; perspectiva de los alumnos; papel del maestro; estrategias y tácticas usados por los maestros; sistemas en que la evaluación formativa tiene un papel especial; y retroalimentación. En cada sección los textos identificados se revisan con diferente amplitud, pero la primera, la de ejemplos notables, atrae la atención tanto por su ubicación al inicio del artículo como por la naturaleza positiva de las conclusiones a que llegan los autores, que sustentan las afirmaciones reiteradas y enfáticas que se hacen. Así, en el resumen del trabajo, Black y Wiliam dicen:

Varios estudios muestran evidencia firme de que las innovaciones que se diseñan para reforzar la retroalimentación frecuente que el alumno recibe sobre su aprendizaje produce ganancias substanciales (…)

La idea se retoma con fuerza similar al final del trabajo, donde los autores responden la pregunta sobre las implicaciones para las políticas de sus hallazgos:

La investigación reportada muestra en forma concluyente que la EF mejora el aprendizaje. Las ganancias en desempeño parecen muy considerables y son de las más grandes reportadas para una intervención educativa. Como ejemplo de su importancia, si se alcanzara a escala nacional un efecto de 0.7 (size effect), equivaldría a elevar el puntaje promedio en matemáticas de un país promedio como Inglaterra, Nueva Zelanda o Estados Unidos, al nivel de los cinco mejores, detrás de los países de la cuenca del Pacífico como Singapur, Corea, Japón y Hong Kong (…)

Los estudios seleccionados por Black y Wiliam para incluir en la primera sección de su trabajo, de ejemplos destacados, son ocho: 1) Un proyecto que involucró a 25 profesores portugueses de matemáticas, con 246 alumnos de ocho y nueve años de edad y 108 más de 10 a 14 años. 2) La experiencia de un profesor a lo largo de 18 años durante los cuales utilizó el modelo de Mastery Learning en sus cursos, con unos 7,000 estudiantes. 3) Otro estudio que utilizó el modelo de Mastery Learning, con 120 estudiantes universitarios estadounidenses, en cuatro grupos en un diseño 2 x 2. 4) Uno más con 838 niños de cinco años de edad de medio desfavorecido, distribuidos en un grupo experimental y uno de control. 5) Un experimento con 48 alumnos de 11 años de edad, de 12 grupos en cuatro escuelas de Israel, seleccionados de manera que la mitad fueran del cuartil superior y el resto del inferior, en matemáticas y lengua. 6) Un estudio con 44 alumnos de 9 o 10 años de edad en una escuela elemental de los Estados Unidos. 7) Un trabajo con 12 grupos de 30 alumnos cada uno, en dos escuelas estadounidenses de educación media. 8) Un meta-análisis de 21 estudios con alumnos de preescolar a enseñanza media superior con necesidades educativas especiales de importancia media.

Black y Wiliam advierten sobre las limitaciones de los estudios revisados. Como ejemplo, en relación con una revisión sobre la efectividad de la retroalimentación (Kluger y De Nisi) señalan que, de más de 3,000 reportes analizados, la gran mayoría debieron descartarse por fallas metodológicas como falta de controles adecuados, mezcla de efectos de la retroalimentación con otros, número reducido de sujetos (<10), ausencia de mediciones del rendimiento y datos insuficientes para estimar el tamaño del efecto. Solamente se conservaron 131 reportes que no presentaban las fallas anteriores

Se mencionan efectos de la retroalimentación en sentidos opuestos, según se refiera a la tarea o a la persona. Un trabajo reporta que la retroalimentación que se refiere a la persona parece tener efectos negativos sobre el desempeño y otro que los maestros eficaces elogian menos a sus alumnos que el docente promedio, lo que coincide con otros hallazgos de que los elogios verbales y la retroalimentación de apoyo a la persona puede aumentar el interés y mejorar actitudes del alumno, pero tiene poco o nulo impacto sobre el desempeño.

La descripción que hacen Black y Wiliam de los ocho ejemplos notables suscita dudas en cuanto a la solidez de conclusiones tan contundentes como las citadas, pues parece difícil llegar a ellas sin muchas salvedades, a partir de una gama bastante reducida de trabajos diferentes, algunos de los cuales presentan claras debilidades. Pese a ello, la heterogeneidad misma de los ejemplos es manejada por los autores citados como argumento a favor de su punto de vista:

(…) Pese a la existencia de algunos resultados marginales e incluso negativos, el rango de las condiciones y contextos en los que los estudios revisados han mostrado que se pueden alcanzar tales ganancias debe indicar que los principios que subyacen al logro de mejoras sustanciales en el aprendizaje son robustos (…)

Al final de su revisión, Black y Wiliam advierten a los lectores sobre la dificultad que supone modificar en profundidad prácticas muy arraigadas:

(…) de esta revisión no emerge un modelo óptimo en que se pueda sustentar una política. Lo que emerge son principios orientadores, con la advertencia de que los cambios requeridos en la práctica docente son centrales y no marginales, y deben ser incorporados por cada docente a su propia práctica en la manera propia de cada uno. En otras palabras, una reforma de tales dimensiones inevitablemente llevará mucho tiempo y requerirá el continuo apoyo de educadores e investigadores.

En forma muy clara, el trabajo citado señala:
Sería deseable, y se podría esperar como lo habitual, que una revisión como ésta tratara de hacer un meta-análisis de los estudios cuantitativos revisados. El que esto difícilmente parezca posible lleva a reflexionar sobre este campo de investigación. Esta revisión aprovechó material útil de varios estudios basados en meta-análisis; éstos, sin embargo, centraban la atención en aspectos bastante restringidos de la evaluación formativa, por ejemplo la frecuencia con la que se formulan preguntas. El valor de sus generalizaciones es también dudoso porque se ignoran aspectos clave de los estudios sintetizados, por ejemplo la calidad de las preguntas que se formulan, ya que la mayoría de los investigadores no ofrecen evidencias sobre estos puntos.

Hay estudios cuantitativos que exploran la evaluación formativa de manera más comprensiva, y algunos se discuten en el texto, pero el número con un rigor cuantitativo adecuado y comparable debe situarse, como máximo, en el orden de 20. Sin embargo, si bien cada estudio es riguroso dentro de su propio marco y en relación son sus objetivos, y aunque muestran cierta coherencia en lo que se refiere a las ganancias de aprendizaje asociadas con las iniciativas de evaluación en aula, las diferencias subyacentes entre los estudios son tales que cualquier agregación de sus resultados tendría poco sentido.

Pese a lo anterior, varias lecturas del texto al que se refieren estos comentarios han retomado únicamente las conclusiones favorables, sin matiz alguno, e incluso contradiciendo afirmaciones expresas, como en el caso siguiente:

Con base en su síntesis de más de 250 artículos [Black y Wiliam] reportan que la respuesta [a la pregunta sobre si hay evidencias de que mejorar la calidad de la EF eleva el rendimiento de los alumnos] es un rotundo sí. De esas fuentes, unas 40 responden la pregunta con diseños experimentales suficientemente rigurosos para permitir la agregación de los datos para hacer un meta-análisis que permita estimar el efecto atribuible a EF mejoradas sobre el puntaje en pruebas sumativas. (Stiggins)

La diferencia entre lo que dice el texto de Black y Wiliam y la lectura de Stiggins es notable y hace parecer excesivo el tono optimista de esa y otras interpretaciones.

Un importante trabajo sobre evaluación formativa publicado por la Organización para la Cooperación y el Desarrollo Económicos (OCDE) retoma el texto ya citado de las conclusiones del artículo de Black y Wiliam:

(…) la evaluación formativa mejora el aprendizaje. Las ganancias en el desempeño parecen muy considerables y, como se ha señalado, son de las más grandes reportadas para una intervención educativa. (Centre for Educational Research and Innovation)

El trabajo de la OCDE, sin embargo, matiza la afirmación anterior como sigue:
Si bien la EF no es una solución mágica (silver bullet) que puede resolver todos los retos educativos, es un medio poderoso para alcanzar el objetivo de resultados de alto desempeño y alta equidad, y ofrece a los alumnos el conocimiento y las habilidades para seguir aprendiendo a lo largo de la vida. Los sistemas educativos que enfrenten las tensiones que impiden una práctica más amplia de la EF y fomenten culturas de evaluación probablemente avanzarán mucho más hacia tales metas.

En la Conferencia Internacional sobre Evaluación para el Aprendizaje que tuvo lugar en Chester en 2001, se llegó a la conclusión de que las discusiones sobre las prioridades de investigación en torno al tema:

(…) se desarrollaron con plena conciencia del hecho de que contamos ya con evidencia convincente, basada en investigaciones, en cuanto al impacto de la “enseñanza para el aprendizaje” sobre el rendimiento de los alumnos: se pueden conseguir avances sin precedentes. Tenemos también evidencia convincente, basada en investigaciones, sobre la baja calidad de muchas evaluaciones que se hacen en el aula, debido a la persistente falta de oportunidades que tienen los maestros para desarrollar sus competencias de evaluación (assessment literacy).

En un texto más reciente, Stiggins sigue mostrando su perspectiva optimista: “La evidencia recolectada en todo el mundo revela de manera consistente efectos directamente atribuibles a la aplicación efectiva de EF en aula, que van de media a una y media desviación estándar”

Otras revisiones de las que se extraen conclusiones favorables para la evaluación formativa se refieren a los efectos de la retroalimentación. Marzano presenta así algunos trabajos sobre el tema:

Como resultado de revisar casi 8,000 estudios, Hattie encontró que, sin duda, “la modificación singular más poderosa para mejorar rendimiento es la retroalimentación”. La receta más simple para mejorar la educación es “cucharadas de retroalimentación”. Más recientemente, Hattie y Timperley actualizaron y ampliaron la revisión sobre retroalimentación y llegaron a la misma conclusión. Desafortunadamente no todas las formas de retroalimentación son igualmente efectivas. Un meta-análisis de que revisó los hallazgos de 40 estudios sobre evaluación en aula, encontró que decir simplemente al alumno si sus respuestas son correctas o incorrectas tenía efecto negativo sobre el aprendizaje, mientras que explicar la respuesta correcta y/o pedir que siguiera mejorando sus respuestas se asociaba con ganancias de 20 puntos percentilares en el desempeño.


Extraído de
Martínez Rizo, F. (2012). Investigación empírica sobre el impacto de la evaluación formativa. Revisión de literatura. Revista Electrónica de Investigación Educativa, 14(1), 1-15.

jueves, 6 de diciembre de 2012

Los significados más frecuentes de la Evaluación Educativa


Al referirnos a la “Evaluación Educativa”, muchas veces se hace referencia a objetos muy diferentes ¿Qué significados se le suelen dar? ¿Cuáles son los más habituales?



Con mucha frecuencia las discusiones sobre la pertinencia o la utilidad de los procesos de evaluación en el ámbito del sistema educativo se basan en un conjunto de significados que simultáneamente le son atribuidos a la evaluación y en ello se origina la consecuente disparidad de criterios.


Vemos como se ponen de manifiesto algunas de las ideas con que se asocia la evaluación, las críticas habituales y sus aspectos más objetables.


1. Se destacan las opiniones asocian la evaluación a los exámenes y estos últimos son considerados un instrumento de poder que refleja un estilo de enseñanza conservador y autoritario que produce secuelas negativas en el desarrollo de los alumnos;


2. La emisión de juicios de valor sobre los alumnos y sobre la calidad de sus tareas se suelen basar en una información muy elemental, es decir que la tendencia en la práctica evaluadora es la de reducir el espectro de las informaciones y por lo tanto sobresimplificar los juicios de valor.


3. Con frecuencia los instrumentos de evaluación se usan a menudo con fines diferentes para los que fueron diseñados por ejemplo cuando se administran altas calificaciones como premios y las bajas calificaciones como castigo convirtiéndolas así en un instrumento de control disciplinario o similar.


4. Se observa un notable desfase entre la teoría y la práctica vinculada con la evaluación atribuible a múltiples causas como la burocracia escolar, la presión del tiempo, cierta inercia y rutina consolidada alrededor de la práctica de la evaluación más tradicional.


5. Existe una tendencia fuerte a identificar evaluación y calificación lo que manifiesta una vez más el deterioro del concepto mismo de evaluación educativa.


6. Los instrumentos de evaluación que habitualmente se diseñan se refieren a un número muy reducido de competencias cognoscitivas, muchas veces reducida a la memorización comprensiva por ejemplo lo cual deja de lado un conjunto importante de procesos y competencias involucrados en el aprendizaje que por lo tanto debieran ser objeto de evaluación.


7. Los significados más frecuentemente asociados con la evaluación son las ideas relativas a:

        El control externo,

        La función penalizadora,

        El cálculo del valor de una cosa,

        La calificación,

        El juicio sobre el grado de suficiencia o insuficiencia de determinados aspectos.



Estas ideas relacionadas con la calificación propia del ámbito escolar ha ido permeando la definición de evaluación en su sentido más amplio y a su vez ha contribuido a la generación de un conjunto de estereotipos que dificultan la práctica evaluadora.


En este sentido la mayoría de las definiciones sobre evaluación se enmarcan en un plano que se puede denominar normativo. Es decir, en el deber ser que define un modelo ideal y se constituye en el referente evaluativo. La evaluación así aparece solo como una probabilidad de determinar en qué medida las acciones realizadas se ajustan o no a ese patrón normativo y no tanto como una posibilidad de definir nuevas normas o bien recrear las existentes.


Este significado algo débil o incompleto de evaluación no se plantea con un sentido constructivo, como una opción para revisar el proceso de enseñanza y aprendizaje, para incidir directamente en la toma de decisiones en diferentes ámbitos definiendo el sentido de la orientación de tales acciones.


De este modo a pesar que la afirmación sobre la necesidad de la evaluación como una herramienta fundamental para mejorar la calidad de los procesos de enseñanza y aprendizaje, es indudable que la práctica pedagógica en nuestras escuelas ha estado caracterizada por una débil cultura de la evaluación.


Esto se manifiesta en escenas que a diario se repiten en nuestras escuelas que reafirman esta percepción generalizada de la evaluación como un requisito formal con escaso o nulo valor pedagógico.





Extraído de
Evaluación Educativa:
Una aproximación conceptual
Prof. Nydia Elola
Lic. Lilia V. Toranzos



jueves, 29 de noviembre de 2012

El mérito y la interpretación en la evaluación

Evaluar una institución educativa, o una parte de ella, implica establecer criterios de valor ¿Es esta una opción neutra? ¿O está teñida de intereses? ¿Cómo actuar ante esta situación y frente a la interpretación de los resultados?


Existe una amplia coincidencia entre los profesionales que trabajan en el campo de la evaluación educativa en que la determinación del mérito o del valor del objeto evaluado es uno de los rasgos distintivos de los procesos de evaluación. A partir de la información obtenida por medio de los procedimientos técnicos adecuados, es preciso valorar cómo está funcionando aquello que se evalúa, si cumple los objetivos previstos, sus logros y sus carencias principales y, en la medida de lo posible, las causas o, si esto no fuera posible, los correlatos de esta situación. La determinación del mérito supone un juicio de valor en el que entran en juego factores educativos, políticos y éticos. 

Como ya se ha señalado anteriormente, los modelos educativos y las opciones de valor operan también en las primeras fases del proceso de evaluación y las decisiones adoptadas en ellas influyen en las fases ulteriores y definitivas. También la elección del modo de comparación de los resultados influye en la valoración del objeto estudiado y es a su vez expresión de una determinada concepción educativa. La comparación ordenada de las escuelas en función de los resultados directos de los alumnos no permite la misma valoración que si se tiene en cuenta el valor agregado que las escuelas aportan a los logros de los alumnos en función de su nivel inicial y de su contexto sociocultural. La valoración de una escuela tampoco sería la misma si se comparan sus resultados con otras escuelas o si la comparación se realiza con ella misma en diferentes períodos de tiempo. 

La decisión sobre el mérito que se atribuye a las instituciones evaluadas –lo mismo se podría decir de los sistemas y de los individuos– es, la expresión de una opción de valor. En consecuencia, las decisiones que se asumen en la evaluación, como en la educación en su conjunto, no son neutras, sino que reflejan una determinada concepción del papel de la educación en la sociedad, de los objetivos educativos que deben destacarse y de los modelos de cambio que se consideran más pertinentes. No es extraño por ello que sea en el campo de la valoración del mérito de la realidad evaluada en donde las relaciones entre la evaluación y la política se hacen presentes de forma más nítida. 

En la determinación del mérito o valor del objeto evaluado ocupa un papel relevante la interpretación o explicación que se realiza de la información obtenida. La toma en consideración de unos factores u otros y la metodología utilizada orienta en una u en otra dirección el discurso interpretativo. Además, la posibilidad de incorporar informaciones procedentes de otras evaluaciones puede ampliar la realidad evaluada. Desde esta perspectiva adquiere una especial relevancia la integración de las informaciones obtenidas en las diferentes evaluaciones. Hay que reconocer, sin embargo, que la pluralidad de modelos, opciones de valor y metodologías utilizadas complican enormemente esta labor. 

Pero también la tarea interpretativa, en gran medida también valorativa, tiene una especial relación con otra de las finalidades de la evaluación: la información para la adopción de decisiones y para el cambio. En función de las relaciones establecidas entre las variables seleccionadas, el énfasis de la orientación puede estar en el mérito de la realidad educativa evaluada, en las barreras que determinadas condiciones imponen al objeto evaluado o en la búsqueda de nuevas informaciones que permitan comprenderlo mejor. Además, el énfasis en tales o cuales dimensiones que contribuyen a la interpretación de la realidad educativa no solo puede orientar las decisiones, sino que sitúa el foco de la responsabilidad en determinadas instituciones, sectores o personas. Por ello sería preciso que la evaluación incluyera de alguna manera a todos aquellos que pudieran tener alguna responsabilidad con el desempeño del objeto evaluado. 

Un ejemplo puede ayudar a clarificar este planteamiento. Supongamos que se ha realizado una evaluación de un programa de integración de alumnos con necesidades educativas especiales en la escuela ordinaria y se ha comprobado que estos alumnos tienen más dificultades de relación social con sus compañeros que aquellos otros que estudian en una escuela especial. ¿Cómo interpretar estos datos y orientar a partir de ellos? ¿Sería correcto sugerir que no es positiva, al menos en este ámbito, la inclusión educativa? ¿O solo que hay que cambiar determinadas condiciones –formación de maestros, recursos humanos y materiales, actitudes de los maestros, de las familias y de los alumnos, actividades de ocio que desarrollan los municipios, etc.– para mejorar el proyecto? ¿Qué condiciones son las más importantes, de quién es la responsabilidad principal y cómo se ha constatado en esta evaluación? ¿O se podría pensar que esos resultados se invertirían cuando se evaluara la adaptación social de los alumnos en contextos no escolares, lo que apuntaría a otro tipo de evaluación en un nuevo contexto?







Extraído de
Los resultados de las evaluaciones y su papel en las políticas educativas
Autor
Álvaro Marchesi


martes, 20 de noviembre de 2012

La evaluación formativa, visión crítica

Hay casi unanimidad en el uso de las evaluaciones para mejorar el proceso, la evaluación “formativa”, “en proceso”, o “para aprender” puede y debe ser analizada críticamente, como se hace en los párrafos siguientes.



La noción de evaluación formativa (EF) denota las acciones hechas para valorar el avance de los alumnos en el desarrollo de conocimientos o competencias, buscando aportar elementos al maestro y a los alumnos mismos para adecuar sus esfuerzos para alcanzar las metas de aprendizaje establecidas, y no para emitir un juicio definitivo al respecto.  La noción opuesta es la de evaluación sumativa.

Perspectivas críticas
La experiencia de la complejidad de los fenómenos educativos y la dificultad de introducir cambios que produzcan consecuencias importantes hace tomar con reservas los textos optimistas, que a veces parecen promover una panacea más que, tras cierto tiempo, provocará una desilusión tanto más fuerte cuanto mayores hubieran sido las expectativas inicialmente despertadas.

Esta idea se ve reforzada por las salvedades que contienen los mismos textos citados, que una lectura atenta no deja de advertir, y que en ocasiones se incluyen de manera tan expresa que sorprende que no sean atendidas por algunas lecturas posteriores. Confirma y refuerza la reflexión crítica sobre conclusiones demasiado optimistas un trabajo reciente de  dos estudiosos de la Universidad de Arkansas, publicado con el título Una revisión crítica de la investigación sobre evaluación formativa. La limitada evidencia científica del impacto de la evaluación formativa en la educación. Al principio de su texto los autores señalan que:

Una creencia casi nunca cuestionada es que la investigación demuestra en forma concluyente que el uso de evaluación formativa facilita la mejora de las prácticas de enseñanza, identifica lagunas en el currículo y contribuye a aumentar el desempeño de los alumnos. Sin embargo… una revisión de la literatura reveló la limitada evidencia empírica que demuestra que el uso de evaluación formativa en el aula resulta directamente en cambios marcados en los resultados educativos. (Dunn y Mulvenon)

El texto comienza con una discusión sobre la forma en que se suele definir la noción de EF, los autores indica que la heterogeneidad al respecto es muy considerable, de manera que la tarea de analizar en forma rigurosa su posible impacto se dificulta mucho.  El artículo analiza en particular la revisión de literatura hecha por Black y Wiliam, a la que se refiere el apartado anterior de este artículo, cuya influencia se puede apreciar por el elevado número de veces que se le cita en la revistas académicas.

En cierta medida, las investigaciones discutidas… apoyan el impacto de la EF sobre el rendimiento de los alumnos, pero en una medida mayor apoyan la necesidad de hacer investigaciones en las que diseños y metodologías más eficientes lleven a resultados más concluyentes… no argumentamos que la EF carezca de importancia, sino sólo que la evidencia empírica que existe para apoyar “las mejores prácticas” de EF es limitada. (Dunn y Mulvenon)

Otros trabajos recientes avanzan en la dirección señalada en el texto anterior, ya que utilizan acercamientos metodológicos más sólidos. Así lo muestra un análisis de investigaciones sobre programas de actualización para maestros en servicio que buscan mejorar sus habilidades en EF (Schneider y Randel).

En muchos casos los resultados fueron favorables a la hipótesis de que las prácticas de EF contribuyen a mejorar el aprendizaje; en un número menor no se encontraron diferencias significativas. Nuevamente la evidencia no es concluyente, pero sí parece inclinar la balanza en el sentido de las opiniones favorables a la EF.

Otro ejemplo interesante en el sentido que se comenta es el trabajo sobre EF, motivación y aprendizaje de las ciencias naturales, de Ma. Araceli Ruiz Primo et al., que los autores describen como sigue:

Un estudio de pequeñas dimensiones, aleatorizado, para someter a prueba la afirmación de Black y Wiliam de que la retroalimentación basada en EF produce un fuerte efecto positivo en el aprendizaje…  el proyecto ponía a prueba una gran idea relacionada con la EF, que se podría obtener una gran ganancia en el aprendizaje con una inversión relativamente pequeña: incorporar a un currículo de ciencias utilizado en todo el país EF conceptualmente coherentes. (Ruiz Primo)

Después de explicar las características del estudio, cuidadosamente diseñado e implementado, los investigadores reportan los resultados relativos a los cambios esperados en los niveles de rendimiento de los alumnos como sigue:

Sorprendentemente los resultados no corroboraron la hipótesis (…) el grupo experimental no obtuvo resultados significativamente mejores que el grupo de comparación ni en las pruebas de rendimiento ni en las medidas de motivación. De hecho los alumnos del grupo de comparación tuvieron resultados promedio ligeramente mejores que los del grupo experimental, aunque no estadísticamente significativos (…) la brecha entre los alumnos de alto y bajo rendimiento en el grupo experimental no fue tan grande como en el grupo de comparación (…) (Ruiz Primo)

La revisión de videos de clases que se grabaron permitió buscar una explicación de esos resultados, revisando la fidelidad de implementación.

El estudio de implementación buscaba entender la relación entre el tratamiento (el currículo prescrito) y las mediciones del aprendizaje (el currículo logrado), para lo cual primero se sistematizó el currículo prescrito según la guía que se había dado a los maestros participantes, y luego se analizaron las grabaciones de clases para medir en qué grado los maestros realizaron las EF como se esperaba lo hicieran. El resultado fue que había considerables diferencias en cuanto a la forma de hacer las evaluaciones, lo cual parece reflejarse en un impacto diferencial en el rendimiento. La conclusión de los investigadores es la siguiente:

Black y Wiliam encontraron que la intervención que impacta el nivel de aprendizaje de los estudiantes es la retroalimentación. Hattie y Timperley encontraron además que la calidad de la retroalimentación impacta el grado en que ayuda a los estudiantes a mejorar. No debe sorprender que los estudiantes con mejores resultados sean los que tuvieron maestros que cierran mejor el ciclo de EF (…) usar información para ajustar enseñanza no fue bien implementado por muchos maestros del grupo experimental (…) con base en la evidencia recogida durante el estudio de implementación sabemos que, en general, los maestros conseguían que los alumnos compartieran sus ideas, pero que no conseguían utilizar la  información para ajustar su propia enseñanza. Obviamente recomendar que se ajuste la enseñanza es más fácil que hacerlo. (Ruiz Primo)

Conviene precisar que la justificación del uso de estudios basados en diseños experimentales estrictos (que incluyan la asignación aleatoria de los sujetos a los grupos experimental y control) como soporte para llegar a conclusiones sobre el impacto de cierta intervención se justifica plenamente en principio, pues sabemos que, en ausencia de tal tipo de diseño, es problemático sacar conclusiones de tipo causal. Sin embargo, en la investigación educativa y social deben cuidarse otros aspectos para que un estudio pueda arrojar conclusiones sólidas.

En particular, es indispensable cuidar la llamada fidelidad de implementación a la que han aludido los dos últimos trabajos citados, y cuyo descuido es, al parecer, una de las deficiencias que más influyen para que los resultados de los trabajos sobre el posible impacto de la evaluación formativa no sean concluyentes. Como ha mostrado Raudenbush, en la investigación sobre el efecto de ciertos fármacos sobre el organismo es sencillo garantizar que todos los sujetos de un grupo experimental reciban un tratamiento idéntico (por ejemplo “X” dosis del fármaco) y que ninguno de los sujetos del grupo control lo reciba. En educación, en cambio, y aunque se haya dado cierta preparación a los participantes, es difícil asegurar, por ejemplo, que todos los maestros de un grupo experimental manejen prácticas de EF del mismo tipo y con idéntica calidad e intensidad, y que ninguno del grupo control utilice prácticas que puedan llevar a resultados análogos.

Por otra parte, un elemento más a tener en cuenta al estudiar el impacto de la EF tiene que ver con la dificultad de introducir prácticas novedosas, que se oponen a tradiciones muy arraigadas, como las que tienen que ver con la forma tradicional de evaluar que prevalece en las aulas desde hace muchos años. En el caso del sistema educativo mexicano, por ejemplo, si se analiza la normatividad sobre las evaluaciones que deben hacer los maestros se aprecia que casi no ha cambiado desde hace medio siglo, pese a que en ese lapso se puso de moda la pedagogía constructivista, surgieron y proliferaron las pruebas en gran escala y se comenzó a hablar de EF. Por ello no debería sorprender que muchos actores, incluyendo a maestros, pero también a alumnos y padres de familia, se sientan incómodos cuando se quiere introducir innovaciones como la que es objeto de este trabajo.

El último trabajo empírico que se revisa en esta sección tiene que ver justamente con esa resistencia, en el contexto de un sistema educativo en el que las nuevas formas de evaluación está mucho más extendido que en México.

Smith y Gorard reportan resultados de un estudio sobre las reacciones de alumnos que participaban en un proyecto que incluía la práctica de no dar calificación  numéricas,  como  suele  hacerse,  para  desalentar  la  tendencia  a trabajar en función de la nota, y no por un interés intrínseco por el aprendizaje. Cuando se preguntaba a esos estudiantes cómo se sentían, las respuestas eran diversas, pero:

(…) un número considerable de alumnos tenían opiniones bastante negativas, particularmente porque, en su opinión, el hecho de no recibir calificaciones no les permitía saber cómo orientar sus esfuerzos…   cuando se preguntaba si los comentarios que recibían eran útiles, la mayoría opinaba que no les daban suficiente información para saber cómo mejorar. Tampoco pensaban que el recibir calificaciones estigmatizaría a los de bajo rendimiento… el deseo de recibir calificaciones era tan fuerte que algunos admitían que intentaban calcularlas. Esto era particularmente marcado en materias como matemáticas y lengua, en relación con las cuales los chicos admitían que sumaban las palabras bien deletreadas en pruebas de vocabulario, para calcular la calificación que habrían recibido. (Smith y Gorard)



Extraído de
Martínez Rizo, F. (2012). Investigación empírica sobre el impacto de la evaluación formativa. Revisión de literatura. Revista Electrónica de Investigación Educativa,
14(1), 1-15. Consultado en http://redie.uabc.mx/vol14no1/contenido-martinezrizo12.html


lunes, 12 de noviembre de 2012

Evaluación, adopción de decisiones y cambio educativo

Si buscamos evaluar para obtener mejoras ¿Qué sucede con los resultados de las evaluaciones? ¿Son tenidos en cuenta en el momento de tomar decisiones políticas? ¿De qué manera influyen en el cambio educativo?




Existe una estrecha relación entre el juicio de valor sobre una realidad educativa y la orientación para la posible adopción de decisiones. En el imaginario de los evaluadores opera la creencia de que sería deseable que las informaciones que proceden de evaluaciones rigurosas sirvan como referente principal en las decisiones de los políticos para orientar los proyectos educativos. 

Sin embargo, como fácilmente puede constatarse por la experiencia de evaluadores y de políticos, la situación es bien distinta. La razón fundamental no es tanto el rechazo de los resultados de las evaluaciones, sino el hecho de que las decisiones políticas han de tener en cuenta diferentes fuentes de información, necesitan tomar en consideración las demandas, justificadas o no, de los actores concernidos por la decisión, aconsejan negociación y consenso en muchas ocasiones, han de tener en cuenta objetivos políticos generales y no deben olvidar las repercusiones sociales de la decisión. La valoración del momento y de la oportunidad, así como la necesidad de aunar fuerzas, son condicionantes importantes de las decisiones políticas. En este juego de fuerzas en las que se mueven las decisiones políticas, lo que hoy parece acertado porque resuelve un problema inmediato, mañana se vuelve equivocado porque ha abierto otros muchos problemas. No es extraño por todo ello que no pocos evaluadores consideren que los resultados de las evaluaciones van por un lado y las decisiones políticas por otro, y que los políticos tienden en demasía a utilizar la información proporcionada por las evaluaciones al servicio de sus intereses inmediatos. 

Las limitaciones que se acaban de apuntar de la capacidad de las evaluaciones para influir en las decisiones políticas no deben ser motivo de desánimo. Sería una concepción demasiado estrecha considerar que la evaluación solo puede intervenir en la mejora de la educación a través de su influencia en el ámbito de las decisiones políticas. Los resultados de las evaluaciones influyen en la realidad educativa por muy diversas vías, entre las que sin duda es preciso destacar la referida a las decisiones en el ámbito de la política educativa. Pero hay otras muchas formas en la que se constata su influencia en el cambio educativo: en su impacto en el funcionamiento de las instituciones, en su efecto en las actitudes, creencias y comportamientos de los docentes, en el mayor compromiso de determinadas instituciones como la familia o los municipios y en el tipo de mensajes que transmiten los medios de comunicación. Todas estas instituciones, sectores y personas pueden a su vez influir en los tomadores de decisión, por lo que no se debe olvidar que la información que procede de las evaluaciones se mueve por caminos diversos e inesperados. 

La política educativa y la evaluación pueden establecer relaciones recíprocas, pero ambas pueden a su vez influir en otros agentes e instituciones educativas y en la propia actividad educadora. Este tipo de efectos puede realizarse de forma coordinada o de forma independiente por falta de comunicación o de entendimiento. Lo que determina el impacto real de la evaluación por una vía o por otra es la consistencia y relevancia de la información obtenida, así como la forma y persistencia de transmitir la información a los distintos sectores educativos. Al final, lo importante no es tanto la manera como se utiliza la información, sino el impacto que provoca en los sectores implicados. 

Desde esta perspectiva, los evaluadores deberían comprender cómo trabajan los responsables políticos, cuáles son sus limitaciones y cómo adoptan decisiones. Pero también sería necesario que tuvieran en cuenta qué tipo de instituciones y agentes tienen mayor incidencia en el cambio educativo, cómo se llega a ellos y qué barreras han de superarse para que los resultados de las evaluaciones tengan efecto en el sistema educativo. Los modelos sobre la utilización de la evaluación han de ampliarse al análisis de su impacto y este debería incorporar también una teoría sobre el cambio educativo. 

Estas razones avalan la importancia de conocer las características del receptor de la información, así como el papel de los intermediarios de la misma: supervisores, directores, asesores y líderes de opinión en campo social y educativo. La atención a los medios de comunicación es primordial para conseguir el efecto deseado, por lo que debería cuidarse la precisión del mensaje que se quiere transmitir, algo que suele ser contrario al estilo habitual de los titulares periodísticos. 

La importancia otorgada a la influencia de las evaluaciones en muy diversas formas en los distintos ámbitos del sistema educativo, desde los responsables políticos hasta los profesores, pone de relieve una nueva función de la evaluación que, sin olvidar las ya mencionadas, debería tenerse en cuenta: la iluminación de la realidad educativa con el fin de facilitar su compresión e interpretación, sugerir orientaciones a los diversos sectores implicados en función de su responsabilidad y favorecer su participación para garantizar un mayor compromiso con sus resultados. Este planteamiento puede facilitar las relaciones en ocasiones difíciles entre la evaluación y la política educativa.





Extraído de
Los resultados de las evaluaciones y su papel en las políticas educativas
Autor
Álvaro Marchesi


domingo, 4 de noviembre de 2012

Diferentes relaciones entre Evaluación y Política Educativa

Desde este blog se ha afirmado siempre la necesidad de evaluar, y todo debe ser objeto de una mirada en búsqueda de mejorar, pero ¿Puede una evaluación mantenerse independiente de las políticas educativas? ¿En qué consiste la autonomía del evaluador?




Los programas y proyectos de reformas que han de ser evaluados proceden de decisiones políticas, los juicios de valor que se reflejan en los informes de evaluación contactan con los juicios de valor presentes en la arena política y las orientaciones que se derivan de las evaluaciones se incorporan también al debate político. A pesar de los esfuerzos de los evaluadores de mantener la máxima neutralidad posible, es necesario ser conscientes de las permanentes implicaciones políticas que las evaluaciones conllevan. 

En un sugerente trabajo sobre las relaciones entre evaluación y política, Karlsson y Konner describen tres perspectivas sobre dichas relaciones:

  • la primera posición sostiene que es posible y deseable separar evaluación y política;
  • la segunda, que es posible separar evaluación y política cuando se proporciona información, pero que no lo es cuando se proporcionan juicios de valor y que además no es conceptualmente deseable;
  • la tercera posición mantiene que no es ni posible ni deseable, operacional y conceptualmente, separar la evaluación de la esfera de la política. 

No corresponde a este texto analizar cada uno de estos enfoques, aunque se trata de argumentar a favor de una posición que se aproxima a la tercera de ellas. De lo expuesto en estas páginas se deduce que la concepción tradicional del evaluador como científico objetivo y neutral que se enfrenta a la realidad con sus propias herramientas técnicas y metodológicas, sin contaminarse con las disputas políticas que le rodean, es difícilmente sostenible. El evaluador está inmerso en el debate político que afecta a las reformas y a los programas que son objeto de su trabajo y ha de ser consciente de los diferentes intereses que están en juego e incluso que él mismo, con sus propios valores, forma parte de esos intereses. Como señalan Karlsson y Konner, la mejor imagen de un evaluador es la de un profesional bien entrenado, que trabaja en un contexto con implicaciones implícitas o explícitas políticas, culturales y personales que influyen en todas las fases del proceso de evaluación, y que mantiene una actitud respetuosa con las diversas posiciones en juego. 

La autonomía de la evaluación
Las relaciones entre evaluación y política son en múltiples ocasiones asimétricas, sobre todo cuando los evaluadores dependen del poder político o cuando existe el riesgo de que determina das valoraciones puedan erosionar la confianza política y provocar la marginación en futuras evaluaciones. Por ello no es fácil que el evaluador mantenga su independencia de criterio. Su mayor o menor autonomía dependerá de su propia capacidad, pero también de la forma de trabajo de los poderes públicos. En función del tipo de interacción que se establezca entre ambos se podrán abrir o cerrar los caminos de una cooperación fructífera. 

Entre las capacidades de los evaluadores está la consistencia teórica y técnica con la que presenten sus proyectos, su visión para situarse en la arena política, su habilidad para negociar en las diferentes fases del proceso de evaluación y su sensibilidad ante la diversidad de interpretaciones posibles, pues los estudios educativos difícilmente presentan conclusiones incontestables. 

Por su parte, la forma de trabajo de los poderes públicos está en función de su grado de respeto a la autonomía de los proyectos de evaluación, de su nivel de aceptación de la información crítica a sus proyectos y de su sensibilidad para tenerla en cuenta a la hora de adoptar decisiones, de su capacidad de impulsar el debate y la participación, del reconocimiento de que el apoyo y la formación a los equipos responsables de la evaluación es una buena inversión, y de la voluntad de asegurar la coordinación de las evaluaciones para mejorar su interpretación y ofrecer una visión progresivamente integradora de la diversa realidad educativa. 

Participación y diálogo
Por todo ello, la comprensión de las diferencias entre la esfera de la política y la esfera de la evaluación, así como de sus continuas interacciones, junto con una actitud que fomente el diálogo y la participación, contribuyen a garantizar el logro de las finalidades de la evaluación, especial mente iluminar la realidad educativa y colaborar en su transformación. La comunicación ha de mantenerse entre los poderes públicos y los evaluadores, pero también entre ellos y los diferentes agentes e instituciones educativas. El apoyo a redes diversas en las que se debatan los resultados de las evaluaciones, en las que se recojan propuestas y sugerencias y en las que sea posible la crítica y las posiciones alternativas supone un respaldo al proceso de evaluación y una forma de contribuir a su utilización y a su impacto. 

La posibilidad de comunicación y de discusión enriquecedora se refuerza cuando se acepta la existencia del pluralismo en el seno de las evaluaciones, de manera similar a como está presente en la realidad social, cultural, educativa y política. Los proyectos de evaluación pueden orientarse desde diferentes opciones ideológicas, científicas y técnicas y conectar en mayor o menor medida con las plurales opciones políticas. La conciencia de esta situación ayuda a un diálogo enriquece dor. Esta defensa del pluralismo no conduce a situar en el mismo nivel a todas las evaluaciones. Aquellas que se orientan por los valores de calidad, equidad, participación, inclusión educativa y cohesión social son, a juicio del autor del presente texto, las que mejor contribuyen al logro de sus finalidades. 

El evaluador debe ser consciente de que su trabajo está inmerso en debates científicos a los que debe hacer frente, pero que también está concernido con cuestiones políticas y éticas de las que no puede evadirse. La respuesta coherente a estas demandas fortalece su figura profesional y amplía el impacto educativo y social de su tarea.







Extraído de
Los resultados de las evaluaciones y su papel en las políticas educativas
Autor
Álvaro Marchesi

lunes, 29 de octubre de 2012

Los impactos no deseados de la evaluación en educación

Desde este blog siempre hemos destacado la importancia de evaluar en Educación, se trata de aplicarlas en todos los niveles, desde el de los alumnos, hasta el del sistema. En cuanto a estas últimas ¿Debemos cuidarnos de algunas consecuencias no positivas? ¿Cuáles son? ¿Qué hacer?

Cuando se prioriza una lectura ético-política de los sistemas nacionales de evaluación se hace necesario un análisis profundo de las consecuencias que los mismos tienen, sus impactos en las prácticas educativas, en el desarrollo del currículo, en los centros educativos, en los docentes, en los alumnos y en sus familias. Desde este punto de vista hay dos aspectos a considerar, el primero es si tienen un impacto positivo, el segundo se refiere a aquellos efectos no deseados o no contemplados que los sistemas de evaluación pueden tener.

En cuanto al primero de ellos, lo que los sistemas de evaluación aportan al cambio y a la mejora educativa, debemos decir que no es un asunto en el que haya pleno consenso. Está claro que no todo sistema de evaluación de la calidad de la educación pretende o puede generar cambios o mejoras, o aportar para que esto suceda.
 
En cuanto a los efectos no deseados, son muchos los análisis que se han realizado. Dentro de la óptica que se está priorizando en este artículo, la mirada ética-política de los sistemas de evaluación, es imprescindible un análisis profundo de los impactos no deseados o no contemplados que los sistemas nacionales de evaluación tienen o pueden tener a distintos niveles. En este caso, sólo se hará mención a tres aspectos.
 
En primer lugar, se ha escrito mucho sobre cómo influyen los operativos de evaluación en las prácticas educativas, haciendo que las mismas busquen adaptarse a las exigencias que los procedimientos de evaluación demandan. El efecto del ranking o la “fabricación de jerarquías de excelencia”, que subyacen a estas lógicas, ejerce una presión sobre las prácticas educativas en general y los profesores en particular. Esta situación supone una significativa devaluación del currículo. Siendo este el principal referente, públicamente construido, se ve seriamente sometido a las tensiones que los procesos de evaluación externa generan.
 
Las tensiones entre ambos, el currículo como elemento esencial de la política educativa y los sistemas nacionales de evaluación, como supuesto complemento para la concreción y mejora del anterior, son continuas y constantes dentro de las prácticas y los debates en este terreno. En consecuencia, llevando la situación a un extremo, nos encontramos con una verdadera alteración de los procesos democráticamente admitidos para el diseño y desarrollo de políticas públicas. Si los sistemas nacionales de evaluación terminan devaluando el currículo a través de las prioridades que establece y del uso que hace de los resultados que obtiene, nos encontramos con una situación preocupante, en tanto no son ellos los que tienen el poder para determinar las políticas.

En segundo lugar, otro efecto importante, tiene que ver con el refuerzo de las situaciones de desigualdad e injusticia que en muchas ocasiones se generan a partir del uso de los resultados. El efecto ranking suele reforzar situaciones de desigualdad que son anteriores a las mismas evaluaciones, aumentando así la situación de vulnerabilidad existente en el punto de partida, objetivada ahora por esta práctica de evaluación y de difusión de resultados.

En tercer lugar, y en la misma línea recién mencionada, es igualmente preocupante el poco reconocimiento que estos sistemas de evaluación de la calidad de la educación y difusión de los resultados aportan a los esfuerzos que muchos países y centros realizan para mejorar la educación que ofrecen. Los procesos de evaluación estandarizados, como se ha visto, suelen caracterizarse por medir resultados al margen de la evolución y de los progresos de aprendizajes, al no tomar en cuenta los puntos de partida les resulta imposible generar un conocimiento que permita reconocer este tipo de aspectos.

Son muchos los efectos o impactos no deseados que podrían ser analizados aquí; sin embargo no se ampliará sobre los mismos, aunque sí es necesario insistir en la necesidad de contemplar estos efectos; el hacerlo es clave para generar procesos de evaluación de la calidad educativa que aporten más beneficios que dificultades.


Extraído de
La racionalidad de las políticas de evaluación de la calidad de la educación
HÉCTOR A. MONARCA
Grupo de Investigación sobre Políticas Educativas Supranacionales, Universidad Autónoma de Madrid, España
En Revista Iberoamericana de Educación
n.º 59/1 – 15/05/12



domingo, 21 de octubre de 2012

¿Qué entendemos por autoevaluación institucional?


Desde este blog hemos proclamado la importancia de las evaluaciones en la escuela, considerando además todos los planos que puede asumir. Uno de ellos es el de la Institución en su conjunto, y más particularmente consideraremos la opción de la autoevaluación ¿En qué consiste? ¿Cuáles son sus características? ¿Qué condiciones la posibilitan?


En principio, concebimos la Autoevaluación Institucional como una oportunidad para repensar el o los sentidos de la institución escolar y alcanzar sus finalidades formativas.

Diferentes definiciones de autoevaluación nos introducen en el concepto y también nos permiten incursionar en las distintas perspectivas y posibilidades que se le abren a una institución educativa que desea aprender. Podemos decir, entonces, que vale para generar conocimiento más profundo acerca de una determinada realidad. Este conocimiento requiere de la formulación de interpretaciones acerca del valor del quehacer cotidiano de los miembros de la organización. El desafío es promover una reflexión colectiva para producir cambios que impulsen un constante proceso de mejora.



Al encarar un proceso de Autoevaluación Institucional cada organización puede asumir diferentes modalidades. Para dirigirlo, por ejemplo, representantes de todos los estamentos de una institución conforman un comité, o se agrupan en su totalidad, bajo el compromiso de participación activa y responsable de directivos y demás miembros. Se define para su realización una serie de dimensiones, áreas y aspectos que será analizada en su totalidad, o en parte, según el acuerdo de sus miembros. De este modo, se aprecia gran similitud entre la evaluación y la investigación, las que a pesar de tener diferentes fines comparten las mismas técnicas e instrumentos.

Sin embargo, no acotamos el desarrollo de dicho proceso a una cuestión exclusivamente técnica, aunque resaltamos su relevancia. La Autoevaluación Institucional es también una acción ética y política. En este sentido, se transforma en una necesidad para sostener la función pedagógica con calidad a la vez que genera un contexto de trabajo colaborativo.

Podríamos resumir el concepto afirmando que se trata de un proceso complejo que supone una acción reflexiva y valorativa sobre una serie de aspectos organizativos, curriculares, contextuales, de gestión, por ejemplo, que interactúan para lograr la calidad del centro. Es a partir de esa información generada en conjunto que se da la comprensión de las situaciones y se definen con mayor claridad las estrategias de mejora.

Características de la Autoevaluación Institucional
No todos los procesos de AI asumen las mismas características, las que dependen del modelo que se pone en práctica y de las condiciones del sistema educativo en que tienen lugar. No obstante, podemos resaltar los siguientes rasgos distintivos:

• Los actores de la organización escolar son quienes conducen e implementan el proceso.

• Se pueden procurar asesores o personal externo en el proceso solo si fuera necesario y existieran dificultades de gestión.

• La finalidad es fortalecer los mecanismos de autorregulación institucionales.

• Las dimensiones, aspectos y criterios utilizados para esta autoevaluación son previamente seleccionados por la propia institución.

• Su producto es un informe de autoevaluación con acciones de mejora a ser implementadas para optimizar la calidad de la formación y finalidades educativas que se persiguen.

Condiciones que posibilitan la Autoevaluación Institucional
Las condiciones que hacen posible la autoevaluación son:

• La cultura de la participación. Es necesario comprender cómo construirla.

• La voluntad política para realizar la Autoevaluación Institucional sin la cual esta fracasa.

• El compromiso y la participación activa de los miembros de la comunidad durante todo el proceso.

• La viabilidad del acceso a la información a ser analizada.

• El apoyo del personal técnico para el procesamiento de la información.

• La utilización de los resultados para proponer los planes de mejora.




Extraído de
LA AUTOEVALUACIÓN INSTITUCIONAL Y LA CULTURA DE LA PARTICIPACIÓN1
N. E. LANDI, M. E. PALACIOS
REVISTA IBEROAMERICANA DE EDUCACIÓN. N.º 53 (2010), pp. 155-181

sábado, 13 de octubre de 2012

¿Qué entendemos por el proceso de evaluación de la calidad de los centros preescolares?

¿Qué significa medir la calidad de los centros educativos, y particularmente los preescolares? ¿Se trata de medir cantidad de conocimientos? ¿Es un proceso meramente cuantitativo? ¿Es necesario enfatizar en lo malo? ¿Cómo caracterizar la acción de evaluar?




Analizaremos especialmente la palabra evaluación, reconociendo que en la función de evaluadores externos, asumimos una postura no únicamente teórica, sino también política y social. Lo que a su vez tiene repercusiones directas sobre las características de los instrumentos diseñados, la utilización de la información obtenida mediante la observación directa en contexto, las formas de llegar, entrar y establecer contacto para la comunicación con los integrantes del centro preescolar.

Creemos que la educación preescolar es un proceso vivo que cotidianamente se expresa en el contexto del centro y del aula. De tal forma, que la evaluación tendría que constituir una mirada atenta, articulada y reveladora de la esencia dinámica y totalizadora del proceso educativo.

A diferencia de la práctica estática y parcial de la evaluación del conocimiento escolar del educando, la cual depende del paradigma desde donde se concibe el aprendizaje y la práctica educativa. Por ejemplo, desde una perspectiva conductista se esperaría calificar midiendo cuantitativamente el conocimiento por acierto y error. Mientras que desde una perspectiva constructivista, reconociendo las limitaciones de la evaluación cuantitativa para determinar el conocimiento del alumno, se recurre a una evaluación comprensiva y cualitativa, sin embargo, en ninguno de los dos casos, se resuelve el asunto de la acreditación formal que exige invariablemente un sistema numérico o alfabético, pera traducir el resultado de la evaluación a un dato puramente cuantitativo.

Reconociendo que ese dato cuantitativo ha sido validado y legitimado socialmente para asignar becas o aplicar la cláusula de exclusión para aquellos alumnos que no cumplen con el requisito del criterio evaluador aprobatorio de la escuela. Aún más, no obstante el discurso educativo hace referencia al proceso enseñanza-aprendizaje, la evaluación se centra exclusivamente en la calificación del desempeño del educando.

Estas observaciones no niegan ciertas prácticas incipientes de la evaluación cualitativa del educando en la que se incluye también la evaluación el desempeño del docente.

Teniendo presente el peso tan importante de la cuantificación en la evaluación del educando, la cual en vez de fungir como facilitador del aprendizaje de los contenidos escolares, en una condición extrema, constituye una amenaza que califica, aplica juicios sumarios y persigue enfatizando lo negativo, con la consecuente represalia de la reprobación. Por lo que, utilizar la misma palabra de evaluación en el contexto de la ‘evaluación de la calidad de la educación preescolar’, significa algo distinto y contrapuesto, caracterizada por una serie de atributos, por lo que la acción de evaluar sería:

          Mirar y escuchar de manera sensible, comprensiva y empática el quehacer educativo en todas sus dimensiones.

          Alentar una práctica de la observación y la auto-observación que conlleve más naturalmente a la evaluación y a la auto-evaluación.

          Capacitar al evaluador en su función de observador participante y no ajeno.

          Promover entre evaluador y evaluado la corresponsabilidad y el compromiso no sólo por el resultado de la evaluación misma, sino también por los procesos involucrados en el quehacer educativo.

          Identificar, valorar y apreciar las fortalezas del observado, evaluado.

          Reconocer que la función de la evaluación no es sólo observar al otro para calificar, obtener datos y difundirlos. Por el contrario, considerar de manera indispensable y prioritaria alentar que los resultados de la evaluación sirvan para alimentar el proceso de permanente cambio del quehacer educativo en su contexto y momento.

          Fortalecer una práctica de la observación y la auto-observación como una característica inherente al proceso del quehacer educativo mediante el acompañamiento a lo largo del proceso mismo.


En suma, la evaluación se constituye como un instrumento necesariamente útil para conocer, retroalimentar y reorientar el cómo llevar a cabo el quehacer educativo.









Autores: Clotilde Juárez-Hernández; Pastor Hernández, Olga Porras, María de los Ángeles Contreras, Elena Negrete, Carmen Hernández, Diana Arellano, Clara Frías, Elizabeth Mora y Mayte de Lassé

Profesores de la Universidad Pedagógica Nacional de México especializados en Educación Preescolar.

Este trabajo es un producto derivado del Seminario sobre la Calidad de la Educación Preescolar, auspiciado por la Universidad Pedagógica Nacional y conducido por Robert Myers y Francisco Martínez, con la participación del equipo de investigación del Programa de Escuelas de Calidad Preescolar en el Distrito Federal, coordinado por Clotilde Juárez Hernández, Profesora titular de tiempo completo de la UPN, responsable del proyecto de evaluación PEC-P DF.
Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs