miércoles, 31 de julio de 2013

Contextos para una metaevaluación educativa


Podemos considerar a “metaevaluación” como “el después de la evaluación”, o bien como una “evaluación de la evaluación”, en ambos casos es posible tomar diversos planos de análisis, en este caso de la evaluación de Instituciones Educativas ¿Por qué se llevó a cabo? ¿Cómo se justifican los resultados? ¿Cómo se presentan y valoran?


No basta interrogarse sobre la calidad de los datos que se recogen en el informe o sobre el rigor de los métodos que se han aplicado para extraer información, sino que es preciso preguntarse por la naturaleza de la iniciativa, por la finalidad del proceso, por las reglas éticas que lo han inspirado, por la utilización que se ha hecho de la información, por el control democrático de los informes, por las secuelas que la evaluación ha dejado. Plantearé seis contextos básicos de exploración que permiten analizar ideas en el marco concreto y temporal de su desarrollo. Aunque todos están interconectados, seguiré su cronología evolutiva.

1) Contexto de constitución
Estudia los mecanismos de generación de la evaluación, de surgimiento y negociación de todo el proceso. La historia de la génesis es muy interesante porque en ella pueden encontrarse los embriones de posteriores situaciones y actitudes. No es lo mismo una iniciativa surgida de la jerarquía e impuesta, que otra que parte de los protagonistas. No es lo mismo una iniciativa que procede de los directivos de una institución, que otra que parte de los integrantes de la comunidad. En ese contexto cabe incluir todo el proceso de negociación. Con quién se hace, qué contenidos aborda, qué problemática surge y cómo se trata.

En la negociación inicial está el mapa genético de la evaluación. Hay que diferenciar negociaciones meramente formales, de otras que llegan hasta el fondo de las cuestiones. Hay que saber si se ha negociado lo insustancial dejando lo fundamental como incuestionable.

Cuestiones
¿Quién y por qué ha tomado la iniciativa de hacer la evaluación? ¿Qué intereses (explícitos o implícitos) determinan la puesta en marcha de la evaluación? ¿Con quién se ha negociado la evaluación? ¿Ha sido una negociación real o meramente protocolaria y formal? ¿Ha estado la evaluación planteada como un mecanismo de poder o de control?

2) Contexto de justificación
Analiza los métodos elegidos para la obtención de los datos, su aplicación, la información a que han dado lugar y el tratamiento que se ha hecho de ella. Del rigor en la selección y aplicación de los métodos se deriva una buena parte del rigor de la evaluación.

Los procedimientos y estrategias utilizados para el desarrollo de la evaluación permiten conocer “el cómo” del proceso. La manera de proceder, la aceleración, el clima, las relaciones, las explicaciones que se ofrecen y que se piden constituyen un elemento importante del entramado de la evaluación. Aquí debe analizarse el tratamiento que se ha hecho de los datos, el rigor de la argumentación utilizada así como la triangulación –si se ha hecho– de la información procedente de distintos sujetos y de diferentes métodos.

Cuestiones
¿Qué tipo de métodos se ha utilizado para hacer la exploración? ¿Se ha adaptado la naturaleza y la secuencia de los métodos a las características de los interesados? ¿Se ha diversificado la metodología para recoger una información más rica y plural? ¿Se ha garantizado el anonimato a los informantes?

3) Contexto de presentación
Estudia, entre otros aspectos, el contenido y la forma de presentación del informe, la adecuación del mismo a las diversas audiencias, la estructura lógica, la coherencia interna, la extensión así como la claridad expositiva.

La elaboración del informe exige rigor en la argumentación que se realiza con los datos recogidos, de manera que no se produzcan silencios indebidos o conclusiones caprichosas. La forma de presentar la información ha de tener como finalidad fundamental la comprensión de los lectores, no la epifanía de la erudición del evaluador.

Cuestiones
¿Cómo se han trabajado los datos recogidos? ¿Se ha hecho triangulación de métodos, de sujetos, de tiempos? ¿Cómo se ha presentado la información? ¿Es inteligible el contenido de los informes? ¿Se han hecho informes diversos para diferentes audiencias?

4) Contexto de negociación
El informe ha de ser entregado a sus destinatarios de forma rápida, cómoda y directa. Al decir directa nos referimos a que tenga carácter democrático y no esté jerarquizada. No es bueno entregar el informe sólo al director de una institución o al responsable del programa. Las condiciones de la negociación han de ser razonables en cuanto al tiempo y a
las formas de discusión. Las actitudes del evaluador permitirán descubrir si se trata de una negociación real o de un simulacro.

Cuestiones
¿Se han entregado los informes en las fechas convenidas? ¿Se ha concedido un tiempo suficiente para su atenta lectura? ¿Se ha negociado democráticamente? ¿Se ha podido hablar con libertad respecto de las cuestiones problemáticas? Si no se ha llegado al acuerdo en alguna cuestión, ¿se ha incorporado el contenido de la discrepancia de los participantes?

5) Contexto de valoración
Analiza las motivaciones, las intenciones, las actitudes, las presiones, los cambios y las vicisitudes que han manifestado los protagonistas durante el proceso de evaluación. En el contexto de valoración se tiene en cuenta el “cómo” se ha realizado todo el proceso. Por protagonistas me refiero, fundamentalmente, a los patrocinadores de la evaluación, los evaluadores y los evaluados. La evaluación puede tener diversas influencias nacidas de actitudes espurias, que es necesario poner de manifiesto, ya que pueden adulterar el sentido y el significado de todo el proceso.

Cuestiones
¿Se han producido cambios respecto del plan inicial? Si se ha producido algún conflicto, ¿cómo se ha afrontado y solucionado? ¿Han existido presiones por parte de algún grupo o persona para dirigir la evaluación? ¿Se ha producido algún sesgo en la utilización de la información?

6) Contexto de difusión
Una vez negociados los informes de la evaluación, ha de procederse a su difusión siguiendo unas reglas que deben estar consensuadas por los protagonistas. Es preciso tener en cuenta los derechos de los ciudadanos a conocer lo que sucede con la educación y, a la vez, el derecho de los profesionales a la privacidad en el ejercicio de su actividad. La demora excesiva, la adulteración de los informes, la selección de alguna de sus partes, la edulcorización de los contenidos, etcétera, son vicios que, si existen, la metaevaluación deberá descubrir y poner de manifiesto.

Cuestiones
¿Se ha hecho público el informe? ¿Se ha consensuado la publicación en todos los aspectos relevantes: contenido, forma, tiempo? ¿Han existido presiones del patrocinador o de los evaluados para eliminar alguna parte del informe? ¿El contenido del informe difundido ha sido claro, breve, conciso y pertinente?

La metaevaluación es una plataforma de discusión que une a patrocinadores, evaluadores, diversas audiencias y a la sociedad en general, que debe conocer no sólo los resultados de las evaluaciones realizadas sobre el funcionamiento de ser vicios públicos sino la metaevaluación que se realiza sobre ellas ya que ésta funciona como la garantía de la calidad de la evaluación. La metaevaluación, como se apunta en el título, tiene que ver con diferentes cuestiones teleológicas, que abordaremos a continuación.


Autores
Miguel Ángel Santos es catedrático de Didáctica y organización escolar de la Universidad de Málaga, campus de Teatinos 29071, Málaga, España.
Tiburcio Moreno es investigador del Centro de Investigación en Ciencias y Desarrollo de la Educación (CINCIDE) de la Universidad Autónoma del Estado de Hidalgo, México.
En
¿EL MOMENTO DE LA METAEVALUACIÓN EDUCATIVA? CONSIDERACIONES SOBRE EPISTEMOLOGÍA, MÉTODO, CONTROL Y FINALIDAD
Revista mexicana de investigación educativa, octubre-diciembre, año/vol. IX, número 023
COMIE
Distrito Federal, México pp. 913-931

miércoles, 24 de julio de 2013

Otras paradojas de la Evaluación Educativa

El discurso pedagógico muestra cierta unanimidad sobre la necesidad de “Evaluar para conocer y mejorar”, pero ¿Qué sucede con las prácticas evaluativas? ¿Son rutinarias? ¿Se evalúa el espíritu crítico? Las siguientes reflexiones de M A Santos Guerra, pensadas para el contexto universitario, sirven para ayudar a nuestras reflexiones.

Aunque se teoriza sobre la importancia de la evaluación para la mejora del proceso de enseñanza, lo cierto es que se repiten de forma casi mecánica las prácticas sobre evaluación.

Resulta chocante la minuciosidad de las repeticiones de las pautas de evaluación que utilizan los profesores. Existe muy poca influencia de lo que ha sucedido en experiencias anteriores, de la opinión de los alumnos, de intercambios con otros profesores o de lecturas que han despertado la reflexión personal. Incluso, los que innovan lo hacen de la misma forma todos los años.

Los estudiantes suelen predecir con bastante exactitud cuál va a ser el tipo de evaluación que va a realizar el profesor. De un año a otro, se suelen repetir las formas de evaluar y los criterios de evaluación.

Los profesores rutinizan con frecuencia sus formas de evaluar. Pocas veces se introducen cambios sustantivos. El aforismo «cada maestrillo tiene su librillo» es especialmente válido en lo referente a la evaluación.

Hay prácticas que deberían conducir, lógicamente, a una revisión de los criterios que las inspiran, pero pocas veces se produce este mecanismo inteligente. Por ejemplo:
Un profesor tiene, año tras año, el 80% de suspensos frente al corto porcentaje de otro compañero que imparte la misma disciplina en un curso gemelo.

Un alumno repite, una y otra vez, una disciplina de primero cuando tiene ya aprobadas las de otros cursos superiores que exigen el dominio de la que no aprueba.

Con un profesor, las calificaciones rozan el sobresaliente general; mientras que con otro del mismo curso, los alumnos tienen un alto porcentaje de suspensos y los demás consiguen un simple aprobado.

Este tipo de fenómenos deberían llevar a un análisis de lo que sucede con un proceso de altísima complejidad que se simplifica de una forma completamente subjetiva.

Paradoja
A pesar de que uno de los objetivos de la enseñanza universitaria es despertar y desarrollar el espíritu crítico, muchas evaluaciones consisten en la repetición de las ideas aprendidas del profesor o de autores recomendados.

La evaluación encierra un poder omnímodo del profesor. No sólo porque éste impone unos criterios establecidos previamente (a veces negociados); sino porque la evaluación consiste en repetir aquello que el profesor considera importante.

¿Cuántas veces se tienen en cuentan los conocimientos aportados por los alumnos en el aula? ¿Qué importancia se concede a las aportaciones críticas de cada estudiante?.

Es sorprendente la poca frecuencia de conflictos respecto a la evaluación. Pocas veces se solicita la intervención de un tribunal de evaluación, sea como reclamación de calificaciones, sea previamente al examen. Existe temor a que el gremio docente actúe en apoyo del profesor a quien se ha reclamado una revisión del examen.

Ésta podría ser una demanda lógica de los alumnos: «Por favor, enséñenos a pensar por nosotros mismos». Pero se transforma en esta otra, tan perniciosa: «Enséñenos a repetir lo que usted dice». La tarea docente debería consistir en ayudar a los alumnos a buscar por sí mismos, a indagar, a investigar, a descubrir la verdad.

Algunas veces a los males de la repetición como estrategia única de evaluación, se le añaden componentes inquietantes desde el punto de vista ético. Me refiero a la exigencia de que contesten a través de las obras que hemos publicado quienes les examinamos. Lo cual exige no sólo que aprendan lo que decimos en los libros, sino que, previamente, los compren.

Cuando los docentes se dirigen a las editoriales para solicitar la publicación de sus libros, suelen ofrecer como argumento las seguras ventas que se producirán entre los alumnos que cursan sus asignaturas.

Muchos alumnos llegan a los exámenes con esta inquietud: ¿qué querrá leer el profesor?; ¿qué espera que le diga?; ¿qué enfoque le parecerá más conveniente?. E incluso: ¿cómo le gusta que se lo exprese?




Autor
Miguel Ángel Santos Guerra
Universidad de Málaga.
En Revista Electrónica Interuniversitaria de Formación del Profesorado
20 paradojas de la evaluación del alumnado en la Universidad española

domingo, 14 de julio de 2013

Otras paradojas de la Evaluación Educativa

Los diversos aprendizajes exigen tareas de diversa naturaleza, y complejidad. Resulta mucho más sencillo evaluar una memorización que una actividad creativa. Ante esto ¿Qué solemos evaluar? ¿Son las actividades más importantes? En otro plano, para la Institución Educativa ¿Quién es el responsable de los fracasos? Los siguientes pensamientos, plasmados por M A Santos Guerra, fueron pensados para el contexto universitario, pero las podemos utilizar en reflexiones válidas para todo nivel.



La evaluación condiciona todo el proceso de enseñanza y aprendizaje. Resulta paradójico que la evaluación potencie las funciones intelectuales menos ricas.

Doyle dice que en las aulas existe una estructura de tareas y una estructura de participación. Cuando habla de las tareas o funciones intelectuales que se ejercitan, hace una relación graduada en orden a la complejidad.
Memorización
Aprendizaje de algoritmos
Comprensión
Análisis
Opinión
Creación

Aunque todas son necesarias, creo que es fácil decir que la complejidad o la riqueza intelectual de estas operaciones, va creciendo de las primeras a las últimas. Sin embargo, si observamos cuáles son las más potenciadas en los exámenes podremos comprobar cómo el orden está invertido.

Téngase en cuenta que, dada la importancia de los procesos de evaluación, el estudio se organiza para dar respuesta a las preguntas que realizan los profesores.

Este hecho acentúa la hegemonía del conocimiento que se imparte y subraya la importancia de la respuesta única. Si resulta decisivo para conseguir un buen resultado repetir fielmente los contenidos de la enseñanza, la forma de estudiar, el estilo del aprendizaje se basará en la memorización.

Este problema llega a su apogeo cuando se utilizan las mal llamadas «pruebas objetivas». ¿Cómo se cultiva a través de ellas la capacidad de síntesis, de análisis, de estructuración, de comparación, de opinión, de creación?

En algunas Facultades circulan documentos con pruebas de años anteriores que los alumnos estudian concienzudamente (algunos, sólo es eso lo que estudian) para salir airosos en los exámenes.

No es difícil suponer que ese esquema tantas veces repetido de escuchar-anotar estudiar-repetir resulte poco atractivo, poco estimulante, tanto para los alumnos como para los docentes.

Resulta paradójico que los alumnos tengan que almacenar en sus cabezas aquello que los profesores les han transmitido teniendo sus apuntes delante.

La simplificación que supone un tipo de corrección a través de la fórmula A E/N-
1 rompe el diálogo sobre la discusión de criterios y la aplicación de los mismos.

Paradoja
Aunque los resultados no explican las causas del éxito o del fracaso, la institución entiende que el responsable de las malas calificaciones es el alumno.

Digo que «la institución entiende» porque me refiero a lo que sucede «de facto». Es decir, habrá alumnos o padres y madres de éstos que consideren que la calificación es injusta, pero son pocos (verdaderas excepciones) los que se deciden a solicitar un examen alternativo o los que piden medios para que la institución haga frente durante el verano a las deficiencias habidas durante el curso. Prefieren esperar una nueva oportunidad o matricularse con otro profesor.

La evaluación brinda información sobre los resultados obtenidos por los alumnos, pero no suele decir nada sobre las causas del éxito o del fracaso. De ahí que se suponga que toda la responsabilidad del fracaso depende de su capacidad, de su interés o de su esfuerzo.

Los procesos atributivos que se plantean respecto al fracaso de los alumnos suelen focalizarse en comportamientos de éstos, y no de los profesores o de la institución.

a. Son vagos.
b. Son torpes.
c. Están mal preparados.
d. No saben estudiar.
e. Están desmotivados.
f. No asisten a clase.

No digo que no exista una parte de responsabilidad en los comportamientos y actitudes de los alumnos, pero resulta curioso que las explicaciones que hacen éstos de las causas de su fracaso apuntan en otras direcciones:

a. No nos interesa lo que explican.
b. Los profesores no saben explicar.
c. Exigen de forma arbitraria.
d. Ponen exámenes tramposos.
e. Corrigen de forma arbitraria.
f. Faltan a las clases.
g. No atienden en las tutorías.

«(...) sistemáticamente, durante cursos y cursos académicos, los docentes solemos leer, en los resultados de la evaluación tradicional, los éxitos o fallos del alumno, dejando de lado todos los restantes cúmulos de variables. Las consecuencias son obvias: exactamente las mismas que tendrían lugar (...) si, habiéndose apagado la luz a causa de que se han fundido los fusibles, nos empeñáramos en que «lo que pasa es que está fundida la bombilla»; podemos dedicarnos a comprar lámparas nuevas, hasta centenares, y sustituirlas en nuestra casa: la luz nunca llegará por ese camino, sólo perderemos tiempo y dinero, a menos que nos dediquemos a plantearnos el interrogante de los porqués de los hechos observados» (Fernández Pérez).

Prueba de que la institución considera que el alumno es el único responsable del fracaso, es que ésta no arbitra los medios necesarios para ayudar a los que han fracasado. Si el alumno ha suspendido porque no ha estudiado, lo lógico es que se ponga a estudiar.

Este tipo de atribuciones escasamente rigurosas ante un fenómeno tan complejo, merma a la evaluación de sus funciones más ricas, a saber:

Diálogo Diagnóstico Comprensión Mejora Aprendizaje
He titulado uno de mis trabajos «Evaluación de los alumnos y aprendizaje del profesorado». En efecto, la evaluación puede ser una fuente de aprendizaje cuando existe apertura para reflexionar críticamente sobre la práctica, y cuando existe una actitud de disposición a la mejora.

Desde la concepción acrítica se potencian las funciones más pobres de la evaluación: MEDICIÓN
COMPROBACIÓN COMPARACIÓN JERARQUIZACIÓN DISCRIMINACIÓN CLASIFICACIÓN

Resulta paradójico, pues, que la función más potente de la evaluación sea la comprobación del aprendizaje que ha realizado el alumno, sin que se avive a través de ella el análisis sobre el proceso de aprendizaje o las condiciones en las que éste se desarrolla.



Autor
Miguel Ángel Santos Guerra
Universidad de Málaga.
En Revista Electrónica Interuniversitaria de Formación del Profesorado
20 paradojas de la evaluación del alumnado en la Universidad española

domingo, 7 de julio de 2013

Otras paradojas en la Evaluación Educativa

Es indiscutible la importancia del rigor científico y la objetividad, pero ¿Se evalúa con idéntico criterio?  ¿Cuál es la calidad de las evaluaciones? ¿Qué parámetros evaluativos se usan? Los siguientes párrafos, de M A Guerra se dirigen a la actividad universitaria, pero pueden apoyar reflexiones extendidas a otros niveles.

Aunque la Universidad se caracteriza por el rigor científico y la exigencia de objetividad, en la evaluación se aplican criterios cuya fijación y aplicación está cargada de arbitrariedad.

Esta paradoja aparece de forma palmaria en la investigación que realizó el profesor Fernandez Përez en la Universidad Complutense.
Los alumnos, en un porcentaje elevado (77%) hablan de arbitrariedad en las calificaciones. Entienden que «en las notas de la carrera hay un factor de azar (lotería, suerte): depende mucho del profesor que te toca».

El 92% de los estudiantes dicen que el tipo de examen que padecen, es la prueba final en la que «te juegas todo a una carta», en lugar de tener la oportunidad de una evaluación continua.

En dicha investigación manifiestan los alumnos, en un elevadísimo porcentaje (98%), que los profesores «carecen de la costumbre de explicar las razones de las notas de las evaluaciones».

«Se da en esto cierta paradoja un tanto esquizofrénica: la Universidad que entroniza verbalmente el rigor científico y la verdad objetiva como criterios prioritarios y casi sagrados de cualesquiera objetivos, he aquí que olvida toda su cientificidad y su rigor intelectual cuando se trata de determinar niveles de aprendizaje en los alumnos, con vistas a su evaluación, siendo así que el diálogo sobre las calificaciones obtenidas en la evaluación podría/debería convertirse en un momento privilegiado de aprendizaje, habida cuenta del contexto psicopedagógico en que dicho diálogo podría enmarcarse» (Fernandez Perez).

Esta sensación de arbitrariedad o de injusticia, según apunta el profesor Fernandez
Pérez en la citada obra, conlleva efectos negativos:

a. La insatisfacción personal fruto de la frustración académica, que irradiará su afecto de agresividad o indiferencia.

b. El aprendizaje latente de que la denominada justicia no es solamente cuestión de razón, sino de poder.

c. Una desconfianza sistemática (preventiva) hacia la evaluación como momento académico en el que no sólo no se aprende algo nuevo, sino que ni siquiera queda uno informado acerca de lo que realmente sabe o ignora.

d. El refuerzo de la desmotivación para el estudio, limitándose a ir pasando las asignaturas «burocráticamente», sometiéndose acríticamente a las exigencias
«para aprobar».

Paradoja
Aunque se dice que hay que preparar a los alumnos para la Universidad, la práctica docente que se lleva a cabo en ella, es de peor calidad que la de los niveles anteriores.

Resulta sorprendente que se insista tanto en la preparación para la Universidad.
¿Qué quiere decir?. ¿Prepararse para sobrevivir en la Universidad?.

La incipiente preocupación por la evaluación de actitudes, de procedimientos, de valores en otros niveles, va perdiéndose hasta que aparece de forma descarnada la preocupación por los resultados obtenidos en los aprendizajes de conocimientos.

Ya sé lo difícil que resulta interpelarse por la evaluación de otras dimensiones, siendo la más sencilla (de conocimientos) tan endiabladamente compleja. No podemos olvidar, no obstante, que hay preocupaciones que deben ir más allá de la preparación técnica de los profesionales.

«Ingenieros bien enseñados, médicos bien ilustrados, enfermeras bien entrenadas, graduados en high-school y en universidades, fueron los que construyeron y alimentaron las cámaras de gas en la Segunda Guerra Mundial» (Ginot, H.G).

Lo cierto es, que en la Universidad se eleva el número de alumnos por aula a extremos inconcebibles en niveles anteriores. ¿No dice claramente este hecho que lo que sucede ahora es que un profesor explica en voz alta y que dentro de unas semanas o unos meses preguntará por lo que se ha aprendido?

Sucede también, que a medida que los profesionales de la enseñanza avanzan en la escala académica, va perdiéndose la preocupación por su preparación didáctica. La docencia resulta así, una actividad inespecífica (Benedito). Lo que hace falta para acceder a ella es haber obtenido buenas calificaciones como alumno, asistido a numerosos Congresos o realizado publicaciones abundantes. ¿Qué tiene todo ello que ver con la dimensión específica de la docencia?. ¿Qué tiene que ver con la ciencia y el arte de enseñar?. ¿Con la complejidad de evaluar?.

Paradoja
Aunque los indicadores de rendimiento se consideran insuficientes para hacer la evaluación de las instituciones, éstos constituyen la piedra angular de la evaluación de las Universidades.

H. R. Kells critica esta progresiva tendencia a la hora de evaluar las instituciones de Enseñanza Superior.
«La triste verdad para el ámbito universitario es que hemos abierto las puertas a la utilización indebida y perjudicial de los indicadores de rendimiento con todos sus posibles daños... No hemos creado, individual ni colectivamente, los sistemas multifacéticos que nos permitan informar a los demás de nuestra eficacia y eficiencia, y que, al mismo tiempo, nos ayudarán a mejorar nuestros servicios y programas de estudios».

J. Elliott llamó oportunamente la atención sobre la identificación de los indicadores como elementos indiscutibles de la calidad.
Las iniciativas que, desde instancias oficiales, se ponen en marcha para hacer la evaluación, han de ser analizadas desde una perspectiva ética y política, no meramente técnica.

«Toda política de evaluación universitaria debe tener en cuenta que la evaluación es un acto de poder, un ejercicio que requiere de legitimidad política» (U. N. Del Litoral).

La medición de resultados con pruebas estandarizadas para realizar clasificaciones (lo que los ingleses denominan assessment) es un grave riesgo para las instituciones educativas (Stronach).

Este tipo de evaluación beneficia a las Universidades privadas, ya que seleccionan sus clientelas, disponen de medios mejores, trabajan con grupos pequeños y luego comparan los resultados académicos de sus alumnos con los de las Universidades públicas.



Autor
Miguel Ángel Santos Guerra
Universidad de Málaga.
En Revista Electrónica Interuniversitaria de Formación del Profesorado
20 paradojas de la evaluación del alumnado en la Universidad española


Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs