viernes, 31 de mayo de 2013

Juicio crítico en la metaevaluación educativa

Toda institución educativa debe evaluarse, para poder mejorar. Al efectuar un juicio crítico a una evaluación debemos dirigirnos a diversos participantes ¿Qué opiniones deben ser tenidas en cuenta? ¿Qué debemos preguntarnos?



El metaevaluador se dirige a los evaluadores, pero también al patrocinador y a las diversas audiencias de la evaluación. Es importante elegir cuidadosamente al metaevaluador, ya que su independencia así como las garantías de independencia que ofrece, son el fundamento de un trabajo riguroso.

Puede elegirse a una persona afín al paradigma de la evaluación realizada o bien a alguien que se halle situado en posiciones diferentes. Tendría dudosa eficacia elegir a alguien poco sensible al modelo de evaluación con el que se ha trabajado. La elección puede realizarla el patrocinador en connivencia con los evaluadores o bien alguna de estas partes de forma independiente.

Es obvio que el metaevaluador realizará el trabajo desde la óptica de su peculiar visión de lo que ha ser un proceso de evaluación. Debería explicitar en su informe cuáles son los presupuestos de los que par te. Además, ha de disponer de toda la documentación escrita de la evaluación: documentos de negociación, informes, cuadernos de campo, etcétera. Y puede entrevistar a las personas que hayan participado en la evaluación.

Conviene tener en cuenta que la evaluación es todo el proceso, no únicamente el informe final. Por eso es necesario seguir las pistas de revisión disponibles. O, mejor aún, comenzar el proceso de metaevaluación de forma paralela a la evaluación misma. El metaevaluador hace juicios, pero también plantea sugerencias y preguntas. Ese tipo de enfoque ayuda a los evaluadores tanto descubrir las limitaciones como a mejorar su trabajo; pone un espejo para que los evaluadores puedan ver con más precisión cuál ha sido su manera de proceder. Mediante ese espejo –que el metaevaluador (dada su condición de independiente y dado el tiempo de que dispone para hacer el trabajo) coloca de forma precisa– el evaluador puede verse de manera más rigurosa.

Opinión de los protagonistas
Los protagonistas de la evaluación tienen las claves del proceso. Saben si se han respetado las reglas, conocen cómo se han aplicado los métodos, quiénes han sido los agentes de la negociación de los informes, etcétera. Recabar por escrito o verbalmente su opinión sobre el proceso de evaluación es un modo excelente de comprobar el rigor y pueden realizarlas no sólo los evaluados sino también los evaluadores. Unos y otros contrastan esas opiniones que en algún caso se publican como complemento del informe. Las opiniones y las actitudes de los protagonistas pueden modificarse a lo largo del proceso de evaluación. Es interesante saber cómo y por qué se ha producido ese cambio.

Para que las opiniones sean sinceras es preciso crear un clima de libertad en el que se puede expresar sin ambages lo que se piensa. De lo contrario, no tendrán ningún valor o, lo que es peor, ofrecerán pistas falsas de análisis. Los protagonistas pueden plantear cuestiones relativas al proceso, al rigor de la aplicación de los métodos y de la utilización de los datos y, también, sobre los aprendizajes realizados.

No conviene distanciar mucho esta exploración a los protagonistas de la realización de la evaluación, si es que se efectúa una vez terminada. Digo esto porque la separación en el tiempo hace olvidar selectivamente partes de lo que ha sucedido. Pueden recabar esta opinión no sólo los evaluadores sino otras personas que tengan independencia respecto del proceso realizado. Ese hecho ofrecerá mayores garantías de sinceridad y, por consiguiente, de rigor.

Indicadores confirmados
Aunque cualquier experiencia, programa, institución o actividad de carácter educativo son diferentes a otros, existen hallazgos de la investigación que pueden ser vir de referentes para el contraste. Lo cual no significa que, si los resultados de una evaluación difieren de lo previamente descubierto, haya de considerarse ésta poco rigurosa. Puede ser vir para avivar la reflexión y revisar de forma concienzuda todo el proceso.

En relación con el soporte sobre el cuál establecer los juicios de valor, algunos autores recomiendan la utilización de indicadores de rendimiento. Entienden por tales, los datos empíricos –ya sean cuantitativos o cualitativos– recogidos de forma sistemática en relación con ciertas metas o procesos que nos permiten estimar la productividad y/o funcionalidad de un sistema. El procedimiento de los indicadores trata de dar sistematicidad a la recolección y credibilidad a los resultados. La formulación de los indicadores encierra una gran dificultad pero, sobre todo, el problema reside en el establecimiento de una doble correspondencia: la que se pretende conseguir entre los indicadores y los programas y la que su atribuye al programa concreto con los indicadores formulados.

Si se tiene en cuenta que cada programa es único e irrepetible, será difícil establecer algunos indicadores genéricos. La evaluación de los programas a través de la comprobación de los objetivos o la consecución de indicadores deja al margen preguntas de gran calado: ¿Y si los objetivos estaban mal planteados? ¿Si se consiguen de forma inmoral? ¿Si se logran de manera excesivamente costosa? ¿Si se impide que los protagonistas propongan sus propios objetivos? ¿Por qué no se han conseguido los objetivos? ¿Podrían haberse planteado otros mejores (más razonables, más justos)? ¿Si se han producido efectos secundarios negativos? ¿Para qué sir ven esos objetivos? ¿Han existido medios suficientes para alcanzarlos? Otros problemas intrínsecos a la utilización de indicadores radican en los criterios de selección de los mismos, en su aplicación y en la interpretación de la información que aportan.

El control democrático de las evaluaciones
Cuando la evaluación se convierte en un juego que comparten sigilosamente los patrocinadores y los evaluadores, existen pocas garantías de credibilidad. Por eso resulta imprescindible que los informes se hagan públicos. Son los ciudadanos los que, en definitiva, tienen el control del proceso. Conocen no sólo los contenidos de los informes sino las características que ha tenido todo el proceso.

La devolución de informes a los protagonistas, la negociación de los mismos y la difusión del texto final a los ciudadanos es una parte fundamental del control democrático de la evaluación. Esta seguridad salvaguarda a priori de muchos abusos y, a posteriori, es un excelente medio para conocer y mejorar la práctica evaluadora. Cuando los evaluadores utilizan un lenguaje indescifrable para los evaluados y para las diversas audiencias interesadas por la educación, están robando el conocimiento a los ciudadanos. La evaluación se convierte así en un mecanismo de poder que utilizan a su antojo los que pueden y los que saben.

El control democrático de la evaluación no sólo se centra en el análisis de una experiencia aislada sino en el nivel macro de la cuestión. Los aspectos centrales sobre los que plantea el control podrían sintetizarse en las siguientes: ¿qué evaluaciones se hacen?, ¿quién decide que se realicen?,¿por qué en ese momento preciso?, ¿qué finalidades las inspiran?, ¿qué principios éticos las guían?, ¿qué rigor tienen?, ¿a quién se encargan? ¿cómo y con quién se negocian?, ¿para qué se utilizan?, ¿quién las conoce?, ¿qué efectos producen?, ¿cuánto cuestan?, ¿quién tiene el control?

Mientras más amplia sea la extensión de los ciudadanos, más democrática será la metaevaluación. McDonald, preguntaba en una sesión de trabajo celebrada en la Universidad de Málaga: “Quién decide, conoce, opina y utiliza la evaluación? La respuesta a esta cuestión se aproxima a las exigencias democráticas cuando es del siguiente tipo: todos”. En la medida en que algunos privilegiados (sean éstos patrocinadores, evaluadores o informantes) tengan especial acceso a los datos o capacidad para hacer con ellos lo que deseen, se tratará de una evaluación autocrática. La participación de los ciudadanos en las cuestiones relativas a la educación (en todas sus fases: planificación, acción, evaluación, etcétera) es una garantía de su buen uso.

Por eso resulta importante que los evaluadores se comprometan con los patrocinadores a entregar informes a los evaluados y a otras audiencias. De no hacerlo así, el evaluador devolverá los informes al patrocinador que hará con esa información lo que considere oportuno.



Autores
Miguel Ángel Santos es catedrático de Didáctica y organización escolar de la Universidad de Málaga, campus de Teatinos 29071, Málaga, España.
Tiburcio Moreno es investigador del Centro de Investigación en Ciencias y Desarrollo de la Educación (CINCIDE) de la Universidad Autónoma del Estado de Hidalgo, México.
En
¿EL MOMENTO DE LA METAEVALUACIÓN EDUCATIVA? CONSIDERACIONES SOBRE EPISTEMOLOGÍA, MÉTODO, CONTROL Y FINALIDAD
Revista mexicana de investigación educativa, octubre-diciembre, año/vol. IX, número 023
COMIE
Distrito Federal, México pp. 913-931

lunes, 27 de mayo de 2013

Sentimientos y evaluación escolar

¿Para qué sirve la escuela? ¿Qué pueden encontrar un alumno en ella? ¿Cuidamos la inteligencia emocional? ¿La tenemos en cuenta al evaluar? ¿Utilizamos las herramientas adecuadas?



Raras veces nos preguntamos por los sentimientos de los demás. En la escuela sólo hay espacios y tiempos para la cultura, el saber. Cuando nuestros hijos llegan del colegio, nosotros y nosotras preguntamos: ¿Qué has aprendido? Pero casi nunca: ¿Te lo has pasado bien? Como si fuéramos a clase sólo para aprender conocimientos teóricos y no importara hacer amigos y/o ser feliz.

Howard Gardner es un eminente y prestigioso profesor de cognición y educación que allá por los años ochenta formuló una novedosa teoría. Gardner estableció ocho tipos diferentes de inteligencia. Éstas son: inteligencia lingüística, lógico-matemática, visoespacial, para el medio ambiente, musical, kinestésico-corporal, inteligencia interpersonal y la intrapersonal. La inteligencia interpersonal hace referencia a las capacidades de un individuo para relacionarse con los demás. La inteligencia intrapersonal está referida a la habilidad de una persona para relacionarse consigo misma, es decir, la relación de estima y conocimiento que tiene sobre sí misma. Esto quiere decir que alguien puede ser un excelente escritor (inteligencia lingüística) y sin embargo, un mediocre matemático (inteligencia lógico matemática); o que alguien tenga una habilidad excepcional para comunicarse con los demás (inteligencia interpersonal) y, sin embargo, sea una persona acomplejada (inteligencia intrapersonal).

Años más tarde a la formulación teórica de Gardner, apareció un libro titulado "Inteligencia emocional". Su autor, Daniel Goleman, recogía en un apartado las inteligencias interpersonal e intrapersonal como una sola llamada: inteligencia emocional. Este autor considera que para triunfar en la vida es necesario tener desarrollada tal inteligencia. Hoy en día, cada vez más, vamos adquiriendo conciencia de su importancia. Por ejemplo, podría ser que un chico fuera excepcional en la escuela, es decir, que obtuviera excelentes calificaciones, pero. ¿Sabemos que será feliz? ¿Qué será capaz de no frustrarse ante un no como respuesta? ¿Qué sabrá decir que no cuando algo no le parezca adecuado? ¿Sabemos si se aceptará a sí mismo o estará acomplejado porque su físico no coincida con los patrones establecidos por el mundo de la moda y la belleza? ¿Sabemos que se querrá a sí mismo o se autodestruirá con críticas culpabilizadoras cada vez que le ocurra algo?

Todo lo expuesto viene a colación porque actuamos como si no fueran importantes las emociones, las sensaciones. Como si fuera suficiente con ignorarlas y apartarlas de los centros educativos para que no estén.

Una vez conscientes de su relevancia llegaríamos a un segundo paso: enseñar a reconocer y organizar las emociones. Si no tenemos en cuenta los sentimientos de nuestros alumnos en los procesos educativos no estaremos fomentando el desarrollo emocional de los estudiantes. Es la evaluación la que más sentimientos negativos desencadena al respecto.

Se evalúa sin valorar qué siente nuestro alumno. Emociones como la indefensión, miedo a suspender o la propia valoración que hace el individuo a raíz de la evaluación son sólo algunos de ellos.

El alumno se siente indefenso cuando no tiene otra alternativa. No se le ofrecen varias posibilidades para evaluar su aprendizaje. Sólo una y en ella se lo juega todo. El instrumento utilizado es siempre un examen. Se usa para valorar los aprendizajes de veinticinco personas diferentes, veinticinco contextos diferentes, veinticinco tipos de inteligencias, veinticinco capacidades y actitudes diferentes. Un único elemento evaluador. Es como si existiera una única talla de ropa sin tener en cuenta que hay personas bajas, altas, gruesas, delgadas, alérgicas a ciertos tejidos, etc.

El sentimiento de indefensión está unido a la autoridad que el docente ejerce en el aula. Si es dictatorial, arbitraria e injusta, aumentará la sensación de no estar protegido. Muchas veces, se utiliza la evaluación como elemento de poder al servicio de los docentes que no tienen otra forma de hacerse respetar por sí mismos. Cuando un docente es amado y querido por sus alumnos, el ambiente de clase mejora, porque el estudiante se siente evaluado de forma integral, más justa. Este tipo de evaluación no producirá los mismos efectos.

Pero no es el único sentimiento nefasto que provoca. El suspenso también es mal utilizado al servicio de la evaluación y sus consecuencias hay que sopesarlas tranquilamente. El suspenso es un castigo. Los padres del alumno le regañarán, sus profesores lo valorarán de forma diferente, sus propios compañeros de clase pueden apartarlo del grupo. Suspender tiene consecuencias aciagas para el niño. Es un fracaso. Se siente miedo a ser separado del grupo si repites, a ser etiquetado como "menos listo".

Claro, sería asombroso que después de lo anteriormente expuesto el estudiante no varíe el concepto que tiene de sí mismo. Cada uno de nosotros nos formamos unas expectativas sobre lo que somos capaces de hacer. Si la familia y/o la escuela proyecta o deja entrever que no lo ven capacitado para algo, nunca lo hará.

A base de años vamos introduciendo, formando en el alumno una falsa visión de lo que es y a lo que puede aspirar. Es en estos casos cuando la evaluación degrada el propio concepto del individuo. Sin embargo, actúa como reforzador de la autoestima cuando el alumno triunfa en la escuela.

Conclusión
Muchas veces, las familias y las escuelas vivimos obsesionadas por los resultados que obtienen nuestros hijos y alumnos. Sin embargo, debemos preguntarnos para qué evaluamos, qué pretendemos valorar. Si la respuesta es sólo los conocimientos, si el valor de la educación es moneda de uso y cambio (Santos Guerra), es decir, yo estudio unos determinados contenidos y me dais un título, es posible y repito, sólo posible que estemos utilizando el instrumento adecuado. Si, por el contrario, la respuesta es el desarrollo integral de los individuos, debemos pensar sobre la importancia de que nuestros alumnos e hijos sean personas saludables y felices, debemos pensar sobre el modo de llevarlo a cabo, y por supuesto, el modo de valorar todos estos aprendizajes.
Una forma de mejorar sus sentimientos positivos en la evaluación es cambiando el papel tan pasivo que tienen, como por ejemplo, elegir democráticamente varias posibilidades de llevarla a cabo (adaptada a la edad de nuestros alumnos) y también valorar otros puntos como la situación familiar y social del alumno, sus intereses, etc.

No olvidemos que un ser humano feliz en su entorno, a gusto consigo mismo, no cargará con lastres psicológicos (complejos, traumas) que sean un impedimento para desarrollar su potencial a lo largo de su vida.

"Muchas veces, se utiliza la evaluación como elemento de poder al servicio de los docentes que no tienen otra forma de hacerse respetar por sí mismos. Cuando un docente es amado y querido por sus alumnos, el ambiente de clase mejora, porque el estudiante se siente evaluado de forma integral, más justa. Este tipo de evaluación no producirá los mismos efectos".

"A base de años vamos formando en el alumno una falsa visión de lo que es y a lo que puede aspirar. Es en estos casos cuando la evaluación degrada el propio concepto del individuo".

"El suspenso es un castigo. Los padres del alumno le regañarán, sus profesores lo valorarán de forma diferente, sus propios compañeros de clase pueden apartarlo del grupo".



Autora
Juana Muñoz Ruiz
Pedagoga
Fuente
Revista CEAPA
Número 86.

jueves, 16 de mayo de 2013

El rigor de la evaluación


Ante cualquier evaluación institucional en Educación, una de las actividades metaevaluativas más importante, ronda en torno del rigor de la misma ¿Las evidencias extraídas son justas o arbitrarias? ¿Qué criterios de rigurosidad podemos tener en cuenta?


La metaevaluación se pregunta por el rigor. ¿Es fiable el conocimiento extraído de la evaluación o es fruto de la arbitrariedad, de los intereses y de la torpeza? Existe un problema que consiste en trasladar los términos y conceptos de la evaluación experimental a la de carácter cualitativo. La servidumbre del paradigma etnográfico ha hecho que se haya copiado y trasladado el modelo de validez interna.

“En sentido amplio –dice House – entiendo por validez la cualidad de merecer reconocimiento”. Ahora bien, cada modelo de evaluación hace una interpretación de lo que ha de entenderse por validez. House habla de ocho tipos o modelos de evaluación. Cuatro son calificados de “objetivistas” por su epistemología, y son los enfoques del análisis de sistemas, de objetivos, de decisión y la evaluación que prescinde de objetivos. En mayor o menor grado, todos basan su explicación de validez en métodos explícitos.

Las peculiaridades genéricas de estos cuatro modelos de evaluación podrían sintetizarse en las siguientes:

1) se derivan de la tradición teórica empírica de las ciencias sociales;
2) se manifiestan neutrales desde el punto de vista axiológico;
3) basan su pretensión de validez en métodos explícitos calificados de científicos;
4) se valora mucho en ellos la fiabilidad de la medida;
5) su fuerza está en el rigor del método prescrito, no en las interpretaciones; y
6) se valora mucho la posibilidad de confirmar las hipótesis.

Otros cuatro enfoques son calificados como “subjetivistas”. El método crítico, y los enfoques de revisión profesional, cuasijudicial y del estudio de casos. Éstas son algunas de las características fundamentales de los métodos subjetivistas en lo que se refiere a su validez:

1) fundan su presunta validez en la apelación a la experiencia y no al método científico;
2) suponen que el saber es, en gran medida, tácito más que explícito;
3) es muy importante la significación y la interpretación;
4) se asume que cada evaluador y cada lector son capaces de establecer conclusiones de forma individual;
5) lo que es válido para una persona puede no serlo para otra;
6) la evaluación ha de ser comprensible para los destinatarios;
7) están internamente ligados con la visión fenomenológica de la persona; y
8) la exactitud de la descripción y la utilidad para los destinatarios son conceptos clave.

Cada uno de los modelos tiene ciertas exigencias para garantizar la validez. La tarea del metaevaluador consiste en analizar todos estos presupuestos, es decir, que deberá tomar en cuenta el modelo de evaluación utilizado y, además, ir más allá para poner sobre el tapete sus limitaciones. La forma de pensar y de actuar del evaluador tienen que ir acompañadas de rigor en la manera de recoger la información al igual que de consistencia en el análisis de los datos. No basta una intención noble y sincera, ni un compromiso con los valores de la sociedad. Es necesario el rigor en la manera de acercarse a la realidad, de escuchar lo que “dice” y de interpretarlo de forma rigurosa y creíble. Existen, desde nuestra perspectiva, cinco modos de responder a esta cuestión, aunque no todos son de la misma naturaleza ni tienen la misma importancia para solucionar el problema epistemológico y metodológico:

Criterios de rigor
Es necesario garantizar el rigor de la evaluación, tanto en la cuantitativa como en la cualitativa, aunque el concepto de validez tenga una diferente acepción en un caso y otro.

El concepto de validez, de acuerdo con Hopkins, consiste en que los evaluadores demuestren que las observaciones que registran y analizan corresponden a lo que pretenden registrar y analizar. La falta de validez se debe a errores sistemáticos. La fiabilidad consiste en evitar las fluctuaciones aleatorias en las observaciones que registran, la carencia de fiabilidad se produce a causa de errores aleatorios. Esencialmente, la fiabilidad está relacionada con la consistencia de los resultados y se refiere al requisito de que cualquier otro evaluador o el mismo en otra ocasión podrá replicar la evaluación original, consiguiendo datos comparables.

McCormick y James hablan de dos tipos de fiabilidad: la interjueces, que alude al grado de acuerdo entre dos evaluadores que registran sus observaciones del mismo fenómeno o de fenómenos iguales o similares, y la intrajuez que se refiere a la consistencia de las observaciones del mismo evaluador en distintas ocasiones.

Es evidente que cada una de estas definiciones se acomoda de forma distinta a la evaluación cuantitativa y a la cualitativa. Cuando hablamos de replicar una evaluación, está claro que nunca habrá dos situaciones idénticas si nos referimos a una exploración etnográfica. Cada experiencia es única, irrepetible, situada en un contexto peculiar, sometida a expectativas e influencias diversas, etcétera. Lo anterior no quiere decir que la evaluación cualitativa tenga menores exigencias o que sea menos rigurosa que la cuantitativa. Cada una tiene su peculiaridad y su problemática. Así como las pruebas de la validez parecen más claras y definitivas en la evaluación cuantitativa, no es menos cier to que hay que poner en cuestión el rigor de la medición en fenómenos difícilmente cuantificables y aislables.

La aparentemente más rigurosa forma de comprobar la validez en las evaluaciones cuantitativas, no es de ningún modo absoluta e indiscutible. Es exclusivamente estocástica, se basa en la probabilidad. Hemos de remitirnos a Guba para plantear esta cuestión ya que su artículo, alejado ya en el tiempo, sigue siendo un punto de referencia. Dice Guba que no existen criterios absolutos que garanticen el rigor, pero que podemos tener indicadores de su presencia. Una de las preocupaciones más importantes respecto de cualquier evaluación son los criterios de credibilidad. ¿Tienen calidad los datos, gozan de rigor las conclusiones? Sin estas preguntas, todo el edificio se viene abajo.
El contagio de la más arraigada y difundida investigación experimental ha pesado, y sigue haciéndolo, sobre las concepciones del diseño, del desarrollo y de los criterios de validez interna. Por eso se buscan criterios de parecida naturaleza (y a veces con la misma terminología) a los de la investigación cuantitativa. Es un error, ya que la tipología de los procesos es diferente.
No hay un criterio absoluto de credibilidad. Ninguno de ellos constituye una segura e inequívoca prueba de rigor. Lo cual no quiere decir que no sea necesario preguntarse por los indicadores que dan fiabilidad a la indagación.


Autores
Miguel Ángel Santos es catedrático de Didáctica y organización escolar de la Universidad de Málaga, campus de Teatinos 29071, Málaga, España.
Tiburcio Moreno es investigador del Centro de Investigación en Ciencias y Desarrollo de la Educación (CINCIDE) de la Universidad Autónoma del Estado de Hidalgo, México.
En
¿EL MOMENTO DE LA METAEVALUACIÓN EDUCATIVA? CONSIDERACIONES SOBRE EPISTEMOLOGÍA, MÉTODO, CONTROL Y FINALIDAD
Revista mexicana de investigación educativa, octubre-diciembre, año/vol. IX, número 023
COMIE
Distrito Federal, México pp. 913-931

viernes, 10 de mayo de 2013

Cultura escolar

¿En qué consiste la “Cultura escolar”? ¿Cuáles son sus elementos más visibles? ¿Afecta todo esto la forma de evaluar?, entonces, como parte de ella ¿Qué es la “Cultura de la evaluación escolar”? ¿Qué significado tiene “la cultura del test”?

  

La expresión "cultura escolar" ha sido introducida en el ámbito histórico–educativo en la segunda mitad de los noventa del siglo pasado por historiadores de la educación, en general europeos, que trabajan en el campo de la historia cultural y del currículo o desde sus enfoques y perspectivas. No todos la usan, sin embargo, con los mismos propósitos y significados.

 
Uno de los primeros en utilizar esta expresión fue Dominique Julia, quien considera la cultura escolar como "un conjunto de normas que organizan las ramas del conocimiento y los comportamientos que se tienen que observar en la escolarización, como un conjunto de prácticas que permiten la transmisión de tal conocimiento y la integración de tales comportamientos".

 
También se emplea la expresión "cultura escolar institucionalizada", entendida como "el conjunto de teorías y prácticas sedimentadas en el seno de la institución escolar a lo largo del tiempo". Su apropiación y asimilación explicaría la inercia del profesor que reproduce mecánicamente, por mimetismo y sin distancia crítica, lo que ha visto hacer. Es, pues, desde esta "cultura", y con sus experiencias pedagógicas y su formación, que el docente organiza el "cuerpo a cuerpo" de la clase y lleva a la práctica los objetivos pedagógicos de la escuela, demostrando así la utilidad y la eficacia real de la tradición institucional.

 
La cultura escolar tiene un poder generador y un carácter relativamente autónomo con relación a las disciplinas escolares. La noción de cultura escolar, en este caso, no alude a la cultura que se adquiere en la escuela, sino a la cultura que no se adquiere más que en la escuela. No es, pues, aquella parte de la cultura global que se difunde por la escuela a las nuevas generaciones, sino una cultura específicamente escolar en sus modos de difusión, desde luego, pero también en su origen y en su configuración. Sería una forma de cultura sólo accesible por mediación de la escuela, una creación específica de la escuela que transmite saberes y conductas que nacen en su interior y llevan las marcas características de dicha cultura.

 
Con lo anterior se destaca:
a) el carácter relativamente autónomo de la cultura escolar: la escuela no se limita a reproducir lo que está fuera de ella, sino que lo adapta, lo transforma y crea un saber y una cultura propios;

b) la importancia de las disciplinas escolares en cuanto productos específicos o creaciones propias de la cultura escolar, y resultado de la mediación pedagógica en un campo de conocimiento.

 
La cultura escolar cabría observarla a través del día a día, del ritual de la vida de la escuela y de factores medio ambientales tales como: el uso del uniforme, el horario, la división del curso en periodos lectivos y vacacionales, la distribución y usos de los espacios escolares, los objetos y el mobiliario del aula, el sistema graduado basado en la edad y la graduación de las materias, las jerarquías internas establecidas, el sistema de sanciones, estímulos y recompensas, las formas de evaluación, la estructura de la lección de clases, etc. El carácter básico de la cultura escolar, en esta concepción etnográfica de la misma, sería su continuidad.

 
El relativo fracaso de las reformas educativas, que se suceden unas tras otras arañando sólo superficialmente lo que ocurre en los centros escolares y en las aulas, se debe, entre otras causas, a un presentismo ahistórico que ignora la existencia de unas culturas escolares formadas por regularidades y tradiciones que gobiernan la práctica y organización de la enseñanza y el aprendizaje, y que constituyen un producto histórico (Viñao).

 
En este sentido, el concepto de cultura escolar guarda cercanas similitudes con el de gramática de la escuela —grammar of schooling— acuñado por Tyack y Cuban en su estudio sobre las reformas educativas en Estados Unidos en el siglo pasado. Para estos autores, la gramática común de la escuela es notablemente duradera y su establecimiento no se debe tanto a un conservadurismo consciente sino más bien a unos hábitos institucionales no examinados y unas difundidas creencias culturales acerca de lo que constituye una "verdadera escuela".

 
Según Viñao, los elementos más visibles que conforman la cultura escolar son los siguientes:
a) Los actores, es decir, los profesores, los alumnos, los padres y el personal administrativo y de servicios. A los primeros, por la posición especial que tienen, les corresponde el papel más relevante en la conformación de la cultura escolar. De ahí la importancia de conocer su formación, modos de selección, carrera académica, categorías, estatus, asociación, composición social por edades o sexos, ideas y representaciones mentales, entre otros aspectos, así como su grado de profesionalización en relación con unas materias o disciplinas determinadas.

 
b) Los discursos, lenguajes, conceptos y modos de comunicación utilizados en el mundo académico y escolar. Incluye el léxico o vocabulario, las fórmulas y pautas lingüísticas, las expresiones y frases más utilizadas, las jergas y el peso respectivo de lo oral, lo escrito, lo gestual y lo icónico en el aula, fuera de ella y en los modos de evaluación.

 
c) Los aspectos organizativos e institucionales. Entre éstos tienen una especial relevancia:
1) las prácticas y rituales de la acción educativa: la graduación y clasificación de los alumnos, la división del saber en disciplinas independientes y su jerarquía, la idea de la clase como un espacio–tiempo gestionado por un solo maestro, la distribución y usos del espacio y del tiempo, los criterios de evaluación y promoción de los alumnos, etc.;

2) la marcha de la clase, es decir, los modos, a la vez disciplinarios e instructivos, de relación y comunicación didáctica en el aula entre profesores y alumnos y entre los alumnos; y

3) los modos organizativos formales —dirección, claustro, secretaría, etc.— e informales —tratamiento, saludos, actitudes, grupos, prejuicios, formas de comunicación, etc.— de funcionar y de relacionarse en la escuela.
 

d) La cultura material de la escuela: su entorno físico–material y objetos (espacios edificados y no edificados, mobiliario, material didáctico y escolar, etc.).

A modo de síntesis, se puede afirmar que la cultura organizativa puede ser vista como "el modo en que hacemos las cosas por aquí". Resulta difícil de aprehender y también elusivo, porque está en gran medida implícito y sólo vemos los aspectos superficiales. A menudo, únicamente empezamos a conocer la cultura de una escuela cuando rompemos una de sus reglas tácitas. Las reglas y rituales abundan en los centros educativos. Metáforas, costumbres, rituales, ceremonias, mitos, símbolos, historias y sentido del humor constituyen facetas de la cultura imperante en la escuela.

 

Si queremos introducir una innovación en la escuela —en este caso en cuanto a la evaluación educativa— que tenga visos de prosperar, se debe prestar atención a la organización y contextos sociales en que estos cambios serán introducidos. Prestar escasa atención a la cultura escolar en la que la innovación se busca implementar es condenarla al fracaso, pues cuando una cultura trabaja en contra, es prácticamente imposible conseguir algo.

 
Cultura de la evaluación
Si dentro de la cultura de la escuela existe una dimensión que revela mejor la existencia de creencias, mitos, ritos, etc., que se resisten al cambio, esa dimensión es la evaluación. Los rasgos tradicionales de esta cultura se ven reforzados cuando la enseñanza está centrada en contenidos que con frecuencia resultan excesivos e irrelevantes, lo que impide un aprendizaje significativo al promover un tratamiento superficial de aquéllos. Esta enseñanza, entendida como transmisión de información, tiene su correlato en un tipo de aprendizaje acrítico y mecánico, así como en una evaluación que busca verificar la capacidad del alumno para responder de memoria a las preguntas o enunciados formulados por el docente.

 
Nuestro sistema educativo afronta un fuerte problema de fracaso escolar —más acentuado en los niveles de secundaria y bachillerato— que hunde sus raíces en buena medida en un enfoque erróneo del proceso evaluador, que frecuentemente se realiza siguiendo unas tradiciones y cánones que están al margen de los planteamientos educativos contemporáneos. Como bien señala Buckman: "Algunos profesores construyen pruebas que son tan vacías que no evalúan nada".
 

Los exámenes que los profesores usan para calificar son un elemento determinante de la idea que los alumnos tienen de lo que exige la escuela y, por ende, de lo que es importante según la cultura que ésta promueve (Vera y Esteve).

 
Es probable que muchos profesores no tengan formación para la docencia, que carezcan de tiempo o de medios suficientes para cambiar sus concepciones y desechar o reemplazar sus viejos hábitos, métodos y procedimientos de evaluación, pero si se quiere cambiar la manera de aprender, hay que cambiar la manera de enseñar, y un elemento clave de la forma en que un profesor enseña es su sistema de evaluación (Moreno Olivos).
 

Lo cierto es que la mayor parte de nuestros profesores no promueve en el aula una enseñanza para la comprensión en la que los contenidos sean vistos como una forma de entender el mundo, sino que generalmente éstos son abordados como hechos aislados, clasificaciones, definiciones y convenciones que el alumno adquiere y después no sabe cómo utilizar. El educando se limita a memorizar tales datos hasta el momento del examen y luego los olvida, al carecer de fuerza explicativa para comprender la realidad.

 
Hoy sabemos que la actual generación de alumnos tendrá que cambiar de empleo de cinco a siete veces durante su vida laboral. El pensamiento crítico y el convertirse en aprendices a lo largo de toda la vida deben ser factores decisivos en la educación y no la promoción de un aprendizaje rutinario.

 
En la cultura del test del siglo pasado, los profesores eran vistos como cuidadores del conocimiento, el cual tenían que transferir a las cabezas de los alumnos. De acuerdo con Birenbaum, la cultura de la evaluación está en sintonía con el enfoque constructivista de la educación. En este enfoque, el aprendizaje es visto como un proceso a través del cual el aprendiz crea significado. El profesor no es una persona que transfiere conocimiento, sino alguien que provee oportunidades para que los aprendices usen el conocimiento y las habilidades que ellos ya poseen a fin de lograr la comprensión de nuevos temas. Se espera que el profesor provea tareas interesantes y cambiantes que motiven a los alumnos a aprender.
 

La enseñanza es enormemente compleja. Los profesores necesitan comprender cómo construir conocimiento en formas muy cuidadosas desde puntos de partida diversos, para alumnos que tienen diferentes estrategias de aprendizaje y distintos antecedentes de lenguaje, familiares y culturales. Suministrar únicamente pruebas estandarizadas, recolectar datos y aplicar incentivos, no funciona. De hecho, mientras más estandarización y prescripción del currículum se logra, es probable que se consiga menos aprendizaje.

 

 

Extraído de
La cultura de la evaluación y la mejora de la escuela
Autor
Tiburcio Moreno Olivos
Universidad Autónoma del Estado de Hidalgo.
Miembro del Sistema Nacional de Investigadores nivel 1.  

 

viernes, 3 de mayo de 2013

Obstáculos para el cambio en Evaluación

Los hábitos de evaluación en una institución educativa, son parte de su cultura ¿Cuáles son? ¿Se trata de creencias que favorecen los aprendizajes? ¿Se evalúa profesionalmente? ¿Hay que cambiar los fines de la evaluación? ¿Por qué se constituyen en obstáculos?

 

Si la cultura de una escuela constituye el nivel más profundo de las suposiciones y creencias comunes a los miembros de una organización, que actúan de manera inconsciente, y que definen el estilo básico de "dar por sentada" la visión que una organización tiene de sí misma y de su contexto; entonces, para cambiar la evaluación debemos desentrañar esa cultura escolar a fin de poder comprenderla mejor.
 

Un punto central para el cambio es desmontar un conjunto de concepciones y prácticas que conforman la herencia de la evaluación, las cuales representan un legado fuertemente arraigado en buena parte de nuestras escuelas, y que como una pesada rémora, obstruyen la mejora de la evaluación.
 

Practicar la evaluación desde el sentido común
Uno de los obstáculos principales es pensar que los docentes, por el simple hecho de serlo, saben bien cómo evaluar el aprendizaje de sus alumnos. La experiencia ha demostrado ad nauseam que ésta es una falsa creencia. Lo cierto es que la mayoría de los profesores no sabe cómo evaluar a sus alumnos y en la práctica —de modo involuntario— comete muchos errores, que a veces, incluso, rayan en la arbitrariedad.

 

Así, las prácticas cotidianas de evaluación parecen estar basadas más en la experiencia propia o en el sentido común que en un conocimiento científico o en buenas prácticas cuya efectividad haya sido probada. No hay que perder de vista que el aprendizaje es demasiado complejo y la evaluación demasiado imperfecta para dar cuenta de esa complejidad.

 
Hace falta profesionalizar al docente como evaluador, pero esta situación no es privativa de nuestro país; en los Estados Unidos de Norteamérica, país considerado como la cuna de la evaluación, el panorama no es más halagüeño:

Los hallazgos indican que en la mitad de los Estados no se requiere tener competencia en evaluación para obtener la licencia de profesor, con lo que dejamos a una nueva generación de maestros sin una parte esencial de la formación que necesitan para mejorar el logro del alumno y aumentar su bienestar.

 

El profesor juega un papel importante para el cambio de la evaluación, pero esto no resulta una tarea sencilla ya que existen diferencias significativas entre los profesores en las "disposiciones" para el cambio.

 
Los profesores, como los estudiantes, también necesitan oportunidades para llegar a convertirse en aprendices poderosos, reflexivos y activos, antes que respondientes pasivos a dictados externos. En una "sociedad del aprendizaje" todo el mundo necesita llegar a estar, y mantenerse, comprometido con el aprendizaje. Si la evaluación potencialmente representa la llave para lograrlo, en la actualidad también constituye el obstáculo más grande.

 
Concebir el cambio en la evaluación como un asunto intelectual
El cambio en evaluación —como todo cambio en educación— es un asunto complejo que va más allá de la formación (que desde luego en estos casos resulta fundamental); se trata de que el profesorado esté dispuesto a hacer una apuesta seria por un cambio en sus concepciones y prácticas, lo cual exige al menos tres condiciones:

1) Tener conocimiento, es decir, tener acceso a nuevos contenidos (teorías, conceptos, modelos, metodologías) que le permitan innovar su evaluación.

2) Querer cambiar. Este elemento es esencial porque apela a la dimensión afectiva del individuo (sentimientos, motivaciones, disposiciones). Si un docente tiene conocimiento pero no se compromete con el cambio ("sé cómo hacerlo, pero no quiero hacerlo") poco se puede esperar. Movilizar al profesorado para que quiera hacer las cosas de una manera diferente es el gran desafío. Se dice que hay programas de formación "a prueba de profesores" porque después de haber tomado un curso o taller, al volver al aula el peso de la inercia y la rutina hacen que todo siga igual o casi igual. No hay compromiso con el cambio ni la convicción de que merece la pena siquiera intentarlo.

3) Poder cambiar. De poco vale tener conocimiento (formación) y estar comprometido con el cambio (buena disposición), si en su centro de trabajo no existen condiciones reales para que el profesorado pueda poner en práctica los nuevos aportes aprendidos.
 

Para que los centros escolares se muevan en la dirección deseada, las autoridades responsables deberán crear las condiciones mínimas que lo hagan posible, brindando los apoyos necesarios para que los profesores puedan iniciar y sostener en el tiempo la innovación de la evaluación en el aula. La motivación y el acceso a nuevas oportunidades para continuar aprendiendo a lo largo de la vida, por parte del profesorado, resultan esenciales.

 
Hacer muchas evaluaciones
Un punto al que ya hemos aludido al inicio de este artículo es la efervescencia de la evaluación que estamos viviendo en el sistema educativo. Se evalúa en todos los niveles y modalidades educativas de forma recurrente: al inicio, durante y al final del periodo lectivo. Por ejemplo, un alumno de primaria contesta en promedio cinco exámenes externos durante un curso escolar. Pareciera que si evaluamos mucho, eso traerá como consecuencia inevitable la consabida "calidad" de la educación, o que en automático se elevarán los niveles de rendimiento escolar de los alumnos. Pero la realidad se empeña en demostrarnos lo contrario. Los resultados de las pruebas del Programa para la Evaluación Internacional de Alumnos (PISA, por sus siglas en inglés) y la prueba ENLACE (Evaluación Nacional del Logro Académico en Centros Escolares) en nuestro país, revelan que las evaluaciones no están contribuyendo a elevar los niveles de logro de aprendizaje de los alumnos.
 

Claro, habrá quien diga que estas pruebas nacionales estandarizadas no han sido diseñadas ni aplicadas con esta finalidad. Pero entonces surgen preguntas inevitables ¿gastamos tanto dinero en evaluaciones que finalmente no nos dicen cómo podemos mejorar la enseñanza y el aprendizaje? ¿Es ético derrochar los escasos recursos en evaluaciones que sólo sirven para confirmar lo que ya sabemos: que los niños pobres e indígenas de este país son los que obtienen los peores resultados educativos? Y todo esto mientras tenemos escuelas primarias indígenas, multigrado y telesecundarias en condiciones materiales deplorables que carecen de lo elemental (agua potable, personal de limpieza, paredes, piso firme, profesores.. .), donde no existe un ambiente adecuado que motive a los alumnos para querer aprender algo.
 

Fomentar la pasividad del alumnado mediante los test o pruebas estandarizadas
Enseñar a los alumnos para responder las pruebas estandarizadas causa problemas en el aula y en el ambiente de aprendizaje. Un problema principal es que la estandarización tiene la consecuencia negativa de convertir a los alumnos en aprendices pasivos. Ellos no se sienten implicados en el proceso de aprendizaje; más bien, son forzados a comprometerse con la memorización del material que se les enseña. El aula se convierte en una tierra estéril de yermo y tortura, al tiempo que se ignora el tema de la responsabilidad de los alumnos en su propia educación. En este escenario se menciona que:

...enseñar para las pruebas estandarizadas es una consecuencia inevitable de la presión administrativa por la medición de los resultados. Consecuentemente, los estudiantes son orientados para dar una respuesta "correcta" antes que para pensar por sí mismos y convertirse en aprendices creativos.

 
Confundir las funciones de la evaluación
La evaluación tiene distintas funciones que responden a finalidades diferentes. Hasta aquí no existe objeción alguna, la dificultad surge cuando a algunas de estas funciones se les asignan propósitos distintos a los que originalmente tienen.

 
Las funciones que cumple la evaluación pueden ser varias: la rendición de cuentas del subsistema encargado de la formación de maestros en el país, aunque también puede ser la clasificación y jerarquización, ya sea de las escuelas, de los alumnos o de ambos, para colocarlos en un ranking según la puntuación obtenida en el examen. En fin, como hemos mencionado, la evaluación puede cumplir distintas funciones, pero lo que debe quedar claro es que todas éstas son funciones administrativas, no pedagógicas.
 

Precisamente, el problema estriba cuando a este tipo de evaluaciones se le quieren atribuir funciones pedagógicas, y por tanto, se espera que sus resultados sirvan para la mejora de la enseñanza y el aprendizaje en el aula. Esto es casi como pedirle "peras al olmo", porque estas evaluaciones desconocen la historia, el contexto y la cultura de cada escuela; ignoran la formación y la experiencia (o falta de ésta) de los profesores; las características y condiciones de los alumnos y el ambiente en el que aprenden (o dejan de hacerlo), etc., por tanto, no pueden servir para un propósito distinto para el que han sido concebidas y suministradas.

 
Nosotros no negamos el valor de las pruebas estandarizadas. Sabemos que de alguna manera obligan a los alumnos, profesores y administradores para conseguir altos estándares académicos, y en este sentido, ciertamente, pueden hacer que los esfuerzos sean más productivos para muchos. Tales pruebas proporcionan a los educadores oportunidades para reflexionar sobre qué se logró y qué no se pudo lograr, para lo cual será necesario que los docentes tengan acceso a los resultados y que éstos se les presenten en un lenguaje comprensible, considerando que ellos no están familiarizados con le jerga técnica de los evaluadores y expertos en medición.
 

Pero no hay que echar en saco roto la advertencia, que al respecto se nos hace, desde el vecino país del norte:

Los resultados de este tipo de evaluación pueden servir para informar políticas y para tomar decisiones sobre programas educativos importantes. Pero tales pruebas por sí mismas no pueden producir la deseada mejora de la escuela porque los test no tratan directamente con asuntos de la efectividad del profesor o de la motivación del estudiante.

 
El uso de los resultados de la evaluación
Generalmente cuando se aborda el tema de la evaluación, el énfasis se suele poner en dos elementos de cualquier modelo evaluativo: qué se evalúa (contenidos) y cómo se evalúa (métodos, técnicas e instrumentos) y se dejan fuera otros componentes que son tanto o más importantes que los referidos. Uno de esos elementos es qué se hace con los resultados de la evaluación. En nuestro medio, muchas veces, esta cuestión suele obviarse. Una respuesta habitual de los profesores apunta a un uso administrativo de los resultados: "otorgar calificaciones a los alumnos". Esto en relación con las evaluaciones de aula que ellos construyen y aplican a sus alumnos.

 
En cuanto a la difusión de los resultados de las pruebas a gran escala, se reconoce que aún cuando "la fase actual de evaluación es más abierta, esto no necesariamente significa que se cumpla con la función pedagógica de promover una tarea formativa, ni con la función retroalimentadora inherente a la acción de evaluar" (Díaz Barriga).

 
El éxito de los alumnos es el resultado de combinar el uso de información procedente tanto de la evaluación formativa como de la sumativa, pues hay evidencias de que ellos tienen la capacidad para hacer un uso efectivo de los datos de la evaluación. Podemos ganar mucho si admitimos a los alumnos en el "jardín guardado" de la evaluación, de modo que ellos tengan poder para dirigir y conducir su propio aprendizaje (Stiggins).

 
Sin embargo, en la actualidad mucho del desarrollo de la evaluación está en otra dirección completamente; los datos que genera son usados para servir a los profesores, líderes escolares, administradores y políticos de la educación, antes que para apoyar a los alumnos en la toma de decisiones acerca de cómo mejorar su aprendizaje. En este sentido, se menciona que "el examen del funcionamiento de los sistemas indica que, por lo general, el uso principal [de los resultados de la evaluación] se relaciona con la toma de decisiones administrativas, asignación de cursos, estímulos económicos, promoción" (Luna).

 

 

Extraído de
La cultura de la evaluación y la mejora de la escuela1
Autor
Tiburcio Moreno Olivos
Universidad Autónoma del Estado de Hidalgo.
Miembro del Sistema Nacional de Investigadores nivel 1.   
Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs