jueves, 8 de octubre de 2015

EVALUACIÓN MEDIANTE TEST. LA BASE TEÓRICA: LA TEORÍA DE RESPUESTA AL ÍTEM

Desde este blog hemos insistido en la necesidad de evaluar en Educación ¿Qué evaluar? Todo ¿Para qué? Para conocer, y mejorar. En este contexto es importante no dejar pasar las oportunidades que brindan las nuevas tecnologías. Los párrafos siguientes se abocan al tema.



Una teoría psicométrica proporciona métodos para la construcción de tests y provee de modelos matemáticos  que  facilitan  la  interpretación  y  validación  de  los  resultados  obtenidos.  Históricamente,  la primera teoría fue la que a día de hoy se conoce como  Teoría Clásica de los Tests (TCT), que surgió a primeros del siglo XX, si bien no recibió su forma axiomática hasta mediados los sesenta (Novick, 1966). La TCT se fundamenta en el denominado modelo clásico, que establece una relación lineal entre la habilidad del examinado y la puntuación obtenida en el test realizado.

Este  modelo  se  expresa  en  términos  de  la  puntuación  empírica  del  test,  el  elemento  central alrededor del que gira toda la teoría. Concretamente,  se considera que la puntuación empírica del sujeto, esto es, el valor observado en el test, es igual a la suma de dos componentes hipotéticos y desconocidos a priori: la puntuación verdadera o habilidad real del evaluando y un determinado error de medida.

La principal limitación achacada a la TCT es que en su contexto las características del test y las del examinado son dependientes, esto es, las mediciones obtenidas dependen por lo general de la naturaleza del test utilizado; y a la inversa, las propiedades  de los tests dependen  de los sujetos a quienes se les aplica. Así, para la TCT, la habilidad del alumno se mide mediante el número de respuestas acertadas en el test realizado. Por lo tanto, los resultados estarán siempre relacionados con el test administrado: si las preguntas son difíciles, la habilidad de los examinados resultará ser baja porque habrá pocos que las responderán correctamente;  y viceversa, si el test es fácil, entonces la habilidad resultante será alta. Por otra parte, la TCT calcula  la dificultad  de una pregunta  (y, por extensión,  de un test) en función  de la cantidad de individuos que la responden correctamente: cuanto mayor sea el número de evaluandos que responden bien a una cuestión, tanto más fácil se considerará la pregunta. Así, la dificultad estimada de un test  según  la  TCT  dependerá  de  quién  lo  realice:  si  los  examinados  son  muy  listos,  responderán correctamente a las preguntas y, por tanto, el test será considerado fácil. Esta dependencia entre tests y examinados  supone  que las medidas  obtenidas  en la TCT no se pueden  utilizar en otros contextos  de manera generalizada, y por tanto comparar individuos que hayan hecho exámenes distintos resulta harto complicado.

La Teoría de Respuesta al Ítem (TRI - Lord, 1952) supera esta limitación, pues propone modelos matemáticos   orientados   a  las  preguntas   (que   en  este   contexto   reciben   el  nombre   de  ítems),   en contraposición a la TCT, para la que la evaluación de conocimientos gira en torno al test como unidad. Se trata  de  una  teoría  relativamente  joven,  más  si  se  tiene  en  cuenta  que  la  idea  original  de  los  tests adaptativos fundamentados en la TRI, de los que se hablará más adelante, data de comienzos de los años setenta, habiendo sido implementados por vez primera durante los ochenta(Segall y Moreno, 1999).

La gran ventaja  de la TRI es que, a diferencia  de la TCT, mide la habilidad  del ex aminado y la dificultad de los ítems en la misma escala, lo que facilita su comparación. Se trata del intervalo de valores (- , +  ), con el valor 0 como punto medio. Si lo consideramos representado en una recta horizontal, los ítems más fáciles aparecerán  a la izquierda del eje y los más difíciles a la derecha. Asimismo, los sujetos con menor habilidad se situarían más a la izquierda que aquellos con mayor destreza.

En la TRI cada ítem se define por una función matemática, la Curva Característica del Ítem (CCI), que relaciona la probabilidad de una respuesta correcta y la habilidad del estudiante. En otras palabras, la CCI proporciona para cada ítem la probabilidad P(è) de que un alumno, cuya habilidad es è, lo responda correctamente. La forma de la CCI la definen varios parámetros que, dependiendo del modelo utilizado, uno puede tener en cuenta o no:

La dificultad (parámetro  b), que indica el punto en el que la probabilidad de responder correctamente al ítem es 0.51

La discriminación (parámetro a), que indica la precisión del ítem al determinar la habilidad de los sujetos. Cuanto mayor sea su valor, más significativo resultará el ítem a la hora de evaluar estudiantes, aunque menor será el intervalo de habilidades en el que sea aplicable.

El  pseudoacierto  (parámetro  c),  que  es  la  probabilidad  de  que  un  examinado  con  baja habilidad  (región  izquierda  del  eje  horizontal)  responda  al  ítem  correctamente.  En  otras palabras, puede decirse que se trata de la probabilidad de que el alumno acierte el ítem al azar.

El pseudofallo (parámetro y), la probabilidad de que un examinado con habilidad alta (región derecha del eje horizontal) responda mal al ítem, fallando así un ítem cuya respuesta conoce.

Dado que la TRI se basa en una familia de modelos matemáticos, existen ciertas restricciones o condiciones que se deben considerar sobre los parámetros de los ítems. Así, hay varios supuestos que se deben respetar. Será necesario comprobar las propiedades de unidimensionalidad (los ítems sólo miden una única habilidad), independencia local (cada ítem es independiente de todos los demás) e invarianza (las propiedades de los ítems no dependen de la habilidad de los sujetos, y el nivel estimado del evaluando no se ve afectado por los ítems que componen el test que se le administra).

Un aspecto importante que se deriva de lo anterior es que las curvas características de los ítems incluidos  en  un  test  se  pueden  incorporar  por  nivel  de  habilidad  definido,  obteniendo  así  la  Curva Característica del Test (CCT), gracias a la cual es posible predecir, dada la habilidad de un estudiante, cuántas de sus respuestas serán correctas. Asimismo, también será posible realizar estimaciones a priori, por  ejemplo,  para  predecir  la  probabilidad  de  que  un  sujeto  con  una  habilidad  específica  acierte  un determinado ítem.

La TRI promueve el uso de bancos de ítems, que almacenan las preguntas susceptibles de formar parte de un test, para desarrollar diferentes pruebas a partir de un mismo banco. Definiendo a priori la curva característica del test que se desea generar, basta con incluir en él aquellos ítems tales que la suma de sus CCI se aproximen a la CCT objetivo. Por otra parte, la TRI también facilita la generación  dinámica de tests, en concreto, los Tests Adaptativos Informatizados (TAI) que se tratarán más adelante.



Extraído de
EVALUACIÓN MEDIANTE TESTS: ¿POR QUÉ NO USAR EL ORDENADOR?
Javier López-Cuadrado, Tomás A. Pérez y Ana Jesús Armendariz
Departamento de Lenguajes y Sistemas Informáticos, Universidad del País Vasco, España
Revista Iberoamericana de Educación (ISSN: 1681-5653)


lunes, 21 de septiembre de 2015

Sentido y fundamentación de la Autoevaluación del docente


¿Es la autoevaluación docente, una alternativa para superar la disonancia a la que se enfrenta el profesor con la evaluación externa? Se trata de un recurso óptimo de profesionalización y formación docente en el marco de la investigación-acción. En este marco, ¿qué sentido adquiere esta autoevaluación? ¿Bajo que supuestos se sustenta? ¿Qué pasos son necesarios para concretar una autoevaluación docente eficaz?


La autoevaluación es aquella evaluación donde agente evaluador y sujeto evaluado coinciden. Planteamos que una evaluación eficaz del profesor que conlleve la mejora de la enseñanza y, como consecuencia, una mayor efectividad de la escuela, debe iniciarse desde la capacidad de autocrítica del profesor. Además, cuando un profesional acostumbra a evaluar de manera sistemática su actividad tendrá mayor probabilidad de convertirse en un sujeto abierto al juicio externo. Con esto no queremos decir que la evaluación que se realiza del profesor, en la que se consideran diferentes fuentes distintas de él mismo, no pueda tener cierta eficacia; sino que una vez que el profesor ha sido capaz de realizar autoevaluación ayudado por distintas técnicas considerará más válidas las fuentes y técnicas de evaluación externa y, por lo tanto, tenderá a un mayor compromiso con la mejora de la educación, más flexible y más abierto al cambio.

Por esta razón, se intenta desarrollar un enfoque más completo basado en nuevos métodos de evaluación, en la elaboración de múltiples líneas de comprobación y en la consideración de nuevos marcos conceptuales. Creemos fundamental que el profesor tenga cierto control sobre la evaluación. En palabras de Peterson, la evaluación controlada por el profesor comunica una serie de importantes mensajes: primero, apoya los datos que se han reunido gracias a la utilización de fuentes diversas; segundo, permite considerar y fundamentar la gran diversidad que existe en cuanto al rendimiento de los diferentes profesores; tercero, los profesores son los mejores conocedores de su propia situación por lo que se puede confiar en la aportación que puedan realizar a la evaluación.

La implicación del profesor en su propia evaluación puede incluso contribuir a mejorar la relación entre éste y el equipo directivo y/ u orientador del Centro, porque desaparecería el papel de juez y fuente única de manejo de los datos. Peterson llega a afirmar que: “hasta que no tengan lugar mejoras significativas, la evaluación del profesorado seguirá siendo algo que se hace a los profesores en vez de ser algo hecho por los profesores”, o, como plantea Iwaniki, al considerar como propósito fundamental de la evaluación el desarrollo profesional desde una perspectiva integrada para la mejora de la escuela: “En la fase de desarrollo profesional continuo, el profesor no es evaluado por un administrador o supervisor. Él mismo es el evaluador”.

Compartimos el juicio de Nieto Gil de que es una realidad imprescindible que el profesor evalúe su trabajo profesional para hacer posible el perfeccionamiento en el ejercicio, por una parte; y, por otra, para ser investigador que estudia el aprendizaje de sus alumnos y las relaciones de aquel con su propia enseñanza, con el fin de poder aportar datos y reflexiones que permitan contribuir a la realización de la evaluación del Centro. Asimismo, creemos que la mejora de la práctica de la enseñanza por medio de la autoevaluación aportará una reducción del fracaso escolar.

Básicamente, la autoevaluación docente consiste en la realización de juicios acerca de la propia enseñanza. La autoevaluación puede desarrollarse desde distintas instancias, partiendo de determinados supuestos, en busca de ciertos objetivos, aplicando un tipo de gestión u organización, a través de procedimientos y técnicas diversas y considerando a una audiencia en particular.

Este tipo de evaluación se sustenta en las siguientes creencias:
• Los profesores están en una permanente búsqueda de excelencia.
• Los profesores se evaluarán a sí mismos y modificarán su rendimiento siempre y cuando se les proporcione suficiente información y/ o participación; y
• Los procedimientos de evaluación proveen retroalimentación diseñada para ayudar a los profesores a emitir juicios acerca de cómo mejorar su enseñanza.

Estas creencias se erigen como principios frente a los cuales la evaluación realizada por el mismo profesional con respecto a su desempeño, eficacia y flexibilidad, se torna una tarea fundamental y necesaria a la hora de una reflexión en torno a la calidad de la docencia.

Desde la perspectiva que comentamos, la autoevaluación sería un importante mecanismo para el desarrollo personal, porque el profesor que participe en ella estará motivado en lo que a su crecimiento y mejora se refiere.

Bailey identificó siete pasos para realizar una autoevaluación eficaz:
• Adoptar una visión global filosófica que examine los mitos que rodean la autoevaluación.
• Necesidad absoluta de utilizar cintas de audio y vídeo.
• Identificar capacidades y comportamientos pedagógicos básicos para su posterior análisis.
• Identificar elementos de análisis básicos de carácter verbal.
• Identificar elementos de análisis básicos de carácter no verbal.
• Aprender a planificar y evaluar los comportamientos pedagógicos identificados.
• Utilizar hojas de observación.

Estos pasos conducirían las tres instancias fundamentales que marcan la eficacia de una autoevaluación. Primero, identificar correctamente el comportamiento pedagógico actual; segundo, identificar y mejorar las áreas problemáticas o puntos débiles mediante la práctica de nuevos comportamientos, manteniéndose aquellos que se determinen como puntos o áreas fuertes; tercero, someter los nuevos comportamientos, a su vez, a evaluación con el fin de determinar su eficacia. Como se puede ver, siguiendo el transcurso normal del proceso, éste se desarrollaría de manera cíclica como retroalimentación constante.

Los pasos enunciados nos parecen los apropiados, aunque no estamos de acuerdo con el carácter sine qua non que el autor atribuye al uso del audio y vídeo. La realidad de cada profesor en un Centro educativo determinado y su propia manera de enfrentarse a la docencia pueden ser justificantes de que el uso del vídeo no en todas las ocasiones puede ser absolutamente positiva. Hasta ahora muchas de las propuestas de evaluación del profesor, fundamentalmente del docente universitario, se han estructurado en torno a la utilización del vídeo con más o menos éxito. Trasladar, sin más las experiencias de evaluación de docencia en Educación Superior a la realidad de centros docentes de primaria y secundaria, donde las condiciones u organización de trabajo difiere de la vivida por los docentes universitarios, puede conducir a una representación y estimación errónea de la realidad.





Extraído de:
FUENTES-MEDINA, Myriam E.; HERRERO SÁNCHEZ, Jesús R. (1999).
Evaluación docente: Hacia una fundamentación de la autoevaluación.
Revista Electrónica Interuniversitaria de Formación del Profesorado.

domingo, 30 de agosto de 2015

Evidencia empírica de los efectos de los esquemas de evaluación del desempeño docente


En este artículo se resume la evidencia empírica existente con respecto a los efectos de la evaluación del desempeño docente en la práctica docente y el aprendizaje de los estudiantes. En primer lugar, se destacan las dificultades enfrentadas para evaluar los efectos cuantitativos asociados a los esquemas de evaluación del desempeño docente y las conclusiones mixtas resultantes. A continuación, se consideran las circunstancias bajo las cuales los sistemas de evaluación del desempeño docente parecen ser más eficaces.

 

Evidencia cuantitativa
Dificultades para medir la calidad de los docentes y el impacto de la evaluación docente
Gran parte de la literatura establece que los docentes tienen una alta incidencia en los indicadores de rendimiento escolar, en el sentido de que son poderosos contribuyentes al rendimiento académico de los estudiantes  sin embargo, la literatura se muestra más renuente a demostrar cuáles son las características de los maestros que son relevantes para la calidad de los docentes y cuál es la importancia relativa de la calidad de los docentes en comparación con otros factores que teóricamente influyen en el aprendizaje de los estudiantes, incluyendo los factores familiares, los factores asociados a los estudiantes y los factores escolares. Aaronson, Barrow y Sander recalcan que la literatura sobre este tema “sigue estando relativamente en la oscuridad” a pesar del mejoramiento de la información. No es de sorprender que la medición del impacto de la evaluación docente en términos del aprendizaje de los estudiantes a través de las ‘funciones de producción educacionales’ sea incluso más difícil.

La medición del efecto de la evaluación docente enfrenta una serie de desafíos. En primer lugar, es preciso controlar el amplio conjunto de variables cualitativas que probablemente influyen en el aprendizaje de los estudiantes. Estas variables comprenden las características del maestro (por ejemplo, edad, género), su formación y experiencia, los factores familiares que afectan al estudiante (por ejemplo, los antecedentes de los padres, el apoyo de los padres), los factores escolares (por ejemplo, las políticas del establecimiento escolar, los incentivos del establecimiento, los efectos de los pares y el aula) y los factores de cada estudiante (por ejemplo, la motivación, las habilidades cognitivas, la experiencia acumulada). Las complejas realidades de la educación impiden que los investigadores asimilen con precisión estos factores como datos de entrada tradicionales en las funciones de producción. En segundo lugar, debido a su naturaleza cualitativa y heterogénea, el producto en sí mismo –el aprendizaje de los estudiantes– no es un ‘producto final’ tradicionalmente medible y esto hace aún más difícil la descomposición entre los aportes de los diferentes factores. Esto no significa que es inútil realizar cualquier estudio cuantitativo en educación, sino que se requiere prestar particular atención a los aspectos analíticos o a las potenciales interpretaciones erróneas de los resultados. Además, es preciso considerar que cada omisión de un factor o problema de medición –incluyendo la ausencia de datos– genera un posible sesgo cuantitativo en la relación estimada entre la calidad de los docentes y el rendimiento académico de los estudiantes.

A consecuencia de lo anterior, la literatura empírica, que principalmente indicaba que la evaluación docente podría tener una función importante en el aprendizaje de los estudiantes, derivaba de un proceso de eliminación. Por medio de una oposición o restricción de los respectivos roles de los rasgos evidentes de cada maestro en particular (ya sean características, formación, experiencia o incentivos financieros), numerosos estudios concluyeron que lo que en realidad importaba eran las prácticas del maestro y, por extrapolación, la evaluación de estas prácticas. El primer aporte influyente fue la distinción de Hanushek entre las características observables de los docentes, tales como los antecedentes, el género o la raza, y las “habilidades” no cuantificables de los docentes. De acuerdo a Hanushek, el hecho de que la literatura anterior no haya encontrado ningún impacto significativo de la calidad de los docentes en el rendimiento académico de los estudiantes se ha debido a que se ha concentrado en los atributos observables de los docentes –el hecho de que el docente tuviera un grado de magíster, por ejemplo– mientras que la calidad de los docentes estaba, por el contrario, relacionada con sus “habilidades” o “elecciones idiosincráticas de la pedagogía y los métodos” (tales como el manejo del aula, los métodos de presentación de las ideas abstractas, las habilidades comunicacionales, etc.), es decir, su práctica.

Basándose en el modelo de Hanushek, un cuerpo de nuevos estudios empíricos entrega evidencia de una escasa relación entre los atributos de los docentes y los indicadores de rendimiento escolar para apoyar la evaluación de la práctica docente. Por ejemplo, Muñoz y Chang (2008) destacan la vaga relación entre la formación y los años de experiencia de los docentes y el progreso escolar de los estudiantes, con la intención de elevar el perfil de la revisión de las prácticas pedagógicas de los docentes entre las políticas educacionales. Aaronson, Barrow y Sander descubrieron que las medidas tradicionales aplicadas a los docentes, incluyendo aquellas que determinan la actual remuneración docente, explican poco de la variación de la calidad estimada. Estos hallazgos cuestionan la actual escala salarial única basada en la formación y la experiencia de los docentes en beneficio de incrementos de la remuneración que consideren determinantes más amplias, incluyendo el vínculo con los sistemas de evaluación de la práctica y el desempeño de los docentes.

Evidencia empírica mixta con respecto a los sistemas de evaluación docente
A diferencia de los estudios mencionados en la subsección anterior, a continuación se aborda la evidencia cuantitativa en torno a los sistemas de evaluación docente per se. Sin embargo, cabe señalar que la mayor parte de las investigaciones empíricas no se centran en la estimación de los efectos directos sobre los resultados de los estudiantes (ni considerando un sistema de evaluación docente en particular ni en forma longitudinal). Por el contrario, la literatura cuantitativa comprende principalmente las dos categorías siguientes de estudios empíricos.

El primer subgrupo examina la variación en la relación estadística entre los docentes y los resultados de los estudiantes cuando los docentes aprueban un proceso de evaluación particular y cuando no lo hacen. Este cuerpo de evidencia no mide los efectos de la evaluación docente en los resultados de los estudiantes, puesto que compara dos grupos distintos de maestros (uno sujeto a evaluación y el otro no) en lugar de comparar el impacto de un grupo particular de maestros en los resultados de los estudiantes antes y después del proceso de evaluación considerado. Por el contrario, entrega una indicación de la capacidad del proceso de evaluación implementado de diferenciar eficazmente los maestros competentes de aquellos que no lo son. Estos estudios son esenciales, puesto que establecen la viabilidad y confiabilidad de un esquema de evaluación, aspectos indispensables para la equidad de los procedimientos sumativos y el potencial vínculo con las retribuciones.

Por ejemplo, numerosos estudios analizaron la viabilidad del sistema de evaluación de la NBPTS, debido a que representa uno de los enfoques más complejos e integrales con respecto a la evaluación del desempeño docente y se traduce en un reconocimiento formal: la Certificación de la Junta Nacional. Una serie de autores descubrieron que los estudiantes de maestros que han obtenido la NBC exhiben un mejor rendimiento en las pruebas estandarizadas que los estudiantes de maestros no certificados. Esto indica, en primer lugar, que las prácticas docentes son importantes para el rendimiento académico de los estudiantes y, en segundo lugar, que la NBC identifica correctamente a aquellos maestros que han adoptado las mejores prácticas. Más aún, Goldhaber y Anthony  también concluyen que los puntajes de los estudiantes mejoraron, particularmente en el caso de los estudiantes minoritarios y los estudiantes con necesidades especiales, sugiriendo, por ende, que la NBC identifica adecuadamente a los maestros que adoptan las prácticas que mejoran la equidad educacional además de la eficiencia general. Sin embargo, otros autores mostraron que, en contraste, los estudiantes de maestros que habían obtenido la NBC no exhibían un rendimiento significativamente mejor que los demás estudiantes, a pesar de mejoramientos en algunos grados o áreas.

La evidencia empírica también es mixta en el caso de los sistemas de evaluación docente obligatoria. Milanowski estimó la relación entre las calificaciones derivadas de la evaluación docente y una medida de rendimiento de valor agregado de los estudiantes para el distrito norteamericano de Cincinnati, que ha implementado un esquema de evaluación docente integral basado en estándares como base para un sistema de remuneración basada en los conocimientos y las habilidades. Descubrió significativas correlaciones positivas y concluyó que, si los puntajes derivados de un sistema de evaluación docente riguroso están sustancialmente relacionados con el rendimiento académico de los estudiantes, esto entrega evidencia válida para el uso de los puntajes obtenidos por los maestros como base para un sistema de retribución financiera. Borman y Kimball estudiaron el sistema de evaluación docente del distrito de Washoe County, que consiste en un modelo de dos niveles. Después de controlar los antecedentes de los estudiantes y la experiencia de los maestros, evaluaron la relación entre la calidad de los docentes medida a través del sistema de evaluación y tanto el rendimiento medio general del curso como los efectos al interior del aula en la equidad social. Descubrieron que los maestros con altos puntajes en las evaluaciones están relacionados con mejores resultados de aprendizaje de los estudiantes en todos los grados y áreas pedagógicas (lectura y matemáticas). Sin embargo, estos maestros no parecen estar reduciendo las brechas en el rendimiento entre los estudiantes con menor y mayor rendimiento y los estudiantes con antecedentes de bajos ingresos o minoritarios. Esta es una fuente de escepticismo al considerar la validez del sistema de evaluación para distinguir entre los maestros que adoptan prácticas orientadas a la equidad y aquellos que no lo hacen.

El segundo subgrupo de estudios cuantitativos con respecto a los sistemas de evaluación docente se centra en los efectos en el mejoramiento de la práctica y la motivación de los maestros, según lo percibido por el maestro evaluado. Si los maestros informan un mejoramiento de las prácticas como resultado del proceso de evaluación y suponiendo que las prácticas correspondientes son relevantes para el aprendizaje de los estudiantes, se supone que el sistema de evaluación es eficaz en mejorar indirectamente los resultados de los estudiantes. Por ejemplo, al solicitar a los maestros la preparación de portafolios y una reflexión acerca de sus prácticas, la NBPTS ofrece una oportunidad rentable de desarrollo profesional a través del proceso de evaluación, motivando al maestro a centrarse en las características de un currículo sólido y en las características de una evaluación rigurosa del aprendizaje de los estudiantes. Diversos autores destacan que los maestros aplicaban en el aula lo que habían aprendido a partir del proceso de evaluación. También pareciera que los maestros cobraban un nuevo entusiasmo por la profesión –en relación al tiempo que esperaban permanecer en la docencia– como resultado de haber enfrentado el proceso de evaluación. Finalmente, los maestros competentes que se someten al proceso de evaluación exhiben probabilidades de contribuir al liderazgo escolar mediante la adopción de nuevas funciones, incluyendo tutorías y coaching de otros maestros que reconocen la ayuda que pueden recibir de los maestros certificados. Estos estudios aportan considerables nociones relativas al aspecto formativo del sistema de evaluación docente.

Como se mencionó anteriormente, existe muy poca evidencia de la correlación directa entre la evaluación del desempeño docente y el rendimiento de los estudiantes. Figlio y Kenny intentaron introducir una evaluación docente como un mecanismo de incentivo para los maestros orientado al rendimiento académico de los estudiantes –junto con medidas de incentivos financieros– en una regresión longitudinal. Utilizaron la base de datos longitudinal norteamericana de escuelas para distinguir entre las escuelas que evalúan a sus maestros experimentados anualmente de aquellas que lo hacen con menor frecuencia, con la expectativa de que una revisión más frecuente del desempeño mejorara el desempeño docente. También controlaron un amplio conjunto de variables de los estudiantes y de las escuelas, además de los incentivos financieros para los maestros y la amenaza de despidos. Lamentablemente, volvieron a encontrar que la evaluación del desempeño docente no era estadísticamente significativa, mientras que los incentivos financieros estaban correlacionados positiva y significativamente con el rendimiento de los estudiantes.

Los resultados de Figlio y Kenny destacan las dificultades para estimar el impacto directo de la evaluación del desempeño docente en el rendimiento de los estudiantes. Sin embargo, el hecho de que las retribuciones financieras se identifiquen como mecanismos de incentivos positivos orientados al éxito de los estudiantes sugiere que un sistema de evaluación del desempeño docente es indispensable, puesto que permite la identificación de los maestros eficientes que recibirán una retribución. Además, puede que no sea la frecuencia de evaluación, sino la calidad y la sofisticación del proceso de evaluación lo que importe. Esto explica probablemente la razón por la cual los estudios empíricos suelen centrarse en el diseño de esquemas de evaluación exitosos en lugar de mediciones cuantitativas de sus impactos.

Evidencia cualitativa
La evidencia también indica que la evaluación docente parecer ser más eficaz bajo ciertas circunstancias particulares.

Participación de los docentes en cada etapa del proceso. Es preciso consultar a los docentes con respecto a las fortalezas y deficiencias del sistema desde su diseño hasta su plena implementación y revisión. En primer lugar, los docentes deben estar de acuerdo con el marco que define los estándares de la profesión. “La participación activa de los docentes en la construcción y perfeccionamiento del modelo es esencial” (Heneman). El Marco para la Enseñanza de Danielson o los estándares desarrollados por la NBPTS podrían utilizarse como puntos de partida, con ajustes posteriores para cumplir con los objetivos educacionales locales. La creación de Consejos de Docencia, como en Irlanda en el período 2005- 2006, ofrece grandes oportunidades para involucrar a los docentes en el establecimiento de estándares profesionales de alto nivel y, de manera más general, para integrar plenamente a los maestros en la (re)definición de la profesión para el posterior desarrollo de las políticas (OCDE, 2005).

En segundo lugar, todos los docentes deben recibir apoyo para comprender lo que la evaluación espera de ellos para reconocerlos como buenos maestros y para prepararse adecuadamente para el proceso de evaluación. Esto requiere tanto transparencia con respecto a los métodos utilizados como también coaching orientado a una evaluación con empoderamiento. En palabras de Heneman et al.: “En el caso de los maestros, la formación inicial debería centrarse en la naturaleza de las competencias de desempeño en las cuales se basa el sistema, los propósitos y mecanismos del sistema de evaluación y los conocimientos y habilidades necesarios para operar eficazmente bajo el nuevo sistema”. Podrían integrarse expectativas claras con respecto al proceso de evaluación y el correspondiente perfeccionamiento docente en las acciones de liderazgo de los directores de las escuelas. La necesidad de eliminar la ‘conexión suelta’ entre la superestructura administrativa y el núcleo técnico conformado por los docentes, es decir, la transición desde los procedimientos burocráticos actuales bajo los cuales los docentes son sometidos a una evaluación hasta una evaluación realizada con los docentes, requiere la plena apropiación de la reforma por parte de los docentes.

Finalmente, también es preciso ofrecer a los docentes oportunidades de expresar sus percepciones y preocupaciones con respecto al proceso de evaluación después de la instauración del sistema. Las entrevistas y encuestas son métodos comunes utilizados por los analistas para recoger las reacciones de los docentes con respecto al sistema de evaluación. Las preguntas generalmente incluyen la comprensión del proceso, la aceptación de los estándares, la equidad del proceso y de los resultados, la capacidad y objetividad del evaluador, la calidad de la retroalimentación recibida, el impacto percibido del proceso de evaluación sobre la enseñanza y la impresión general del sistema. Milanowski y Heneman descubrieron que la actitud general favorable de los docentes hacia un sistema recientemente implementado en un distrito escolar norteamericano de mediano tamaño estaba correlacionada con la aceptación de los estándares docentes, la equidad percibida del proceso, las cualidades del evaluador y la percepción de que el sistema de evaluación tiene un impacto positivo en su enseñanza. Los docentes recibieron 1,5 días de perfeccionamiento para comprender los dominios y estándares evaluados y familiarizarse con los aspectos que serían considerados por los evaluadores y se les proporcionó información con respecto al desarrollo de un portafolio.

Formación de los evaluadores. La literatura apunta a un amplio consenso con respecto a la necesidad de una exhaustiva formación de los evaluadores. En primer lugar, los evaluadores deben recibir capacitación para calificar a los docentes de acuerdo a la evidencia limitada que recopilan, los criterios de una buena enseñanza y los correspondientes niveles de calidad de los docentes. Esto es particularmente importante cuando los evaluadores son los directores de los establecimientos escolares, que podrían tener conocimientos limitados con respecto a los contenidos y las habilidades pedagógicas requeridas para la materia enseñada por el docente evaluado. En segundo lugar, debe ofrecerse capacitación a los evaluadores en la entrega de retroalimentación constructiva y coaching a los docentes para el futuro mejoramiento de la práctica.

Liberación de otras tareas, tanto para los evaluadores como para los docentes. Los sistemas de evaluación docente integrales requieren tiempo y otros recursos. Esto puede ser oneroso, pero es indispensable para el diseño de un sistema coherente y equitativo aprobado y aceptado como propio por los docentes. Una consecuencia es que tanto los docentes como los evaluadores deberían ser liberados parcialmente de otras labores. Milanowski y Heneman descubrieron que incluso si los docentes aceptan los estándares y la necesidad de un sistema de evaluación, podrían manifestar reticencia cuando el sistema recarga demasiado su carga de trabajo. Por lo tanto, los docentes deberían contar con el tiempo para reflexionar con respecto a su práctica, especialmente cuando el proceso exige la preparación de un portafolio. Como lo enfatiza Heneman et al.: “Los diseñadores del sistema deben analizar cuidadosamente qué se requiere de los maestros para minimizar la carga. (…) Tal vez alguna pequeña reducción de las demás responsabilidades durante el período en el cual los maestros están siendo sometidos a la evaluación disminuiría la percepción de carga y sensación de estrés”. Las autoridades a cargo de la formulación de las políticas también deberían intentar reducir la carga de trabajo administrativa de los evaluadores, especialmente de los directores de los establecimientos escolares, con el fin de otorgarles más tiempo para la evaluación de los docentes, la retroalimentación y el coaching.

Ejecución de una implementación piloto y revisión permanente del proceso. Una implementación piloto constituye una forma rentable de garantizar que el sistema sea eficiente, equitativo y coherente con las necesidades locales antes de la plena implementación. Las entrevistas a los maestros durante la implementación piloto son esenciales para corregir las posibles deficiencias e inquietudes con respecto al sistema. Los investigadores o profesionales también deberían concentrarse en estudios de validez y confiabilidad. Pecheone y Chung muestran que la consistencia de los puntajes debe ser minuciosamente examinada. Por ejemplo, los puntajes basados en estándares son relevantes si corresponden a las calificaciones holísticas del desempeño de los docentes y si supervisores familiarizados con los docentes muestran un amplio consenso con respecto al nivel de desempeño. Milanowski y Heneman recalcan la necesidad de controlar la confiabilidad de los evaluadores mediante un ‘proceso de calibración’ consistente en comparar las calificaciones experimentales de algunos evaluadores con jueces expertos y analizando las diferencias. Solo debe permitirse que evaluadores acreditados evalúen a los maestros después de la plena implementación. También deberían realizarse revisiones del proceso después de la plena implementación. Es más probable que los maestros acepten el proceso en forma rápida si saben que tendrán la oportunidad de expresar sus preocupaciones y opiniones con respecto a las adecuaciones necesarias a medida que el proceso evoluciona.

Incorporación de la evaluación del desempeño docente en las políticas de calidad y apoyo docente más generales. La evaluación no debería reemplazar otros medios de garantizar la calidad de los docentes, tales como la formación docente y los programas de licenciatura, los programas de inducción, el desarrollo profesional, la retroalimentación y asesoría informales permanentes y el reconocimiento más amplio de la experticia y el compromiso con el trabajo exhibidos por los docentes.





Extraído de:
Evaluación docente: Prácticas vigentes en los países de la OCDE y una revisión de la literatura
Programa de Promoción de la Reforma Educativa en América Latina y el Caribe
Este informe fue preparado por Marlène Isoré
Marzo 2010
ISSN: 0718-6002

lunes, 6 de julio de 2015

La evaluación del aprendizaje: Educación vs Autoridad

La evaluación del aprendizaje es marcadamente cuantitativa, acreditativa, no participativa, fundamentalmente sumativa, externa, por resultado y no procesal, tradicional por su forma y contenido. El carácter no democrático e impositivo del estilo pedagógico de comunicación se pone en evidencia constantemente en el propio acto evaluativo y sin dudas es una representación de la “violencia” escolar si entendemos por violento toda aquella imposición a la que son sometidos los educandos sin que puedan cambiar fácilmente dicha situación. La evaluación se mantiene como un instrumento de poder con el que el docente puede manipular el proceso educativo en detrimento de su función educativa.


Problemáticas relacionadas con la evaluación del aprendizaje.
La evaluación del aprendizaje constituye una importante función que todo profesor debe saber realizar como parte de su actividad docente, sin embargo es frecuente constatar la existencia de diversas dificultades que afectan la calidad de la misma. Este componente del proceso educativo constituye uno de los espacios mas frecuentes de enfrentamiento entre profesores y estudiantes. El carácter no democrático e impositivo del estilo pedagógico de comunicación se pone en evidencia constantemente en el propio acto evaluativo y sin dudas es una representación de la "violencia" escolar si entendemos por violento toda aquella imposición a la que son sometidos los educandos sin que puedan cambiar fácilmente dicha situación.

Por ello la investigación de la evaluación del aprendizaje resulta un tema vital en es estudio de cualquier forma de violencia espiritual que puede ocurrir en el ámbito escolar y son necesarias las correcciones pertinentes para evitarlo.

El presente trabajo persigue justamente mostrar las insuficiencias de la práctica evaluativa del aprendizaje evidenciando aquellas que indican la disfuncionalidad educativa de la misma y que apuntan a un carácter impositivo de la evaluación en el acto educativo, todo lo cual reprime los derechos del estudiante y lo obliga a asumir un rol pasivo y conformista.

Para comprender el desarrollo de la práctica evaluativa hay que analizar cuál es la concepción teórica general que sobre la misma se tiene analizando preguntas básicas tales como Qué es evaluar, Para qué evaluar, Qué evaluar, Cuándo evaluar, Quiénes evalúan y Cómo evaluar.

El presente trabajo se afilia a una concepción cualitativa y procesual de la evaluación del aprendizaje, que contribuya con espíritu formativo a la educación del aprendizaje del estudiante y de su personalidad integralmente. Se reconoce su carácter participativo y la utilización dinámica y flexible de diversos procedimientos evaluativos que aseguren la validez, confiabilidad y justeza de la evaluación en correspondencia con los requerimientos del proceso de enseñanza grupal y con un enfoque personológico del proceso evaluativo.

Por ello reconocemos que la función educativa de la evaluación es su función más importante, la que define su esencia y su lugar en el proceso de enseñanza. Sin embargo es frecuente constatar la disfuncionalidad educativa de la misma.

Justamente muchos de los problemas que se manifiestan en el proceso educativo están relacionados con el desconocimiento o no reconocimiento de tal concepción evaluativa. Las deficiencias del trabajo del profesor o de su colectivo en este sentido, incluso de la institución, se debe en muchas ocasiones a la insuficiente preparación pedagógica de los profesores para ejercer su rol como tales. Recordemos que los profesores de la educación superior no se preparan previamente para ello lo cual acarrea un conjunto de problemáticas y necesidades que deben ser resueltas por las instituciones para garantizar la calidad de su claustro no sólo científica sino educativamente. Este es precisamente uno de los retos fundamentales con el que se enfrenta la calidad de la educación actualmente.

En el caso de la evaluación del aprendizaje muchos profesores manifiestan su insuficiente conocimiento para cumplir adecuadamente esta tarea. Lo interesante es que antes de reconocer este aspecto, muchos docentes plantean problemáticas relacionadas con la evaluación del aprendizaje que no son los verdaderos problemas que esencialmente están condicionando una práctica evaluativa deficiente. Ello es comprensible precisamente por lo que se planteaba anteriormente referido a la incompleta preparación como docentes. Por ejemplo, los profesores intentan explicar los problemas existentes en la evaluación del aprendizaje aludiendo que la escala numérica que se utiliza para otorgar las notas a los estudiantes es una escala incompleta o inadecuada, plantean también que falta objetividad en el proceso evaluativo y entonces se preocupan solamente por la confección de los exámenes, de sus preguntas, sin que analicen otros aspectos más importantes relacionados con la objetividad de la evaluación tales como la planificación de los criterios que deben ser tomados en cuenta, sus indicadores, etc.

En general los profesores achacan los problemas de la evaluación a causas externas al docente mismo, es inusual que se reconozca la responsabilidad individual como docentes en este tipo de problemas. Por ejemplo, plantean que no se califica con objetividad y justeza pero no analizan la calidad del trabajo metodológico que realiza el colectivo de docentes en una asignatura que le permita o no perfeccionar su sistema evaluativo precisando qué evaluar y cómo evaluarlo. Sin embargo es frecuente que al preguntarle a estos mismos profesores sobre cuáles son las habilidades esenciales que su asignatura debe contribuir a desarrollar no puedan responder con precisión y mucho menos cuáles son los indicadores de desarrollo de estas habilidades que permitan evaluarlas con objetividad.

Es necesario aclarar que al hablar de la objetividad de la evaluación debe partirse del reconocimiento de la subjetividad misma de la evaluación del aprendizaje. Aunque pueda parecer una paradoja no es tal. Todo acto educativo es en sí mismo un acto subjetivo como cualquier otro de carácter humano. Cualquier proceso que implique la interacción y la comunicación entre las personas, en este caso entre profesores y estudiantes básicamente es un proceso subjetivo. Pero ello no quiere decir que por subjetivo sea arbitrario. La evaluación del aprendizaje puede ser tan objetiva, confiable y justa como seamos capaces de organizarla científicamente y para lograrlo la ciencia pedagógica aporta los elementos suficientes , sólo que es frecuente que no se dominen tales elementos y como resultado la evaluación no logra valorar adecuadamente el real aprendizaje.

No cabe duda de que la evaluación del aprendizaje constituye un complejo componente didáctico. El análisis de la propia experiencia como profesores y asesores del proceso docente, conjuntamente con la revisión de la literatura sobre el tema nos permite resumir un conjunto de problemáticas fundamentales interrelacionadas entre sí que apuntan a la disfuncionalidad educativa de la evaluación del aprendizaje. Estas problemáticas niegan de algún modo la concepción evaluativa aquí defendida y por ello ameritan especial atención con el ánimo de contribuir a su solución.

Es importante apuntar que las problemáticas que aquí se exponen no son problemas exclusivos de nuestro contexto educativo, muy por el contrario son características universalmente reconocidas en la bibliografía internacional sobre el tema. Dichas problemáticas se refieren a continuación.
·      Reducir la evaluación a su aspecto cuantitativo o acreditativo. Ausencia o insuficiente definición de criterios para evaluar.
·      El alumno no participa o lo hace muy pobremente en la decisión evaluativa violando el carácter democrático de la educación.
·      El profesor no planifica suficientemente la evaluación sistemática y formativa priorizando la evaluación sumativa final.
·      Se evalúa más el "saber" que el "saber hacer
·      Las exigencias sociales e institucionales contribuyen a distorsionar el fin educativo de la evaluación.
·      Insuficiente preparación pedagógica que muchos profesores manifiestan e incluso confiesan para planificar y ejecutar la evaluación.

Para terminar consideramos que lo más importante es la reflexión sobre cada una de problemáticas explicadas en el presente trabajo. Ello permitirá autovalorar nuestra práctica evaluativa como profesores de la educación superior. Valorar cómo ejecutamos la evaluación del aprendizaje para contribuir verdaderamente a la educación del estudiante, de su aprendizaje, constituye un importante paso para perfeccionar este proceso.

El estudio teórico y metodológico de cualquiera de los elementos involucrados en la actividad educativa es otro importante elemento para elevar la calidad de la educación en general. La formación y actualización pedagógica como profesores es imprescindible para ganar un alto nivel de reflexión sobre estos temas que permita realmente intervenir activamente en el mejoramiento de la educación y en este caso de la evaluación del aprendizaje.

Es necesario también el perfeccionamiento de los reglamentos docentes para que se propicie mayor flexibilidad de toda la actividad educativa y en especial de la actividad del profesor. Ello es extensivo para la evaluación del aprendizaje, aspecto que acapara gran espacio en este tipo de reglamentaciones y que sin dudas requiere del énfasis en la concepción más cualitativa y formativa sobre la misma que se haga más evidente en las normas que rigen la evaluación.

Evitar hechos, situaciones, actos en el proceso docente que disminuyan por sí mismos el carácter educativo de la evaluación del aprendizaje debe ser una constante alerta tanto de directivos como de profesores de las instituciones escolares. Incluso aquellos que sean inevitables por razones ajenas al proceso, por ejemplo, la necesaria acreditación de los estudiantes para permitir su paso a niveles ascendentes o el establecimiento del llamado escalafón respecto al rendimiento académico y otros requisitos del estudiante que lo harán merecedor de un determinado status. Se trata de que prime el espíritu formativo, desarrollador de la evaluación y no su matiz sancionador, selectivo o meramente obligatorio.

Por supuesto ninguna de las sugerencias anteriores podrían lograrse sin el esfuerzo conjunto de los factores sociales, institucionales y personales involucrados en el fenómeno de la evaluación. Pero sin dudas, el profesor es una figura esencial para lograr una evaluación del aprendizaje más humana y definitivamente educativa.

Desarrollo
A partir del reconocimiento de los problemas anteriormente mencionados y comentados en la bibliografía internacional sobre el tema, realizamos una investigación que nos permitió constatar muchas de estas dificultades y que resumimos a continuación.

Los trabajos de investigación realizados, desde el 1997 hasta el 2001 persiguieron el Objetivo General de Valorar la práctica evaluativa del aprendizaje de los profesores teniendo en cuenta las características de dicha práctica que sean indicadoras de disfuncionalidad educativa de la evaluación y el análisis de algunos factores sociales e institucionales que influyen en ello para ofrecer algunas recomendaciones que faciliten el perfeccionamiento de la evaluación.

Se estudiaron diferentes grupos de profesores, desde la etapa primaria hasta la educación superior para un total de 100 docentes. En la muestra se incluyeron profesores de diversos países con los cuales pudo contactarse durante la impartición de cursos on line sobre el tema así como listas de discusión.

Resultados
Integrando los resultados obtenidos en estos años de estudio puede arribarse a la caracterización de la concepción evaluativa del aprendizaje que predominaba en la practica evaluativa de los profesores y que confirma la hipótesis inicialmente planteada en el trabajo acerca de la disfuncionalidad de la función educativa de la evaluación.
·      El grado de conocimiento teórico y práctico sobre la evaluación del aprendizaje que poseen los profesores es insuficiente.
·      Predomina la concepción cuantitativa de la evaluación según la práctica que se ejecuta a pesar de que los profesores reconocen cognoscitivamente la importancia de una evaluación más cualitativa e integral del educando.
·      La evaluación del aprendizaje no tiene carácter participativo en tanto es el profesor la principal fuente de emisión de criterios evaluativos sobre el aprendizaje del alumno. La interevaluación entre todos los participantes en el proceso docente no se establece. La autoevaluación no es practicada.
·      El tipo de evaluación más frecuentemente utilizada es la de tipo sumativa o de cierre aún en las situaciones evaluativas frecuentes. No se practica una evaluación diagnóstica suficientemente organizada la cual se reduce básicamente a preguntas orales iniciales, muy formales y reproductivas sobre algún tema que se desee impartir en la actividad docente. La evaluación formativa es muy escasa, no se orienta al estudiante suficientemente sobre su aprendizaje de modo integral y se prioriza la información sobre su rendimiento cuantitativo fundamentalmente. A pesar de los profesores reconocen la importancia de la evaluación frecuente, esta no es practicada formativamente sino que es sustituida por la retroalimentación cuantitativa al estudiante.
·      Los aspectos anteriormente planteados apuntan a que el fin de la evaluación que predomina es el de comprobación en detrimento del fin educativo, formativo que debe perseguir la evaluación. Se evalúa básicamente para rendir resultados expresados cuantitativamente (calificación) y no para orientar el aprendizaje del alumno tanto cognitivo como metacognitivo con elementos que realmente puedan contribuir a su mejoramiento. La calificación o acreditación de los resultados del aprendizaje cuantitativamente adquieren la mayor relevancia y se convierten en el sentido de la evaluación. La nota es la información más apreciada por el estudiante que subordina cualquier otra información cualitativa sobre el aprendizaje.

·      Al valorar las fuentes principales para evaluar el aprendizaje del estudiante, las mismas se reducen fundamentalmente al tipo de examen oral o escrito más clásicamente concebido en los cuales predominan preguntas reproductivas del conocimiento que tienen el fin esencial de comprobar y calificar cuantitativamente el aprendizaje del estudiante. las fuentes evaluativas se planifican (como el caso del examen) más para las evaluaciones sumativas y no tanto para las evaluaciones diagnósticas o formativas que resultan menos estructuradas sin que respondan a criterios establecidos previamente que orientan al profesor y al estudiante en la evaluación. No se utilizan formas más novedosas de evaluación que integren más el conocimiento a evaluar o que evalúen más profundamente y no formalmente otros aspectos del desarrollo personal del educando como es el caso de los componentes afectivos, éticos de la personalidad(expresados en los objetivos educativos del programa de la asignatura y que no son objeto de una evaluación más objetiva). La evaluación del llamado componente educativo se basa fundamentalmente en aspectos tradicionales y más formales como la disciplina, asistencia o cumplimiento de la ética profesional. Sin embargo no se definen indicadores más precisos de estos aspectos en los cuales el estudiante por lo general obtiene una calificación alta (casi siempre excelente), por ejemplo qué indicadores evidencian el cumplimiento de la ética o de la disciplina?

·      Los profesores expresan más insatisfacción que satisfacción con la función de evaluar teniendo en cuenta precisamente el insuficiente conocimiento teórico y práctico que tienen sobre dicho componente didáctico. Además les molesta por el sentido marcadamente acreditativo que tiene la evaluación del aprendizaje en nuestro contexto escolar que lascera su finalidad educativa y anula otras funciones más importantes de

domingo, 31 de mayo de 2015

La evaluación de la calidad educativa: origen y evolución


Si bien la idea de “Calidad Educativa”, que está junto a la de “Evaluación Educativa”, es de reciente aparición, está sujeta a permanentes modificaciones, por lo que podemos hablar de una evolución. En el siguiente artículo se reseña la historia de las ideas predominantes sobre la Calidad Educativa y su evaluación.


Desde una perspectiva histórica, la preocupación por el control de la calidad tuvo su origen en el mundo empresarial, para pasar después a otros servicios sociales, como la educación. En las primeras etapas se instauró el control de calidad del producto, siendo después de la segunda Guerra Mundial -y especialmente a partir de los años 50- cuando surge, originariamente en Japón, un nuevo concepto que introduce técnicas preventivas del error centradas en el control de la calidad durante el proceso y no tras el proceso. Se tiende entonces al control de la Calidad Total, que implica la calidad de las actividades de toda la organización, incluyendo diversas técnicas que se agrupan bajo el nombre de "sistemas de mejora continua". Por definición, un movimiento de búsqueda de calidad es un proceso que, una vez iniciado, nunca termina. Siempre es posible pretender más calidad.

En el ámbito concreto de la educación, aunque "calidad" fue una expresión utilizada desde tiempos antiguos, la generalización de su aplicación tuvo su origen a partir de la década de 1960. De hecho, las primeras aproximaciones al tema de la calidad educativa se produjeron una vez que la mayoría de los países desarrollados alcanzaron los objetivos de carácter cuantitativo en sus sistemas escolares, es decir, cuando se logró el acceso de toda la población a la educación. Una vez superados los retos de acceso y permanencia en el sistema educativo, los poderes públicos empezaron a preocuparse por el uso eficiente de los recursos y por el logro de resultados.

Así, las investigaciones sobre calidad de la educación tienen como punto de partida el denominado movimiento de Escuelas Eficaces. El origen de este movimiento puede encontrarse en el conocido estudio de J. Coleman et al. sobre igualdad de oportunidades educativas, que ponía de manifiesto que "la escuela no importa". La principal conclusión de este estudio apuntaba a que las escuelas, los recursos que se concentran en ellas y la forma de utilizarlos tienen una influencia muy reducida en los resultados de los estudiantes, ya que explican aproximadamente el 10% de la varianza total de los resultados. En definitiva, éste y otros estudios que siguieron en los años posteriores mostraban que las diferencias entre escuelas tienen muy poco impacto sobre el rendimiento de los estudiantes, situándose el origen de esas diferencias en el background familiar (especialmente la clase social) de los alumnos.

A partir de ese momento, otros estudios intentaron demostrar que la escuela sí importa, tratando de aislar los factores que inciden sobre la calidad de un centro con el fin de que, una vez identificados, se puedan implantar en otros centros y así paliar las desigualdades entre instituciones. Este es el origen y la finalidad común del movimiento de Escuelas Eficaces.

Los estudios sobre Escuelas Eficaces fueron evolucionando desde los primeros enfoques de "caja negra" o input-output, pasando por los modelos de proceso-producto hasta llegar a los modelos de contexto-entrada-proceso-producto. En el momento actual se persigue la elaboración de sistemas de indicadores de un alto nivel de generalidad. Estos sistemas incorporan una perspectiva teórica que permite interpretar las interrelaciones entre variables en distintos niveles de concreción. La revisión de estos estudios tiende a mostrar de forma cada vez más clara que los procesos llevados a cabo dentro de los centros de enseñanza son factores determinantes de la eficacia de los mismos. En otras palabras, permiten afirmar que las escuelas constituyen el "centro de la cuestión".

Además de lo anterior -yen estrecha relación con ello- también es innegable que en el origen de la preocupación por la calidad educativa tuvo una influencia notable el desarrollo de la Economía de la Educación como disciplina. Si bien la relación entre economía y educación había sido puesta de manifiesto con anterioridad, es a partir de los citados años 60 cuando el impulso de los estudios sobre relaciones entre formación y crecimiento económico cobra un mayor auge. Aunque criticados en muchas ocasiones por su falta de adecuación a la realidad escolar, algunos de estos estudios, centrados en el análisis de los costes y beneficios de la educación desde una perspectiva macroeconómica, se sitúan en el origen de los procesos de planificación y evaluación de los sistemas educativos. Esos dos conceptos, planificación y evaluación, vendrían a constituirse en los pilares de la racionalización económica, que permite que el sistema educativo sea una organización eficaz para la sociedad.

En este sentido, muchos autores sitúan la preocupación por la calidad de la educación en el interés de las sociedades postindustriales por la rentabilidad de los procesos educativos, es decir, en la preocupación por saber si el coste de la educación está justificado por los productos que proporciona. Concretamente, la puesta en práctica de sistemas amplios de evaluación de la calidad de la educación que abarcan el conjunto del sistema educativo puede situarse en Estados Unidos en ese periodo. En palabras de A. Tiana, a finales de la década de los 60:
"La demanda de respuestas objetivas y fiables a las cuestiones suscitadas acerca del sistema educativo estadounidense favoreció la canalización de notables recursos económicos hacia las actividades de evaluación, produciendo como consecuencia un gran impacto sobre su desarrollo académico y profesional. La evaluación educativa experimentaría así un apreciable desarrollo a partir de finales de la década de los sesenta, cuya influencia se haría sentir progresivamente en otros países".

En efecto, en el ámbito internacional surgían en esos años iniciativas encaminadas en la misma dirección. Probablemente la más relevante fue la creación de la International Associationfor the Evaluation ofEducational Achievement (lEA), dedicada a promover y realizar estudios internacionales de evaluación educativa, pero también en este momento se sitúan los primeros intentos de la OCDE por elaborar una serie de indicadores sociales cualitativos, que si bien no alcanzaron entonces el éxito, pueden considerarse el origen del proyecto INES. Este trabajo, sobre Indicadores Internacionales de Educación, fue ampliamente desarrollado a partir de los años 80, alcanzado con el tiempo una gran relevancia, como se desprende del impacto de sus publicaciones Education at a Glance / Regards sur l'éducation (A. Tiana).

Desde entonces, este interés por la evaluación de los sistemas educativos se ha ido incrementando, como demuestra el hecho de que la mayoría de los países, desde finales de los años 80 y principios de los 90, han desarrollado planes sistemáticos de evaluación de sus sistemas y han creado organismos dedicados a esta tarea.

Las razones de este creciente interés pueden interpretarse desde perspectivas diversas, pero a ellas no son ajenos dos fenómenos relacionados con los sistemas educativos actuales. El primero de ellos es el aumento de las demandas sociales sobre los sistemas, que ha producido cambios en sus modos de administración y control, orientados en la mayor parte de los casos hacia la descentralización y la autonomía de los centros. El segundo sería el incremento de la demanda de información sobre los resultados y la necesidad de establecer mecanismos de rendición de cuentas.
Desde este último planteamiento, se considera que los ciudadanos tienen derecho a conocer el funcionamiento de los servicios públicos, entre ellos la educación:
"En una democracia, los ciudadanos, los padres y los responsables públicos tienen el derecho de conocer en qué medida las escuelas públicas están cumpliendo sus responsabilidades hacia los alumnos y la comunidad social. Se necesita información creíble para que por parte de los profesores, administración y ciudadanos se adopten decisiones informadas" (A. Pérez Gómez y J. Jimeno Sacristán).

En relación con lo anterior, la preocupación por la calidad a la que asistimos en el momento actual se relaciona también con la crisis del Estado como administrador. Se tiende a aplicar en el ámbito de lo público los procedimientos que se han mostrado eficientes en el ámbito de gestión de lo privado. Desde esta perspectiva, la visión de la calidad educativa se plantea en ocasiones como un asunto meramente técnico, heredado de la gestión empresarial de la calidad, y se tiende a considerar simplemente como un conjunto de especificaciones que deben ser cumplidas y cuyo grado de consecución puede ser medido. En la realidad, sin embargo, como ya se ha mencionado, la calidad es un concepto impregnado de valores. La evaluación de la calidad no es, por tanto, simplemente un proceso técnico, sino político.



Extraído de:
Reflexiones en torno a la evaluación de la calidad educativa
Tendencias Pedagógicas 10, 2005
Inmaculada Egido Gálvez
Universidad Autónoma de Madrid

miércoles, 22 de abril de 2015

Evaluación de centros y calidad educativa


La evaluación de centros, interna o externa, es una exigencia para la mejora permanente de los sistemas educativos y de los centros docentes. En este marco ¿Qué rol le compete a la supervisión educativa? ¿Cuál es la función de esta evaluación? ¿Qué aportes puede hacer para entrar en el camino de la Calidad Educativa?


La evaluación de centros, interna o externa, es una exigencia para la mejora permanente de los sistemas educativos y de los centros docentes. La importancia de la evaluación radica en ser un medio para mejorar los centros, incrementar su eficacia y, en último término, lograr una educación de calidad. Podríamos afirmar que la eficacia y especialmente la calidad son las razones fundamentales que justifican los procesos de evaluación.

Es evidente que la calidad de la enseñanza no depende de una sola variable, sino de la adecuada combinación y equilibrio de los numerosos y diversos elementos que actúan en los procesos educativos. Para alcanzar este equilibrio es necesario, por un lado definir indicadores que permitan conocer la realidad, reunir datos, interpretarlos y valorarlos conforme a criterios establecidos, y, por otro lado, evaluar el funcionamiento de nuestro sistema educativo en sus diferentes ámbitos de actuación y toma de decisiones.

Es necesario, desde la supervisión educativa hacer operativo un modelo de evaluación de la calidad. Este modelo se basa en los conceptos de eficacia, eficiencia y funcionalidad como dimensiones básicas de la calidad, que se entiende fundamentalmente como coherencia entre los elementos que la definen.

La evaluación se concibe como un proceso que provoca, a través del conocimiento y el contraste, la mejor comprensión de los centros educativos y de la práctica que en ellos se realiza, y que procura el enriquecimiento de la capacidad de conocer, valorar y proponer de cuantos participan en los procesos y actuaciones que abarcan dicha práctica, desde su diseño y planificación, hasta su desarrollo, aplicación y reformulación.

La evaluación así entendida se dirige a diagnosticar los problemas internos de los centros y a desarrollar la capacidad que tienen para resolverlos. Es una evaluación facilitadora del cambio educativo en la medida en que promueve estrategias de reflexión que conducen a la mejora de la organización y el funcionamiento de los procesos.

Esta evaluación implica en cada centro no sólo a los inspectores de educación como agentes responsables inmediatos de impulsarla y llevarla a cabo, sino también y ante todo, a las comunidades educativas como principales actores de un proceso que presupone una reflexión valorativa y sistemática sobre su particular realidad, sobre sus logros y dificultades, necesaria para que sea posible formular y asumir propuestas de mejora que buscan alcanzar mayores cotas de calidad en el desarrollo y el resultado de la actividad educativa, que garanticen una educación de calidad para todo el alumnado.

Entre los criterios de calidad más comúnmente aceptados se suele destacar la capacidad de la institución escolar para favorecer al máximo el desarrollo personal de sus alumnos y alumnas; para adaptarse a las peculiaridades, intereses y ritmos de aprendizaje de éstos; para responder a las demandas de una sociedad democrática, compleja y tecnificada; para compensar las desigualdades sociales, culturales o de cualquier otra índole; y para preparar a los estudiantes para la inserción en la vida activa y en el desempeño de responsabilidades sociales y profesionales, contribuyendo así a la construcción de una sociedad más justa y solidaria.

La evaluación es el medio para comprobar la eficacia del sistema educativo, analizar el rendimiento del mismo, averiguar si la organización adoptada es la más conveniente y la que produce mejores resultados, y orientar la toma de las decisiones que permitan introducir las modificaciones más adecuadas para conseguir su mejora.

La autoevaluación institucional ha venido articulándose cada vez más como el elemento central de la evaluación orientada hacia la mejora. Se trata de un proceso evaluativo que se inicia en el propio centro, que se realiza por los propios profesionales que actúan en él, con el objetivo de comprender y mejorar la práctica escolar. Sin embargo, en la autoevaluación también pueden intervenir agentes externos para facilitar el proceso de reflexión y modular las interpretaciones desde el interior.

Dentro del marco integral de la evaluación del sistema educativo, la evaluación de los centros docentes es una necesidad que se manifiesta con fuerza en todos los niveles educativos.

La evaluación basada en el centro no es sinónimo de evaluación interna, ni tampoco antónimo de evaluación externa, sino de una combinación de ambas, pues la evaluación necesita de las aportaciones tanto de una como de otra. Los centros deben apoyarse fundamentalmente en la autoevaluación, pero también necesitan demostrar sus méritos; esto no se consigue sólo con la evaluación interna; sin algún elemento de la evaluación externa es probable que surjan críticas y demandas de rendición de cuentas. Sin embargo, parece claro que la evaluación basada en el centro, orientada para mejorarlo, debe apoyarse prioritariamente en la evaluación interna, aunque se sugiere siempre complementarla con cierta evaluación externa, como una evaluación colaborativa.

Aunque la necesidad de la evaluación de los centros es proclamada tanto por los expertos en educación como por la Administración educativa, la realidad muestra que su concreción en la práctica es una actividad ocasional, asistemática y dispersa, cuando no inexistente, llamando la atención el hecho de que, hasta ahora, los centros docentes no hayan sido evaluados de una manera rigurosa; ni desde dentro, para comprobar el resultado de su actividad y mejorar la toma de decisiones; ni desde fuera para ver si cumplen el compromiso social y educativo que la sociedad les encomienda.

Si la evaluación de los centros docentes es necesaria para la Administración, pues a través de ella consigue conocer en qué medida se están logrando las metas previstas por el sistema educativo y cómo contribuye el funcionamiento del mismo en su conjunto a la mejora de la enseñanza, también lo es para los propios centros, ya que la información que proporciona permite conocer en qué medida los objetivos que han formulado responden a las necesidades educativas de sus alumnos, cómo su organización y su funcionamiento contribuyen a alcanzarlos y si los resultados conseguidos responden a las finalidades propuestas.

El reto de mejorar cualitativamente la enseñanza que se imparte en unos centros con mayores cotas de autonomía curricular, organizativa y de gestión, junto al legítimo derecho de los usuarios de la educación a conocer el grado de consecución de los objetivos propuestos, convierte la evaluación de los centros docentes en una necesidad ineludible.

Teóricos de la evaluación la reducen a dos grandes bloques, los que enfatizan los resultados y los que enfatizan los procesos internos, y aunque dicen que este agrupamiento puede resultar algo reduccionista, resulta útil, sobre todo ante la dicotomía de planteamientos de orientación sumativa y formativa, y para captar las diferencias entre la investigación centrada en la eficacia escolar y la centrada en su mejora.

La evaluación de los centros ha de ser un proceso mucho más rico y complejo que el mero control de los resultados alcanzados por los alumnos en su proceso de aprendizaje y que no se ha de limitar únicamente a este campo, sino que se extiende a todo el proceso de enseñanza-aprendizaje en sí, a la actividad docente, a la participación de los diferentes sectores que conforman la comunidad educativa del centro y a sus estructuras de organización y funcionamiento.

La evaluación de los centros deberá cumplir, de manera simultánea, funciones de control, rendimiento de cuentas, motivación, formación y apoyo al conocimiento. La evaluación es un proceso reflexivo, sistemático y riguroso de indagación para la toma de decisiones sobre la realidad, que atiende a su contexto, considerando tanto lo explícito como lo implícito. Se trata, por tanto, de encontrar y aplicar técnicas e instrumentos rigurosos y precisos para obtener una información que sea objetiva y de calidad, útil y descriptiva.

También es importante destacar la finalidad formativa que debe tener la evaluación, en cuanto que tiene que servir para perfeccionar el proceso docente y para intervenir de manera efectiva en la mejora de las instituciones escolares, pues la validez del proceso de evaluación reside fundamentalmente en su utilidad para detectar los problemas y los aciertos de las propias instituciones, así como en su capacidad para ayudar a todos los implicados a ser conscientes de ellos y poderlos superar.

Por todo ello, la evaluación de centros debe ser, fundamentalmente, una evaluación formativa, en la que los inspectores e inspectoras de educación, como agentes evaluadores, actuarán e informarán a los implicados en ella, sobre los aspectos positivos detectados así como sobre aquellos que requieran una revisión para su adecuación y mejora, propiciando la participación de todos los sectores de la comunidad escolar en el proceso evaluador.

Se debe potenciar los procedimientos de evaluación y auto evaluación interna en los centros docentes, así como la utilidad de contrastar, con los mismos centros, los diagnósticos y valoraciones realizadas por la inspección, en la línea de ir construyendo una cultura de la evaluación que vaya impregnando la organización y el funcionamiento normal de los centros.

Conseguir centros eficaces es uno de los objetivos de la política educativa de muchos países como elemento esencial de calidad. En este marco la evaluación de centros representa un medio para un fin: lograr centros eficaces y de calidad a través de un sistema que nos permita controlar, valorar y tomar decisiones en un proceso continuo y sistemático que facilite un desarrollo progresivo en el logro de los objetivos.

Asistimos a un proceso generalizado de evaluación, que trasciende el ámbito de los aprendizajes, en muchos países y a distintos niveles. Aunque los aprendizajes siguen ocupando un papel prioritario con nuevas alternativas y avances producidos por las aportaciones metodológicas vinculadas a la medida, se amplía el campo de evaluación abarcando sistemas, resultados, procesos, práctica docente, profesorado, centros educativos, etc.

Existe una gran diversidad de modelos, metodologías, procedimientos, instrumentos y, en definitiva, recursos técnicos que permiten realizar procesos de evaluación más o menos comprehensivos para el conocimiento, control y mejora racional de los mismos.

Consideramos, no obstante, la necesidad de que estos procesos se universalicen, para lo cual es preciso generar y extender una cultura evaluativa entre los miembros de la comunidad educativa que enfatice por encima de todo el carácter formativo de la misma y contribuya a reducir la resistencia a estos procesos. En este sentido, deberían promoverse los procesos de autoevaluación de los centros, en los que la comunidad educativa debe tener una clara implicación, de manera que las decisiones puedan tener un efecto positivo para la mejora y el cambio en el propio centro y, a largo plazo, en la eficacia del sistema educativo.

Se deberían analizar los enfoques modélicos de uso más habitual en la práctica de la evaluación de centros, clasificados en las perspectivas de resultados escolares, procesos internos y realidad estructural y funcional de los centros, mejora institucional, y metaevaluación; así como la aproximación al concepto de eficacia en educación como "valor añadido" (El valor añadido sería la medida del incremento del rendimiento de un estudiante, producida por el efecto de la escuela, una vez eliminada la influencia de las características de entrada (background) del mismo)

La calidad, preocupación de todos, se relaciona con la eficacia. Los programas de mejora de los centros van dirigidos a plantear reformas específicas que afectan a la organización general del centro y orientados al desarrollo de aquellas variables o elementos del centro que han mostrado sistemáticamente su relación con eficacia (liderazgo, expectativas del profesor, implicación de los padres en las tareas educativas, etc.).

Los modelos de evaluación de instituciones escolares centrados en sus resultados, se entroncan de manera directa en el movimiento investigativo de las escuelas eficaces y, como es lógico, tienen los mismos soportes metodológicos, tomando como referente básico los objetivos del centro y su nivel de consecución.

Los modelos procesuales permiten identificar la relevancia de variables como liderazgo, disciplina y control de los estudiantes, expectativas sobre el rendimiento, tiempo de aprendizaje, etc., y las interacciones entre ellas como influyentes en los logros escolares.

Otra gran perspectiva evaluadora es la que se apoya en el análisis interno de la organización, de sus estructuras de funcionamiento y de la satisfacción de sus miembros, sobre la hipótesis de que una situación favorable desde esta perspectiva incide en la calidad y en el éxito de la organización. Estas características nos parecen seguir teniendo interés para valorar la calidad organizativa y funcional de un centro educativo.

El cambio, la innovación, la reforma y la mejora institucional la entendemos como uno de los objetivos básicos en la investigación evaluativa sobre centros educativos en el momento presente.

Sea cual sea el enfoque modélico que se tome, la evaluación de centros educativos, es una tarea compleja, sobre todo en la práctica, por razones técnicas, presiones ambientales, falta de evaluadores cualificados y dificultades de lograr la colaboración y participación necesarias.

Nos encontramos con una falta de actualización formativa de los directivos de centros educativos en materia de sistemas de evaluación.

 Se debería potenciar la permanente renovación de las técnicas de gestión organizativa necesarias para desarrollar la función directiva con eficacia y de acuerdo a las nuevas demandas sociales y educativas.

El personal de los centros debe entender que evaluar es un proceso sistemático y técnicamente riguroso, y no intuitivo, para el que se necesita preparación.

Concluyendo, la evaluación del centro debe tener tanto la función formativa como la sumativa, proporcionando información para la planificación y el perfeccionamiento, así como para la certificación y la rendición de cuentas, proporcionando juicios de valor a partir de diversos criterios sobre distintos aspectos del centro.

La inspección juega un papel preponderante tanto en la evaluación interna como externa de los centros, en el ejercicio de las funciones encomendadas (asesorar, supervisar, evaluar), siendo un elemento clave para estimular los procesos de evaluación y lograr que sea una acción educativa habitual.



JOSÉ IGNACIO SÁNCHEZ PÉREZ.
Inspector de Educación de la Dirección de Área Territorial de Madrid-Sur. Leganés. Madrid.

Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs

Google+