domingo, 30 de agosto de 2015

Evidencia empírica de los efectos de los esquemas de evaluación del desempeño docente


En este artículo se resume la evidencia empírica existente con respecto a los efectos de la evaluación del desempeño docente en la práctica docente y el aprendizaje de los estudiantes. En primer lugar, se destacan las dificultades enfrentadas para evaluar los efectos cuantitativos asociados a los esquemas de evaluación del desempeño docente y las conclusiones mixtas resultantes. A continuación, se consideran las circunstancias bajo las cuales los sistemas de evaluación del desempeño docente parecen ser más eficaces.

 

Evidencia cuantitativa
Dificultades para medir la calidad de los docentes y el impacto de la evaluación docente
Gran parte de la literatura establece que los docentes tienen una alta incidencia en los indicadores de rendimiento escolar, en el sentido de que son poderosos contribuyentes al rendimiento académico de los estudiantes  sin embargo, la literatura se muestra más renuente a demostrar cuáles son las características de los maestros que son relevantes para la calidad de los docentes y cuál es la importancia relativa de la calidad de los docentes en comparación con otros factores que teóricamente influyen en el aprendizaje de los estudiantes, incluyendo los factores familiares, los factores asociados a los estudiantes y los factores escolares. Aaronson, Barrow y Sander recalcan que la literatura sobre este tema “sigue estando relativamente en la oscuridad” a pesar del mejoramiento de la información. No es de sorprender que la medición del impacto de la evaluación docente en términos del aprendizaje de los estudiantes a través de las ‘funciones de producción educacionales’ sea incluso más difícil.

La medición del efecto de la evaluación docente enfrenta una serie de desafíos. En primer lugar, es preciso controlar el amplio conjunto de variables cualitativas que probablemente influyen en el aprendizaje de los estudiantes. Estas variables comprenden las características del maestro (por ejemplo, edad, género), su formación y experiencia, los factores familiares que afectan al estudiante (por ejemplo, los antecedentes de los padres, el apoyo de los padres), los factores escolares (por ejemplo, las políticas del establecimiento escolar, los incentivos del establecimiento, los efectos de los pares y el aula) y los factores de cada estudiante (por ejemplo, la motivación, las habilidades cognitivas, la experiencia acumulada). Las complejas realidades de la educación impiden que los investigadores asimilen con precisión estos factores como datos de entrada tradicionales en las funciones de producción. En segundo lugar, debido a su naturaleza cualitativa y heterogénea, el producto en sí mismo –el aprendizaje de los estudiantes– no es un ‘producto final’ tradicionalmente medible y esto hace aún más difícil la descomposición entre los aportes de los diferentes factores. Esto no significa que es inútil realizar cualquier estudio cuantitativo en educación, sino que se requiere prestar particular atención a los aspectos analíticos o a las potenciales interpretaciones erróneas de los resultados. Además, es preciso considerar que cada omisión de un factor o problema de medición –incluyendo la ausencia de datos– genera un posible sesgo cuantitativo en la relación estimada entre la calidad de los docentes y el rendimiento académico de los estudiantes.

A consecuencia de lo anterior, la literatura empírica, que principalmente indicaba que la evaluación docente podría tener una función importante en el aprendizaje de los estudiantes, derivaba de un proceso de eliminación. Por medio de una oposición o restricción de los respectivos roles de los rasgos evidentes de cada maestro en particular (ya sean características, formación, experiencia o incentivos financieros), numerosos estudios concluyeron que lo que en realidad importaba eran las prácticas del maestro y, por extrapolación, la evaluación de estas prácticas. El primer aporte influyente fue la distinción de Hanushek entre las características observables de los docentes, tales como los antecedentes, el género o la raza, y las “habilidades” no cuantificables de los docentes. De acuerdo a Hanushek, el hecho de que la literatura anterior no haya encontrado ningún impacto significativo de la calidad de los docentes en el rendimiento académico de los estudiantes se ha debido a que se ha concentrado en los atributos observables de los docentes –el hecho de que el docente tuviera un grado de magíster, por ejemplo– mientras que la calidad de los docentes estaba, por el contrario, relacionada con sus “habilidades” o “elecciones idiosincráticas de la pedagogía y los métodos” (tales como el manejo del aula, los métodos de presentación de las ideas abstractas, las habilidades comunicacionales, etc.), es decir, su práctica.

Basándose en el modelo de Hanushek, un cuerpo de nuevos estudios empíricos entrega evidencia de una escasa relación entre los atributos de los docentes y los indicadores de rendimiento escolar para apoyar la evaluación de la práctica docente. Por ejemplo, Muñoz y Chang (2008) destacan la vaga relación entre la formación y los años de experiencia de los docentes y el progreso escolar de los estudiantes, con la intención de elevar el perfil de la revisión de las prácticas pedagógicas de los docentes entre las políticas educacionales. Aaronson, Barrow y Sander descubrieron que las medidas tradicionales aplicadas a los docentes, incluyendo aquellas que determinan la actual remuneración docente, explican poco de la variación de la calidad estimada. Estos hallazgos cuestionan la actual escala salarial única basada en la formación y la experiencia de los docentes en beneficio de incrementos de la remuneración que consideren determinantes más amplias, incluyendo el vínculo con los sistemas de evaluación de la práctica y el desempeño de los docentes.

Evidencia empírica mixta con respecto a los sistemas de evaluación docente
A diferencia de los estudios mencionados en la subsección anterior, a continuación se aborda la evidencia cuantitativa en torno a los sistemas de evaluación docente per se. Sin embargo, cabe señalar que la mayor parte de las investigaciones empíricas no se centran en la estimación de los efectos directos sobre los resultados de los estudiantes (ni considerando un sistema de evaluación docente en particular ni en forma longitudinal). Por el contrario, la literatura cuantitativa comprende principalmente las dos categorías siguientes de estudios empíricos.

El primer subgrupo examina la variación en la relación estadística entre los docentes y los resultados de los estudiantes cuando los docentes aprueban un proceso de evaluación particular y cuando no lo hacen. Este cuerpo de evidencia no mide los efectos de la evaluación docente en los resultados de los estudiantes, puesto que compara dos grupos distintos de maestros (uno sujeto a evaluación y el otro no) en lugar de comparar el impacto de un grupo particular de maestros en los resultados de los estudiantes antes y después del proceso de evaluación considerado. Por el contrario, entrega una indicación de la capacidad del proceso de evaluación implementado de diferenciar eficazmente los maestros competentes de aquellos que no lo son. Estos estudios son esenciales, puesto que establecen la viabilidad y confiabilidad de un esquema de evaluación, aspectos indispensables para la equidad de los procedimientos sumativos y el potencial vínculo con las retribuciones.

Por ejemplo, numerosos estudios analizaron la viabilidad del sistema de evaluación de la NBPTS, debido a que representa uno de los enfoques más complejos e integrales con respecto a la evaluación del desempeño docente y se traduce en un reconocimiento formal: la Certificación de la Junta Nacional. Una serie de autores descubrieron que los estudiantes de maestros que han obtenido la NBC exhiben un mejor rendimiento en las pruebas estandarizadas que los estudiantes de maestros no certificados. Esto indica, en primer lugar, que las prácticas docentes son importantes para el rendimiento académico de los estudiantes y, en segundo lugar, que la NBC identifica correctamente a aquellos maestros que han adoptado las mejores prácticas. Más aún, Goldhaber y Anthony  también concluyen que los puntajes de los estudiantes mejoraron, particularmente en el caso de los estudiantes minoritarios y los estudiantes con necesidades especiales, sugiriendo, por ende, que la NBC identifica adecuadamente a los maestros que adoptan las prácticas que mejoran la equidad educacional además de la eficiencia general. Sin embargo, otros autores mostraron que, en contraste, los estudiantes de maestros que habían obtenido la NBC no exhibían un rendimiento significativamente mejor que los demás estudiantes, a pesar de mejoramientos en algunos grados o áreas.

La evidencia empírica también es mixta en el caso de los sistemas de evaluación docente obligatoria. Milanowski estimó la relación entre las calificaciones derivadas de la evaluación docente y una medida de rendimiento de valor agregado de los estudiantes para el distrito norteamericano de Cincinnati, que ha implementado un esquema de evaluación docente integral basado en estándares como base para un sistema de remuneración basada en los conocimientos y las habilidades. Descubrió significativas correlaciones positivas y concluyó que, si los puntajes derivados de un sistema de evaluación docente riguroso están sustancialmente relacionados con el rendimiento académico de los estudiantes, esto entrega evidencia válida para el uso de los puntajes obtenidos por los maestros como base para un sistema de retribución financiera. Borman y Kimball estudiaron el sistema de evaluación docente del distrito de Washoe County, que consiste en un modelo de dos niveles. Después de controlar los antecedentes de los estudiantes y la experiencia de los maestros, evaluaron la relación entre la calidad de los docentes medida a través del sistema de evaluación y tanto el rendimiento medio general del curso como los efectos al interior del aula en la equidad social. Descubrieron que los maestros con altos puntajes en las evaluaciones están relacionados con mejores resultados de aprendizaje de los estudiantes en todos los grados y áreas pedagógicas (lectura y matemáticas). Sin embargo, estos maestros no parecen estar reduciendo las brechas en el rendimiento entre los estudiantes con menor y mayor rendimiento y los estudiantes con antecedentes de bajos ingresos o minoritarios. Esta es una fuente de escepticismo al considerar la validez del sistema de evaluación para distinguir entre los maestros que adoptan prácticas orientadas a la equidad y aquellos que no lo hacen.

El segundo subgrupo de estudios cuantitativos con respecto a los sistemas de evaluación docente se centra en los efectos en el mejoramiento de la práctica y la motivación de los maestros, según lo percibido por el maestro evaluado. Si los maestros informan un mejoramiento de las prácticas como resultado del proceso de evaluación y suponiendo que las prácticas correspondientes son relevantes para el aprendizaje de los estudiantes, se supone que el sistema de evaluación es eficaz en mejorar indirectamente los resultados de los estudiantes. Por ejemplo, al solicitar a los maestros la preparación de portafolios y una reflexión acerca de sus prácticas, la NBPTS ofrece una oportunidad rentable de desarrollo profesional a través del proceso de evaluación, motivando al maestro a centrarse en las características de un currículo sólido y en las características de una evaluación rigurosa del aprendizaje de los estudiantes. Diversos autores destacan que los maestros aplicaban en el aula lo que habían aprendido a partir del proceso de evaluación. También pareciera que los maestros cobraban un nuevo entusiasmo por la profesión –en relación al tiempo que esperaban permanecer en la docencia– como resultado de haber enfrentado el proceso de evaluación. Finalmente, los maestros competentes que se someten al proceso de evaluación exhiben probabilidades de contribuir al liderazgo escolar mediante la adopción de nuevas funciones, incluyendo tutorías y coaching de otros maestros que reconocen la ayuda que pueden recibir de los maestros certificados. Estos estudios aportan considerables nociones relativas al aspecto formativo del sistema de evaluación docente.

Como se mencionó anteriormente, existe muy poca evidencia de la correlación directa entre la evaluación del desempeño docente y el rendimiento de los estudiantes. Figlio y Kenny intentaron introducir una evaluación docente como un mecanismo de incentivo para los maestros orientado al rendimiento académico de los estudiantes –junto con medidas de incentivos financieros– en una regresión longitudinal. Utilizaron la base de datos longitudinal norteamericana de escuelas para distinguir entre las escuelas que evalúan a sus maestros experimentados anualmente de aquellas que lo hacen con menor frecuencia, con la expectativa de que una revisión más frecuente del desempeño mejorara el desempeño docente. También controlaron un amplio conjunto de variables de los estudiantes y de las escuelas, además de los incentivos financieros para los maestros y la amenaza de despidos. Lamentablemente, volvieron a encontrar que la evaluación del desempeño docente no era estadísticamente significativa, mientras que los incentivos financieros estaban correlacionados positiva y significativamente con el rendimiento de los estudiantes.

Los resultados de Figlio y Kenny destacan las dificultades para estimar el impacto directo de la evaluación del desempeño docente en el rendimiento de los estudiantes. Sin embargo, el hecho de que las retribuciones financieras se identifiquen como mecanismos de incentivos positivos orientados al éxito de los estudiantes sugiere que un sistema de evaluación del desempeño docente es indispensable, puesto que permite la identificación de los maestros eficientes que recibirán una retribución. Además, puede que no sea la frecuencia de evaluación, sino la calidad y la sofisticación del proceso de evaluación lo que importe. Esto explica probablemente la razón por la cual los estudios empíricos suelen centrarse en el diseño de esquemas de evaluación exitosos en lugar de mediciones cuantitativas de sus impactos.

Evidencia cualitativa
La evidencia también indica que la evaluación docente parecer ser más eficaz bajo ciertas circunstancias particulares.

Participación de los docentes en cada etapa del proceso. Es preciso consultar a los docentes con respecto a las fortalezas y deficiencias del sistema desde su diseño hasta su plena implementación y revisión. En primer lugar, los docentes deben estar de acuerdo con el marco que define los estándares de la profesión. “La participación activa de los docentes en la construcción y perfeccionamiento del modelo es esencial” (Heneman). El Marco para la Enseñanza de Danielson o los estándares desarrollados por la NBPTS podrían utilizarse como puntos de partida, con ajustes posteriores para cumplir con los objetivos educacionales locales. La creación de Consejos de Docencia, como en Irlanda en el período 2005- 2006, ofrece grandes oportunidades para involucrar a los docentes en el establecimiento de estándares profesionales de alto nivel y, de manera más general, para integrar plenamente a los maestros en la (re)definición de la profesión para el posterior desarrollo de las políticas (OCDE, 2005).

En segundo lugar, todos los docentes deben recibir apoyo para comprender lo que la evaluación espera de ellos para reconocerlos como buenos maestros y para prepararse adecuadamente para el proceso de evaluación. Esto requiere tanto transparencia con respecto a los métodos utilizados como también coaching orientado a una evaluación con empoderamiento. En palabras de Heneman et al.: “En el caso de los maestros, la formación inicial debería centrarse en la naturaleza de las competencias de desempeño en las cuales se basa el sistema, los propósitos y mecanismos del sistema de evaluación y los conocimientos y habilidades necesarios para operar eficazmente bajo el nuevo sistema”. Podrían integrarse expectativas claras con respecto al proceso de evaluación y el correspondiente perfeccionamiento docente en las acciones de liderazgo de los directores de las escuelas. La necesidad de eliminar la ‘conexión suelta’ entre la superestructura administrativa y el núcleo técnico conformado por los docentes, es decir, la transición desde los procedimientos burocráticos actuales bajo los cuales los docentes son sometidos a una evaluación hasta una evaluación realizada con los docentes, requiere la plena apropiación de la reforma por parte de los docentes.

Finalmente, también es preciso ofrecer a los docentes oportunidades de expresar sus percepciones y preocupaciones con respecto al proceso de evaluación después de la instauración del sistema. Las entrevistas y encuestas son métodos comunes utilizados por los analistas para recoger las reacciones de los docentes con respecto al sistema de evaluación. Las preguntas generalmente incluyen la comprensión del proceso, la aceptación de los estándares, la equidad del proceso y de los resultados, la capacidad y objetividad del evaluador, la calidad de la retroalimentación recibida, el impacto percibido del proceso de evaluación sobre la enseñanza y la impresión general del sistema. Milanowski y Heneman descubrieron que la actitud general favorable de los docentes hacia un sistema recientemente implementado en un distrito escolar norteamericano de mediano tamaño estaba correlacionada con la aceptación de los estándares docentes, la equidad percibida del proceso, las cualidades del evaluador y la percepción de que el sistema de evaluación tiene un impacto positivo en su enseñanza. Los docentes recibieron 1,5 días de perfeccionamiento para comprender los dominios y estándares evaluados y familiarizarse con los aspectos que serían considerados por los evaluadores y se les proporcionó información con respecto al desarrollo de un portafolio.

Formación de los evaluadores. La literatura apunta a un amplio consenso con respecto a la necesidad de una exhaustiva formación de los evaluadores. En primer lugar, los evaluadores deben recibir capacitación para calificar a los docentes de acuerdo a la evidencia limitada que recopilan, los criterios de una buena enseñanza y los correspondientes niveles de calidad de los docentes. Esto es particularmente importante cuando los evaluadores son los directores de los establecimientos escolares, que podrían tener conocimientos limitados con respecto a los contenidos y las habilidades pedagógicas requeridas para la materia enseñada por el docente evaluado. En segundo lugar, debe ofrecerse capacitación a los evaluadores en la entrega de retroalimentación constructiva y coaching a los docentes para el futuro mejoramiento de la práctica.

Liberación de otras tareas, tanto para los evaluadores como para los docentes. Los sistemas de evaluación docente integrales requieren tiempo y otros recursos. Esto puede ser oneroso, pero es indispensable para el diseño de un sistema coherente y equitativo aprobado y aceptado como propio por los docentes. Una consecuencia es que tanto los docentes como los evaluadores deberían ser liberados parcialmente de otras labores. Milanowski y Heneman descubrieron que incluso si los docentes aceptan los estándares y la necesidad de un sistema de evaluación, podrían manifestar reticencia cuando el sistema recarga demasiado su carga de trabajo. Por lo tanto, los docentes deberían contar con el tiempo para reflexionar con respecto a su práctica, especialmente cuando el proceso exige la preparación de un portafolio. Como lo enfatiza Heneman et al.: “Los diseñadores del sistema deben analizar cuidadosamente qué se requiere de los maestros para minimizar la carga. (…) Tal vez alguna pequeña reducción de las demás responsabilidades durante el período en el cual los maestros están siendo sometidos a la evaluación disminuiría la percepción de carga y sensación de estrés”. Las autoridades a cargo de la formulación de las políticas también deberían intentar reducir la carga de trabajo administrativa de los evaluadores, especialmente de los directores de los establecimientos escolares, con el fin de otorgarles más tiempo para la evaluación de los docentes, la retroalimentación y el coaching.

Ejecución de una implementación piloto y revisión permanente del proceso. Una implementación piloto constituye una forma rentable de garantizar que el sistema sea eficiente, equitativo y coherente con las necesidades locales antes de la plena implementación. Las entrevistas a los maestros durante la implementación piloto son esenciales para corregir las posibles deficiencias e inquietudes con respecto al sistema. Los investigadores o profesionales también deberían concentrarse en estudios de validez y confiabilidad. Pecheone y Chung muestran que la consistencia de los puntajes debe ser minuciosamente examinada. Por ejemplo, los puntajes basados en estándares son relevantes si corresponden a las calificaciones holísticas del desempeño de los docentes y si supervisores familiarizados con los docentes muestran un amplio consenso con respecto al nivel de desempeño. Milanowski y Heneman recalcan la necesidad de controlar la confiabilidad de los evaluadores mediante un ‘proceso de calibración’ consistente en comparar las calificaciones experimentales de algunos evaluadores con jueces expertos y analizando las diferencias. Solo debe permitirse que evaluadores acreditados evalúen a los maestros después de la plena implementación. También deberían realizarse revisiones del proceso después de la plena implementación. Es más probable que los maestros acepten el proceso en forma rápida si saben que tendrán la oportunidad de expresar sus preocupaciones y opiniones con respecto a las adecuaciones necesarias a medida que el proceso evoluciona.

Incorporación de la evaluación del desempeño docente en las políticas de calidad y apoyo docente más generales. La evaluación no debería reemplazar otros medios de garantizar la calidad de los docentes, tales como la formación docente y los programas de licenciatura, los programas de inducción, el desarrollo profesional, la retroalimentación y asesoría informales permanentes y el reconocimiento más amplio de la experticia y el compromiso con el trabajo exhibidos por los docentes.





Extraído de:
Evaluación docente: Prácticas vigentes en los países de la OCDE y una revisión de la literatura
Programa de Promoción de la Reforma Educativa en América Latina y el Caribe
Este informe fue preparado por Marlène Isoré
Marzo 2010
ISSN: 0718-6002

No hay comentarios:

Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs

Google+