lunes, 30 de mayo de 2011

¿Por qué los ranking son formas inapropiadas para valorar la calidad de la educación?

¿Por qué los rankings son modos inapropiados de valorar la calidad de las escuelas?
Extraído de
Para comprender las evaluaciones educativas Fichas didácticas
Pedro Ravela
GTEE PREAL

Hacia nuevos modos de utilizar los resultados por escuela
La ficha tiene como propósito alertar al lector acerca de la sobre-simplificación de la realidad implícita en la mayoría de los “rankings” educativos, que en general ofrecen una visión errada e incompleta de las instituciones y sistemas educativos, conduciendo a juicios inapropiados acerca de la calidad de los mismos –y muchas veces contribuyen más a deteriorar que a mejorar la calidad de la educación-.

Con este fin, se explica y ejemplifica cuatro principales tipos de problemas que presenta
la mayoría de los rankings:
1. pretenden ordenar en función de la “calidad”, cuando en realidad utilizan un único indicador (o, a lo sumo, unos pocos);
2. ofrecen una falsa impresión de precisión en el ordenamiento;
3. no tienen en cuenta que, a nivel escolar, los resultados son altamente volátiles;
4. no consideran las diferencias en la composición social del alumnado de las escuelas y en los recursos con que éstas cuentan.

En función del análisis de estas debilidades, en la ficha se propone una serie de recomendaciones sobre modos apropiados de realizar ordenamientos y comparaciones de resultados entre escuelas o jurisdicciones.

Una visión simplista de la realidad Para comenzar, conviene distinguir entre dos cosas bastante diferentes: una es generar información sobre qué tanto las escuelas están logrando que sus alumnos adquieran los aprendizajes esperados y otra completamente diferente es convertir eso en una tabla de posiciones tipo campeonato de fútbol, de manera simplista y con gran daño para muchas escuelas

Las figuras 1 y 2 muestran el tratamiento que el diario “La Segunda” de Chile, en su edición del jueves 21 de noviembre de 2002, dio a los resultados de la prueba SIMCE 2001. Seguramente no es éste el tipo de tratamiento que el Ministerio de Educación de Chile busca al publicar los resultados por escuela, pero la realidad es que éste es el tipo de tratamiento que buena parte de los medios de prensa da a los rankings y que el enfoque de los medios de prensa es lo que más impacto tiene en la opinión pública y en el sector educativo.

Lo primero que debe observarse son los titulares estilo campeonato de fútbol que
“trivializan” la realidad educativa.

Lo segundo a observar es el hecho de que “los mejores” colegios pertenecen a los sectores privilegiados de la sociedad. 18 de 20 son colegios particulares pagados y 2 son colegios públicos tradicionales de los principales municipios de la región metropolitana. Parte importante de ellos son colegios bilingües que atienden preferentemente a alumnos de clase alta y media alta.

FichDid_-_Ficha_10 Los Rankings Son dos


Si está interesado en acceder al archive PDF, y no puede bajarlo de SCRIBD, puede solicitarlo a achristin@gmail.com

miércoles, 25 de mayo de 2011

RESUMEN DE LOS ARGUMENTOS EN FAVOR Y EN CONTRA DE LA EVALUACIÓN DOCENTE SEGÚN LO DESCRITO EN LA LITERATURA

En los párrafos siguientes se resumen los argumentos en torno a la evaluación del docente, tomando en cuenta algunas dimensiones como la “Responsabilidad por los resultados”, “Mecanismos de incentivos”, “Desarrollo profesional”, “Costo” y “Efectos”.

Responsabilidad  por los resultados          
Argumentos a favor de la evaluación docente:
El sistema actual no hace responsables a los docentes por su práctica y su desempeño.
Las autoridades locales y los padres tienen el ‘derecho’ a instituir mecanismos de garantía de la calidad.
Las evaluaciones  permiten la identificación de quienes tienen un buen desempeño  de manera similar a otros mercados.                    

Argumentos en contra de la evaluación:
Los mecanismos de mercado no tienen lugar en la educación.
El diseño de un sistema de evaluación equitativo y riguroso para efectos de responsabilidad por los resultados es vano, debido a que no es posible determinar  el desempeño  en forma objetiva y la ‘buena enseñanza’ puede adquirir diversas formas.
La enseñanza requiere un ambiente seguro, alejado de las presiones políticas, sociales y financieras.
Algunos docentes pueden desmotivarse como consecuencia de los procedimientos de evaluación.
La revisión del desempeño aumenta el apoyo político y público a los sistemas educacionales.     
Es un ejercicio burocrático  sinsentido  que requiere cambios.
Son esenciales  para hacer más atractiva la profesión.               

Mecanismos  de incentivo y vínculos  con el reconocimiento y las retribuciones         
Argumentos a favor de la evaluación docente:
Las evaluaciones entregan una base para incrementos de la remuneración que difieren de la escala salarial única basada meramente en la experiencia. 
Existe la necesidad  de adoptar las medidas adecuadas ante los docentes ineficientes.

Argumentos en contra de la evaluación:
Es una política paternalista que estigmatiza a los docentes.
Los docentes no están motivados por recompensas financieras, sino por aspectos ‘intrínsecos’ (por ejemplo, el deseo de enseñar, de trabajar con niños) y condiciones de trabajo favorables  (por ejemplo, horarios flexibles).


Desarrollo profesional
Argumentos a favor de la evaluación docente:
Las evaluaciones permiten que los docentes identifiquen  sus fortalezas  y deficiencias  en relación con los objetivos del establecimiento escolar y evalúen sus necesidades de desarrollo profesional.
Son esenciales para mantener motivados a los maestros en su trabajo.       

Argumentos en contra de la evaluación:
La selección de las actividades de desarrollo profesional no debe basarse en los resultados de las evaluaciones, sino que debe ser realizada por el docente unilateralmente.
Los establecimientos  escolares  no ofrecen actividades  de desarrollo  profesional  en las áreas en las cuales se requiere el perfeccionamiento.


Costo 
Argumentos a favor de la evaluación docente:
El sistema actual malgasta tiempo, energía y dinero.           

Argumentos en contra de la evaluación:
Un esquema de evaluación  docente integral es oneroso y requiere mucho tiempo.


Efectos          
Argumentos a favor de la evaluación docente:
Las evaluaciones mejoran la práctica de los docentes y el aprendizaje de los estudiantes.
Las evaluaciones del desempeño docente mejoran la cooperación entre los docentes –a través de debates profesionales  y un intercambio de su práctica – y entre los docentes y los directivos de los establecimientos escolares, de los cuales se espera retroalimentación y coaching.
           
Argumentos en contra de la evaluación:
Las evaluaciones  producen una serie de efectos negativos  tales como la restricción del currículo y el descuido de algunos estudiantes.
Las evaluaciones del desempeño docente reducen la cooperación entre los docentes – debido a los efectos de competencia –  y entre los docentes y los directivos de los establecimientos escolares, debido a las relaciones jerárquicas o entre ‘evaluador evaluado’.


Por otra parte, los docentes suelen rechazar las reformas diseñadas por las autoridades a cargo de la formulación de las políticas, debido a que las consideran incompatibles con sus propios intereses y prácticas diarias. Kennedy (2005) argumenta que el rechazo a las reformas por parte de los maestros “muy dedicados” no proviene de su falta de disposición al cambio o al mejora miento, sino del “triste hecho de que la mayor parte de las reformas no reconocen las realidades de la enseñanza en el aula”. Los reformadores tienen altas expectativas con respecto al contenido escolar riguroso y pertinente, al compromiso intelectual y al acceso universal al conocimiento. Sin embargo, las reformas fracasan, principalmente debido a que “las circunstancias de la docencia impiden que los docentes modifiquen sus prácticas”. Por ejemplo, los docentes enfrentan restricciones diarias y hechos inesperados, soportan las presiones del calendario académico y sirven a una ‘clientela obligatoria’ y heterogénea.

Si bien los argumentos en favor de las evaluaciones generalmente provienen de las autoridades a cargo de la formulación de las políticas y los argumentos en contra provienen de los sindicatos  docentes,  la  realidad  es  menos  tajante. Por ejemplo, la Federación Norteamericana de Maestros y la Asociación Nacional de Educación, los dos principales sindicatos docentes norteamericanos (Hesse y West, 2006), promueven la certificación de la NBPTS como “una manera probada de fortalecer las habilidades, conocimientos,  profesionalismo  y  reconocimiento de los maestros” (AFT y NEA, 2008). Sin embargo, como se mencionó anteriormente, la evaluación de la NBPTS es solicitada voluntariamente por los docentes que desean revisar su práctica en función de los más elevados estándares profesionales y no tiene ninguna consecuencia negativa. La respuesta de los sindicatos podría haber sido diferente ante un esquema de evaluación obligatorio generalizado en el cual todos los maestros fuesen evaluados, cualquiera fuese su nivel o calidad, o en el cual pudieran estar en juego potenciales despidos o postergaciones de los ascensos.

Asimismo, se observa una gran heterogeneidad en las respuestas de los docentes a los esquemas de evaluación. Por ejemplo, los docentes más jóvenes podrían mostrarse más dispuestos a aceptar evaluaciones sumativas y vínculos entre los resultados de las evaluaciones y la remuneración que los maestros más experimentados, que se encuentran en un nivel más alto de la escala salarial. Estudiando la aceptación potencial de la remuneración basada en el desempeño o la remuneración basada en los conocimientos y las habilidades por parte de los nuevos maestros, Milanowski (2007) descubrió que los maestros principiantes podrían visualizar en forma más favorable las nuevas estrategias de remuneración que sus colegas más experimenta dos. Asimismo, los docentes que han invertido una considerable cantidad de tiempo y dinero en obtener las certificaciones educacionales requeridas por la escala salarial única, exhiben una mayor probabilidad de rechazar la reforma (Odden y Kelley, 2002). Entre los maestros más antiguos, la heterogeneidad también es sorprendente. Day y Gu (2007) descubrieron que los maestros que habían ejercido más de veinticinco años se encontraban en escenarios profesionales extremos: un subgrupo “mostraba un continuo interés por actualizar y mejorar sus conocimientos  para  el  aula”,  mientras  que  el otro subgrupo “mostraba crecientes sentimientos de fatiga y desilusión”. Esta división podría implicar que los primeros estuvieran mucho más dispuestos que los últimos a aceptar –o incluso a promover– una revisión de su práctica y una retroalimentación con respecto a la misma.


Extraído de
Evaluación  docente: prácticas  vigentes  en los países de la OCDE y una revisión  de la literatura
Marlène Isoré
Este informe fue preparado por Marlène Isoré, estudiante de postgrado del Institut d’Études Politiques de Paris (Sciences Po), Francia, durante una pasantía en la División de Políticas de Educación y Capacitación, Dirección de Educación, OCDE, durante el período junio septiembre de 2008. PREAL agradece a la OCDE la autorización para traducirlo y publicarlo en español.

sábado, 21 de mayo de 2011

¿Qué significan los números de las evaluaciones de Calidad Educativa?

Elementos básicos para comprender los datos estadísticos
Extraído de
Para comprender las evaluaciones educativas Fichas didácticas
Pedro Ravela
GTEE PREAL
Las fichas tienen como objetivo ayudar al lector a comprender el significado de los distintos tipos de “datos numéricos” que se utiliza para reportar los resultados de las evaluaciones estandarizadas.

Para ello se intentará explicar, de manera accesible, una serie de conceptos imprescindibles para comprender los datos que se incluyen en los reportes.

En esta ficha se comienza por una explicación básica acerca de los dos grandes modelos existentes para la construcción de pruebas estandarizadas y el procesamiento de sus resultados: la Teoría Clásica de los Tests (TCT) y la Teoría de Respuesta al Item (TRI). Cada uno de estos modelos produce “datos numéricos” que tienen distintos significados y es imprescindible que el usuario de evaluaciones estandarizadas tenga una información básica al respecto. En segundo lugar, la ficha explica la diferencia entre promedios y distribución de frecuencias, dado que los resultados de las evaluaciones suelen aparecer bajo una u otra de estas formas.

En el resto de esta ficha se muestra y explica ejemplos de reportes de resultados utilizan promedios producidos tanto a partir de la TCT como a partir de la TRI. En la ficha 9 se mostrará ejemplos de reporte de resultados que emplean la distribución de frecuencias, también con TCT y TRI.

Finalmente, en la ficha explica un concepto estadístico importante, el de “intervalo de confianza” de las mediciones. Este concepto implica tener en cuenta el margen de error que toda medición tiene (recuérdese lo dicho acerca de la confiabilidad) a la hora de interpretar las diferencias de resultados entre países, escuelas u otro tipo de entidades.

FichDid_-_Ficha_08 significado de la evaluación


Si está interesado en acceder al archive PDF, y no puede bajarlo de SCRIBD, puede solicitarlo a achristin@gmail.com

jueves, 19 de mayo de 2011

La evaluación escolar, técnicas e instrumentos

La evaluación escolar técnicas e instrumentos
Contribuir al proceso formativo de personas con espíritu crítico y creativo, capaces de desarrollarse con progresiva autonomía, en la vida.

Recogida y análisis de información sobre el proceso educativo para tomar decisiones con la intención de mejorarlo.

Su sentido es el de obtener un conocimiento mayor de todas las variables que intervienen en el proceso educativo, de manera que se puedan adoptar de forma colectiva decisiones para su ajuste y/o reorientación.

Evaluaremos
El grado de adquisición de las capacidades recogidas en los contenidos actitudinales, procedimentales y conceptuales, por parte de cada escolar.




La experiencia de los/as niños/as será motor de aprendizaje y elemento constante de referencia y reflexión.
La evaluación puede convertirse en un elemento primordial para a la innovación y para el desarrollo profesional, siempre que sea entendida como una hipótesis de investigación y como un compromiso colectivo entre compañeros que comparten criterios y enfoques metodológicos rigurosos y susceptibles de contrastación.

domingo, 15 de mayo de 2011

¿Cómo comunicar los resultados de la evaluación?

¿Como comunicar los resultados de la evaluación?
Antonio Bolívar
(Universidad de Granada)
            Cambiar las formas de evaluación para, finalmente, no alterar los modos como la evaluación es comunicada, no lleva muy lejos. El informe de evaluación debe ser aprovechado para crear las condiciones y capacitar a la comunidad escolar para comprender y colaborar (padres), tener conciencia de su situación, ayudar y motivar (alumnos), y reajustar los procesos con decisiones informadas (profesorado). La validez de un informe de evaluación vendrá dada en función de su capacidad para mejorar los procesos educativos por alumnos, padres y profesores. Por eso, el tema de las técnicas/fichas de evaluación o de información a los alumnos y familias se subordinan a la función educativa, además de informativa, que se pretenden tengan.

            A veces, la comodidad de rellenarlo con una sola calificación, puede alterar toda la naturaleza del proceso de evaluación llevado a cabo. La codificación (numérica, alfabética), que se emplea administrativamente, no es el mejor medio, pues los fines previstos pueden no estar correspondiéndose con la función real que están teniendo. Esto suele exigir elaborar algunas fichas que incluyan diversos aspectos, o comentarios sobre el proceso seguido o las medidas a tomar, aparte de las posibles entrevistas. Será siempre necesario dar información cualitativa del conjunto de dimensiones educativas. La información versará sobre la evolución de las capacidades propias del alumno o alumna, así como los problemas de aprendizaje detectados y las estrategias de solución que precisen de la cooperación con la familia. No obstante, no siempre se dispone de la inversión de tiempo que suelen exigir los informes cualitativos no estandarizados. Por eso es preciso lograr, en cada centro, un equilibrio adecuado entre narración propia de cada profesor, y enunciados estandarizados, que sean expresivos y significativos en cada caso.




Extraído de
LA MEJORA DE LOS PROCESOS DE EVALUACIÓN
Antonio Bolívar
(Universidad de Granada)

miércoles, 11 de mayo de 2011

¿Cómo se formulan los juicios de valor?

¿Cómo se formulan los juicios de valor en las evaluaciones educativas?
Evaluaciones normativas, de progreso y criteriales
Evaluar consiste básicamente en valorar una realidad (una institución, las competencias de un conjunto de individuos, un sistema educativo) comparando evidencia empírica sistemática con un referente o definición conceptual acerca de lo deseable para dicha realidad. En las evaluaciones educativas hay tres maneras principales de formular juicios de valor.

a. Enfoque “normativo”
Un primer enfoque, llamado “normativo”, pone el foco de atención en ordenar a los individuos, instituciones o subsistemas -– regiones, provincias, estados – evaluados con el fin de compararlos entre sí.
Este enfoque está fuertemente relacionado con pruebas cuyo propósito es la selección. En estas pruebas no importa tanto qué es lo que un individuo específicamente “sabe” o domina, sino si “sabe” más o menos que los otros. El centro de la preocupación no está puesto en describir los conocimientos y competencias de los individuos, sino en conocer en qué lugar del conjunto se encuentra cada individuo -– entre los primeros, en el medio, entre los últimos -- justamente porque el propósito es seleccionar a los mejores candidatos.
Los juicios de valor que se formula en este enfoque son del tipo “Juan es mejor que José”, “Juan está ubicado dentro del 10% mejor”.

b. Enfoque “criterial”
Un segundo enfoque consiste en privilegiar la comparación del desempeño de un individuo con una definición clara y precisa de lo que se espera que conozca y sea capaz de hacer en un determinado dominio (por ejemplo, comprensión de textos escritos).
Muchas veces se define distintos niveles de logro en ese dominio (unos más básicos, otros más avanzados) y se busca establecer en qué nivel se encuentra cada individuo.
Los juicios de valor que se formula en este enfoque son del tipo “Juan se encuentra en un nivel avanzado de desempeño en lectura” o "José no alcanza un nivel mínimamente aceptable de desempeño en lectura”.

c. Enfoque de “progreso”
Un tercer enfoque suele denominarse de “progreso” –también de “crecimiento” o “aprendizaje”. -Éste pone el foco en analizar cuánto ha cambiado un individuo, institución o subsistema en relación a un punto de partida o línea de base anterior.
En este caso, lo que interesa comparar es la situación de un individuo o institución con respecto a un momento anterior en el tiempo.
Los juicios de valor que se formula en este enfoque son del tipo “Juan avanzó – o retrocedió -- tanto desde la evaluación anterior”; “José no cambió desde la evaluación anterior”.
Es importante notar que el enfoque de “progreso” generalmente opera dentro de un enfoque criterial, es decir, que normalmente lo que se hace es valorar el crecimiento o progreso del individuo dentro del dominio evaluado: “Juan estaba por debajo del nivel aceptable y ahora está en un nivel destacado en Matemática”. Sin embargo, puede analizarse el progreso dentro de un enfoque normativo. En estos casos se valora el cambio de posiciones relativas: “Juan antes estaba entre los peores estudiantes del grupo y ahora está en el promedio”.


FichDid_-_Ficha_03 Como Se Formulan Los Jucios de Valor

Si está interesado en acceder al archive PDF, y no puede bajarlo de SCRIBD, puede solicitarlo a achristin@gmail.com

domingo, 8 de mayo de 2011

Enseñar para la evaluación


Según Derek Neal, profesor de Economía en la Universidad de Chicago (EEUU), los sistemas que administran premios y castigos para educadores en función de la perfomance de sus alumnos "facilitan a los funcionarios -en teoría- la obtención de mediciones consistentes sobre el rendimiento de ambos a través del tiempo, pero en la práctica inducen a los docentes a competir contra el sistema entrenando a sus alumnos para aprobar los exámenes, en lugar de enseñarles a dominar los contenidos".
"En tanto las autoridades educativas insistan en tratar de alcanzar los dos fines (las mediciones y las condiciones para el incentivo) a través de un único conjunto de exámenes, seguiran fracasando en ambas tareas", afirma Neal en su trabajo "The Design of Performance Pay in Education", pubicado por el National Bureau of Economic Research. El estudio también será un capítulo del Handbook of Economics of Education.

Aunque mucho se ha escrito sobre los programas que impulsan pagos extraordinarios a los maestros cuyos alumnos muestran buenos resultados académicos, pocos estudios han estudiado los programas en sí, y su diseño. Neal se ha interesado por averiguar porqué muchos han fracasado.

En casos muy raros, los maestros han hecho trampa en respuesta a la presión de los exámentes. En otros, los docentes evitan la instrucción que conduce a un aprendizaje comprehensivo y aumentan el tiempo dedicado a actividades preparatorias para los exámenes. Por ejemplo, pueden dejar de lado la práctica de la escritura y pedir a los estudiantes que practiquen la búsqueda de errores gramaticales en párrafos escritos por otros.

En otras instancias, los programas basados en logros estudiantiles han alentado la emigración de maestros de aquellas escuelas con alumnos provenientes de estratos sociales bajos.

Y también se ha dado el caso de programas cuyos estándares fueron tan altos que los maestros sintieron que sus chances de obtener los incentivos trabajando más duro eran muy pequeñas.

Neal propone que las evaluaciones para medir el rendimiento de los estudiantes y las que determinarán los incentivos a los docentes sean separadas en dos programas diferentes. Las recompensas salariales deberían asociarse a los resultados de pruebas que varían anualmente lo suficiente como para ser impredictibles, para no invitar al entrenamiento. Estas evaluaciones deberían proveer muy poca información sobre si las tendencias de largo plazo en el rendimiento estudiantil son positivas o negativas, pero lo suficiente como para basar los bonos anuales de los maestros en función de los logros de sus alumnos, comparados con otros de otras escuelas y ambientes similares.
Para medir el rendimiento académico de los estudiantes, propone Neal, debería recurrirse a tests que no estén atados a los incentivos ni permitan manipulaciones. Este doble sistema desalentaría a los maestros a "enseñar para el examen".
"Los diseñadores de esquemas de incentivos basados en evaluaciones deben tomar muy seriamente el desafío de diseñar una serie de pruebas donde la mejor respuesta de los educadores no sea entrenar, sino enseñar en formas que construyan un verdadero dominio del conocimiento", concluyó Neal.
Fuente: Science Daily, EEUU.

Ref: University of Chicago. "Giving teachers bonuses for student achievement undermines student learning, study finds." ScienceDaily 6 Apr. 2011. Web. 8 Apr. 2011.                                                         
Extraído de
Síntesis educativa

miércoles, 4 de mayo de 2011

Evaluación educativa


Evaluación educativa
Evaluación de los alumnos.
¿Para que evaluar?
Video sobre las evaluaciones escolares. Clasificación de las evaluaciones, tipos. Evaluación diagnóstica, formativa y sumativa. Auoevaluación y heteroevaluación.
Instrumentos para evaluar.


Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs