miércoles, 29 de abril de 2009

Reflexiones sobre el Diseño y Puesta en Marcha de Programas de Evaluación de la Docencia

La enseñanza ha sido objeto del diseño de políticas nacionales e internacionales, dirigidas principalmente a la regulación de la actividad docente y que han enfatizado la necesidad de definir estrategias más precisas para su evaluación. Sin embargo, estudios recientes sobre las acciones emprendidas por las institucio­nes educativas han permitido evidenciar que es común la presencia de programas de evaluación sin un sustento teórico ni metodológico sólidos. La mayor parte de las acciones han respondido más a políticas de evaluación asociadas con recursos económicos y procesos de certificación que a una intención por conocer, comprender y generar condiciones apropiadas para el desarrollo y mejora de la práctica docente.

La Red Iberoamericana de Investigadores de la Evaluación de la Docencia (RIIED), con base en los resultados obtenidos en sus trabajos de investigación, reafirma que la docencia es uno de los componentes centrales del proceso educativo y que es conveniente la evaluación de su práctica, a condición de que el enfoque de dicho proceso sea formativo y de perfeccionamiento permanente. La evaluación de los profesores es un tema clave que permite la reflexión individual, colegiada e institucional sobre la enseñanza y el aprendizaje y proporciona elementos para entender las complejas relaciones sociales que se establecen en las diversas situaciones de formación.

La intención de este texto es compartir con las autoridades, los encargados del desarrollo de la evaluación, los profesores y los estudiantes algunas reflexiones sobre las fuertes implicaciones y repercusiones de esta actividad, para que cada uno contribuya, desde su ámbito, a consolidar la evaluación de la docencia como una herramienta para la mejora de la calidad de la enseñanza y el aprendizaje. Asimismo, pretende contribuir con algunos elementos a la discusión de este tema con toda la comunidad interesada en ampliar su conocimiento y en la búsqueda de mejores condiciones para propiciar su desarrollo.

En seguida se presentan ciertos aspectos y recomendaciones que pueden alentar la reflexión sobre el diseño e implementación de programas de evaluación del desempeño docente, mismos que se han agrupado en cinco dimensiones que dan cuenta de la complejidad de esta tarea y del impacto que puede tener en los individuos, las instituciones y la sociedad en general.

1. DIMENSIÓN POLÍTICA DE LA EVALUACIÓN
1) La evaluación es una práctica social que conlleva implicaciones de carácter público y privado, con repercusiones para la sociedad, las instituciones y los individuos, por tanto, debe reconocerse su carácter político y ético.
2) La evaluación de la docencia debe ser coherente con la filosofía institucional y con los procesos de evaluación de otras áreas de la institución. De esta manera, se reconoce que cualquier programa de esta naturaleza debe dirigirse de manera explícita a apoyar el logro de la misión de la institución.
3) El diseño de políticas de evaluación de la docencia debe tomar en cuenta las particularidades del contexto institucional, con el fin de delinear acciones de evaluación, acordes con las necesidades y características de cada institución.
4) La explicitación de los propósitos y las repercusiones que tendrá la evaluación de la docencia es una condición indispensable en cualquier sistema de evaluación y pueden contribuir a que todos los involucrados, diseñadores, evaluadores y evaluados, orienten sus acciones hacia el cumplimiento de las metas acordadas.
5) La distinción entre las dos funciones críticas de la evaluación, el control y la evaluación propiamente dicha y los usos derivados de cada una de ellas pueden contribuir a identificar los aspectos relativos al control administrativo para la toma de decisiones y la función formativa dirigida a la mejora del proceso de la enseñanza y el aprendizaje.
6) El involucramiento de los diferentes sectores de participantes en una comunidad educativa, como son directivos, docentes y estudiantes, se plantea como indispensable en todos los momentos del proceso, diseño, puesta en marcha y revisión del mismo. Si bien las expectativas de los distintos actores pueden ser contradictorias y presentar una gran dificultad el conciliarlas, el que los participantes perciban que el programa refleja sus intereses y necesidades constituirá una plataforma para el éxito de la tarea asumida.
7) La evaluación de la docencia se percibe en el camino de consolidar atributos como: participativa (no jerárquica), positiva (promoción de la autoestima) y propositiva (alienta la auto-reflexión). En concordancia con estos atributos, un programa de evaluación del desempeño docente debería garantizar el diálogo entre evaluadores y evaluados en igualdad de circunstancias cuidando los aspectos éticos involucrados.
8) La evaluación no es una panacea ni posee características intrínsecas que aseguren su bondad; es necesario advertir que un programa de evaluación inadecuado puede tener efectos claramente nocivos en la comunidad escolar.

2. DIMENSIÓN TEÓRICA
1) La explicitación del sustento teórico, que fundamenta el modelo de enseñanza donde se realiza la evaluación de la docencia, ayuda a delimitar el concepto de calidad de la enseñanza en la institución y, por tanto, debe ser conocido por toda la comunidad educativa. Así mismo, el paradigma de evaluación que se adopte requerirá ser consensuado con toda la comunidad escolar.
2) Es importante considerar la articulación de las funciones de las instituciones que le son asignadas a los académicos (docencia, investigación y extensión) y, a su vez, las particularidades de cada una de ellas, dado que los parámetros e instrumentos de evaluación difieren dependiendo de la actividad objeto de evaluación.
3) Las aportaciones de las ciencias humanas y sociales, en relación con los complejos procesos educativos, conforman una fuente indispensable de conocimiento para orientar los programas de evaluación docente.
4) La evaluación de la docencia como práctica social constituye un recurso fundamental para la mejora de los procesos educativos, en la medida en que se conceptualice como una oportunidad de reflexionar y cuestionar las características que se consideran esenciales en las experiencias de enseñar y aprender.

3. Dimensión metodológica-procedimental
1) Los antecedentes y experiencias de evaluación de la docencia de las instituciones suelen proporcionar información sumamente útil, por ello es recomendable recuperar esta información antes de iniciar, renovar o relanzar un programa de evaluación docente.
2) Las particularidades del contexto educativo relacionadas con la gestión académica y administrativa del plan de estudios donde se desarrolla la función docente y las condiciones específicas de cada profesor, constituyen parámetros importantes a considerar previamente al diseño y puesta en marcha de los programas de evaluación. Entre ellas se encuentran: el área disciplinaria, el tipo de contratación, el número de horas asignadas a cada profesor frente a grupo, la cantidad de asignaturas distintas por atender, el total de alumnos, la modalidad de enseñanza (curso de teoría presencial, a distancia, curso de laboratorio, taller, prácticas de campo, entre otras). Asimismo es importante tomar en cuenta la cultura institucional que permite apreciar el conjunto de normas y valores compartidos por los miembros de la organización, en particular, las relacionadas con el trabajo colegiado y colaborativo.
3) El uso de diversas fuentes de información complementarias, reconociendo los alcances y las limitaciones de cada una de ellas, puede contribuir al reconocimiento de la complejidad de la enseñanza y la especificidad de los diferentes contextos educativos, que ponen al descubierto la improcedencia del uso exclusivo de los cuestionarios y listas de cotejo para valorar adecuadamente la docencia.
4) La credibilidad del proceso de evaluación es, en general, una aspiración que debe ser cubierta; por tanto, el hacer públicos y explícitos los criterios de evaluación puede contribuir a lograrlo; asimismo, la representatividad de los resultados de la evaluación a la luz de los intereses de los docentes y estudiantes puede fortalecer la confianza de todos los participantes en el programa.
5) La planeación y el seguimiento detallado de las estrategias de aplicación del programa de evaluación pueden contribuir a que éste se desarrolle de una manera adecuada; entre otros aspectos a resolver estarían la determinación de su carácter obligatorio o voluntario, la periodicidad, duración, las formas de comunicación a la comunidad de la actividad en la que participarán y el sentido que se espera asuman cada uno de los involucrados.
6) Un equipo de académicos con formación especializada en evaluación y con condiciones institucionales que garanticen la continuidad y seguimiento de los procesos de evaluación de manera permanente, podrá consolidar una perspectiva hacia el perfeccionamiento de la actividad.

4. Dimensión de uso
1) La delimitación de los usos de los resultados, desde el diseño mismo del programa y antes de la recopilación de la información, puede constituirse en un factor clave para el logro de las metas previstas. El examen del funcionamiento de los programas indica que, por lo general, el uso principal se relaciona con la toma de decisiones administrativas, asignación de recursos, estímulos económicos y promoción. Al mismo tiempo, en la práctica se encuentra que bajo un mismo procedimiento se argumenta lograr propósitos de control administrativo y de mejoramiento, con un discurso donde prevalecen los fines de mejora de la calidad docente sobre los de control. En este escenario, clarificar la utilización de los datos es fundamental para no incurrir en prácticas inadecuadas.
2) Una actividad determinante en el proceso de evaluación es la comunicación a los docentes de los resultados de sus evaluaciones, de tal manera que esta información les sea útil para mejorar su práctica.
3) Un horizonte promisorio estaría orientado al diseño de estrategias que permitan vincular los resultados de la evaluación con el diseño de modalidades de mejoramiento de la docencia. Las evidencias empíricas registradas fundamentan la pertinencia de utilizar la información derivada de la evaluación docente con los procesos orientados al desarrollo profesional del profesorado.

5. Dimensión de evaluación de la evaluación
1) El monitoreo de cada una de las fases del programa de evaluación (diseño, implementación y revisión) es considerado fundamental para el perfeccionamiento permanente del programa, así como el mantener una actitud especialmente sensible en la identificación y atención de las diferencias y disensos.
2) Los cuerpos colegiados internos y externos pueden participar en la valoración y propuestas de mejora de los procesos, procedimientos, indicadores e instrumentos utilizados en la evaluación de la docencia.
3) El desarrollo de estudios que permitan la construcción de nuevas aproximaciones teórico-metodológicas para la evaluación de la docencia, así como el testimonio de cómo se ha venido llevando a cabo la evaluación en las distintas instituciones, podrán abrir nuevas perspectivas y avanzar juntos en el conocimiento colectivo de una de las funciones más importantes de las instituciones educativas: la docencia y su evaluación.



El presente texto es el resultado de los intercambios de opiniones de un grupo de académicos reunidos en el marco del IV Coloquio Iberoamericano sobre la Evaluación de la Docencia, organizado por el Instituto de Investigaciones Sobre la Universidad y la Educación (IISUE) de la Universidad Nacional Autónoma de México (UNAM) a través de la Red de Investigadores sobre la Evaluación de la Docencia (RIED) y realizado en la ciudad de México los días 29, 30 y 31 de octubre de 2008.
Recuperado el 22 de febrero de 2009 de http://rinace.net/riee/numeros/vol1-num3_e/reflexiones.html

lunes, 27 de abril de 2009

PROGRAMA EVALUACION DE LA CALIDAD DE LA EDUCACION

CUMBRE IBEROAMERICANA
TRATAMIENTO Y USOS DE LA INFORMACIÓN EN EVALUACIÓN. Tiana Ferrer
La comparación en evaluación

Uno de los métodos utilizados más habitualmente en los informes de evaluación para tratar y presentar la información obtenida es el análisis comparativo. En algunos ámbitos concretos, como es el caso de la evaluación de los resultados académicos alcanzados por los alumnos o de los logros de las instituciones educativas, esta práctica se ha convertido en la predominante, bien sea empleándola de manera exclusiva o en combinación con otras. Para comprobar la veracidad de esa observación, basta la simple consulta de algunos de los informes elaborados por los organismos e instituciones citadas en el epígrafe anterior.

El recurso a la comparación como uno de los procedimientos habituales de análisis y tratamiento de datos en los estudios de evaluación no es fruto de una decisión caprichosa ni casual, sino que tiene que ver con la propia esencia de la tarea evaluadora. En efecto, al inicio del documento se afirmaba que evaluar consiste en emitir juicios a partir de una información recogida y tratada de forma sistemática. Pero esa emisión de juicios implica realizar una comparación con algún elemento de referencia, bien sea interno o externo. En rigor, no puede formularse una conclusión acerca del valor o mérito de una determinada realidad si no se compara con otra o con un modelo ideal previamente construido. Por eso puede afirmarse que, en última instancia, la evaluación implica la comparación.

El tratamiento comparativo de la información
Entre las operaciones comparativas más frecuentemente utilizadas en los informes de evaluación se destacan tres que conviene examinar con cierto detenimiento. La primera de ellas consiste en comparar los datos obtenidos con un criterio o norma que sirva de referencia para la emisión de un juicio de valor. Es el enfoque que se utiliza, por ejemplo, para realizar lo que se conoce como evaluación criterial del aprendizaje, consistente en el establecimiento de unos criterios precisos para determinar los niveles de rendimiento y en el estudio subsiguiente de su cumplimiento o no por parte de cada alumno. También se aplica un procedimiento semejante para llevar a cabo la acreditación de centros escolares, a partir del contraste de las características de la institución evaluada con un cierto número de requisitos previamente acordados. En uno y otro caso, el mérito de aquello que se valora se determina de acuerdo con el grado de cumplimiento de los criterios preestablecidos y no mediante la posición relativa ocupada por el alumno o el centro en el seno del grupo al que se encuentre adscrito.

La segunda de las operaciones mencionadas consiste en realizar comparaciones entre varias entidades semejantes, de manera sincrónica o transversal. En este caso, las diversas realidades objeto de evaluación se comparan entre sí, de acuerdo con la situación que presentan en un momento determinado. Es el tipo de procedimiento utilizado para llevara cabo la evaluación normativa del aprendizaje, basada en otorgar calificaciones mediante la comparación del alumno con sus compañeros y la determinación del lugar que ocupa en su grupo de referencia. Es también el tratamiento que se realiza, por ejemplo, en los estudios internacionales de rendimiento educativo, que tanto auge han experimentado en los últimos años, o el que se emplea para construir tablas de clasificación de centros escolares, como los que algunos países han publicado recientemente.

La tercera operación consiste en comparar la información obtenida a partir de una misma realidad, en dos o más momentos sucesivos, de manera diacrónica o longitudinal. En esta aproximación, la realidad evaluada no se compara con otras semejantes ni con un modelo ideal, sino consigo misma, pero introduciendo en el análisis la dimensión temporal. Es el tipo de tratamiento que se realiza, por ejemplo, en los estudios de seguimiento de cohortes de estudiantes con objeto de conocer su progreso académico a lo largo del tiempo, o cuando se pretende evaluar el impacto de determinadas medidas de política educativa adoptadas en un momento dado.
Cada una de estas tres operaciones ofrece diversas posibilidades, al tiempo que plantea algunos problemas. El examen de sus respectivas ventajas e inconvenientes puede ayudar a entender mejor su contribución en cada situación concreta, así como las cautelas con que deben utilizarse.

Las condiciones de una comparación justa
De acuerdo con una sugerente formulación de E. R. House, incluida en uno de sus textos más difundidos e influyentes, cualquier empresa evaluadora debe respetar tres principios clave: veracidad, coherencia y justicia (House, 1994) Si la aplicación efectiva de los tres constituye una exigencia ineludible, el tercero cobra especial importancia cuando se realizan análisis comparativos, dadas las consecuencias fuertemente dañinas que la comparación injusta puede acarrear para las entidades evaluadas.

El respeto al principio de justicia enunciado por House tiene mucho que ver con la adecuada contextualización de la información recogida y presentada a los destinatarios de la evaluación. En el caso de estudios de rendimiento de alumnos, centros o sistemas educativos, este requisito cobra una importancia capital. En efecto, como se indicaba en el apartado anterior, la evaluación del rendimiento debe ser debidamente contextualizada, teniendo en cuenta una serie de factores que inciden en los resultados conseguidos por los alumnos y los centros y que no tienen su origen en la simple diferencia de capacidades individuales. Variables tales como la extracción social de los alumnos, la actitud de los familias hacia la educación, el clima o ambiente escolar, la organización del centro, el estilo pedagógico de los profesores o el funcionamiento de la dirección pueden contribuir a explicar buena parte de las diferencias registradas entre los centros escolares.

De todos los factores señalados (y algunos más que podrían apuntarse), unos son fruto de la actuación educativa de las familias, los profesores y los centros escolares, mientras que otros vienen determinados de antemano y no puede influirse en ellos fácilmente. Así, un centro puede mejorar su organización, reforzar la formación de sus profesores, crear un ambiente favorable al estudio o poner en marcha programas valiosos de intervención psicopedagógica, pero no puede modificar la extracción social o cultural de sus alumnos, salvo que los sustituya por otros. Por ese motivo, la diferencia existente entre las diversas condiciones de partida debe ser tomada en cuenta a la hora de evaluar rendimientos. No sería justo ensalzar o denigrar a un centro simplemente por el efecto de las condiciones iniciales de su alumnado. De este modo, llevar a cabo una comparación justa implicaría neutralizar el efecto de tales condiciones sobre el rendimiento, valorando los resultados logrados a partir de un nivel teóricamente homogéneo.

Sin embargo, sabemos que dicha situación ideal está lejos de darse en la realidad. La diversidad de condiciones de partida de los alumnos y de los centros es muy considerable, explicando por sí sola parte de las diferencias observadas en los resultados. La necesidad de tener en cuenta esa diversidad a la hora de comparar rendimientos, sentando así las bases para una comparación justa, es lo que ha llevado a introducir la noción de valor añadido. La idea intuitiva que subyace bajo ese término consiste en reconocer que los centros pueden producir efectos diversos dependiendo de sus condiciones particulares, pero que la valoración de sus logros debe hacerse en función de la progresión conseguida (en términos de diferencia entre la situación final y la inicial) y no solamente de los resultados brutos obtenidos. De acuerdo con esta noción, el rendimiento de un centro A podría ser superior al de otro B aunque el resultado bruto del segundo fuese superior al primero; la clave estaría en la magnitud del avance registrado...

El factor con mayor importancia a la hora de estudiar el valor añadido por un centro consiste en el rendimiento inicial de sus alumnos. La inclusión en el análisis de datos acerca de dicho rendimiento inicial, junto a algunas características del alumnado, tales como su sexo, edad, extracción familiar y contexto socioeconómico, permite controlar la mayor parte de la variación debida a las condiciones de partida y estimar así con justicia y validez el valor añadido por el centro. En ausencia de dichos datos, las características contextuales del centro pueden proporcionar una aproximación, de mucha menor significación, pero digna de ser tenida en cuenta. Según este análisis, la estimación precisa del valor añadido requeriría disponer de datos relativos al rendimiento inicial de los alumnos y a sus variables contextuales individuales. Este requisito debe ser tenido en cuenta a la hora de emprender estudios de evaluación del rendimiento que quieran superar el simple estadio de la medición de los resultados brutos y efectuar una comparación justa.

Además de este primer resultado, que refuerza la necesidad de obtener y manejar datos relativos al rendimiento inicial de los alumnos y de sus características básicos, el estudio de Thomas y Mortimore proporcionó otras conclusiones de gran interés para el diseño y la puesta en marcha de estudios de evaluación del rendimiento:
1) En primer lugar, los análisis realizados demostraron la existencia indudable de un denominado efecto escuela (entendido como la influencia ejercida específicamente por el centro sobre el rendimiento de sus alumnos), ya que se apreciaron diferencias de rendimiento entre las instituciones participantes a pesar de controlar el efecto de las mencionadas variables individuales.

2) En segundo lugar, el cálculo del valor añadido proporcionó una imagen más realista y fiel de los logros de un centro que los simples resultados brutos obtenidos por sus alumnos en una prueba o examen. No obstante, los análisis realizados venían condicionados por la calidad, fiabilidad y validez de los datos utilizados, insistiendo así el estudio en la necesidad de cuidar los procedimientos utilizados para obtenerlos.

3) No obstante lo anterior, incluso teniendo en cuenta el cálculo del valor añadido, hay que señalar que los intervalos de confianza de los resultados logrados por los centros presentaron un grado considerablemente de solapamiento, lo que obligó a valorar con precaución las diferencias obtenidas. En realidad, sólo podría hablarse de diferencia real de eficacia entre dos centros cuando sus intervalos de confianza no se solapasen en absoluto, lo que constituye un caso no excesivamente habitual.

4) Otro resultado realmente interesante consistió en que el efecto escuela difería al considerar diversas áreas (matemáticas y lengua, por ejemplo), lo que induce a pensar que el valor añadido por los diferentes departamentos de un mismo centro no es idéntico. En cierto sentido, el centro no es completamente homogéneo a la hora de influir sobre sus alumnos.

5) Igualmente, el efecto escuela no se manifestaba con la misma intensidad en relación a distintos grupos de alumnos. Los análisis realizados pusieron de manifiesto que es frecuente que cada escuela beneficie especialmente a algún tipo determinado de alumno (unos a los de mayor rendimiento, otros a los de menos, o a los de determinado estilo de aprendizaje, etc.). Este resultado abre la puerta a análisis posteriores acerca de la posible concordancia entre ciertos características del centro y el tipo de alumno al que más beneficia.

6) De acuerdo con las observaciones anteriores, un planteamiento riguroso acerca del valor añadido obligaría a efectuar su cálculo para las puntuaciones totales promedio, para las de cada materia y para las obtenidas por grupos de alumnos de diferentes características, ya que el efecto no es idéntico en todos los casos.
Como puede fácilmente apreciarse, la investigación acerca del valor añadido se encuentra todavía en sus fases iniciales. No obstante, las posibilidades que encierra son tan ricas y prometedoras que animan a los evaluadores a continuar avanzando en esa dirección. El logro de una comparación efectivamente justa tiene mucho que ver con el éxito del empeño por conceptualizar y operativizar esa noción.

martes, 21 de abril de 2009

LAS POSIBILIDADES Y LOS LÍMITES DE LAS PRUEBAS DE PAPEL

En el mundo de la educación se suele valorar (examinar, medir) el aprendizaje de los alumnos mediante pruebas de papel y lápiz. Para muchos, los estudiantes aprenden lo que son capaces de responder en las pruebas o exámenes escritos.

Para otros, este tipo de instrumentos sólo reflejan una parte, no siempre la más interesante y genuina, del aprendizaje logrado. Distintos autores (Bernstein, 1971; Broadfoot, 1979; Perrenoud, 1981; Noizet y Caverni, 1983; Elliott, 1985) han apuntado que, en parte, el fracaso escolar está originado por los mismos procedimientos utilizados para valorar el trabajo y las producciones de los alumnos. A las pruebas escritas se les ha criticado:
(a) por corromper el proceso de la enseñanza y aprendizaje mediante la proposición de motivaciones externas, las notas, al propio aprendizaje;
(b) por su falta de validez, dado que no siempre sirven para lo que realmente dicen servir ni miden lo que pretenden medir; y
(c) por su falta de fiabilidad. Un mismo examen puede ser valorado de manera diferente por distintas personas e incluso por la misma si lo corrige en situaciones distintas. Esta falta de fiabilidad también puede aplicarse a las realizaciones de los estudiantes, que pueden llegar a los mismos resultados mediante procesos de razonamiento o actuaciones de muy distinta índole.

Las críticas articuladas en torno a las pruebas escritas no las han hecho desaparecer ni del repertorio de recursos utilizado por el profesorado, ni del de las agencias de evaluación nacionales (con más presencia en los países anglófonos) o internacionales, tipo PISA. Quizá, porque no se ha desarrollado ninguna otra herramienta que las sustituya de manera convincente y sin que suponga un aumento considerable de trabajo y sobre todo de deliberación importante para los evaluadores. Sin embargo, la relación entre los procesos de desarrollo intelectual y emocional del alumnado y los resultados de la evaluación de los aprendizajes escolares sigue sin estar clara.

Para los responsables del informe PISA, la cuestión esencial no estribaría tanto en el tipo de prueba –aunque siga siendo de papel y lápiz– sino en las preguntas o situaciones que el evaluador-docente, proponga al alumnado. Es obvio que no tiene el mismo valor una pregunta que pueda ser contestada de forma mecánica y memorística que el alumno pueda copiar de una chuleta o de un compañero, que otra para la que necesite activar su compresión, relacionar información, valorar situaciones diferentes y tomar decisiones argumentadas. Alcanzar la excelencia en este tipo de pruebas requiere un tipo de enseñanza que promueva la «conceptualización», la generalización, las investigaciones, el abordarje de problemas complejos, la conexión y el contraste de diferentes fuentes de información, el fomento de pensamiento y el razonamiento avanzados; el desarrollo de estrategias para abordar nuevas situaciones, la exploración de maneras de formular y comunicar de manera precisa sus acciones y reflexiones en relación a sus hallazgos, interpretaciones, argumentaciones, etc.

¿Cuántos sistemas escolares, centros y docentes se han preguntado frente a los resultados de las pruebas por la experiencia de aprendizaje que se le ofrece al alumnado en las clases? Porque podría darse el caso, como se preguntaron educadores franceses como Patrick Rayou, que los chicos y chicas acostumbrados a un tipo de enseñanza teórica, donde la excelencia está en la capacidad de reproducir, de forma más o menos parafraseada, lo que dice el texto –profesor o libro– o aplicar la fórmula dada, puedan tener serias dificultades incluso para entender lo que se les está preguntando.

Pero quizás el peligro más grande de este tipo de pruebas es que refuercen la tendencia a reducir la visión del aprendizaje de un chico o una chica de 15 años a su capacidad para contestar a una prueba escrita. Que se centren todos los esfuerzos de la escuela en preparar a los estudiantes para pasar las pruebas, descuidando promover y lograr aprendizajes auténticos que conecten con los deseos y la necesidad de los adolescentes para aprender de sí mismos, de las personas y de todo lo que les rodea. Un aprendizaje que permita afrontar un mundo cada día más complejo, en el que el acceso al conocimiento acumulado se configura como fundamental para la pervivencia de individuos y sociedades y en el que fenómeno de la «sobreinformación» textual y visual está afectando la construcción de las subjetividades y las formas de aprender.

Extraído de
Re2006.pdf
Número extraordinario PISA

http://www.revistaeducacion.mec.es

Aprender a los 15 años: factores que influyen en este proceso
Juana Mª Sancho Gil
Universidad de Barcelona

miércoles, 15 de abril de 2009

Evolución de los Procesos de Evaluación del Sistema Educativo 1950-2008

El crecimiento de los sistemas educativos, en las últimas seis décadas, ha estado asociado a profundas revisiones (y significativas mejoras) en la manera de evaluarlos. Tiene especial importancia revisar los cambios producidos en tres dimensiones diferentes (pero complementarias), ya que si bien su impacto final parece ser modesto (McKinsey, 2007:5), permite sugerir nuevas formas de mirar la dinámica instruccional (Ball y Forzani, 2007:530) y, eventualmente, la educacional.

El principal cambio consistió, quizá, en pasar de “contar alumnos en cada nivel” a estimar “niveles de aprendizaje” de contenidos y habilidades o aptitudes. Mientras que hace treinta años cualquier evaluación era considerada como un tabú, en la actualidad la mayoría de países someten a los estudiantes a pruebas desde los primeros años de la escolaridad hasta el final de los estudios universitarios (Schiefelbein y Schiefelbein, 2004). Es importante, además, el haber pasado del “clasificar” a los alumnos (entre los que podían avanzar al siguiente nivel y los que debían repetir), a lograr que cada alumno aprenda al menos el mínimo necesario para avanzar (si tiene la capacidad necesaria, aunque sus conocimientos previos sean limitados). Finalmente, se debe destacar el creciente interés por evaluar no solamente el nivel de “instrucción” (en contenidos y habilidades), sino que también la “formación” (propiamente tal) de la capacidad de tomar decisiones responsables conforme a criterios aceptados.

En este artículo se examina los cambios en cada una de estas tres dimensiones y se comenta la manera en que cada uno de estos cambios ha repercutido en la operación de los sistemas y en los objetivos que privilegian los maestros en el aula. Se examina, además, las brechas que estos cambios han generado entre la formación inicial de los maestros y las demandas sociales de calidad de la educación.

1. PASAR DESDE LAS BRECHAS DE COBERTURA A LAS BRECHAS DE CALIDAD
De los indicadores de analfabetismo y cobertura usados en la primera mitad del siglo 20 se ha pasado, a través de etapas graduales, a usar los puntajes en pruebas de rendimiento académico. Las “tasas de analfabetismo” eran calculadas con las declaraciones que los “jefes de hogar” hacían a los encuestadores que visitaban cada casa cuando se realizaba un Censo de Población (esto solía ocurrir cada diez o más años) y, por lo tanto, era una medida que dependía de lo que cada jefe de hogar considerada que era ser analfabeto. Se usaban en los estudios internacionales que ha realizado Unesco (desde sus inicios) para comparar el avance de los países en materia de educación y estimular la ampliación de la cobertura.

Chile redujo su tasa de analfabetismo de 25% en 1930, a 16% en 1960, a un 6% en 1992 y a un 4% en la actualidad (MINEDUC, 2005). Si bien Unesco consideraba alfabeto a alguien que había cursado al menos un cuarto grado de primaria, las declaraciones al Censo de población estaban asociadas a que la persona hubiera estado matriculada en algún momento en una escuela.

En los años 60 la mitad de los Ministerios de Educación de América Latina tenía estimaciones de la matrícula en cada grado y, en muchos casos, disponían de datos por edades calculados en los grandes computadoras (denominadas “mainframe” por estar en una gran caja de metal que ocupaba una enorme habitación). Esto permitía calcular las tasas de escolarización (bruta y neta) y, eventualmente, tasas de repetición y de graduación (Schiefelbein, 1974).

Las tasas de repetición permitían suponer, en la década de los 60, que un 20% de los niños de América Latina (que ingresaban a la escuela) tenía problemas de aprendizaje, pero el problema era considerablemente mayor. En efecto, los datos para calcular esas tasas eran proporcionados por los directores de escuela quienes informaban de los alumnos que repetían y de los que abandonaban la escuela, sin saber que muchos de ellos se matriculaban al año siguiente en otra escuela como repitientes. Esto generaba una subestimación de la tasa de repetición y una sobreestimación de la tasa de deserción. Modelos de simulación permitieron calcular, con mayor precisión, que las tasas de repetición del primer grado estaban cercanas al 50% (Schiefelbein, 1975). Estos indicadores sugerían la necesidad de estimular el aprendizaje de los niños antes de ingresar a la educación primaria (Schiefelbein et al., 2000).

El desarrollo de los lectores ópticos y programas de computación permitió procesar, a fines de los 50, pruebas objetivas administradas a miles de alumnos. Los investigadores y administradores de la educación de doce países desarrollados acordaron en 1958 hacer comparaciones internacionales masivas (Suter, 2001). Estas comparaciones permitieron estimar las brechas en los niveles de instrucción alcanzados en los países. El momento era oportuno porque muchos países de menor desarrollo estaban completando su capacidad de atender a los alumnos de familias con menos recursos de las zonas urbanas. Estos niños tenían problemas para ser promovidos y se acumulaban los alumnos con extra-edad en los primeros grados del sistema.

2. DEL ACREDITAR CONOCIMIENTOS (CLASIFICAR ALUMNOS) AL OPTIMIZAR APRENDIZAJES
Hasta los años 60 era parte de la responsabilidad profesional del maestro el promover un alumno al curso siguiente sólo cuando estaba seguro que podía aprender al nivel esperado en ese curso (y no se sentía responsable por los que no alcanzaban ese nivel mínimo). El maestro evaluaba al alumno a través de Pruebas de Conocimientos o Capacidad (preguntas escritas a las que el alumno daba una respuesta escrita) y observaciones personales. El criterio subjetivo de cada maestro determinaba quienes quedaban clasificados para aprobar el curso y quienes debían repetirlo. En Chile sólo era posible comparar los niveles de aprendizaje al rendir la Prueba de Bachillerato (administrada hasta 1966 por la Universidad de Chile) una vez que se completaba el nivel secundario. Pero sólo un 5 a 10% de cada grupo de edad rendía esa prueba.

Entre 1965 y 2001 la IEA realizó mediciones de lo que aprendían los alumnos en matemática (en 1965, 1982, 1995 y 1999); ciencias naturales (1970, 1986, 1995 y 1999); y lectura (1970, 1991 y 2001) lo que permitió estimar las brechas que existían entre países desarrollados y en desarrollo (Suter, 2001). La identificación de las brechas estimuló el análisis de los factores asociados a los rendimientos y, a continuación, se realizaron estudios para identificar estrategias de enseñanza efectivas (Coleman et al, 1966; Schiefelbein y Simmons, 1979; Velez et al., 1992; Schiefelbein, 1994). Este tipo de estudios produce, gradualmente, una separación entre los que ejecutan programas educativos y los que los evalúan (McKinsey, 2007:36).

Los estudios sobre escuelas y maestros efectivos de los años 70 llevaron a medir el logro de conocimientos y habilidades específicas (por ejemplo, capacidad de identificar la idea principal de un texto de 100 palabras) mediante pruebas referidas a criterios específicos (Bond, 1996). La selección de ítems de comprensión de lectura ha permitido constatar que en América Latina la mitad de los niños de tercer o cuarto grado no logra entender los mensajes de textos breves y que esta dificultad estaría asociada a insuficiente fluidez de lectura y a un vocabulario relativamente reducido. En la medida que se han detectado estos problemas, las pruebas nacionales se tienden a concentrar en esclarecer las características del problema y dejan de medir otros aspectos de la lecto-escritura como ortografía, gramática o morfosintaxis.

La evaluación referida a norma (clasificar a los alumnos de acuerdo al puntaje en una prueba) vuelve a tomar importancia cuando se constata que en los establecimientos que atienden a niños de nivel socioeconómico bajo sólo se estudia parte del currículo. Esto hace que esos alumnos tengan bajos puntajes en las pruebas de ingreso a la universidad. Sin embargo, los mejores alumnos de cada curso (el 10% con más alto rendimiento) tienden a lograr excelentes rendimientos (en el siguiente nivel) a pesar de sus bajos puntajes en las pruebas de conocimiento (Gil, 2005). Se recupera —mediante esta manera de seleccionar a los alumnos— a jóvenes de talento excepcional, que por falta de una instrucción adecuada (en el nivel anterior) quedarían marginados de continuar estudiando en el nivel superior.

Pero los resultados de las pruebas no permiten avances significativos en los aprendizajes, ya que los usuarios enfrentan numerosos obstáculos. Algunos ejemplos permiten ilustrar los tipos de obstáculos: (i) distinguir entre acertar respuestas y saber las respuestas; (ii) diferenciar las probables “causas” de un cambio en una variable independiente, de las asociaciones o correlaciones espurias o (iii) estar alertas frente a procesos de “desorientación” en los medios de prensa, por ejemplo, distinguir entre los aportes positivos y negativos de las Tecnologías de la Información y la Comunicación (TIC). Muchas veces los resultados solo permiten suponer soluciones alternativas (Schiefelbein, 2005a, 2004a).
Los que toman decisiones (que no son expertos en el tema) no reciben el mensaje que menos de la mitad de los alumnos de cuarto grado entienden lo que leen y muchos quedan con la sensación que “unos dos tercios” comprende lo que lee. Esto se genera porque los resultados (para el nivel primario) se suelen difundir en términos de porcentajes “brutos” de respuestas correctas. Si en un grupo de 100 alumnos hay 52 que responden correctamente (tasa “neta” de 52% que refleja los que “saben” la respuesta), los 48 restantes (en promedio, cuando hay 4 alternativas) acertarán doce veces, por lo que la tasa bruta llegará al 64% de aciertos. En el SIMCE 2006 el 61,4% acertó con la idea principal del texto de dificultad “intermedia”, pero sólo el 48,7% “sabía” cual era la idea principal (SIMCE, 2007b). Este resultado dista mucho de “un buen rendimiento” donde cada uno de los niños tiene éxito (McKinsey, 2007,37).

También la difusión de resultados suele “desinformar o alejar a la opinión publica de los verdaderos problemas” (Brunner, 2007). Esto ocurre, por ejemplo, cuando los titulares de los medios de prensa dicen que “la educación privada logra 60 puntos más que la educación municipal lo que refleja su mejor calidad”. Lo que no mencionan los medios de prensa es que cuando los resultados se controlan por el nivel socioeconómico de la familia no hay diferencias en los puntajes (el nivel alto logra unos 300 puntos, el medio obtiene 250 y el bajo entre 220 y 230). La conclusión es inversa (a lo afirmado en la prensa): no hay diferencia de calidad entre los establecimientos (privados y públicos) y, en cambio, los profesores no están preparados para compensar las diferencias en los niveles iniciales de educación (0 a 6 años).

Los mensajes sobre las TIC suelen desorientar al lector desprevenido. Se señala, por ejemplo, que los nuevos audífonos o los mensajes de texto y fotografía de los teléfonos celulares han elevado la cantidad de “copia” o fraude en las pruebas. El mensaje es que el problema estaría generado por la tecnología. Sin embargo, el verdadero problema está generado por el énfasis en que los alumnos memoricen información en vez de que aprendan a utilizarla. En este caso la tecnología ayuda a encontrar la verdadera solución: que las preguntas impliquen un mejor nivel de aprendizaje (por ejemplo, aplicación, comparación, inferencia o juicio crítico, según la taxonomía de Bloom) que no es posible copiar de un libro o un mensaje de texto. En realidad la mayor parte de las pruebas se podrían hacer con derecho a consultar los libros y apuntes (pruebas con libro abierto).
Finalmente, el uso de la información que proporcionan las evaluaciones, para mejorar la educación, implica un uso profesional del conocimiento acumulado hasta ahora, tomando en cuenta sus diversos niveles de confiabilidad (Ravela, 2005; Chapman y Mahlck, 1993). Por ejemplo, si el problema fundamental es el bajo nivel de comprensión de lectura, será necesario examinar las revisiones de las investigaciones pertinentes (Show et al., 1998; Abadzi, 2006; Oliveira, 2006; Bloom, 1976). En muchos casos usar la información que proporcionan las evaluaciones implicará reanalizar los datos con teoría o modelos más adecuados (por ejemplo, puntajes de un grupo de ítems de comprensión de lectura o nivel de vocabulario) o realizar estudios complementarios de los alumnos (por ejemplo medición de aptitudes y personalidad) o de otros aspectos, por ejemplo, examinar características de los profesores o de sus formadores como maestros (Schiefelbein et al., 2007; Schiefelbein, 2004b; Schiefelbein, 1994). En muchos casos se trata de entender el contexto en que ocurren los procesos y las interacciones entre los diferentes elementos mediante una o varias visitas de un grupo de especialistas a una escuela específica cada cierto número de meses o años, que puede ser menor para las escuelas con mejores indicadores de rendimiento Esto ha permitido reducir a la mitad el tiempo que se dedica a evaluar en Inglaterra (McKinsey, 2007:37).

Este considerable aumento de los instrumentos disponibles para evaluar y de información acumulada sobre procesos de enseñanza y aprendizaje no debe hacernos olvidar que: (i) evaluamos en función de ciertos objetivos que se consideran importantes y (ii) no siempre es posible medir con precisión los objetivos importantes. Es por esto que se evalúa, fundamentalmente, la instrucción, y pone menos atención a la “educación propiamente tal” (porque no podemos medir con facilidad actitudes y procesos de decisión).

Por ahora todavía es útil la evaluación de niveles de instrucción (tal como antes fue la declaración en los censos o la cobertura), pero no hay duda que se necesita más precisión para medir procesos de formación de personas (Schiefelbein, 2003a). Es por esto que se debe revisar qué es lo que realmente queremos obtener cuando evaluamos. ¿Nos interesa saber más, mejorar el mundo (ciencia o técnica) o desarrollarnos como personas?

3. DEL EVALUAR CONOCIMIENTOS (INSTRUIR) A FORMAR PERSONAS (EDUCAR)
A mediados de los 50 se pensaba que el problema de la educación consistía en construir más escuelas y contratar más profesores (y por eso se evaluaba el sistema con los indicadores comentados en el punto 1). Se esperaba que, eventualmente, los niños que estudiaran en esas escuelas se graduarían con niveles similares a los de los alumnos que se graduaban en los 50. Los Bancos internacionales de fomento prestaron fondos y los países ampliaron su cobertura. Pero la ampliación implicó el ingreso de alumnos cuyas familias quedaban por debajo del nivel socioeconómico promedio del país (hasta los años 50 se atendía sólo a la mitad de los niños en edad escolar de primaria cuyas familias quedaban por encima del nivel socioeconómico promedio del país). Los recién ingresados tenían un menor vocabulario, asistían, en promedio, menos días a clases que los de familias con más recursos —la necesidad de cuidar a hermanos o la casa, el caminar mayores distancias (y a veces con ropa inadecuada), la desnutrición y menor protección de la salud o la desorganización familiar están asociadas a mayores inasistencias a clases— y, en general, sus aprendizajes eran menores que los del grupo anterior.

En las última dos décadas, entonces, el problema ha sido como lograr ciertos niveles mínimos de instrucción, principalmente la capacidad de leer y entender los mensajes fundamentales de un texto y realizar ciertos cálculos aritméticos básicos. La etapa siguiente podría ser la capacidad de usar la información (más que la capacidad de recordar datos o aplicar algoritmos que se mide en la actualidad) y en ese caso se usarían pruebas para medir aptitudes (por ejemplo, pruebas con libro abierto, quizá con el estímulo de la tecnología que facilitad el “copiar” información a distancia mediante audífonos o celulares). Pero esto está muy lejos de un esfuerzo de cambiar lo que pasa en las mentes y corazones de los niños (McKinsey, 2007:5).

En la medida que la educación (y la evaluación) se ha reducido, en gran medida, a una mera instrucción, es necesario recuperar “un justo equilibrio entre la libertad y la disciplina. . . [en el que] . . . la educación lograda es una formación para el uso correcto de la libertad. Hay que aceptar el peligro de la libertad, pero con la corrección de las ideas y decisiones equivocadas, sin apoyar en los errores o fingir que no los hemos visto o, aún peor, que los compartimos, como si fueran las nuevas fronteras del progreso humano” (Benedicto XVI, 2008). Esto implica empezar a medir lo que se logra en “formación” (porque de otra manera sólo se pone atención a la “instrucción” por ser lo que se mide).

¿Qué indicadores usar para saber cuál es el nivel actual o el cambio en el uso de la libertad? ¿Queremos medir con precisión o saber la magnitud del problema? ¿Cuál es el costo de usar los indicadores de formación? ¿Es posible grabar clases, discusiones o dramatizaciones --en las cuales los participantes representan teatralmente, el papel del ocupante de un determinado rol en la clase-- y luego re-analizar la actuación de los participantes (un psicólogo puede colaborar en analizar el desempeño de cada participante)? ¿Sería posible usar pruebas psicométricas para evaluar aptitudes o rasgos innatos de los participantes a fin de tratarlos y transformarlos en habilidades o capacidades personales para tomar decisiones razonadas, conforme a la conciencia moral? ¿Hay elementos de selectividad en los instrumentos (que generen nuevos problemas de inequidad)? En todo caso es posible visitar las clases y obtener indicadores de los procesos de enseñanza relacionados con formación (Schiefelbein, 2005b).

Por ahora, cuando la mitad de los niños de cuarto grado de Chile no logra comprender textos simples, las alternativas de evaluación son más simples y se analizan en la última sección de este artículo.

4. CÓMO USAR HOY EN CHILE LOS RESULTADOS DE LAS EVALUACIONES: ¿CASTIGAR O AYUDAR?
Desde fines de los 60 se ha medido el nivel de aprendizaje de los alumnos para elevarlo, pero no ha sido evidente la forma de hacerlo y, de hecho, no ha aumentado. La prueba de 8° grado (1967-1971) se limitó a mostrar a los profesores los tipos de habilidades que debían estimular en sus alumnos. La PER, creada a principios de los '80, buscó determinar el nivel del servicio educativo que se ofrecía y "monitorearlo" con ayuda de los padres, que tratarían de seleccionar las mejores escuelas para sus hijos. El SIMCE midió, a partir de 1988, los rendimientos de las escuelas y trató de identificar factores que pudieran explicar las diferencias y evaluar el impacto de los programas de los municipios y del MINEDUC.

Sin embargo, no hay avances y conviene repensar este poderoso instrumento, que es el SIMCE, si se quiere mejorar los aprendizajes. Un rol alternativo del SIMCE sería, según algunos expertos, ayudar a los profesores a enseñar mejor y revisar cuáles son los temas importantes del currículo, más que el "clasificar" rendimientos. Este segundo rol plantea diferencias nítidas con respecto al primero: ¿Seleccionar o desarrollar? ¿Poner nota o medir logro de meta? ¿Conocer el ranking o el aprendizaje de objetivos específicos (criterio)? ¿Castigar o ayudar? “Son dos funciones diferentes (los especialistas hablan de Evaluación Sumativa y Formativa, respectivamente). Si la primera no elevó hasta ahora los rendimientos, convendría probar la segunda (Schiefelbein, 2003b).
Esto implica fuertes cambios en el SIMCE. En efecto, para "seleccionar" o "castigar" basta calcular un puntaje total que "discrimine entre buenos y malos" y difundirlo públicamente. En este rol es fundamental no divulgar los ítems utilizados para que mantengan su poder de discriminación (no ser conocidos por los profesores y evitar que preparen a sus alumnos para contestarlos mecánicamente). Basta calcular el puntaje de cada escuela para que los padres seleccionen entre escuelas o preparar datos e indicadores globales para que los funcionarios del MINEDUC modifiquen las estrategias.

En la segunda función, en cambio, el usuario de la información del SIMCE es el profesor en su sala de clases. En efecto, para "desarrollar" o "ayudar a mejorar" se necesita entregar información detallada a cada profesor sobre los aspectos en que cada uno de sus alumnos logró los niveles adecuados y aquellas habilidades o conocimientos que todavía no posee o no domina suficientemente. El profesor debe saber lo que contestó cada alumno en la prueba y revisar con cada uno los errores que cometió, hasta que el alumno internalice las deficiencias y reforme adecuadamente sus procesos de pensamiento. Sin información detallada el profesor no puede identificar los aspectos de su enseñanza que debe cambiar o cómo ayudar a cada estudiante... “En resumen, una redefinición clara del objetivo de la prueba nacional de medición de la calidad de la educación debe orientar la reflexión del grupo de expertos sobre los cambios que debe tener el SIMCE...”


Autores
Ernesto Schiefelbein y Paulina Schiefelbein
Extraído de rinace.net

jueves, 9 de abril de 2009

La Evaluación Educativa como Derecho Humano

Si recibir educación de calidad es uno de los derechos fundamentales de los seres humanos, ser evaluado y recibir información valorativa sobre la educación que se está recibiendo ha de entenderse también como un derecho. Efectivamente, la evaluación es el único instrumento que tenemos para verificar el cumplimiento de ese derecho superior, internacionalmente reconocido y que supone el acceso igualitario al conocimiento y a las oportunidades disponibles en la sociedad. Garantizar que los niños, jóvenes y adultos estén recibiendo una educación de calidad, requiere de evaluaciones que den cuenta tanto de lo que se aprende, como de las acciones que se desarrollan para su cumplimiento y del contexto en el que ello se desenvuelve. De esta manera los estudiantes, todas las personas en un marco de educación a lo largo de toda la vida, tienen el derecho a recibir información sobre la calidad de los aprendizajes adquiridos. Así como ellos, las familias, la sociedad y los profesionales de la educación, tienen el derecho y el deber de saber si la educación impartida es pertinente, relevante, eficaz, eficiente y equitativa.

Sin embargo, al igual que la educación, no sirve cualquier evaluación. Para que se cumpla ese derecho ésta debe ser de calidad. El incremento en los últimos años de las acciones evaluativas en educación ha supuesto que la cultura de la evaluación, poco a poco, se vaya instalando en los sistemas educativos. Ahora se considera que todos los implicados, todas las instancias y todos los niveles de decisión deben ser evaluados, aunque no siempre de la convicción se haya pasado a la acción. Igualmente es necesario reconocer que en todos los países excelentes prácticas conviven con experiencias deplorables que no sólo no están consiguiendo aportar datos para la mejora de la educación, sino que están contribuyendo a su destrucción.

Pero, ¿qué características debe tener una evaluación de calidad? Buena pregunta. Cuando nos la formulamos, nos percatamos de lo poco que sabemos, de lo mucho que nos queda por recorrer. De hecho, no sabemos exactamente qué significa una evaluación de calidad, ni siquiera si puede haber unos criterios aplicables a toda la gran variedad de evaluaciones que se dan en educación. En todo caso, y a riesgo de ofrecer una imagen sesgada y parcial, es posible defender algunas de las características que debe tener una evaluación de calidad.
En primer lugar, debe ser técnicamente impecable. Independientemente del ámbito, tema o enfoque de evaluación que estamos utilizando, es muy importante que cumpla los requisitos de ser válida, fiable, útil y creíble.
En segundo término, creemos que toda evaluación, independientemente de su tipo, debe ir dirigida a la mejora, a la transformación. Toda evaluación educativa, incluida la sumativa orientada a la toma de decisiones administrativas (por ejemplo, a la contratación de un docente, a la acreditación de una universidad o a la promoción de un estudiante), debe ir orientada a aportar informaciones para transformar la situación evaluada y el contexto en el que se desarrolla.

Para ello, necesariamente deberá estar centrada en aportar informaciones para la reflexión. Dado que el cambio sólo será posible si las personas directamente implicadas toman conciencia de la situación, reflexionan sobre la realidad y toman decisiones pertinentes para su trasformación, sólo habrá cambio si se parte de una reflexión. De hecho la evaluación tiene como principal propósito, aportar datos para esa reflexión. De ahí se puede derivar la necesidad de que la evaluación, para que sea de calidad, también ha de ser participativa y no jerárquica.
Se requiere también de una evaluación positiva y no represora. Es probable que muchos de los problemas que tienen los sistemas de evaluación y su rechazo, en muchas ocasiones generalizado, es que son instrumentos de represión. Sólo en la medida en que las evaluaciones sirvan para destacar los pasos bien dados y sean instrumentos para la comunicación de las altas expectativas y el refuerzo del autoconcepto personal y grupal, podrán a la postre, entregar elementos pertinentes y relevantes para la reflexión y la toma de decisión.
Una evaluación de calidad ha de ser también equitativa y justa. Debe reconocer y asumir la diversidad social y cultural de los estudiantes, para desde allí generar instrumentos y estrategias que permitan evaluar el desarrollo y desempeño de todos y cada uno adecuada y justamente. Una evaluación capaz de dar cuenta de la diversidad y heterogeneidad de los niños, niñas y jóvenes, al mismo tiempo que visibilizar y dimensionar los desafíos que el contexto y sus características, ponen al logro de resultados educativos de calidad.

La última característica que queremos destacar es que sea adecuadamente comunicada. La historia nos ilustra cientos de evaluaciones, bien diseñadas e implementadas, pero que después tienen nulos efectos o, incluso, perversos, simplemente por no haber estado adecuadamente comunicadas a la audiencia o audiencias destinatarias.

Si contrastamos mínimamente estos criterios con las evaluaciones que actualmente se desarrollan en Iberoamérica, nos encontramos con la clara necesidad que tienen de mejorar. Efectivamente, esa explosión de evaluaciones que estamos viviendo en la Región, que podría parecer positiva por sí misma, no ha estado acompañada por la suficiente reflexión, análisis e investigación sobre la misma.

Con dolor hemos comprobado que la simple evaluación de la calidad educativa no asegura calidad. Nos hemos pasado mucho tiempo usando la evaluación casi exclusivamente para constatar y ratificar los malos resultados y pobres avances en materia de calidad y equidad educativa de nuestros sistemas. Es hora de validar y usar la evaluación en uno de sus aspectos más relevantes, cual es su potencia para identificar las razones de tales resultados. Una evaluación que identifica, dimensiona y comprende los resultados educativos, como parte de procesos, dinámicas, de juegos de interacción entre actores y sujetos que se actualizan cotidianamente en el deseo de formar y desarrollarse en tanto personas con iguales derechos al conocimiento y a las oportunidades sociales que les aseguren movilidad y un futuro pleno.

La extendida idea de que “sin evaluación no se puede mejorar” no sólo es una falacia, sino que los efectos perversos de una evaluación mal diseñada, implementada o comunicada, pueden ser el elementos clave que impidan el cambio e, incluso, el factor desencadenante de un retroceso en su calidad. Por tanto, mejorar las evaluaciones que se realizan no sólo en un deber técnico, es una obligación moral.

Parece necesario fomentar la investigación, la reflexión y el intercambio de experiencias de buenas prácticas en evaluación educativa en la región, de tal forma que se consiga una mejor evaluación para una mejor educación.


Autores
F. Javier Murillo y Marcela Román
Extraído de rinace.net

domingo, 5 de abril de 2009

La evaluación sometida a juicio

Desde hace muchos años, en el sistema educativo argentino solemos calificar de 0 a 10 las pruebas, cuestionarios, los diferentes trabajos o producciones de los estudiantes. Estas calificaciones suelen promediarse, volcarse en boletines, carpetas o cuadernos y constituir la expresión de los conocimientos adquiridos por los alumnos. La comparación entre sí de sus pruebas y las experiencias construidas año tras año por el o la docente brindan una suerte de seguridad al efectuar esta práctica de calificar.

Lo que en general no se contempla es que las evaluaciones crean y modifican la autoimagen que el niño tiene de sí y la representación que de él construyen sus familias, los compañeros, los docentes que se sucederán en su vida escolar. Es probable que las evaluaciones negativas tengan un mayor efecto negativo al colocarlo en el lugar del mal alumno e impidiendo mejores rendimientos.

Reconocemos también que, para algunos docentes, el resultado de una evaluación puede mostrarle la dificultad de algún tema, su incomprensión total o parcial permitiéndole un conocimiento acabado que puede conducir a nuevas explicaciones, actividades de enseñanza o atención a algún problema que desconocía. Cabría preguntarse si no existen métodos más naturales para alcanzar este conocimiento. En este espacio deseamos poner en cuestión algunas de las prácticas habituales destinadas a la calificación. Nuestra preocupación reside en el carácter controversial de las prácticas evaluativas.

Prácticas para repensar
Analizaremos tres ejemplos de situaciones dilemáticas en las evaluaciones que son posibles de identificar en las propuestas habituales.

Al administrar un primer examen pensamos la conveniencia de aumentar la calificación obtenida para ofrecer un estímulo inicial. Es una práctica habitual en las calificaciones más bajas. En una escala de 0 a 10 si el alumno obtiene 4, le atribuimos un 6.

Cuando la calificación obtenida en un primer examen es muy alta preferimos bajarla para seguir manteniendo el estímulo. Sostenemos así la conveniencia de no calificar con 10 en la escala de 0 a 10.

Al finalizar un ciclo nos atenemos al promedio de calificaciones adoptando un criterio estricto aún cuando esto implique que el o la estudiante deberá rendir un examen adicional que no condice con el progreso realizado en el último período en el que obtuvo las calificaciones más altas.

El análisis de estas prácticas muestra que en los dos primeros casos aumentamos o disminuimos la calificación, esto es, no respetamos el puntaje obtenido por el alumno pensando en el valor que como estímulo implica la calificación. Manipulamos la calificación impidiendo la comparación que los estudiantes podrían hacer entre ellos o la contemplación de algún criterio o tabla para reconocer esa calificación. También es central el papel del evaluador que es al fin quién cambia la calificación. Una de las mayores limitaciones de esta forma de asignar las notas consiste en que se trata de una práctica que no puede ser llevada a cabo mediante un proceso autoevaluativo dado que los docentes le hemos incorporado razones que tienen que ver con nuestra idea respecto del curso escolar completo en toda su secuencia. Es evidente que realizamos una evaluación muy difícil de objetivar.

El primer caso se distingue por su perspectiva optimista. Pero ésta debería mantenerse a lo largo de todo el año. El segundo podría hacer que los estudiantes descreyeran de la seriedad de la práctica evaluativa y de la ecuanimidad de los docentes para efectivizarla.

En los dos casos caben ciertas reflexiones: ¿no sería conveniente evitar la calificación numérica en ese primer examen? Si eso no es posible ¿la calificación podría ser más global y no pormenorizada? ¿El estímulo podría ser verbal o escrito pero de carácter cualitativo?

En el tercero de los casos nos preguntamos por qué razones no aceptamos que el aprendizaje es un proceso y que el promedio oculta el carácter evolutivo de ese aprendizaje o del esfuerzo producido.

Los riesgos de la evaluación
La preocupación por la evaluación suele instalarse en muchos momentos de las prácticas educativas. Lamentablemente, suele también estructurar esas prácticas. Los profesores deciden qué van a evaluar y desde ese lugar diseñan la enseñanza. Los estudiantes preguntan si todo lo que se está enseñando será evaluado. El placer por enseñar algo sin preocuparnos por su evaluación o aprenderlo por la satisfacción de la curiosidad, el interés que despertó o el valor que le atribuimos deja de reconocerse.

Estructurada la enseñanza desde la evaluación, los estudiantes estudian lo que será evaluado para el día preciso del examen. De esta manera la prueba se transforma en un dispositivo engañoso donde los aprendizajes se estructuran en torno a los temas de la evaluación produciendo, en más de una oportunidad, un recorte particular de los contenidos del currículum.

Otra preocupación se instala cuando se sostiene la necesidad de contar con un diagnóstico previo. Los diagnósticos no suelen acompañarse de altas expectativas para el rendimiento. Esos exámenes no permiten la recuperación de conocimientos adquiridos que hubieran requerido un tiempo de práctica o revisión. Otras veces provocan en el docente un diagnóstico desfavorecedor del grupo, por todo lo que condiciona negativamente la evaluación en la producción del trabajo.

Buenas teorías, viejas prácticas
¿Cómo sostener que se aprende del error cuando su búsqueda, reconocimiento y sanción fue el destino de la evaluación por varias décadas? Desde las derivaciones de la psicología constructivista se ha señalado, en muchísimas oportunidades, el valor de reconocer los errores, las falsas comprensiones, los obstáculos para la comprensión con el objeto de generar intervenciones que ayuden a resolver estos problemas. Sin embargo, la evaluación difícilmente se desprende de las prácticas en las que el error se sanciona. Señalamos en otras oportunidades la importancia de reconocer si el error es casual, porque se sabe algo o, por el contrario, porque se lo ignora. En los diferentes casos la conducta de los docentes debiera diferir. Si reconocemos, tal como sostiene Meireu, que comprender es más importante que aprobar la escuela, deberíamos permitir las equivocaciones sin ningún tipo de riesgos.

Documentar por escrito: una práctica válida
Una estrategia habitual que favorece la calificación es la prueba escrita. La validez que otorga el registro y documentación de las respuestas de los estudiantes ha promovido su utilización en todos los niveles del sistema educativo. Se añaden la mayoría de las veces una suerte de ritualidades que son la expresión de la seriedad de la práctica. No se puede preguntar, no se puede consultar al docente, al texto, al compañero, detenerse a estudiar nuevamente o posponer la situación de examen y, además, todos los estudiantes con independencia del ritmo habitual de resolución de temas y problemas que tengan, deben utilizar el mismo tiempo. Se suele sostener que estas disposiciones son el reaseguro de la validez del examen, en tanto todos los estudiantes cuentan con la misma regulación. La administración de los exámenes podría estar a cargo de cualquier persona que haga cumplir con estos requisitos.

Entendemos que los exámenes son también situaciones de aprendizaje. En todos los casos que hubiera necesidad, negar la ayuda para orientar a los estudiantes conduce a que la situación sea más ficcional que real. En la vida diaria, cotidiana o profesional, cualquier actividad a desplegar que reconozcamos como compleja o que su resolución tenga consecuencias en nuestra vida solemos consultarla, pensarla nuevamente, confrontarla con otro. Además, es imposible que dos personas utilicen el mismo tiempo para su resolución. Estas consideraciones nos obligan a repensar las evaluaciones escritas para lograr que aún cuando sean válidas para la documentación no debieran imponer condiciones que las transformen en una situación de presión en la que no se contemplan necesidades, dificultades, ayudas, ritmos diferentes, etc.

La ética de los acuerdos
Docentes y alumnos construyen a lo largo del año escolar acuerdos referidos al estudio, al cumplimiento de la tarea, al valor de la participación en clase, entre tantos otros. Lamentablemente, diferentes docentes con el mismo grupo de estudiantes construyen diferentes acuerdos que pueden ser contradictorios. Así los alumnos dejan de reconocer el valor moral que éstos conllevan para otorgarles una significación especulativa. Pero además, los acuerdos pueden ser rotos por los docentes por diferentes razones.

Cuando se le pregunta a un estudiante cuáles son las condiciones de una buena evaluación, sostiene simplemente: que el docente cumpla con lo que prometió. Nos preguntamos qué es lo que permite que un docente que manifiesta el valor de la ayuda, contemplar el error, reconocer que nadie sabe mejor respecto de lo que sabe que el propio sujeto, pueda romper en una situación de examen todos sus acuerdos y compromisos. Las situaciones de evaluación debieran ser el mejor lugar para seguir dando cuenta que cualquier situación de enseñanza implica el respeto por el otro, por sus condiciones de aprendizaje, por sus capacidades y también por sus limitaciones. Y como cualquier otra en la que las personas se encuentran vinculadas, es un lugar de confianza, de ayuda y de estima en la que los acuerdos sólo pueden modificarse con el consenso de todos los sujetos involucrados.



Autora: Edith Litwin

jueves, 2 de abril de 2009

PORTAFOLIOS: UNA NUEVA PROPUESTA PARA LA EVALUACIÓN

La evaluación de los aprendizajes es y ha sido uno de los temas que mayor preocupación acarrea a los docentes. En cualquiera de los niveles de la enseñanza y en cualquiera de las asignaturas las propuestas de evaluación señalan un camino de difícil resolución. La búsqueda de objetividad, por una parte y la necesidad de encontrar una estrategia que asegure que los estudiantes puedan expresar de la mejor manera todos sus conocimientos, por otra, consisten en los desafíos diarios de las tareas del docente. Si pudiéramos caracterizar a las buenas prácticas que recorren los diferentes niveles del sistema educativo elegiríamos las que satisfacen las siguientes condiciones: prácticas sin sorpresas, enmarcadas en la enseñanza, sin desprenderse del clima, ritmo y tipo de actividad de la clase en la que los desafíos cognitivos no son temas de las evaluaciones sino de la vida cotidiana del aula. Atractivas para los estudiantes y con consecuencias positivas respecto de los aprendizajes.

Seguramente no hay una sola manera de evaluar correcta y esa es parte de su condición. Es la expresión de las prácticas cotidianas del trabajo en el aula y, por lo tanto, tiene el sello del tipo de trabajo diario que llevan a cabo docentes y estudiantes.

En los procesos de calificación el requerimiento de las prácticas docentes consiste en posibilitar el mejor rendimiento de cada uno de los estudiantes. En el marco de los estudios obligatorios el máximo rendimiento consiste en posibilitar la máxima calificación, que es la que da cuenta de que se poseen, aprecian y satisfacen los conocimientos necesarios para el ciclo subsiguiente. Las apreciaciones respecto de las correcciones y las valoraciones de cada uno de los trabajos se deberán explicitar pero, son apreciaciones cualitativas y deben sostenerse como tales. El valor de cada uno de los trabajos debe ser apreciado por los docentes y comunicado a los estudiantes. Los límites, las posibilidades, las resoluciones originales, se constituyen en nuevas instancias de aprendizaje. No debieran confundirse con la acreditación de los conocimientos básicos de cada ciclo o nivel. El valor de los análisis cualitativos y el surco que dejarán en los aprendizajes de los estudiantes dependerá del valor de las sugerencias, los estímulos que provoque y el acierto con que se perciban los lugares potentes para el mejoramiento de esas producciones.

Una buena evaluación
Los docentes sostienen que una buena evaluación debe recuperar la comodidad de la enseñanza. Estar cómodo en un momento de alta tensión, como suelen ser los espacios de las evaluaciones, es todo un desafío. La comodidad se da en un clima de confianza, sin poner a prueba la salud del estudiante, tomando en cuenta el tiempo que utilizó para aprender, respetando sus intereses y posibilidades.

La confección de los instrumentos o dispositivos de evaluación juega un lugar central en las evaluaciones. Analizar su validez y confiabilidad consiste en su segundo momento. La validez implica que midan lo que pretenden medir. La confiabilidad da cuenta de que aplicados en diferentes circunstancias obtienen similares resultados. Esta tarea se completa al construir los criterios con los que se va a evaluar y se la comunica a los estudiantes. Se trata de tres momentos de la evaluación: confeccionar los instrumentos, analizar su confiabilidad y validez y construir los criterios de evaluación para comunicárselos a los estudiantes. Estos momentos entraman diferentes y complejas tareas que contemplan propuestas creativas, rigor en el análisis y compromiso al transformar la evaluación en un nuevo acto de aprendizaje cuando los estudiantes comprenden y comparten el sentido de los criterios de evaluación con que se los evaluará. El análisis de la pertinencia de los criterios también nos provoca nuevas comodidades, aspiraciones que compartimos los docentes en el acto de evaluar. Al someter los criterios de la evaluación a los alumnos logramos también dar cuenta de nuestro compromiso por generar evaluaciones que transparenten las aspiraciones o expectativas del trabajo docente. Ejemplos de criterios pueden ser: la remisión a la bibliografía, la pulcritud en el análisis, el reconocimiento de las dimensiones de análisis más importantes, el recuerdo de datos, etc. Los criterios que seleccionamos dependerán del campo de conocimientos, de las concepciones de enseñanza y de las de aprendizaje.

Los estudiantes sostienen que en una buena evaluación se cumple con lo que se prometió y el profesor valora el esfuerzo y la dedicación. Los docentes esperan, en el mejor de los sentidos, que las evaluaciones permitan dar cuenta de apreciaciones y fracasos justos. Diseñar y llevar a cabo buenas evaluaciones implica también tender un puente entre lo que esperan los estudiantes y lo que pretenden los profesores. Una manera posible de orientar la evaluación consiste en proponer a los estudiantes la confección de un portafolio. Los portafolios forman parte de las actividades de los estudiantes y pueden ser el instrumento elegido para la evaluación.

¿Qué es un portafolio?
Los portafolios constituyen una manera de presentar los trabajos de los estudiantes con el objeto de favorecer la evaluación. Se trata de un registro de los aprendizajes en tanto reúne materiales que se elaboran en el proceso de aprender. También constituyen una colección ordenada de evidencias que presenta las producciones que se fueron organizando para los diferentes proyectos llevados a cabo en el aula. En los portafolios se incluyen las mejores producciones de los estudiantes luego de sus procesos de elaboración. Los portafolios no son iguales. Algunos docentes los utilizan sólo para el registro evaluativo y otros, los utilizan como parte de la estrategia de enseñanza aún cuando puedan, finalmente, utilizarlos también para la evaluación.

¿Cuál es la diferencia entre un portafolio y una carpeta de registro de trabajos?
Los estudiantes seleccionan sus mejores trabajos. Cada trabajo conforma un folio que no necesariamente puede ser guardado en una carpeta o caja. Estos trabajos son el resultado de trabajos en proyectos y no de las actividades diarias que se realizan. Cada folio ha sido confeccionado, revisado, actualizado, corregido, recoge sugerencias para el mejoramiento por parte de los docentes y da cuenta del progreso que puede realizar el estudiante a partir de numerosas intervenciones por parte de los docentes. Por último, hay folios que pueden ser el fruto de una producción colectiva mientras que las carpetas de trabajos siempre dan cuenta de producciones individuales.

¿Cuáles son los beneficios de trabajar con portafolios?
Los portafolios pueden ser construidos en torno a problemas, grandes ideas, temas en controversia, biografías, propuestas de acción, entre otros. Dependerá de la asignatura y de la concepción de aprendizaje que se contemple el diseño de las propuestas o los ejes que posibilitarán la organización del portafolio. Los docentes que trabajen con portafolios ponen especial cuidado en la producción de los estudiantes entendiendo que los procesos de comprensión seguramente implican diferentes propuestas de elaboración de proyectos, de solución de problemas, trabajos en relación con temas, ideas o preguntas relevantes. Cada una de las propuestas demanda tiempo. Los folios se hacen y rehacen o se completan paulatinamente. No se trata de evaluaciones que se pueden realizar en un plazo breve sino de trabajos que demandan un tiempo considerable. Los beneficios tienen que ver con las producciones sostenidas que favorecen mejores procesos de construcción del conocimiento.

¿Cuál puede ser el contenido de un portafolio?
Dependerá de la asignatura y las características de los proyectos que se elaboren. En ciencias sociales un portafolio puede contener folios que se integren por un trabajo que reconstruye una biografía, una carta, un ensayo, el análisis de una fuente o de una representación pictórica de la época estudiada, la confección de un guión, entrevistas y su correspondiente análisis, etc.

Los portafolios contienen más de un producto y cada producto, a su vez, demanda un trabajo diferente de producción y sistematización. Se confecciona durante un cierto tiempo y probablemente necesita de borradores y propuestas parciales. Requiere la crítica del docente y finaliza mediante un acuerdo entre el docente y el estudiante acerca del estado final de la producción que permite que pase a integrar uno de los folios del portafolio.

¿Es la mejor propuesta para la evaluación?
Difícilmente encontremos una propuesta para la evaluación que nos asegure que su implementación sea siempre provechosa y productiva. La evaluación no puede reducirse a la búsqueda del instrumento más certero. Las buenas prácticas posibilitan evaluaciones en circunstancias no previstas en donde una respuesta oportuna del estudiante o una buena pregunta que da cuenta de su proceso de pensamiento permite reconocer mejor los conocimientos adquiridos o el nivel de reflexión poseído. De esa manera no sólo se evalúan productos sino que se analizan o se reconocen procesos y se adoptan tanto los procedimientos formalizados como los que no lo son para obtener no sólo indicios sino apreciaciones valiosas en torno al conocimiento adquirido.

En las escuelas no se debería actuar pensando que hay una sola manera posible de evaluar. Una buena evaluación debe otorgar confianza y generar, por el contrario al clima habitual que se instala con las evaluaciones, un espacio para permitir que los aprendizajes fluyan y se expresen con naturalidad. Posibilitar reconocer nuestros límites, reírnos de nuestras propias exigencias y recuperar el sentido de lo humano en el acto de aprender. Desde esta perspectiva, la evaluación recupera y es proveedora de seguridad y protege a los estudiantes y por tanto, se imbrica en la buena enseñanza.


Autora: Edith Litwin
Texto completo en
educared.org.ar/enfoco/ppce/temas/06_portafolios

miércoles, 1 de abril de 2009

Las Evaluaciones Educativas que América Latina Necesita V

DIEZ RECOMENDACIONES ACERCA DE LAS EVALUACIONES QUE AMÉRICA LATINA NECESITA
La evaluación debe concebirse como un elemento articulado en un conjunto más amplio de acciones y políticas educativas. La evaluación por sí misma no produce mejoras. Deben existir articulaciones estables entre el área de evaluación y las áreas de desarrollo curricular, formación docente, investigación, diseño de políticas, comunicación y prensa, entre otros.

La evaluación debe contemplar un proceso de reflexión colectiva sobre el estado de la educación y los caminos para mejorarla. El primer paso para ello es la consulta y el debate públicos acerca de qué deben aprender los estudiantes y acerca de los propósitos y consecuencias de la evaluación.

Del mismo modo, es fundamental la discusión pública constructiva a partir de los resultados, con el fin de encarar las insuficiencias e inequidades en el acceso al conocimiento por parte de los y las estudiantes. Para ello es necesario invertir en comunicación y difusión tantos o más recursos que en la propia evaluación, antes, durante y después de la misma.

La evaluación debe estar al servicio del desarrollo de un sentido de responsabilidad compartida por la educación como bien público. Debe promover el compromiso con la educación de todos los actores, cada uno según su lugar y ámbito de acción. Por este motivo, debe evitarse utilizar la evaluación para culpabilizar a actores específicos por los problemas detectados.

Los sistemas de evaluación de la región necesitan ampliar progresivamente el abanico de fines educativos que son objeto de evaluación. Es importante en este sentido incluir a la formación ciudadana, otras disciplinas además de Lenguaje y Matemática, así como un espectro más amplio de competencias y capacidades.
Los sistemas de evaluación de la región deberían progresivamente diseñar evaluaciones de progreso de los estudiantes, dado que son las que pueden aportar mayor información acerca del impacto de las políticas educativas, de las acciones de las escuelas y de las prácticas de enseñanza, en los aprendizajes de los y las estudiantes.

Un sistema de evaluación es un proyecto de largo plazo, por lo que requiere de un compromiso del Estado y de una planificación cuidadosa del diseño del sistema. Ello exige tomar decisiones acerca de los fines, las consecuencias, los aspectos a evaluar, las áreas y los grados, y la periodicidad de las evaluaciones, entre otras cosas. Todo ello exige tiempo, por lo que no es conveniente pretender la implementación de sistemas de evaluación en plazos reducidos.

Un buen sistema de evaluación requiere inversión, principalmente en la conformación de equipos humanos calificados, así como recursos económicos suficientes para una adecuada implementación de todos los procesos implicados.

El sistema de evaluación debe sustentarse en una actitud firme de transparencia en relación a los resultados y de rendición de cuentas a la sociedad.

Los Ministerios de Educación deben asumir un compromiso serio y consistente con los resultados de la evaluación, lo cual implica promover el diálogo acerca de los problemas detectados y los modos de enfrentarlos, diseñar líneas de acción apropiadas para resolver los problemas e invertir los recursos necesarios para llevarlas adelante.

Los sistemas de evaluación deben ser objeto de evaluación periódica, con el fin de analizar la calidad técnica de la información que producen y su relevancia para diversos actores educativos y sociales.



Extraído de
rinace.net
Pedro Ravela, Patricia Arregui, Gilbert Valverde, Richard Wolfe, Guillermo Ferrer, Felipe Martínez Rizo, Mariana Aylwin y Laurence Wolff
Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs

Google+