martes, 30 de diciembre de 2008

El interés actual por la avaluación de los sistemas educativos

No cabe duda de que el término "evaluación" es hoy moneda de uso común en cualquier discurso educativo. Con una u otra acepción, asociada a una diversidad de prácticas e impulsada por distintas estrategias políticas, la evaluación suscita un creciente interés en los sistemas educativos contemporáneos.

Fruto de ese interés cada vez más extendido ha sido la notable expansión registrada por la avaluación educativa en los últimos veinticinco años. Sin necesidad de remontarse a las primeras etapas en el desarrollo de la evaluación como disciplina y como práctica profesional, basta con recordar el fuerte impulso que recibió en los Estados Unidos durante los años sesenta, primero como consecuencia de la aprobación de la Primary and Secondary Education Act en 1965, gracias a una enmienda encaminada a asegurar la evaluación de los programas puestos en práctica para la aplicación del Informe Coleman, en 1968. La demanda de respuestas objetivas y fiables a las cuestiones suscitadas acerca del sistema educativo estadounidense favoreció la canalización de notables recursos económicos hacia las actividades de avaluación, produciendo como consecuencia un gran impacto sobre su desarrollo académico y profesional. La evaluación educativa experimentaría así un apreciable desarrollo a fines de la década de los sesenta, cuya influencia se haría sentir progresivamente en otros países.

Mientras en los Estados Unidos se producía ese proceso, en el ámbito internacional se ponían en marcha otras iniciativas que se orientaban en la misma dirección. Entre ellas cabe destacar, por su envergadura y por su extensión temporal y geográfica, la constitución de la International Association for the Evaluación of Educational Achievement (I.E.A), dedicada a promover y realizar estudios internacionales de evaluación educativa (Degenhart, 1990). Su noción del mundo como "laboratorio educativo", cuya formulación se debe en la buena medida a Tosten Husen, se reveló fructífera y capaz de inspirar un importante número de proyectos. El interés antes mencionado por la evaluación se ha manifestado también en este ámbito: sí en los primeros estudios realizados en los años sesenta el número. de participantes oscilaba entre seis y quince países, en los más recientes(Reading Literacy Study y Tirad International Mathematics and Science Study) toman parte entre treinta y cuarenta países. No es casual que la práctica totalidad de los países desarrollados participen en la Asociación.

Otro elemento en apoyo de esta observación acerca del creciente interés por la evaluación de los sistemas educativos se encuentra en la experiencia de construcción de indicadores internacionales de la educación por la Organización para la Cooperación y el Desarrollo Económico (O.C.D.E.). Así, en los años setenta, dicha organización, que agrupa a los países con economías más desarrolladas, inició un proyecto con esta finalidad, en conexión con un intento más ambicioso de construcción de indicadores sociales cualitativos, que se saldó con un relativo fracaso. Las limitaciones del proyecto con esta finalidad, en conexión con un intento más ambicioso de construcción de indicadores sociales cualitativos, que se saldó con un relativo fracaso. Las limitaciones del proyecto, las fuertes críticas que recibió y la parquedad de sus resultados demostraron su carácter prematuro (NATTALL, 1992). Sin embargo, a fines de los años ochenta, la O.C.D.E. retomó el propósito y puso en marcha el Proyecto denominado INES, de indicadores internacionales de la Educación, que ha alcanzado un eco considerable. Hasta el momento de Eduacation at a Glance/Regards sur l´education, un conjunto de publicaciones de carácter teórico-práctico que incluyen las visiones más actuales sobre la construcción y cálculo de indicadores en diversos dominios educativos, además de generar una amplia red de especialistas y un conjunto relevante de conocimientos (CERI, 1994).

La evolución de un buen número de países confirme lo que los anteriores ejemplos no hacían sino esbozar. Así, desde fines de los años ochenta y durante los noventa se han puestos en marcha mecanismos institucionales, centros y organismos de evaluación de los puestos en marcha mecanismos institucionales. Centro y organismos de evaluación de los sistemas educativos de países como Francia, Suecia, Noruega, España, Argentina y Chile; se han desarrollado planes sistemáticos de evaluación en le Reino Unido, Holanda, Francia, Argentina, Chile, República Dominicana y México; se han elaborado indicadores nacionales de la educación en Estados Unidos, Francia, Dinamarca y Suiza. Aun sin ánimo de exhaustividad, se comprueba fácilmente que el interés a que antes se hacia alusión no deja de extenderse por regiones muy diversas. Y los organismos internacionales también han reaccionado a dicho ambiente reinante, poniendo en marcha programas vinculados al desarrollo de las políticas de avaluación educativa. Tanto la ya mencionada O.C.D.E. como la UNESCO, la Unión Europea y la O.E.I. han traducido dicho interés en proyectos concretos.

Esta evolución y expansión han implicado transformaciones en la concepción y la practica de la evaluación. En primer lugar, habría que hablar de cambios conceptuales, entre los que el ejemplo paradigmático es la sustitución de nociones monolíticas por otras pluralistas y el abandono de la idea de una evaluación libre de valores. En segundo lugar, podemos referirnos a cambios metodológicos, caracterizados por la creciente tendencia a la integración de métodos cuantitativos y cualitativos. En tercer lugar, deben mencionarse los cambios en la utilización de la evaluación, con mayor énfasis en la concepción "iluminativa" que en la instrumental y la insistencia en el carácter político de aquella. En cuarto y ultimo lugar, pueden señalarse algunos cambios estructurales, caracterizados por una creciente inclusión de la evaluación entre los mecanismos de gestión de los sistemas educativos, una ampliación de sus ámbitos de cobertura y una mayor interdisciplinaridad (HOUSE, 1993).

En conjunto, todo ello pone de manifiesto un fenómeno nuevo, que podríamos formular como la extensión de un interés creciente por la evaluación de los sistemas educativos y que ha producido como efecto una rápida evolución de la avaluación entendida como disciplina científica y como práctica profesional. Un observador tan calificado como es E. R. House confirmaba de manera muy gráfica el cambio registrado:
"Cuando comencé mi carrera en evaluación hace más de veinti-cinco años, reuní todos los trabajos que pude encontrar en una peña caja de cartón en un rincón de mi despacho y los leí en un mes. Desde entonces, la evaluación ha se pasado de ser una actividad marginal desarrollada a tiempo parcial por académicos a convertirse en una pequeña industria profesionalizada, con sus propias revistas premios, reuniones, organizaciones y standards" (HOUSE, 1993, p.1).


Nota completa se puede hallar en
http://www.scielo.br/

Evaluación y cambio de los sistemas educativos: la interacción que hace falta
Alejandro Tiana Ferrer
PHD; Professor Catedrático da UNED, Madrid

sábado, 13 de diciembre de 2008

Un accidente costero

En la hermosa ciudad argentina de Mar del Plata impartí hace unas semanas una conferencia sobre evaluación educativa. Al terminar la sesión, una profesora se me acercó y me contó esta significativa y simpática anécdota. A su hijo (no sé de cuántos años) le pidieron en la clase que dibujase un accidente costero.

El niño pintó una orilla de mar en la que se veía a dos personas, un adulto y un niño.- ¿Qué accidente costero has pintado tú?, le preguntó el profesor, sorprendido por el dibujo.- Un día que fuimos de excusión papá y yo a la orilla del mar. Y yo sufrí un accidente porque me caí y me hice daño en una pierna. Eso es un accidente costero.

Exacto. Un accidente costero.La respuesta fue considerada errónea y fue calificada con un cero. Se trataba, sin embargo, de una respuesta lógica. Si el niño hubiera reproducido un gráfico visto en el libro de texto sin entender, por ejemplo, el concepto de cabo, es probable que hubiera tenido una valoración positiva.

La evaluación que hacemos en las aulas suele tener un acentuado componente memorístico. ¡Claro que es necesaria la memoria! No seré yo quien la condene. El ser humano está amasado de memoria. Pero, además de repetir, podemos comprender, pensar, analizar, comparar, opinar, crear. Si hiciéramos una relación de las tareas intelectuales que se pueden realizar en un aula, veríamos que la gama es amplia y diversa: memorizar (sin comprender), aprender algoritmos (es decir, los pasos), comprender, analizar, opinar, indagar, inventar…Si le preguntamos a alguien de dónde a dónde van las tareas más potentes intelectualmente (todas ellas son importantes y necesarias, ya lo sé) es probable que nos diga que están clasificadas de menos a más. Pero si comprobamos qué tareas están más presentes en las evaluaciones, es probable que la clasificación esté invertida.

De esta manera, con la forma de hacer evaluación estaríamos potenciando las tareas intelectualmente más pobres. No podemos olvidar que la evaluación condiciona todo el proceso de enseñanza aprendizaje. Porque los alumnos (y los padres y la sociedad) lo que demandan sobre todo no es el aprendizaje sino el aprobado.Claro que cuando se piden respuestas de carácter repetitivo la corrección es más sencilla, más rápida y más segura. En caso de que haya reclamaciones, la justificación será mucho más contundente. “Lo tienes mal”, y ya está. En caso de que los padres u otros agentes demanden explicaciones, la respuesta será muy simple: “Había que poner esto y ha puesto esto otro. O nada”. El niño del accidente costero tiene que saber qué contenido semántico tiene esa expresión. Tiene que saber qué es un accidente costero. Pero ha razonado correctamente. Ha pensado por sí mismo, no se ha limitado a repetir de memoria una definición o un concepto que acaso no ha entendido.

Se han hecho investigaciones que demuestran que para que haya rigor en la corrección de ejercicios de ciencias harían falta, al menos, doce correctores. Se me dirá que la solución a un problema matemático tiene una sola interpretación correcta. No es así. Demos el mismo ejercicio a varios correctores.- Uno califica con cero un ejercicio porque el alumno se olvidó de añadir kilogramos al número exacto de la respuesta.- Otro, por ese olvido, sólo le resta unas décimas.- Otro no dará por buena la solución porque no se alcanzó por el método explicado en el aula.- Alguien tendrá muy en cuenta la expresión matemática.- Hay quien dará mucho peso a la claridad de la letra o las faltas de ortografía.Razones discutibles, pero lógicas.

Hay otros factores que condicionan la calificación y que tienen poco que ver con la lógica (y menos con la ética)- Perdió el equipo del que el profesor es un forofo empedernido.- El evaluador tuvo una horrible discusión con pareja e inmediatamente se puso a corregir.- El dolor de estómago que sufría mientras corregía los ejercicios era insoportable.- Antes del ejercicio en cuestión había evaluado un trabajo sobresaliente.- El alumno que ha hecho el ejercicio ha tenido un comportamiento inaceptable toda la semana.En el caso de ejercicios de letras, para garantizar el rigor, harían falta más de cien correctores.

El primer año que impartí docencia en Primaria, pedí a mis alumnos que contasen por escrito una historia. Uno de aquellos niños comenzó su redacción de la siguiente manera: “Aquella mañana el príncipe salió cabalgando en todas las direcciones”. Me pareció una forma maravillosa de expresar una idea. Otro corrector podría haberle dicho que eso que había escrito era completamente imposible.

Dejo al margen una cadena de cuestiones más complejas e importantes: ¿Lo que se estudia es lo que más importa estudiar?, ¿se aprende con esos métodos?, ¿se sabe si se ha aprendido con esa forma de hacer evaluación?, ¿qué han aprendido por el hecho de haber intentado aprenderlo y evaluarlo de esa manera?…. No hay formas inequívocas de saber si se ha aprendido.

Por eso debemos ser flexibles (no dogmáticos en la evaluación). Necesitamos saber lo que dicen y aquello que han querido decir. Necesitamos conocer qué es lo que realmente saben. Un accidente costero, efectivamente, puede ser una caída que un niño ha sufrido en la costa.:

En un interesante libro que acaba de publicar Philippe Perrenoud titulado “La evaluación de los alumnos”, dice este destacado sociólogo suizo: “Cuando la evaluación se hace formativa, se transforma en una dimensión del acto de enseñar y de las situaciones didácticas. Es más fecundo pensarla en el marco de un enfoque global de los procesos de regulación de los aprendizajes y como componente de una situación y un dispositivo didácticos, más bien que como práctica evaluativa distinta”. La evaluación de los alumnos ha de ser un camino que nos lleve a la mejora del proceso de enseñanza y aprendizaje.


El siguiente texto corresponde a Miguel Ángel Santos Guerra http://blog.laopiniondemalaga.es/

miércoles, 10 de diciembre de 2008

EVALUACIÓN EN CUBA

El Instituto Central de Ciencias Pedagógicas (ICCP), dependiente del Ministerio de Educación de Cuba, es el encargado de evaluar la calidad educativa en ese país a través del denominado Sistema Cubano de Evaluación de la Calidad de la Educación (SECE).

Una de las principales características del sistema de evaluación en Cuba es su fuerte imbricación con los diversos estamentos y actores del sistema, que participan en múltiples instancias, tanto en el diseño de la evaluación como el análisis y usos de los resultados, según se podrá apreciar. Al mismo tiempo, el sistema se caracteriza por no entregar información al público, más allá de lo que el Ministerio decida como justificación de políticas o informe de gestión.

La principal fuente de información para este texto es un trabajo recientemente publicado por el Grupo de Investigación de la Universidad San Buenaventura de Cali, que estudió en profundidad los sistemas de evaluación en seis países de la región.

Para el SECE, la evaluación de la calidad de la educación es un proceso sistemático de obtención de datos válidos y fiables acerca del contexto, los insumos, los procesos y los productos de la educación, constatando así la naturaleza de la práctica educativa, para compararla con los ideales plasmados en los fines y objetivos de la misma. La información obtenida se utiliza para comparar la práctica educativa con el ideal de funcionamiento del Sistema, para emitir juicios acerca de su estado y para formular recomendaciones de cómo llevar a cabo los procesos de transformación requeridos.

Para el diseño de la evaluación, el SECE selecciona un conjunto de variables que tiene en cuenta el carácter universal de la educación, la necesaria unidad entre enseñanza y educación y los ámbitos en que se desarrolla la misma: la institución escolar, la familia y la comunidad-sociedad. El siguiente esquema organiza los diferentes tipos de variables que son consideradas en los procesos de evaluación de la calidad de la educación en Cuba.
En función de lo anterior, la evaluación de la calidad de la educación involucra los siguientes ámbitos:
el desempeño cognitivo y formativo de los estudiantes (en este punto entran las pruebas externas, junto con procesos de autoevaluación y de estudios de profundización de equipos provinciales);
  • el desempeño profesional de los docentes y de los directivos;
  • el funcionamiento general de los centros escolares;
  • el desempeño educativo de la familia y la comunidad;
  • indicadores de eficiencia interna y externa del Sistema Nacional de Educación.

La evaluación de la calidad educativa en Cuba involucra a un amplio y articulado conjunto de acciones y actores. Algunas acciones son ejecutadas por las propias escuelas, otras a través del intercambio de equipos de evaluadores entre escuelas, al tiempo que otras son realizadas a través de los operativos nacionales de evaluación (evaluación externa estandarizada). El sistema incluye además, estudios de profundización desarrollados por Equipos Provinciales de Evaluación de la Calidad, inspecciones escolares integrales, visitas especializadas, comprobaciones provinciales de conocimientos y observaciones sistemáticas de clase, llevadas a cabo por funcionarios de los diferentes niveles de dirección del Sistema Educativo. Buena parte de estas acciones están dirigidas a evaluar y calificar el desempeño de los docentes.

EVALUACIONES ESTANDARIZADAS EXTERNAS DE LA CALIDAD EDUCATIVA
Desde el año 1996 se realizan evaluaciones externas de carácter muestral, que involucran a todas las provincias del país. El proceso de implementación de cada ciclo de evaluación se inicia con procesos de sensibilización a nivel de escuelas, alumnos, familias y la comunidad. Se realizan talleres y seminarios con docentes para debatir en torno a los indicadores de calidad, los procesos educativos y los instrumentos que serán aplicados. A nivel de las familias se busca promover compromiso y participación en la gestión educativa, y se les brinda información sobre los propósitos de las pruebas nacionales. A los alumnos se los motiva a demostrar sus aprendizajes y se los familiariza con el tipo de instrumentos que deberán responder.

Una Comisión Nacional, conformada por investigadores del ICCP y funcionarios de las Direcciones Nacionales, seleccionan a los expertos encargados de la construcción, revisión y corrección de las pruebas, que están alineadas con el currículo nacional. Se construyen actividades de respuesta abierta breve, de desarrollo, de selección múltiple, de enlace y de ordenamiento. Una vez elaboradas, las actividades son sometidas a procesos de pilotaje, con el objetivo de probar su nivel de dificultad, los procesos de resolución que emplean los alumnos y las posibles causas de los errores. Las preguntas de respuesta abierta son corregidas por Tribunales de Calificación de cada área, compuestos por expertos previamente capacitados para realizar la tarea.

Además de las pruebas de desempeño, en algunos ciclos de evaluación se aplican instrumentos para identificar los factores asociados a los resultados académicos: cuestionarios dirigidos a los estudiantes y a los docentes. Asimismo, se revisan cuadernos de los estudiantes y se realizan observaciones de clase.
En la tabla incluida en la página siguiente, se enumeran los operativos de evaluación realizados desde 1996. Según se puede apreciar, la actividad de evaluación estandarizada ha sido frecuente y sostenida, ampliándose progresivamente los grados y niveles evaluados.

“Actualmente las pruebas son aplicadas en el nivel segundo, cuarto y sexto de Básica Primaria; año noveno de Secundaria Básica (SB); año once conocido como Preuniversitario (PRE). Y así mismo, se aplican las pruebas en el primer año de Educación Técnica y Profesional (ETP). En la Educación de Adultos (EDA) y para quienes se están formando en el Instituto Superior Pedagógico (ISP). A estos últimos, se les aplica pruebas en el primer año de educación especial, humanidades, ciencias naturales y exactas, educación primaria, así también, a quienes se están formando como Profesores Generales Integrales (PGI)”.

Para difundir los resultados, se elaboran 4 tipos de informes:

  • Resultados Generales por asignaturas, niveles educativos y provincias.
  • Resultados de Factores Asociados con datos aportados por las encuestas, la observación de clases y el estudio de cuadernos de los alumnos.
  • Informe Técnico de Errores de Aprendizaje.
  • Informe a cada escuela con sus resultados y recomendaciones específicas (a partir del año 2006).

Además se realizan estudios cualitativos de profundización llevados a cabo por equipos de investigadores, se realizan propuestas educativas y didácticas en función de los resultados obtenidos y se toman decisiones en materia de política educativa. Los resultados son utilizados básicamente al interior del sistema educativo y la difusión pública es muy limitada. Por lo pronto, no se encuentra disponible en Internet.

Una de las características destacables del sistema de evaluación cubano es su imbricación en un conjunto más amplio de acciones de evaluación, así como el involucramiento de múltiples actores (a diferencia de lo que ocurre en la mayor parte de los países de la región, en que los sistemas de evaluación operan de manera muy poco articulada con el resto de las unidades del Ministerio y los actores educativos).

El esquema incluido en esta página, tomado también del trabajo publicado por el GIECE de Cali, ilustra los mecanismos de coordinación y el involucramiento de las autoridades provinciales (DPE) y de los formadores de docentes (Institutos Superiores Pedagógicos, ISP) en el procesamiento, análisis y uso de la información.

Otra característica distintiva del modelo cubano es la fuerte relación entre evaluación, investigación aplicada y toma de decisiones de política educativa.


Esta interrelación se ve reforzada por el papel protagónico en la evaluación del Instituto Central de Ciencias Pedagógicas que, además de evaluar, tiene un fuerte papel en la investigación y un fuerte vínculo con los ISP. Finalmente, otro ejemplo de la articulación de la evaluación externa con las prácticas de supervisión y evaluación del desempeño docente, es el denominado Índice de Certeza del Diagnóstico del Maestro (ICEDIM). Para construirlo, se solicita a cada maestro que analice las pruebas externas que serán aplicadas a sus estudiantes, y que pronostique cuál será la calificación que obtendrá cada estudiante. Se considera que un buen maestro debería ser capaz de anticipar adecuadamente el desempeño de sus estudiantes. Si no lo puede hacer es porque, o bien no conoce suficientemente a sus estudiantes, o bien no comprende cabalmente lo que la prueba evalúa.
Una vez aplicada la prueba, se contrasta el resultado efectivamente logrado por cada estudiante con el pronóstico realizado por el maestro. A partir de esta constatación, se calcula el índice de manera muy simple: el total de coincidencias dividido por la cantidad total de estudiantes, es decir, un porcentaje de aciertos del maestro. Este resultado forma parte, junto con otras múltiples fuentes de evidencia empírica, de la evaluación del desempeño docente.

domingo, 7 de diciembre de 2008

Evaluación y cambio de los sistemas educativos: la interacción que hace falta

Algunos criterios para el desarrollo de políticas de evaluación del sistema educativo
Aunque podamos ponernos de acuerdo acerca de las posibles aportaciones que la evaluación puede realizar para la mejora de la educación, no debe deducirse que baste con poner en marcha programas con esa finalidad para conseguir unos efectos beneficiosos. En efecto, se trata de una tarea tan nueva como complicada, en la que han de adoptarse las necesarias precauciones para evitar consecuencias indeseadas.

La experiencia acumulada por los distintos países y los mencionados organismos internacionales permitir extraer ya algunas reflexiones y lecciones aplicables en este ámbito. En las páginas que siguen han organizado dichas reflexiones bajo la forma de conjunto de criterios que deberían ser tenidos en cuenta a la hora de poner en marcha políticas de evaluación de los sistemas educativos. La relación que sigue no debe ser entendida como una lista cerrada de criterios y condiciones, sino más como una propuesta tentativa, que habrá que ir contratando en la práctica.

Credibilidad e independencia institucional
Un primer requisito exigible a cualquier política de evaluación de un sistema educativo es el de su credibilidad. Quizás sea ésta su piedra de toque, por cuanto determine el modo en que la evaluación es percibida desde el exterior, su consiguiente aceptación y, en última instancia, su influencia sobre la realidad. Los riesgos derivados de una utilización partidista de la misma, tomando posición previa a favor o en contra de los fenómenos objeto de evaluación, han sido repetidamente puestos de manifiesto.

Evidentemente, la objetividad es una aspiración irrenunciable de las Ciencias humanas y sociales, pero se sabe bien la dificultad de su consecución entraña, especialmente cuando conlleva una interpretación valorativa. La valorización y el juicio, que constituyen precisamente el núcleo de la acción evaluadora, implican la referencia a valores y, por tanto, dificultan una percepción descarnadamente objetiva. En consecuencia, toda acción evaluadora está forzosamente sometida a una tensión interna entre conocimiento e interpretación que no siempre resulta fácil de resolver.

Pese al reconocimiento de tales limitaciones, el juicio emitido por la sociedad y por los ciudadanos acerca de la credibilidad de los datos obtenidos y de las interpretaciones realizadas constituye la clave del éxito o fracaso de las políticas de evaluación. La búsqueda y consecución de tal credibilidad es uno de sus objetivos fundamentales, si no el principal.

La cuestión de la credibilidad lleva normalmente aparejada la de la independencia institucional de los mecanismos de evaluación o, dicho en otros términos, la de su imparcialidad. Obviamente, los modos de organización institucional de la tarea de evaluación del sistema educativo variarán considerablemente en función de las circunstancias concretas, sin que puedan determinase reglas universales. Los organismos encargados de realizar dicha tarea pueden vincularse mas o menos, de un modo u otro, a los distintos poderes del Estado y a los diversos escalones administrativos, pero su percepción como instituciones con un amplio margen de independencia, conseguida muchas veces a través del equilibrio interno de poderes (como es el caso del Instituto Nacional de Calidad y Evaluación de España), es la principal garantía de éxito en su tarea.

Participación de la comunidad educativa
Un segundo criterio que deben cumplir las políticas de evaluación es el de contar con la participación de los sectores implicados. Dos son los motivos que avalan dicha exigencia. El primero deriva de la propia concepción de cómo debe realizarse la evaluación en una sociedad democrática; el segundo, de cuál sea la estrategia más adecuada para su implantación y desarrollo.

Por una parte, hay que insistir en el echo de que los ciudadanos y la sociedad en su conjunto reclaman una cada vez mayor e mejor información sobre el estado y la situación de lo sistema educativo. La evaluación de convierte así en un instrumento poderoso que contribuye a enriquecer el debate sobre la educación, actuando como instancia de objetivación de la información existente. Pero en la medida en que aborda realidades complejas, sujetas e interpretaciones complementarias, cundo no discrepantes manejando datos procedentes de fuentes y agentes muy diverso y en un contexto cargado de significación y de valores, la ausencia de participación de los sectores implicados constituye una importante limitación metodológica y de legitimación. Al igual que los distintos sectores de la comunidad educativa participan en la gestión del sistema educativo e de los centro docentes, también deben verse involucrados en su evaluación y ello se aplica tanta a la utilización de una diversidad de fuentes de información como a la conducción de los procesos de evaluación y a la negociación y recepción de los informes resultantes.

Por otra parte, desde el punto de vista estratégico, uno de los medios mas efectivos para asegurar la independencia institucional que antes se reclamaba es precisamente le de articular un mecanismo participativo, en el cual no exista una única autoridad evaluadora. En la medida en que todos los sectores de la comunidad educativa sean alternativamente sujetos y agentes de evaluación y participen en los programas que se pongan en marcha, se asegurará una independencia real a través del equilibrio de poderes.

Los modos concretos en que dicha participación se articula pueden variar considerablemente, pero lo importante es mantener este criterio a la hora de organizar un mecanismo de evaluación. Ello supone así mismo la integración de operaciones de evaluación externa con otras de evaluación interna y coevaluación.

Integración de métodos y enfoques
El corolario de cuanto se acaba de exponer es precisamente la necesidad de respetar el criterio de integración de métodos y enfoques. Si las diversas parcelas de la actividad educativa deben ser objeto de evaluación, contando con la participación de diversos agentes, es imposible abordar esta tarea con criterios metodológicos únicos y desde perspectivas absolutamente coincidentes. La propia diversidad de la realidad abordada exige una selección de los métodos más adecuados para cada caso concreto, huyendo de una uniformidad metodológica estéril. El viejo debate entre partidarios de los métodos cualitativos y cuantitativos tiene más de querella académica que de actitud realista y constructiva para le puesta en marcha de políticas de evaluación.

Por otra parte, también hay que reclamar el desarrollo de programas de evaluación de perspectivas complementarias. Quizás el ejemplo más claro en este sentido sea la puesta en marcha de planes e evaluación de centros docentes, con finalidad formativa y carácter individual, como complemento indispensable de otros programas de evaluación del cumplimiento de los objetivos educativos, de finalidad diagnóstica y carácter colectivo. La integración de ambos enfoques (microscópico y macroscópico) sobre el sistema educativo enriquece la tarea evaluadora y permite el logro de objetivos complementarios.

Quizás podría añadirse en este punto que la evaluación debe concebirse como un componente, central pero no el único de un sistema actual de información sobre la educación. Si la articulación de los programas de información estadística de planificación y prospectiva, de investigación educativa e de realización de estudios ha sido generalmente asta ahora menos estrecha de lo deseable, el gran reto que enfrentan los sistemas educativos es el de integrar a todos ellos en un sistema de información, capaz de ofrecer una imagen transparente de los mismos y permitir así los procesos de toma de decisión.

Coherencia con los objetivos del sistema educativo
Un cuarto criterio no siempre tan atendido como debiera pero no por eso menos importante, es el que reclama coherencia entre las políticas de educación desarrolladas y los objetivos del sistema educativo a cuyo servicio se conciben. Dicho de otro modo, se trata de fomentar los efectos beneficiosos de la evaluación para el desarrollo de la educación y de evitar los perversos. La experiencia internacional demuestra que la aparición de efectos no deseados ni deseables en este ámbito es más frecuente que lo debiera.

Hay que insistir reiteradamente en que las políticas de evaluación del sistema educativo no deben concebirse al margen de las políticas generales de desarrollo del mismo. En última instancia, deben colaborar al logro de los objetivos de la educación. Así, por ejemplo, aunque pocos se opondrían a la utilización de la evaluación para la mejora de la eficacia y la eficiencia del sistema educativo, cualquier observador desapasionado encontrará divergencias importantes entre la aplicación práctica de dicho planteamiento en un modelo político de corte neoliberal o uno preocupado especialmente por la equidad. Por ello, las políticas de evaluación no deben concebirse como una parcela aislada dentro del amplio campo de política y la administración educativas.

Este criterio es especialmente importante en períodos de reforma educativa. Por la propia naturaleza de la evaluación, es relativamente sencillo desautorizar procesos de cambio a partir de evaluaciones basadas en presupuestos contrarios a los mismos, como también lo es justificarlos desde sus propios presupuestos. En esta situación, la coherencia (que no subordinación) entre políticas de evaluación e políticas educativas en general es la única condición capaz de asegurar una evaluación realista y justa de las reformas educativas.

Gradualidad y adaptación de las circunstancias
La tarea diseñada en las páginas anteriores se aventura amplia y compleja y su magnitud puede llegar a asustar a muchos. Establecer y desarrollar un mecanismo de evaluación del sistema educativo que cumpla los criterios señalados no es en absoluto sencillo. Por ese motivo, insistir en que el desarrollo de políticas de evaluación debe ser graduado, paulatino y adaptado a las circunstancias de su contexto. Si el objetivo final ha quedado suficientemente esbozado, no estará de más una llamada al realismo.

Las políticas de evaluación son, como hemos visto, relativamente recientes entre nosotros. Por otra parte, si se quieren desarrollar de una manera rigurosa, exigen contar con múltiplos actores, integrar métodos y enfoques, asegurar su credibilidad y independencia institucional y vigilar su coherencia con el conjunto de la política educativa. Querer combinar aquella falta de experiencia con estas fuertes exigencias puede parecer una excusa para evitar su implantación. En estas páginas se sustenta un punto de vista diametralmente opuesto. Así, la consecuencia que debería extraerse de esta situación es una llamada a la cautela en relación de la estrategia de implantación y no con los objetivos propuestos. La meta está clara, el problema estriba en que pasos dar para llegar a ella.

Por otra parte, es absurdo pretender desarrollar políticas de evaluación (como de cualquier otro tipo) a partir de la importación de modelos foráneos. Si algo ha conseguida la moderna educación comparada es llegar a la conclusión de que no se puede hablar de sistemas educativos mejores o peores en términos absolutos, sino mejor o pero adaptados a sus circunstancias especificas y más o menos capaces de dar respuesta a las demandas que se les formulan. Por ello, la evaluación también se encuentra sometida e esta necesidad de adaptación a sus circunstancias específicas, como criterio general.

Teniendo en cuenta el punto de partida y las dificultades a superar, no cabe duda de que la única actitud responsable es la de comenzar a desarrollar programas de evaluación caracterizados por su modestia, su rigor y su perseverancia. Siendo, por ejemplo, diversos los ámbitos a abarcar por la evaluación, no tiene sentido pretender cubrirlos todos al mismo tiempo. En aquellos casos en que no exista una amplia tradición evaluadora, no es oportuno iniciar programas muy sofisticados e complejos. Cuando existe desconfianza hacia una nueva práctica de la que no se sabe que va a obtenerse, no deben implantarse programas que generen amplia contestación. En suma, se trata de aplicar la regla elemental de la prudencia también en este campo.

Esa y no otra es la actitud que muchos países han adoptado para poner en marcha políticas de evaluación de sus sistemas educativos. Los que éstas comienzan a dar permiten aventurar que la evaluación va ocupando progresivamente un lugar propio de mayor presencia en el conjunto de la política educativa. Aunque estamos todavía lejos de haber resueltos todos los problemas planteados, parecer que estamos orientados en una dirección que permitirá hacerlo en un futuro próximo. La aplicación de los criterios aquí planteados debe facilitar el correcto planteamiento de las actuales políticas de evaluación, que se nos revelan cada vez más importantes para el desarrollo de nuestros sistemas de educación y formación.


Nota completa se puede hallar en
http://www.scielo.br/


Evaluación y cambio de los sistemas educativos: la interacción que hace falta
Alejandro Tiana Ferrer
PHD; Professor Catedrático da UNED, Madrid

lunes, 1 de diciembre de 2008

Hacia una comprensión de la accountability educativa y cómo puede aplicarse en los países de América Latina

Recomendaciones para los países de América Latina
¿Qué deberían hacer los países (o estados, provincias o municipalidades) de América Latina para establecer la accountability? La discusión anterior nos lleva a las siguientes recomendaciones:
• Tomar medidas para establecer un sistema de accountability
– Desarrollar estándares que especifiquen lo que los alumnos debieran saber y ser capaces de hacer en asignaturas clave a cada nivel.
– Promover un flujo libre de información acerca de las escuelas y su desempeño. Aunque esto inicialmente no sea tan completo ni sofisticado como en países más desarrollados, debiera mantener al tanto a los interesados sobre lo que las escuelas están logrando (incluso usando datos indirectos) y en qué medida están cumpliendo con los estándares.
– Establecer consecuencias. La accountability debe marcar una diferencia.
Las consecuencias deben establecerse con cuidado para evitar resultados indeseables.
– Dar a las escuelas la autoridad para tomar medidas que mejoren el aprendizaje de los alumnos. En definitiva, esto significa que deben tener autoridad sobre una proporción significativa de su presupuesto y sobre decisiones en torno al personal.
– Entregar a los maestros el conocimiento que necesiten para remediar problemas una vez identificados estos.

Los maestros necesitan saber qué hacer a fin de cumplir con los altos estándares.
• Dejar en claro a todos los interesados –apoderados, maestros, alumnos, políticos, autoridades escolares – que se espera que todos los alumnos cumplan con los estándares y que el objetivo del sistema de accountability es mejorar los resultados de la educación. Es necesario comunicar estas metas y asegurar que sean entendidas y aceptadas.
Con cualquier actividad que implica cambios –y especialmente con una actividad tan compleja, exigente y fácilmente malentendida como la accountability – existe la necesidad de informar a aquellos que serán afectados por ella, los motivos para el cambio y los beneficios que producirá. Es necesario “vender” la accountability.
• Establecer un sistema de estándares que esté alineado con el currículo y con las pruebas que determinarán si los alumnos están aprendiendo el material.

Es necesario valerse del mejor asesoramiento basado en investigaciones para diseñar los estándares, el currículo y las pruebas.
• Establecer sistemas de medición que sean factibles y adecuados al nivel de desarrollo educativo del país.
– Una prueba de evaluación nacional basada en muestras por lo menos constituye una fuente de información sobre cómo está funcionando la educación nacional y, al repetirse, entrega una medida longitudinal de los cambios logrados.
– Las pruebas a todos los alumnos pueden aplicarse a nivel de unidades políticas subnacionales (estados, provincias, departamentos o incluso municipalidades).
– Es conveniente proceder a pequeña escala si es necesario, experimentando y aprendiendo de la experiencia propia y la ajena.
• Incorporar un sistema de desarrollo de capacidades al sistema de accountability.
Un sistema de accountability bien diseñado debe incluir no solo incentivos para instar a un mayor esfuerzo sino también los mecanismos para entregar a los maestros los conocimientos y destrezas que necesitan para rendir mejor. Debe haber un equilibrio entre la presión para mejorar el comportamiento y el desarrollo de capacidades que permitan a los maestros y escuelas lograrlo.
• Trabajar lentamente y en comunicación con las organizaciones de maestros.
Esto es claramente algo que debe desarrollarse en forma participativa.
La imposición de un sistema de accountability desde arriba arriesga generar una oposición innecesaria. Las organizaciones de maestros deben entender que la accountability puede mejorar la calidad de la vida profesional de todos sus miembros, y que ellos pueden contribuir ideas y conocimientos importantes al diseño de los sistemas de accountability y transformarse en socios valiosos. Es necesario explicar el propósito de la accountability y persuadir a aquellos que están involucrados en implementarla que los nuevos sistemas están bien diseñados y que además son justos y constructivos.
• Realizar ensayos sobre una base experimental. No es necesario hacer todo de una vez.
La accountability puede establecerse a nivel subnacional (estado, provincia o municipio) en lugar de países enteros. Los estándares y las pruebas pueden establecerse para una asignatura, por ejemplo matemáticas, a modo de ensayo. Es posible establecer sistemas basados solo en pruebas e información transparente, o entregar mayores grados de autonomía a las escuelas. Estos son pasos útiles en la dirección de la accountability. Conviene empezar a pequeña escala, evaluar, adaptar y luego avanzar.
• Tener cuidado con las “altas implicancias”. Existe el riesgo que la accountability de altas implicancias efectivamente cambie el comportamiento de las personas, pero que los cambios lleven a resultados inesperados. Si los premios o los castigos asociados con la accountability son demasiado fuertes, es probable que lleven a distorsiones indeseables del comportamiento o a acciones que aumenten las inequidades.
• Establecer un sistema para fiscalizar la implementación del sistema. Asegurar que la implementación sea cabal y efectiva. La accountability es altamente deseable y ha estado faltando en muchos, cuando no la mayoría, de los sistemas educativos en la región latinoamericana.

Es indudable que debe implementarse, pero con cuidado y preocupación para evitar consecuencias no deseadas y con salvaguardas contra resultados que puedan causar daño a algunos o todos los alumnos.
La accountability es una herramienta poderosa y, como cualquier herramienta poderosa, requiere de conocimientos y cuidado al usarla

El libro de R.W. MCMEEKIN puede bajarse en http://www.oei.es/

sábado, 29 de noviembre de 2008

COMPARANDO LO INCOMPARABLE: LA PARÁBOLA DE LAS CARRETERAS

Modos típicos de desagregar la información en los reportes nacionales
Una de las debilidades principales de los reportes de resultados de las evaluaciones nacionales en los países de la región es la falta de contextualización sociocultural de dichos resultados. En prácticamente todos los países se reporta en función de los siguientes niveles de desagregación
• Resultados según las divisiones políticas y/o geográficas del país (por estado, provincia, departamento, región).
• Resultados de escuelas urbanas y rurales.
• Resultados según forma de administración (escuelas públicas o fiscales, escuelas subvencionadas, escuelas particulares o privadas).

Estos niveles de desagregación, que responden a las diferenciaciones más “visibles” de los sistemas educativos en subsistemas, son relevantes en la medida en que permiten ver las diferencias en el logro de los alumnos entre dichos subsistemas y presentan a la luz pública ciertas inequidades en la distribución de los conocimientos.

Sin embargo, el hecho de que sean prácticamente las únicas formas de desagregación de los datos implica una sobresimplificación de la realidad, en la medida en que ocurren dos fenómenos:
• Algunos de estos agregados incluyen en su interior enormes heterogeneidades. Por ejemplo, el agregado “escuelas urbanas” incluye toda la gama de situaciones socioculturales, desde escuelas de sectores medios y altos hasta escuelas en barrios marginales. Lo mismo ocurre con la mayoría de las “jurisdicciones” políticas o regiones geográficas en que se divide un país.
• En otros casos, los agregados seleccionan a su alumnado mayoritariamente de ciertos sectores sociales y no tienen una población representativa del conjunto: típicamente las escuelas rurales, que trabajan con un alumnado proveniente de familias con mínima trayectoria en el sistema educativo, y las escuelas privadas, que mayoritariamente reclutan su alumnado en los sectores sociales medios y altos.

El problema se plantea cuando de estas formas de desagregación de los resultados se derivan juicios o conclusiones acerca de la eficacia diferencial de unos y otros tipos de escuelas o jurisdicciones, y también cuando los datos no van acompañados por algún tipo de análisis que oriente al lector o al decisor en las interpretaciones válidas de la información. En general, según lo demuestra abundante investigación empírica, las diferencias de resultados obedecen principalmente a las diferencias socioculturales entre las poblaciones con las que trabajan los diferentes sectores o instituciones del sistema educativo, antes que a diferencias en su eficacia pedagógica.

Lo anterior no implica afirmar que todas las diferencias de resultados se puedan explicar por diferencias en el contexto social, sino que para hacer afirmaciones válidas respecto a la “eficacia” pedagógica es imprescindible haber controlado el efecto del contexto sociocultural.

La parábola de las carreteras
Para explicar mejor este problema resulta útil recurrir a la siguiente metáfora. En la República Argentina hay una carretera denominada la “ruta del desierto”. Es la Ruta Nacional Nº 20, en la provincia de La Pampa, que cruza la provincia en dirección este-oeste. El paisaje es semidesértico, pedregoso, con arbustos y absolutamente llano. La ruta tiene más de 200 kilómetros en línea recta, sin una curva ni una loma. El mayor peligro en esta ruta es la monotonía del paisaje, que hace que el conductor pueda dormirse en el volante. Por este motivo, a lo largo de la ruta se advierte la necesidad de descansar y se han ubicado cada 60 kilómetros sitios de descanso, pequeños oasis con árboles, sombra y agua.

En Argentina hay otra ruta, la Nº 40, que atraviesa el país en dirección sur-norte siguiendo la precordillera. Recorre desde Tierra del Fuego en el extremo sur del país hasta la Quebrada de Humauaca en el norte, en el límite con Bolivia. La ruta 40 sube y baja, atraviesa valles y montañas, diversidad de paisajes y terrenos.

Suponga el lector que el Ministerio de Obras Públicas ha licitado la construcción de estas dos rutas, ha concedido la construcción a distintas empresas y quiere evaluar la eficiencia de cada empresa, con el fin de utilizar esta información como elemento de decisión en futuras concesiones de obras públicas.

Para ello, la División de Información del Ministerio diseña indicadores de eficacia y eficiencia: la cantidad de kilómetros de carretera por unidad de tiempo –por ejemplo, por día o por semana- que ha avanzado cada empresa; o el costo de cada empresa por kilómetro de carretera construida. Luego recoge la información y entrega los resultados al Ministro.

Supongamos que el Ministro de Obras Públicas toma decisiones a partir de esta información. Probablemente se verá en problemas. Como resulta obvio, en apariencia la empresa A, que construyó la ruta 20, aparecerá como más eficiente que la empresa B, que construyó la ruta 40. Sin embargo, mientras la primera simplemente despejó el terreno, pasó las máquinas niveladoras en línea recta y en horizontal y colocó el material bituminoso, la segunda debió dinamitar partes de montaña, construir terraplenes, hacer puentes para sortear cursos de agua, calcular el trazado de las curvas, construir tramos en subida y en bajada, etc.

Por tanto, en realidad el Ministro no sabe nada sobre cuál de estas empresas es mejor. Por el contrario, la información que posee sirve de poco para ese objetivo. Supóngase que, además, el Ministro tiene información sobre el tipo de tecnología utilizada por cada empresa, por lo cual concluye que la tecnología utilizada por la empresa A es más eficiente que la utilizada por la empresa B. Si todos estos análisis se realizan sin tener en cuenta el terreno en el que cada empresa ha debido trabajar, de nada sirven los indicadores que se construyan.

En educación pasa algo muy similar. La labor educativa no se desarrolla en el vacío ni con un alumnado homogéneo. Los individuos llegan a la institución educativa en condiciones absolutamente diferentes para recibir y aprovechar el trabajo de los educadores. Unos llegan luego de una primera infancia vivida con infinidad de estímulos visuales y afectivos, en el marco de un hogar en el que cotidianamente se habla un lenguaje complejo, en el que se lee habitualmente y se le enseñó a reconocer el alfabeto aún antes de conocerlo en la escuela. Otros llegan luego de una primera infancia vivida en hogares en los que existen escasos estímulos visuales, donde el lenguaje es más simple, las prácticas de leer y escribir sólo ocurren excepcionalmente, los padres apenas completaron la escuela y no tienen una noción acabada del tipo de ayuda a brindar a su hijo en sus labores escolares. Unas escuelas trabajan con alumnos que se alimentan adecuadamente, tienen un espacio propio en su vivienda y salen de vacaciones todos los años. Otras trabajan con alumnos que se alimentan mal, que viven en condiciones de hacinamiento y colecho y que nunca han viajado más allá de 5 kilómetros de su vivienda. Unos estados o provincias trabajan con población altamente alfabetizada y en un contexto de crecimiento económico, en tanto otros lo hacen con poblaciones con tasas importantes de adultos analfabetos, de familias en condición de pobreza extrema.

Los “terrenos” son absolutamente diferentes. Unas trabajan en la llanura y en línea recta y otras deben sortear infinidad de dificultades. Por tanto, cualquier análisis de resultados o indicadores educativos que no tenga en cuenta las características del alumnado, resulta de escaso valor para la toma de decisiones o para extraer algún tipo de conclusión válida que pretenda ir más allá de la mera descripción de que las diferencias existen.

Sin embargo, en el presente, la enorme mayoría de los informes nacionales e internacionales de resultados educativos tratan de la misma manera a quienes construyen una ruta en línea recta que a quienes trabajan en la precordillera. Algo similar ocurre con el modo que normalmente los economistas interpretan la repetición y la extraedad: como ineficiencia del sistema educativo. En realidad indican que el terreno es más complicado, por lo que construir allí lleva más tiempo.

La consideración del contexto sociocultural
Así como la manera válida de construir indicadores comparativos de la eficiencia de las empresas constructoras de carreteras sería medir su tasa de avance sobre terrenos similares, la única manera válida de construir indicadores que sirvan para sustentar afirmaciones o decisiones sobre la efectividad de las instituciones o sistemas educativos es a través de algún tipo de categorización de los “terrenos” en que trabajan, es decir, de las características socioculturales de los hogares de los que provienen sus alumnos.

Un ejemplo que ilustra uno de los caminos posibles para abordar este desafío es la construcción de categorías de “contexto sociocultural de las escuelas”, con la finalidad de comparar los resultados al interior de categorías similares. La constatación de que el ordenamiento de los resultados de las pruebas en los diferentes tipos de escuela siguen el mismo ordenamiento que los indicadores sociales, dio lugar en Uruguay a una clasificación de los establecimientos educativos en cinco categorías según su “contexto sociocultural”: ‘muy favorable’, ‘favorable’, ‘medio’, ‘desfavorable’ y ‘muy desfavorable’. Esta categorización fue construida a partir de dos índices: uno de carácter cultural, elaborado a partir de los niveles educativos de los hogares de los alumnos, y otro de carácter económico, elaborado a partir de los niveles de equipamiento de dichos hogares.

A partir de esta construcción, los resultados se apoyan en la presentación conjunta de resultados de logro e indicadores sociales, o controlando el contexto sociocultural. Es decir, mostrando los resultados por tipo de escuela, región o departamento dentro de una misma categoría de contexto sociocultural. Asimismo, en la devolución de resultados a las escuelas se entrega a cada una de ellas lo obtenido por sus alumnos y lo de escuelas del mismo contexto sociocultural, de modo que no sólo se comparen con la media nacional

Es importante destacar que el “contexto sociocultural” es una propiedad de la escuela o grupo de alumnos, no de los individuos. Lo que explica los resultados no es principalmente el origen social individual de los estudiantes, sino la composición sociocultural del grupo escolar o de la escuela a la que pertenecen. Esta advertencia es de gran importancia, porque en algunos análisis se comparan los resultados entre individuos pertenecientes a un mismo origen social, pero a diferentes subsistemas. Por ejemplo, se compara los resultados de individuos de nivel sociocultural “bajo” que pertenecen a escuelas públicas, por un lado, y a privadas, por otro. Normalmente las diferencias no serán significativas y, si lo son, los resultados serán mejores entre quienes pertenecen a escuelas privadas, pero ello como resultado de que en dichas escuelas los individuos de NSE “bajo” son minoría, mientras que en las primeras son mayoría. En otras palabras, cuando los individuos de origen sociocultural desfavorecido son minoría en un grupo constituido mayoritariamente por individuos de mejor “respaldo” cultural familiar, los primeros se verán favorecidos por sus pares. Hay un efecto del nivel del grupo que mejora los aprendizajes. En cambio, cuando el grupo está mayoritariamente constituido por individuos de origen social desfavorecido, la minoría con mejor nivel educativo familiar tenderá a tener resultados inferiores a los esperables.

Estas constataciones, por otra parte, indican la necesidad de propiciar heterogeneidad social en las escuelas e intentar evitar la segmentación.

Los dilemas que la relación entre aprendizajes y contextos sociales plantea a la difusión de resultados El tratamiento y presentación de los resultados de las evaluaciones nacionales a partir de la categorización de los contextos sociales genera un nuevo problema: se corre el riesgo de acentuar una visión determinista en la sociedad y en los educadores, visión que podría ser ilustrada a través de frases del tipo “esto es lo máximo que se puede lograr en este medio” o “en este contexto no se puede esperar ni exigir más de los niños”. En otras palabras, se corre el riesgo de establecer o fortalecer un sistema de expectativas diferenciadas (“exijamos más en los sectores medios y altos, exijamos menos en los sectores populares, porque lo que pueden alcanzar es diferente”).

Muchas personas vinculadas al sector educativo y a los sistemas de evaluación temen, justificadamente, que enfatizar la presentación de resultados diferentes por contexto social opere como “coartada” o justificación de los resultados insuficientes para los maestros que trabajan en esos contextos.

Pero, por el otro lado, ignorar el contexto puede dar lugar a conclusiones espúreas y, más aún, puede generar una gran frustración e impotencia en las escuelas y docentes que trabajan en los medios más desfavorecidos, en la medida en que aparezca como que toda la responsabilidad por los pésimos resultados es de la escuela. Incluso puede dar lugar a que ciertas escuelas queden injustamente deslegitimadas ante sus comunidades y tener efectos paralizadores.

La evaluación puede ser percibida como injusta, porque responsabiliza al maestro y a la escuela por problemas que, al menos en parte, provienen del contexto. Volviendo a la parábola de las carreteras, es como si la empresa que trabajó en la precordillera quedará ubicada, en un ranking de metros promedio de construcción por día, por debajo de la que trabajó en la llanura. Lo sentiría como fuertemente injusto.

La introducción de la noción de contexto social “alivia” el peso de la responsabilidad, ayuda a percibir la evaluación como equitativa y a comprender que hay factores externos al sistema educativo que inciden en los logros y que la educación no es omnipotente. En definitiva, ayuda a establecer algo que es estrictamente cierto: parte de las desigualdades que se registran en el sistema educativo son reflejo de las desigualdades que existen en la sociedad.

Algunas formas de enfrentar el dilema anterior son:
• Mostrar en forma sistemática, a través de la difusión de resultados, que incluso al interior de los diferentes contextos sociales, hay escuelas que logran mejores resultados que otras. En otras palabras, que si bien el contexto social tiene un peso específico sobre los resultados, no hay determinismos absolutos y existe un espacio propio de la acción pedagógica y escolar que es necesario potenciar. Esta puede ser además una forma de motivar para que al interior del sistema educativo se haga todo lo posible por lograr mayor equidad en la distribución social del conocimiento y por mejorar las capacidades de los niños de origen más pobre.
• Colocar fuertemente el énfasis en los datos longitudinales y no en las comparaciones transversales entre escuelas. El esquema ideal sería tener una medición inicial y otra final en un mismo año lectivo. Por esta vía se puede eliminar en buena medida el efecto del contexto, centrando la medición y el reporte de resultados en lo que los alumnos y grupos avanzan a lo largo de un año respecto a su propio punto de partida. Con buenos instrumentos de medición de prácticas y enfoques de enseñanza, una aproximación de este tipo debería mejorar la capacidad explicativa de los “factores escolares” y, por tanto, la acumulación de conocimiento en este terreno. Obviamente un dispositivo de este tipo es más costoso y más complejo en cuanto al diseño de las pruebas.


http://www.oei.es/
¿Cómo Presentan sus Resultados los Sistemas Nacionales de Evaluación Educativa en América Latina?
Pedro Ravela

Accountability educacional

Rendición de cuentas más responsabilización por los procesos y resultados de la educación de JAVIER CORVALÁN1

Este libro es producto de un proyecto conjunto entre CIDE y PREAL –con el apoyo principal de USAID y de la Fundación Tinker– tendiente a posicionar en América Latina tanto la discusión como ciertas experiencias relevantes en el campo de la Accountability educacional.

Este último es un término de amplio desarrollo en el mundo de habla inglesa pero que, sin embargo, constituye aún una temática de escaso desarrollo y un concepto de difícil e imprecisa traducción en español, a la vez que de imperiosa referencia en actuales reformas educativas de América Latina.

En efecto, la primera traducción que se suele hacer del término se refiere a rendición de cuentas, principalmente en el campo público, lo que parece insuficiente por cuanto capta solo una parcialidad del sentido de la accountability.

En segundo lugar, la accountability se suele traducir como responsabilización, palabra que en una definición estricta no existe en el idioma español pero que recoge otro de los sentidos importantes del término original. Así y limitando estas páginas a la presentación de la accountability educacional en torno a estas dos expresiones –“rendición de cuentas“ y “responsabilización”– podemos tener un acercamiento a la temática en cuestión, entendiendo que la accountability alude a ambos sentidos: en parte es una rendición a los interesados o involucrados por los resultado del proceso educativo, lo que a su vez se espera tenga como consecuencia un aumento de los niveles de responsabilización de cada actor sobre tal proceso.

¿Qué debe entenderse en definitiva por este término y cómo se relacionan ambos sentidos propuestos para la accountability? En primer lugar, la rendición de cuentas refiere al proceso mediante el cual los actores informan y/o exigen información por el uso de los recursos para la consecución de un objetivo que les concierne. Esta rendición de cuentas no siempre y no solo se refiere a lo financiero, sino también al conjunto de recursos (humanos, simbólicos y materiales, entre otros), ordenados de una manera concordante al logro del objetivo en cuestión.

Crecientemente y como producto de las reformas educativas en América Latina se ha establecido que el objetivo del proceso educacional es el aprendizaje a niveles importantes y significativos de contenidos, en reemplazo de un objetivo centrado solo en el acceso a la educación. La rendición de cuentas en la accountability educacional se refiere entonces primeramente a los resultados en términos del aprendizaje y a la utilización que los actores han hecho de los recursos para conseguir este objetivo.

El segundo sentido de la accountability educacional –la responsabilización – es de hecho inseparable y consecuencia del anterior (rendición de cuentas). El hecho de rendir o de exigir el rendimiento de cuentas implica en sí un acto de asumir o demandar responsabilidades.

A su vez, el hecho de ser responsable de un proceso o de un resultado implica –sobre todo si se trata de un proceso público en una sociedad democrática – tener que dar cuenta de los resultados del mismo y del uso de los recursos implicados. Así, uno de los aspectos más interesante de la accountability en el campo educacional y público y particularmente en el educacional, es que confronta a cada uno de los actores implicados en el proceso educativo frente a sus responsabilidades y a su consecuente acto de rendición de cuentas. Al examinar qué se necesita para un buen proceso de accountability educacional se llega a la conclusión que en América Latina se ha avanzado bastante en las últimas décadas aun cuando hay mucho camino por delante en términos de poder contar con una educación realmente accountable.

Como se verá en esta publicación se propone aquí que un sistema de accountability educacional debe tener al menos cuatro elementos: información, estándares, autoridad y consecuencias. Las reformas latinoamericanas de las últimas dos décadas han incorporado algunos de estos aspectos en los diferentes países y aun cuando tales elementos son por lo general insuficientes, existe la impresión de que se avanza y que se debe avanzar aún más hacia el perfeccionamiento de cada uno de los elementos en cuestión. En efecto, en relación al concepto de información no son pocos los países que han comenzado a desarrollar sistemas globales o parciales de medición de la calidad de sus establecimientos educacionales.

En la misma línea la discusión respecto a estándares educacionales se ha incrementado en el continente en los últimos años, así como también la idea de autoridad puede ser asimilada, al menos parcialmente, a los procesos descentralizadores y proclives a generar autonomía en las escuelas, lo que proviene de los cambios educacionales iniciados en los años 80 en América Latina. Finalmente el componente de consecuencias en los procesos de accountability es claramente uno de los puntos en los cuales menos se ha avanzado y debatido en la discusión de política educativa reciente en América Latina.

En síntesis, nos parece válida la tesis respecto a que en la educación latinoamericana actual hay procesos –que en algunos casos están relativamente desarrollados y en otros, son aún incipientes– de accountability educacional. En este sentido, existe una ruta de progreso en la mayor parte de los países en la que es importante insistir y perfeccionar y en no pocos casos crear algunos de los componentes básicos de un sistema de accountability educacional, los que redundan o bien acompañan otros procesos tendientes a una educación de mayor equidad y calidad.

Precisamente es por esto que uno de los objetivos de esta publicación es generar una mayor comprensión de la accountability para, a partir del mismo y de ejemplos de sus aplicaciones, aportar a la discusión sobre la utilidad que pueda tener para orientar parte de los procesos de mejoramiento educativo actualmente en marcha en América Latina.

Recurriendo a una mirada histórica es interesante preguntarse por qué la accountability educacional ha sido sugerida en los últimos años en América Latina como un tema compatible y necesario con los procesos de reforma educativa en la región. La respuesta, a nuestro parecer, dice relación con al menos cuatro aspectos del desarrollo educativo reciente en América Latina:
a) En primer lugar, la educación latinoamericana ha estado sometida en las últimas décadas a crecientes procesos de descentralización y generación de autonomía escolar, lo que significa que tanto los niveles intermedios como locales así como las escuelas mismas y también las familias de los alumnos experimenten grados crecientes de influencia en la toma de decisiones educativas. Para impactar positivamente en la calidad de la educación se requiere que tales decisiones, por una parte, cuenten con la información suficiente pero que sobre todo tengan niveles importantes de responsabilización y de rendición de cuentas por parte de los actores respecto de los procesos y resultados que ellas implican. Ello especialmente si, asociadas a tales decisiones, se disponen cantidades significativas de recursos –privados y públicos– destinados al sector educacional.
b) En segundo lugar, la accountability aparece como un tema importante en el debate educativo en América Latina a partir de la irrupción del tema de indicadores educacionales, tanto al interior de los países como desde una perspectiva comparada. Esto se refleja en las discusiones en torno a las pruebas de rendimiento educativo, sean ellas censales o muestrales, y también en lo relativo a estándares y desempeños educativos. Todos estos indicadores tienen una doble dinámica con el tema de la accountability educacional puesto que por un lado se suponen que ellos, para cumplir su propósito, requieren ser parte de sistemas de accountability educativos propiamente tales y por otro, tales indicadores, son ya indesmentiblemente aspectos fundamentales de cualquier proceso de accountability educacional. Como se mencionó anteriormente y se verá en esta publicación, es cada vez más difícil pensar en un proceso de accountability educacional sin un componente de información sobre los resultados de aprendizaje en las escuelas o del sistema educativo en su conjunto o de parcialidades del mismo. En esta línea, en los últimos años la mayoría de los países de la región han logrado avanzar en el objetivo de tener pruebas estandarizadas y comparables del rendimiento escolar y mientras no las tengan es recomendable que utilicen otro tipo de indicadores, más específicos y locales, que permitan rendir cuenta y asumir responsabilidades por los resultados obtenidos.
c) Asociado a lo anterior, la conversación más general referida a las reformas educativas en América Latina y más específicamente a la calidad de la educación ha generado un terreno propicio para la discusión respecto de la accountability educacional. En lo más específico, todo lo que se ha avanzado y propuesto en las políticas educativas en torno al mejoramiento de escuelas en situación deficitaria requiere de procesos que están muy cercanos a lo que tradicionalmente se reconoce como accountability educacional. En efecto, en tales casos se requiere saber qué tan mal ubicadas en cuanto a su rendimiento se encuentran esas escuelas dentro de un diverso comparativo mayor y cuál es el uso que hacen del conjunto de recursos que poseen, así como de las carencias que es necesario suplir por parte de los sectores público y privado. Todo este conjunto de información y de eventuales acciones sin duda forma parte de procesos y sistemas de accountability educacional incipientes o medianamente desarrollados en América Latina.
d) Por último, la accountability educacional surge también como una perspectiva interesante para las actuales políticas latinoamericanas y en particular para los ministerios y las estructuras gubernamentales centrales. Esto, por cuanto son tales niveles los que no solo deben orientar los procesos de mejoramiento y equidad educacional sino también encargarse de dar cuenta pública de la educación de cada país o estado. De esta manera la accountability educacional es un conjunto de elementos necesarios y ventajosos no solo en los procesos de descentralización educacional, sino también para las instituciones centralizadas y responsables por los resultados finales del sistema.

El principal aprendizaje que nos dejan los textos dispuestos en este libro así como el conjunto de ponencias del seminario que le da origen es que todos los actores involucrados en los actuales procesos de provisión de educación pública pueden y deben rendir y/o exigir algún tipo de cuenta respecto de su actuar en el sistema. En efecto, desde el momento en que la educación es un tema de interés y relevancia pública y dado que en gran parte ella se financia con recursos públicos, los involucrados deben dar cuenta de su desempeño y consecuentemente de la parte de uso de los recursos que en tal desempeño está implicado o de la manera en que colaboran y/o presionan –en tanto actores privados– por el correcto uso de los recursos y aceptable logro de los objetivos educacionales.

La cultura de la rendición de cuentas por cierto no ha sido la tónica del desarrollo latinoamericano desde la segunda mitad del siglo XX. Claramente inspirada por modelos de desarrollo que dieron un rol protagónico y central al Estado por sobre el sector privado, América Latina lleva a cabo una importante masificación de la educación en el mencionado período en el cual los objetivos buscados tuvieron que ver con la ampliación de la cobertura escolar. La lógica fuertemente centralista del momento, sumada a los bajos niveles de participación ciudadana en la mayor parte de los países y a la ausencia de una discusión profunda y conceptualmente fundada en torno a la calidad de la educación provista por los poderes públicos, hizo que el tema de la rendición de cuentas en el ámbito público y particularmente en el campo educacional estuviese ausente hasta fines de siglo.

Esto se vio además reforzado por el efecto no menos importante que en la falta de información tuvieron los estilos autoritarios de gobierno y las democracias restringidas instauradas a partir de los años 60 y 70 en la región. Sin embargo, debe tenerse en cuenta que la accountability educacional, o bien la ausencia de la misma, no ha sido algo exclusivo ni de las democracia ni de las dictaduras. En efecto, durante las últimas décadas en América Latina se han registrados esfuerzos importantes por fortalecer los sistemas de medición de resultado bajo regímenes autoritarios así como también han existido muchos gobiernos democráticos que no han sido afines a fortalecer la rendición de cuentas o bien han obstaculizado el fortalecimiento de la responsabilidad por los resultados educacionales.

Con todo, debe reconocerse que el impacto de un sistema de accountability educacional debería ser mayor en una sociedad gobernada por un sistema democrático. Como es sabido, particularmente a partir de los años 80 y con mucha mayor fuerza a partir de los 90 se da un giro de proporciones en la discusión respecto de la educación latinoamericana. Los ya mencionados esfuerzos descentralizadores y el énfasis en la calidad y la distribución equitativa de los resultados educativos genera un nuevo escenario que permite comenzar a discutir con propiedad el tema de la accountability educacional. A este respecto, un tema recurrente en este nuevo discurso y ordenamiento de la educación latinoamericana es que esta no es solo responsabilidad del gobierno central sino del conjunto de la sociedad. En esta nueva perspectiva resulta de primera importancia definir los niveles de responsabilidad de cada uno de los actores involucrados en el proceso educativo, desde los gobiernos centrales o regionales hasta las escuelas y las familias. Cada actor del proceso educativo tiene algún grado de responsabilización y en consecuencia deben rendir cuenta de algo en la cadena de generación de resultados educativos.

Si bien en esa cadena ha ido quedando claro en las últimas décadas que la rendición de cuentas y la responsabilización que en tal proceso corresponde prioritariamente a los Estados nacionales y sus subunidades, es decir, a los niveles institucionales, no ha ocurrido lo mismo con los componentes relacionados con la sociedad civil concernidos por la educación, particularmente las familias. En efecto, si bien queda medianamente clara la respuesta a la pregunta respecto a aquello que asumen como responsabilidad los niveles gubernamentales en cuanto a la generación del proceso educativo, la misma pregunta no tiene una respuesta tan sencilla al referirse a qué asumen como responsabilidad en el proceso educacional las familias de los alumnos y por ende de qué rinden y/o exigen cuenta en ese proceso. Han sido precisamente las reformas educacionales de los años 90 en América Latina las que han relevado el tema de la participación e involucramiento de las familias en los procesos educativos y por ende su grado de responsabilización parcial de los resultados obtenidos por los alumnos, entendiendo siempre que, en última instancia, corresponde a los poderes públicos la responsabilidad primera de proveer una educación de calidad para todos.

En este punto la organización de los sistemas educacionales juega un rol importante en lo que respecta al papel de las familias tal como se verá en al menos uno de los artículos señalados. Nos referimos en particular a los sistemas educacionales que promueven el modelo de school choice y en general aquellos que sobre el mismo principio se organizan sobre la idea de cuasi mercados educativos. Esta última acepción no se refiere solo al aspecto relacionado con la obtención de lucro por parte de las unidades educativas, sino con una organización competitiva del sistema educativo y de su asignación de recursos, aun cuando el uso de los mismos sea sin fines lucrativos

De esta manera la participación y los niveles de responsabilización o accountability de y hacia las familias en el proceso educacional ha sido una temática creciente en las últimas dos décadas y que en el caso de los sistemas de cuasi mercado aluden principal aun cuando no exclusivamente a ejercer un rol en el control de la calidad del sistema mediante la elección correcta de escuelas para sus hijos. Desde este punto de vista, se busca que las familias exijan cuenta a las escuelas de manera de posibilitar una elección informada de las mismas con las consecuencias individuales y colectivas que ello significa. Sin duda este tema es complejo y la experiencia chilena por ejemplo demuestra hasta el momento que el desarrollo de un modelo competitivo de organización del sistema escolar no está necesariamente asociado a un mejoramiento generalizado del sistema escolar. En la misma línea la responsabilización o accountability de y hacia las familias en el proceso educacional puede existir también en sistemas educacionales que no tengan la estructura de elección de escuelas y en tal caso se expresa en procesos y mecanismos mediante los cuales los padres colaboran y presionan a las escuelas a generar educación de calidad, para lo cual el tema de la información y de los estándares surge también como fundamental.

En definitiva, el aumento de la accountability educacional es una realidad que se impone como indispensable para articular una conversación y conducta responsable por parte de los actores de los sistemas educacionales. El objetivo de esta publicación, tal como lo señalamos en las páginas anteriores, es entonces aportar a la discusión de este tema en el contexto latinoamericano, entendiendo que se ha avanzado en tal dirección pero que hay todavía mucho por debatir y proponer para poder contar en la región con actores educacionales que rindan y exijan cuenta de la educación que promueven y reciben y con ello aumentar el grado de responsabilización por la calidad de la misma

El libro completo puede bajarse en http://www.oei.es/oeivirt/evaleduc.htm

jueves, 27 de noviembre de 2008

Cultura de la evaluación II

La evaluación en Educación genera un severo escozor, un rechazo. En esa actitud observamos a los alumnos, docentes, directivos y hasta autoridades políticas.

Paradójicamente mantiene cierto prestigio, se considera que al evaluar nos encontramos frente al “momento de la verdad”, separado del trabajo de enseñanza y de aprendizaje, o bien fuera de las actividades profesionales.
Pero la evaluación debe ser mucho más que un simple proceso para acreditar, ya sea esto obtener una nota para el alumno, una aprobación para las prácticas docentes o una verificación de las bondades de determinadas políticas educativas.

La realidad nos indica que nosotros evaluamos permanentemente, antes de tomar cualquier decisión, lo hacemos aunque sea informalmente. En Educación nos ocuparemos de las evaluaciones formales, que pretenden un mayor grado de objetividad y son rigurosas en sus formas.
Por lo tanto, si vemos la evaluación como una brújula que nos permite tomar decisiones para mejorar el rumbo y llegar a los destinos propuestos, nos encontraremos con una visión más amplia del sentido de las mismas, o sea hay que “evaluar para mejorar”.

En este caso aceptaremos que la evaluación forma parte de nuestras actividades, y nos ayuda a tomar decisiones para obtener mejorías en nuestra labor, al alumno mejorar sus aprendizajes, al docente sus prácticas, a los directivos sus acciones y a las autoridades gubernamentales sus políticas.

Resulta evidente que sin evaluación para mejorar hay solamente una simulación, se trata de aparentar éxitos, no de demostrar que existen en forma objetiva, y esto se debe a que se la asocia con la necesidad de validar conductas, bajo este criterio, ¿A quién se le va a ocurrir hacer una evaluación para mostrar que algo anda mal? ¿Será entonces que no hay nada para corregir? ¿Está todo bien?

Ciertamente estamos inmersos en un contexto donde no existe una “cultura de la evaluación”, y dominan las simulaciones. Pero a nadie escapa el hecho que sea imprescindible obtener mejoras, sea cual fuere el nivel que se trate, y que para verificar si vamos por el camino correcto o para enderezar rumbos ¡hay que evaluar!
Pero entonces ¿Qué evaluar? Y ¿Quién evalúa? Las respuestas aparecen como sencillas, hay que evaluar todo, y somos todos evaluadores, en la misma medida que busquemos mejorías.

Ahora bien, habituarse a considerar una evaluación como un instrumento para la búsqueda de mejoras no se puede imponer por decreto, solo se logra por medio del diálogo y la reflexión compartida.
Debemos estimular las evaluaciones, especialmente las que se presentan de forma más genuina o sea la autoevaluación, reconociendo nuestras limitaciones como personas, pero también usando nuestra capacidad de mejorar.

Seamos entonces partícipes de esa “cultura de la evaluación”, tratando de utilizar instrumentos objetivos, válidos, para obtener resultados confiables y que podamos compartir y usar en el camino de la búsqueda permanente de la calidad educativa.

miércoles, 26 de noviembre de 2008

Cultura de la evaluación

Cultura de evaluación: una aproximación conceptual
Autores: Milagros Bolseguí, Antonio Fuguet Smith
Localización: Investigación y postgrado, ISSN 1316-0087, Vol. 21, Nº. 1, 2006 , pags. 77-98

Resumen:
o En este artículo se estudia un tema ineludible en los actuales procesos de transformación universitaria: la cultura de evaluación.

Desde hace algunos años las continuas referencias a la necesidad de fomentarla en el sector universitario, aunadas al vacío conceptual en relación con la misma, motivaron el interés de desarrollar esta investigación con el propósito de generar un cuerpo de proposiciones teóricas como modelo que permita la reflexión sobre este tema en los Institutos Pedagógicos, a fin de contribuir con el avance teórico en esta área. Este trabajo se desarrolló desde una perspectiva cualitativa. El análisis de la información se realizó utilizando la teoría fundamentada y el método comparativo continuo, para llegar a teorizar a partir del trabajo con las categorías y sus propiedades. Entre las conclusiones, es importante mencionar que la cultura de evaluación es un concepto en desarrollo que alude a la necesidad de evaluar de manera permanente. La evaluación es un proceso complejo y multidimensional que comprende distintos componentes: visión, valores, comportamientos, rutinas, contexto organizacional y social, experiencias pasadas y presentes, aspectos epistemológicos, teóricos y metodológicos.

Para descargar el texto completo en formato pdf ir a

http://dialnet.unirioja.es/servlet/articulo?codigo=2309843

sábado, 22 de noviembre de 2008

LA INFORMACIÓN SOBRE FACTORES SOCIALES E INSTITUCIONALES ASOCIADOS A LOS RESULTADOS

El siguiente trabajo fue redactado por Pedro Ravela

¿Es necesario incluir cuestionarios de familia y encuestas a maestros en las mediciones de aprendizaje o alcanza con la aplicación de pruebas? ¿Para qué puede resultar útil la información sobre los contextos sociales e institucionales? ¿Es adecuadamente aprovechada la información que en el presente muchos países recogen junto con la aplicación de pruebas? ¿Es posible mejorar la calidad de los instrumentos de recolección de este tipo de información?

En la mayor parte de los países latinoamericanos se aplica, junto con las pruebas de logro, cuestionarios dirigidos a recoger información acerca una enorme gama de variables relacionadas con las características de las familias y hogares en que viven los alumnos, así como acerca de las características de las escuelas a las que asisten y los maestros que los atienden.

Sin embargo, generalmente esta información está siendo muy poco aprovechada y no forma parte de los reportes nacionales. En casos excepcionales, se suele ofrecer información sobre las variables relativas a las familias, es decir, externas a los sistemas educativos, más que sobre las variables escolares sobre las cuales los Ministerios pueden tomar decisiones. Pocos países han desarrollado trabajos sistemáticos de investigación acerca de los factores escolares que explican, generan o están asociados con las diferencias de resultados de aprendizaje entre las escuelas.

La mayor parte de los países suele limitarse a informar los resultados bajo la forma de porcentajes de respuestas correctas para las pruebas en su conjunto o para partes de ellas, por lo general desagregados por jurisdicción político/geográfica (provincia, región, estado, departamento) y tipo de escuela (urbano/rural, público/privado). Ello permite una primera identificación de las disparidades de logro educativo dentro de un país y brindar información a quienes, en distintos niveles, son responsables de la conducción del sistema educativo.

La no utilización de la información “de contexto” plantea al menos dos grandes problemas:
1. la ausencia de información sobre las características socioculturales de las poblaciones a las que enseñan los distintos sectores del sistema educativo puede llevar a conclusiones erróneas respecto a la eficacia educativa de dichos sectores;
2. la ausencia de información sobre factores estrictamente escolares puede llevar a la conclusión, también errónea, de que finalmente los resultados educativos dependen exclusivamente del entorno social y el sistema educativo no tiene nada que hacer al respecto.

a. El problema de la falta de contextualización sociocultural de la información sobre resultados de las pruebas
En relación al primer aspecto, es preciso señalar que la ausencia de caracterización sociocultural de las poblaciones a las que “enseñan” los distintos sectores del sistema educativo impide extraer conclusiones válidas acerca de la eficacia de dicha enseñanza. Normalmente aparecerán como menos eficaces aquellos sectores del sistema educativo que atienden a la población con mayores carencias, al tiempo que aparecerán como “mejores” los sistemas educativos de las provincias o regiones cuya población está más alfabetizada y vive en mejores condiciones. Del mismo modo, normalmente se reportan mejores resultados en la educación privada en relación a la educación pública, pero no se analiza el tipo de selección social que uno y otro sector hacen del alumnado que atienden.

En un país la comparación de resultados entre el conjunto de las escuelas públicas y el conjunto de las privadas muestra diferencias de 25 puntos porcentuales en la proporción de alumnos que logra un nivel satisfactorio en la prueba de Matemática. Sin embargo, el análisis de los datos socioculturales indica que diferencias similares existen entre ambos tipos de escuelas, en variables tales como los niveles de educación alcanzados por los padres y madres de los niños, la existencia de libros en los hogares, el nivel general de equipamiento de los mismos y las condiciones de las viviendas. Cuando las diferencias de logro entre escuelas públicas se analizan controlando las variables socioculturales, es decir, cuando se analizan las diferencias entre escuelas públicas y privadas que atienden al mismo tipo de población, las diferencias en la proporción de alumnos que logran un nivel satisfactorio en el conjunto de la prueba se reducen al entorno de 5 puntos porcentuales y, en algunos sectores sociales, son favorables a las escuelas públicas.

Algo similar a lo ejemplificado en el párrafo anterior ocurre con la presentación de los datos en función de agregaciones político/geográficas. Cuando se presentan los resultados desagregados por provincia, estado, región o departamento, sin ningún tipo de información adicional, la conclusión inmediata para el lector no especializado es que sin duda las escuelas y los maestros deben estar trabajando mejor en aquellas regiones en que los resultados son más “altos”. Sin embargo, normalmente éstas serán las regiones con mayores tasas de alfabetización y con mejores indicadores de desarrollo en general.

Asimismo, los reportes nacionales suelen entregar la información desagregada en función del carácter urbano o rural de la escuela. Sin embargo, es preciso señalar que esta opción desconoce la enorme disparidad y heterogeneidad que normalmente existe al interior del mundo urbano. En dicha categoría quedan incluidas las escuelas pertenecientes a pequeños poblados del interior –probablemente muy similares a las rurales-, las escuelas ubicadas en zonas marginales de la periferia de las grandes ciudades y las escuelas ubicadas en los barrios acomodados y altamente educados de esas mismas ciudades. Es discutible pues, la relevancia de comparar al conjunto de escuelas urbanas en relación a las rurales e ignorar la diversidad de situaciones existentes al interior del mundo urbano. Del mismo modo, es discutible en muchos países tratar a las escuelas rurales como una categoría homogénea ignorando las diferencias culturales y lingüísticas que en algunos casos existen en su interior.

A partir de lo antedicho, parece necesario dedicar tiempo a la reflexión acerca de cómo establecer formas relevantes de caracterización sociocultural de los niveles de desagregación de la información, de modo que la información brindada por el sistema de evaluación permita hacer comparaciones entre establecimientos, departa mentos o provincias que atienden poblaciones con algún grado de similitud.

En este sentido, parece recomendable intentar utilizar la información social que suele recogerse en los operativos de evaluación, u otra información sociocultural disponible a partir de los Censos o Encuestas Nacionales de Hogares, para caracterizar a los niveles de desagregación elegidos. Ello permitiría, junto con la comparación global, ofrecer comparaciones y generar “competencia” al interior de ciertos segmentos del sistema educativo que atiende a sectores de la población en cierto modo similares.

En los casos en que la información se entrega desagregada a nivel de escuela, esto es aun más importante. La “efectividad” de una escuela no puede medirse únicamente en términos absolutos sino en relación al tipo de alumnado con que trabaja, ya que éste que implica restricciones o ventajas en relación a los resultados posibles.

En ese sentido, parece necesario adoptar una metodología de “valor agregado” cuando se desea emitir un juicio sobre la calidad de una escuela o de una jurisdicción del sistema educativo. Se denomina enfoque de “valor agregado” a aquellas evaluaciones en las que se intenta medir la calidad de una escuela o jurisdicción no sólo en función de sus “resultados absolutos”, sino principalmente en función de sus “resultados ajustados” por el tipo de alumnado que la escuela atiende: lo que logra por encima o por debajo de lo anticipable de acuerdo a la población con la que trabaja. En Francia por ejemplo uno de los ind icadores de efectividad de los liceos es la comparación entre la tasa de aprobación de la prueba de Bachillerato y la tasa anticipada de acuerdo a la relación existente a nivel nacional entre origen social y aprobación.

El principal supuesto de este enfoque es que al trabajar con resultados absolutos se confunden los efectos propios de las escuelas o jurisdicciones con los efectos de la selección de alumnos con que cada una de ellas trabaja. Los mejores niveles de logro en ciertas escuelas o jurisdicciones pueden no obedecer a que la enseñanza sea mejor en las mismas, sino simplemente a que enseñan a los mejores estudiantes.

Finalmente, es preciso señalar que en algunos países es necesario aún trabajar mucho en el diseño de instrumentos que recojan información sociocultural de base que sea relevante, dado que sus cuestionarios están dirigidos principalmente a recoger opiniones de las familias sobre el sistema educativo y la escuela, pero no relevan datos “duros” que permitan caracterizar a esas familias. Ello implica la necesidad de mejorar los instrumentos y procedimientos que se emplean para medir los aspectos relativos al contexto social.

b. Los problemas relacionados con la información sobre las características de las escuelas y la enseñanza
En relación al segundo de los problemas seleccionados es preciso señalar que por lo general todos los sistemas nacionales aplican en sus operativos encuestas a maestros y directores en las que se recoge información sobre materiales didácticos empleados, clima escola r, años de experiencia del maestro, etc. Sin embargo, en los Informes Nacionales se reporta muy poco sobre estos aspectos y su relación con los resultados de aprendizaje.

La ausencia de difusión de información respecto a las variables estrictamente escolares que están asociadas con los resultados de las pruebas, implica desaprovechar información sumamente valiosa para la adopción de decisiones de intervención y mejoramiento. Los aspectos estrictamente escolares y pedagógicos son los únicos, en el corto plazo, susceptibles de ser modificados desde la política educativa y desde las decisiones que cotidianamente maestros y directivos toman al interior de las escuelas.

Su ausencia en los reportes nacionales puede contribuir a generar la imagen de que el sistema educativo nada puede hacer ante la fatalidad de las diferencias sociales. Sin embargo, una vez que los niños ingresan a la escuela, lo que allí ocurre cuenta en términos de aprendizaje. De hecho, en distintas partes del mundo y en algunos países de la región se ha mostrado que, al interior de una misma categoría social, existen diferencias en los niveles de logro de las escuelas, que son atribuibles a lo que éstas hacen o dejan de hacer.

Dos dificultades principales parecen plantearse en relación a la información sobre factores escolares. Una primera dificultad parece ser la sobreabundancia de información que al respecto se recoge, que dificulta la selección de una estrategia para su presentación. Se recoge información sobre una gran cantidad de variables, por lo general sin un plan de análisis y difusión previo, que luego hace sumamente difícil decidir cómo organizar la información y cómo vincularla con los datos sobre aprendizaje. Una segunda dificultad, que en cierto modo explica la anterior, radica en el proceso en cierto modo a-sistemático a través del cual se construyen estos instrumentos.

Mientras en el proceso de construcción de pruebas en todos los países se sigue algún tipo de proceso de validación, se establece un referente conceptual, se pilotean las pruebas y se realiza una selección de los reactivos a aplicar, en el caso de los instrumentos complementarios casi nada de ello parece ocurrir. El diseño de este tipo de instrumentos se realiza en parte en base a la intuición, en parte para satisfacer requerimientos de información de distintas unidades de los Ministerios, en parte en base a la acumulación de conocimiento respecto a factores de efectividad y en parte en base a los modelos utilizados por otros países, pero sin que se desarrolle un proceso de pilotaje y análisis de lo que los instrumentos pueden rendir y lo que no.

Por ejemplo, normalmente se formula un conjunto de preguntas relacionadas con el clima institucional o con la existencia de objetivos compartidos en la escuela. Recién una vez recogidos los datos se intenta construir un índice o factor a partir de los mismos La construcción de índices mediante procedimientos estadísticos no debiera sustituir el proceso de construcción de un modelo conceptual que permita definir y otorgar sentido a un conjunto de variables básicas.

En este sentido, parece necesario avanzar en el desarrollo de una metodología para el diseño de los instrumentos de relevamiento de “factores escolares” que incluya:

a. el desarrollo de un marco conceptual explícito respecto al papel de los factores escolares que sistematice y organice la investigación existente sobre escuelas y prácticas de enseñanza eficaces;

b. la identificación más precisa de las variables escolares que es relevante y posible medir en el marco de un operativo nacional de evaluación -teniendo en cuenta, por un lado, aquellos aspectos sobre los cuales es posible la toma de decisiones tanto desde la política educativa como desde el interior de los establecimientos y, por otro lado, las limitaciones propias de los cuestionarios autoadministrados-;

c. el mejoramiento de los modos de formular las preguntas, así como el desarrollo
ex ante de escalas dirigidas a medir aspectos específicos tales como el clima institucional, el empleo del tiempo en el aula, el curriculum implementado, los enfoques didácticos, los tipos de actividades realizadas por los niños, la utilización de los materiales y textos además de su mera existencia, etc.-;

d. el pilotaje y validación previa de los instrumentos.

En particular, parece necesario avanzar en la recolección de información acerca de lo que realmente se enseña en las escuelas. Muchas veces los niveles de logro insatisfactorios en ciertas áreas no reflejan una enseñanza “no efectiva” sino, sencillamente, ausencia de enseñanza de ciertos temas y dominios.

Simultáneamente, sería interesante dedicar cierta energía a la publicación de la información existente en cada país sobre factores escolares, incluso simplemente bajo la forma de tablas descriptivas de la distribución de las diferentes variables. Ello sería de enorme utilidad porque normalmente este tipo de información no existe en los países, contribuiría al conocimiento sobre lo que está ocurriendo al interior de los sistemas educativos, permitiría comenzar a realizar comparaciones entre sistemas educativos y, hacia el futuro, podría constituirse en una forma de preparar el terreno para la construcción regional de indicadores educacionales comparables. Asimismo, permitiría ir acumulando conocimiento que permita afinar el tipo de preguntas que es útil formular, aligerar los cuestionarios o ir pasando en evaluaciones sucesivas a indagar nuevos aspectos.

Finalmente, otra tarea a encarar sería el diseño de mejores formas de reportar los resultados de las pruebas, junto con la información sobre contextos sociales y factores escolares. ¿Cómo ofrecer a los diferentes destinatarios –autoridades, otras unidades ministeriales, maestros, opinión pública- información que permita una lectura más compleja de los datos, sin abrumar a los eventuales lectores?. ¿Cómo diversificar los tipos de informes que se producen?. ¿Es posible avanzar hacia ciertos formatos “tipo” más sofisticados que los existentes hasta el momento -porcentaje de respuestas correctas por jurisdicción político/geográfica y por tipo de escuela-?.

c. Los problemas relacionados con la investigación sistemática acerca de factores escolares asociados con el aprendizaje
Además de introducir mejoras en las formas de reportar los resultados de las evaluaciones nacionales, parece necesario mejorar el aprovechamiento de la información generada por los sistemas nacionales de medición con fines de investigación propiamente dicha sobre el modo en que los diversos factores inciden sobre los aprendizajes. Si bien existe abundante investigación en este terreno en los países desarrollados, el modo en que estos factores afectan el aprendizaje está íntimamente relacionado con los contextos nacionales y, aun al interior de un país, seguramente se producen variaciones en función del tipo de escuela y el tipo de población a la que atiende. Es por ello que tiene sentido realizar esfuerzos para acumular conocimiento a nivel nacional sobre los factores escolares que están asociados con los aprendizajes de los niños.

Sin embargo, un primer problema central en este terreno es que normalmente los países han estado evaluando niveles de logro al final de ciertos grados o niveles de enseñanza, pero no necesariamente aprendizaje en un cierto período de tiempo. El nivel de logro de un estudiante al final de cierto grado escolar depende de múltiples factores ajenos a lo que ocurrió durante ese año en su aula. Tiene relación, por ejemplo, con la historia escolar anterior de los integrantes del grupo y con la acumulación de conocimiento con la que llegaron.

En rigor, una evaluación de aprendizaje cuyo objetivo es investigar acerca de los factores que explican esos aprendizajes, exige contar con mediciones de conocimientos y competencias al inicio del año escolar y al final del mismo. Sólo por esta vía es posible contar con información sobre lo que efectivamente los alumnos de un grupo aprendieron durante el año, lo que potenciaría la posibilidad de establecer relaciones entre lo que ocurrió en la escuela y el aula ese año y el avance de los alumnos en términos de aprendizaje. Nuevamente, éste es un claro ejemplo de cómo el diseño del sistema de evaluación puede servir para ciertos fines más que para otros.

Probablemente la realización de operativos de evaluación al inicio y al final de un mismo año esté fuera del alcance de las posibilidades logísticas y económicas de los países de la región. Sin embargo existen caminos intermedios a explorar. Uno de ellos sería realizar la medición inicial en muestras más pequeñas. Para un trabajo con fines de investigación no es necesario realizar las mediciones en grandes muestras, que por lo general tienen como finalidad permitir la devolución de información a diversos niveles de desagregación. Otro camino posible es, en países que evalúan grados sucesivos –por ejemplo, 5to. y 6to. grados de Primaria- considerar como medida de aprendizaje de los alumnos del grado superior a la diferencia de logro con relación a los alumnos del grado inferior.

Un segundo problema central radica en que la investigación sobre factores asociados implica la utilización de técnicas estadísticas sofisticadas de carácter multivariado y plantea severas exigencias en cuanto a la conformación y calidad de las bases de datos. Normalmente será necesario contar con información completa sobre todas las variables incluidas en el modelo para todos los alumnos, lo que no siempre es posible cuando los relevamientos se efectúan a través de cuestionarios autoadministrados y se trabaja con muestras muy grandes.

Un tercer aspecto o problema que resulta relevante señalar es el relativo a las limitaciones propias de este tipo de estudios, dado que muchas veces existe un exceso de expectativas respecto a la validez del conocimiento construido. A través de la investigación de corte estadístico, aun la más sofisticada, se puede construir ciertos tipos de conocimiento y de información, pero muchas veces, para avanzar en nuestra comprensión de los fenómenos, es necesario desarrollar también otro tipo de estrategias de investigación, de carácter cualitativo o “estudios de casos”, que permitan una mirada distinta sobre aspectos que los instrumentos usualmente utilizados no pueden captar. En estos casos, el hecho de contar con una medición de logros educativos y contextos sociales e institucionales, constituye un formidable “mapa” sobre el cual efectuar la selección de casos relevantes para un estudio en profundidad. Asimismo, la acumulación de conocimiento en el área parece requerir también de investigaciones de corte “cuasi-experimental”, que permitan medir y controlar un conjunto de variables – por ejemplo, las relativas a las prácticas de enseñanza- de manera adecuada y rigurosa, lo que no puede hacerse cuando se trabaja a escala masiva.

Una de las principales limitaciones de los modelos estadísticos multivariados es que la posibilidad de que una variable “ingrese” al modelo depende del grado en que la misma varía en la realidad. Aquellas variables con menor variabilidad difícilmente ingresan al mismo, lo que no implica que no sean relevantes en la producción de los resultados.

Por ejemplo, la formación de los maestros se mide normalmente a través de la cantidad de años de estudio. Ésta puede tener escasa variación al interior de un país. Como normalmente será difícil medir la calidad de esa formación, el investigador utilizará la cantidad de años como medida de la formación. Dado que el comportamiento de la variable es homogéneo, no ingresará al modelo, y la conclusión será que no es un factor relevante para la efectividad de la enseñanza. Algo similar, pero en sentido inverso, puede ocurrir con el material didáctico. Como las dotaciones del mismo presentan una amplia variación –que además normalmente estará vinculada al nivel socioeconómico del alumnado de las escuelas- y son fácilmente medibles, está variable será más proclive a ingresar a los modelos. Por tanto, el investigador recomendará al Ministro invertir en material didáctico y no en formación de maestros.

El ejemplo anterior pretende alertar respecto al uso poco reflexivo de los resultados de los análisis estadísticos y recordar que la sofisticación de los métodos no garantiza por sí misma la validez de las conclusiones.

Asimismo, es necesario preguntarse acerca de qué tipo de decisiones de política educativa es posible tomar a partir de los resultados de un análisis estadístico. Muchas veces parecen existir expectativas excesivas al respecto. Difícilmente podrá o deberá establecerse una relación directa entre los resultados de un trabajo de investigación y la toma de decisiones de política educativa. Para decirlo en forma caricaturizada, normalmente un Ministro no está esperando los resultados del análisis multivariado para decidir si compra libros o dicta una resolución para que los maestros dediquen más tiempo a enseñar quebrados. Es necesario un proceso de acumulación de conocimiento previo a la toma de decisiones, más allá de que ésta está regida además por otro tipo de consideraciones y restricciones.

Lo expresado en los párrafos anteriores no debe ser leído en el sentido de descalificar este tipo de investigación, sino en el de tener modestia respecto a lo que pueden aportar. Sin duda las mediciones de aprendizajes y factores asociados contribuyen a iluminar zonas del escenario educativo, a generar conciencia sobre ciertos problemas, a desmitificar soluciones mágicas, a percibir elementos que están presentes en las escuelas con mejores resultados, en fin, a una acumulación de conocimiento que juega un rol fundamental en el momento de delinear las políticas educativas.

En este sentido la realización de “estudios de casos” relevantes, a través de los cuales se observe en detalle y se describa el modo de enseñar de escuelas y maestros cuyos alumnos alcanzan elevados niveles de logro, parece un camino complementario que es necesario recorrer. Probablemente este tipo de estudios permita construir un conocimiento más fácilmente comunicable a los maestros y a otros usuarios en términos que les sean significativos y útiles y que pueda tener impactos importantes en el mejoramiento de las prácticas de enseñanza. Por otra parte, hay áreas específicas de las prácticas de enseñanza y de la vida escolar cuyo análisis requiere de la observación directa de lo que allí acontece.

Con tal finalidad, las bases de datos generadas por los sistemas nacionales de medición constituyen una fuente de información formidable para identificar instituciones relevantes para la realización de este tipo de estudios.

En virtud de todo lo antedicho, parece pertinente plantearse la necesidad de propiciar el establecimiento de asociaciones y convenios de colaboración entre las Unidades de Medición y centros de investigación especializados, de modo de potenciar el aprovechamiento de las bases de datos existentes mediante la realización de trabajos que las Unidades no logran llevar adelante. En principio parece difícil que las Unidades de Evaluación puedan desarrollar efectivamente todas las tareas: diseño de instrumentos, organización de operativos de evaluación, procesamiento de datos y producción de informes, capacitación a partir de los resultados e investigación sistemática. Al mismo tiempo, no parece razonable subutilizar la información disponible y las posibilidades que brinda a la investigación el hecho de contar con sistemas regulares de medición en funcionamiento.

En este sentido, el establecimiento de asociaciones con institutos de investigación, que aprovechen las bases de datos existentes para la realización de trabajos más sofisticados y que, simultáneamente colaboren en el mejoramiento de los instrumentos de medición y de la calidad de las bases de datos, parece un camino que es necesario empezar a recorrer. Ello requiere, en primer término, voluntad política de parte de los Estados para facilitar el acceso a las bases de datos y, en segundo término, apoyar el desarrollo de las capacidades de investigación en estos temas, sobre los que en la región existe escasa acumulación de experiencia, aún en las instituciones dedicadas a la investigación educativa. En ese sentido, será necesario apoyar la capacitación de recursos humanos y la acumulación de conocimiento y experiencia en materia de investigación educativa no sólo al interior de los Ministerios de Educación sino inclusive al interior de las universidades y centros no estatales.



Este trabajo se desarrolló colaborativamente en un taller realizado en GRADE, en Lima, en agosto de
1999, a iniciativa de la coordinadora del Grupo de Trabajo, Patricia Arregui. El Grupo de Trabajo sobre Estándares y Evaluación de GRADE/PREAL es una de las actividades del Programa de Promoción de la Reforma Educativa en América Latina que lideran el Diálogo Interamericano de Washington, D.C. y CINDE, de Santiago de Chile. Cuenta con apoyo financiero del BID, de USAID, de IDRC, del GEFund y obtiene recursos para actividades puntuales de una diversidad de fuentes
Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs

Google+