sábado, 29 de noviembre de 2008

COMPARANDO LO INCOMPARABLE: LA PARÁBOLA DE LAS CARRETERAS

Modos típicos de desagregar la información en los reportes nacionales
Una de las debilidades principales de los reportes de resultados de las evaluaciones nacionales en los países de la región es la falta de contextualización sociocultural de dichos resultados. En prácticamente todos los países se reporta en función de los siguientes niveles de desagregación
• Resultados según las divisiones políticas y/o geográficas del país (por estado, provincia, departamento, región).
• Resultados de escuelas urbanas y rurales.
• Resultados según forma de administración (escuelas públicas o fiscales, escuelas subvencionadas, escuelas particulares o privadas).

Estos niveles de desagregación, que responden a las diferenciaciones más “visibles” de los sistemas educativos en subsistemas, son relevantes en la medida en que permiten ver las diferencias en el logro de los alumnos entre dichos subsistemas y presentan a la luz pública ciertas inequidades en la distribución de los conocimientos.

Sin embargo, el hecho de que sean prácticamente las únicas formas de desagregación de los datos implica una sobresimplificación de la realidad, en la medida en que ocurren dos fenómenos:
• Algunos de estos agregados incluyen en su interior enormes heterogeneidades. Por ejemplo, el agregado “escuelas urbanas” incluye toda la gama de situaciones socioculturales, desde escuelas de sectores medios y altos hasta escuelas en barrios marginales. Lo mismo ocurre con la mayoría de las “jurisdicciones” políticas o regiones geográficas en que se divide un país.
• En otros casos, los agregados seleccionan a su alumnado mayoritariamente de ciertos sectores sociales y no tienen una población representativa del conjunto: típicamente las escuelas rurales, que trabajan con un alumnado proveniente de familias con mínima trayectoria en el sistema educativo, y las escuelas privadas, que mayoritariamente reclutan su alumnado en los sectores sociales medios y altos.

El problema se plantea cuando de estas formas de desagregación de los resultados se derivan juicios o conclusiones acerca de la eficacia diferencial de unos y otros tipos de escuelas o jurisdicciones, y también cuando los datos no van acompañados por algún tipo de análisis que oriente al lector o al decisor en las interpretaciones válidas de la información. En general, según lo demuestra abundante investigación empírica, las diferencias de resultados obedecen principalmente a las diferencias socioculturales entre las poblaciones con las que trabajan los diferentes sectores o instituciones del sistema educativo, antes que a diferencias en su eficacia pedagógica.

Lo anterior no implica afirmar que todas las diferencias de resultados se puedan explicar por diferencias en el contexto social, sino que para hacer afirmaciones válidas respecto a la “eficacia” pedagógica es imprescindible haber controlado el efecto del contexto sociocultural.

La parábola de las carreteras
Para explicar mejor este problema resulta útil recurrir a la siguiente metáfora. En la República Argentina hay una carretera denominada la “ruta del desierto”. Es la Ruta Nacional Nº 20, en la provincia de La Pampa, que cruza la provincia en dirección este-oeste. El paisaje es semidesértico, pedregoso, con arbustos y absolutamente llano. La ruta tiene más de 200 kilómetros en línea recta, sin una curva ni una loma. El mayor peligro en esta ruta es la monotonía del paisaje, que hace que el conductor pueda dormirse en el volante. Por este motivo, a lo largo de la ruta se advierte la necesidad de descansar y se han ubicado cada 60 kilómetros sitios de descanso, pequeños oasis con árboles, sombra y agua.

En Argentina hay otra ruta, la Nº 40, que atraviesa el país en dirección sur-norte siguiendo la precordillera. Recorre desde Tierra del Fuego en el extremo sur del país hasta la Quebrada de Humauaca en el norte, en el límite con Bolivia. La ruta 40 sube y baja, atraviesa valles y montañas, diversidad de paisajes y terrenos.

Suponga el lector que el Ministerio de Obras Públicas ha licitado la construcción de estas dos rutas, ha concedido la construcción a distintas empresas y quiere evaluar la eficiencia de cada empresa, con el fin de utilizar esta información como elemento de decisión en futuras concesiones de obras públicas.

Para ello, la División de Información del Ministerio diseña indicadores de eficacia y eficiencia: la cantidad de kilómetros de carretera por unidad de tiempo –por ejemplo, por día o por semana- que ha avanzado cada empresa; o el costo de cada empresa por kilómetro de carretera construida. Luego recoge la información y entrega los resultados al Ministro.

Supongamos que el Ministro de Obras Públicas toma decisiones a partir de esta información. Probablemente se verá en problemas. Como resulta obvio, en apariencia la empresa A, que construyó la ruta 20, aparecerá como más eficiente que la empresa B, que construyó la ruta 40. Sin embargo, mientras la primera simplemente despejó el terreno, pasó las máquinas niveladoras en línea recta y en horizontal y colocó el material bituminoso, la segunda debió dinamitar partes de montaña, construir terraplenes, hacer puentes para sortear cursos de agua, calcular el trazado de las curvas, construir tramos en subida y en bajada, etc.

Por tanto, en realidad el Ministro no sabe nada sobre cuál de estas empresas es mejor. Por el contrario, la información que posee sirve de poco para ese objetivo. Supóngase que, además, el Ministro tiene información sobre el tipo de tecnología utilizada por cada empresa, por lo cual concluye que la tecnología utilizada por la empresa A es más eficiente que la utilizada por la empresa B. Si todos estos análisis se realizan sin tener en cuenta el terreno en el que cada empresa ha debido trabajar, de nada sirven los indicadores que se construyan.

En educación pasa algo muy similar. La labor educativa no se desarrolla en el vacío ni con un alumnado homogéneo. Los individuos llegan a la institución educativa en condiciones absolutamente diferentes para recibir y aprovechar el trabajo de los educadores. Unos llegan luego de una primera infancia vivida con infinidad de estímulos visuales y afectivos, en el marco de un hogar en el que cotidianamente se habla un lenguaje complejo, en el que se lee habitualmente y se le enseñó a reconocer el alfabeto aún antes de conocerlo en la escuela. Otros llegan luego de una primera infancia vivida en hogares en los que existen escasos estímulos visuales, donde el lenguaje es más simple, las prácticas de leer y escribir sólo ocurren excepcionalmente, los padres apenas completaron la escuela y no tienen una noción acabada del tipo de ayuda a brindar a su hijo en sus labores escolares. Unas escuelas trabajan con alumnos que se alimentan adecuadamente, tienen un espacio propio en su vivienda y salen de vacaciones todos los años. Otras trabajan con alumnos que se alimentan mal, que viven en condiciones de hacinamiento y colecho y que nunca han viajado más allá de 5 kilómetros de su vivienda. Unos estados o provincias trabajan con población altamente alfabetizada y en un contexto de crecimiento económico, en tanto otros lo hacen con poblaciones con tasas importantes de adultos analfabetos, de familias en condición de pobreza extrema.

Los “terrenos” son absolutamente diferentes. Unas trabajan en la llanura y en línea recta y otras deben sortear infinidad de dificultades. Por tanto, cualquier análisis de resultados o indicadores educativos que no tenga en cuenta las características del alumnado, resulta de escaso valor para la toma de decisiones o para extraer algún tipo de conclusión válida que pretenda ir más allá de la mera descripción de que las diferencias existen.

Sin embargo, en el presente, la enorme mayoría de los informes nacionales e internacionales de resultados educativos tratan de la misma manera a quienes construyen una ruta en línea recta que a quienes trabajan en la precordillera. Algo similar ocurre con el modo que normalmente los economistas interpretan la repetición y la extraedad: como ineficiencia del sistema educativo. En realidad indican que el terreno es más complicado, por lo que construir allí lleva más tiempo.

La consideración del contexto sociocultural
Así como la manera válida de construir indicadores comparativos de la eficiencia de las empresas constructoras de carreteras sería medir su tasa de avance sobre terrenos similares, la única manera válida de construir indicadores que sirvan para sustentar afirmaciones o decisiones sobre la efectividad de las instituciones o sistemas educativos es a través de algún tipo de categorización de los “terrenos” en que trabajan, es decir, de las características socioculturales de los hogares de los que provienen sus alumnos.

Un ejemplo que ilustra uno de los caminos posibles para abordar este desafío es la construcción de categorías de “contexto sociocultural de las escuelas”, con la finalidad de comparar los resultados al interior de categorías similares. La constatación de que el ordenamiento de los resultados de las pruebas en los diferentes tipos de escuela siguen el mismo ordenamiento que los indicadores sociales, dio lugar en Uruguay a una clasificación de los establecimientos educativos en cinco categorías según su “contexto sociocultural”: ‘muy favorable’, ‘favorable’, ‘medio’, ‘desfavorable’ y ‘muy desfavorable’. Esta categorización fue construida a partir de dos índices: uno de carácter cultural, elaborado a partir de los niveles educativos de los hogares de los alumnos, y otro de carácter económico, elaborado a partir de los niveles de equipamiento de dichos hogares.

A partir de esta construcción, los resultados se apoyan en la presentación conjunta de resultados de logro e indicadores sociales, o controlando el contexto sociocultural. Es decir, mostrando los resultados por tipo de escuela, región o departamento dentro de una misma categoría de contexto sociocultural. Asimismo, en la devolución de resultados a las escuelas se entrega a cada una de ellas lo obtenido por sus alumnos y lo de escuelas del mismo contexto sociocultural, de modo que no sólo se comparen con la media nacional

Es importante destacar que el “contexto sociocultural” es una propiedad de la escuela o grupo de alumnos, no de los individuos. Lo que explica los resultados no es principalmente el origen social individual de los estudiantes, sino la composición sociocultural del grupo escolar o de la escuela a la que pertenecen. Esta advertencia es de gran importancia, porque en algunos análisis se comparan los resultados entre individuos pertenecientes a un mismo origen social, pero a diferentes subsistemas. Por ejemplo, se compara los resultados de individuos de nivel sociocultural “bajo” que pertenecen a escuelas públicas, por un lado, y a privadas, por otro. Normalmente las diferencias no serán significativas y, si lo son, los resultados serán mejores entre quienes pertenecen a escuelas privadas, pero ello como resultado de que en dichas escuelas los individuos de NSE “bajo” son minoría, mientras que en las primeras son mayoría. En otras palabras, cuando los individuos de origen sociocultural desfavorecido son minoría en un grupo constituido mayoritariamente por individuos de mejor “respaldo” cultural familiar, los primeros se verán favorecidos por sus pares. Hay un efecto del nivel del grupo que mejora los aprendizajes. En cambio, cuando el grupo está mayoritariamente constituido por individuos de origen social desfavorecido, la minoría con mejor nivel educativo familiar tenderá a tener resultados inferiores a los esperables.

Estas constataciones, por otra parte, indican la necesidad de propiciar heterogeneidad social en las escuelas e intentar evitar la segmentación.

Los dilemas que la relación entre aprendizajes y contextos sociales plantea a la difusión de resultados El tratamiento y presentación de los resultados de las evaluaciones nacionales a partir de la categorización de los contextos sociales genera un nuevo problema: se corre el riesgo de acentuar una visión determinista en la sociedad y en los educadores, visión que podría ser ilustrada a través de frases del tipo “esto es lo máximo que se puede lograr en este medio” o “en este contexto no se puede esperar ni exigir más de los niños”. En otras palabras, se corre el riesgo de establecer o fortalecer un sistema de expectativas diferenciadas (“exijamos más en los sectores medios y altos, exijamos menos en los sectores populares, porque lo que pueden alcanzar es diferente”).

Muchas personas vinculadas al sector educativo y a los sistemas de evaluación temen, justificadamente, que enfatizar la presentación de resultados diferentes por contexto social opere como “coartada” o justificación de los resultados insuficientes para los maestros que trabajan en esos contextos.

Pero, por el otro lado, ignorar el contexto puede dar lugar a conclusiones espúreas y, más aún, puede generar una gran frustración e impotencia en las escuelas y docentes que trabajan en los medios más desfavorecidos, en la medida en que aparezca como que toda la responsabilidad por los pésimos resultados es de la escuela. Incluso puede dar lugar a que ciertas escuelas queden injustamente deslegitimadas ante sus comunidades y tener efectos paralizadores.

La evaluación puede ser percibida como injusta, porque responsabiliza al maestro y a la escuela por problemas que, al menos en parte, provienen del contexto. Volviendo a la parábola de las carreteras, es como si la empresa que trabajó en la precordillera quedará ubicada, en un ranking de metros promedio de construcción por día, por debajo de la que trabajó en la llanura. Lo sentiría como fuertemente injusto.

La introducción de la noción de contexto social “alivia” el peso de la responsabilidad, ayuda a percibir la evaluación como equitativa y a comprender que hay factores externos al sistema educativo que inciden en los logros y que la educación no es omnipotente. En definitiva, ayuda a establecer algo que es estrictamente cierto: parte de las desigualdades que se registran en el sistema educativo son reflejo de las desigualdades que existen en la sociedad.

Algunas formas de enfrentar el dilema anterior son:
• Mostrar en forma sistemática, a través de la difusión de resultados, que incluso al interior de los diferentes contextos sociales, hay escuelas que logran mejores resultados que otras. En otras palabras, que si bien el contexto social tiene un peso específico sobre los resultados, no hay determinismos absolutos y existe un espacio propio de la acción pedagógica y escolar que es necesario potenciar. Esta puede ser además una forma de motivar para que al interior del sistema educativo se haga todo lo posible por lograr mayor equidad en la distribución social del conocimiento y por mejorar las capacidades de los niños de origen más pobre.
• Colocar fuertemente el énfasis en los datos longitudinales y no en las comparaciones transversales entre escuelas. El esquema ideal sería tener una medición inicial y otra final en un mismo año lectivo. Por esta vía se puede eliminar en buena medida el efecto del contexto, centrando la medición y el reporte de resultados en lo que los alumnos y grupos avanzan a lo largo de un año respecto a su propio punto de partida. Con buenos instrumentos de medición de prácticas y enfoques de enseñanza, una aproximación de este tipo debería mejorar la capacidad explicativa de los “factores escolares” y, por tanto, la acumulación de conocimiento en este terreno. Obviamente un dispositivo de este tipo es más costoso y más complejo en cuanto al diseño de las pruebas.


http://www.oei.es/
¿Cómo Presentan sus Resultados los Sistemas Nacionales de Evaluación Educativa en América Latina?
Pedro Ravela

No hay comentarios:

Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs