Sistemas de evaluación educativa en América latina

SISTEMAS DE EVALUACIÓN EDUCATIVA EN AMÉRICA LATINA: Construyendo un Estado del Arte
Zulma Perassi

Introducción
Avanzar en la construcción de nuevos conocimientos en el campo de la evaluación educativa, hace necesario ir configurando un estado del arte que opere como suelo propicio para generar otras elaboraciones. El mismo, es asumido aquí como una obra en proceso que exige al investigador hilvanar distintas fuentes, conectar diversos estudios, aún aquellos que en apariencia resultan contradictorios. El estado del arte no se interpreta como un registro objetivo de las investigaciones realizadas sobre un tema en particular, es entendido en cambio, como una producción subjetiva que nunca se concluye. La subjetividad impregna fuertemente esta elaboración por diversos motivos, sin duda una razón fundamental y determinante es el recorte que cada investigador necesita realizar frente a la imposibilidad de abarcar todo el universo de estudios producidos en el campo de indagación que está abordando. El profundo desarrollo tecnológico e informático actual y la velocidad que han adquirido las comunicaciones en el contexto mundial, amplían y complejizan ese universo. Por ello, quien investiga selecciona un “trozo” de la realidad, efectuando una opción personal que resuelve desde criterios propios, epistemológicos, disciplinares, ideológicos,…. Por otra parte, ese investigador debe organizar categorías de análisis para interpretar esa realidad, definir ejes que vinculen los trabajos, recuperar los aportes que considera relevantes de cada investigación, encontrar las luces y las sombras,…. todo esto se concreta desde marcos teóricos particulares, intereses personales, preocupaciones, necesidades e historias profesionales específicas. El estado del arte es en esencia un diálogo entre textos (Messina, 1999), mediatizado por el investigador. La elaboración del mismo, implica avances sucesivos que permiten acceder a diálogos cada vez más ricos y más profundos. La presente producción comunica la construcción de un estado del arte provisorio en el transcurrir de un camino de indagación zigzagueante y multidimensional, que estamos recorriendo un equipo de docentes investigadores. ¿Por qué una investigación del campo de la evaluación educativa, focaliza la mirada inicialmente en los sistemas vigentes en países de Latinoamérica?

Sistemas de evaluación educativa en América latina Zulma Perassi

Por algunas razones claves: a. Porque el objeto de investigación del que forma parte este trabajo, son las prácticas evaluativas actuales. b. Porque dichas prácticas puede analizarse en el microespacio del aula, en el mesoespacio de la institución escolar o en el macroespacio del sistema educativo y del sistema social. Estos constituyen ámbitos de inscripción cada vez más amplios, que condicionan y contextualizan las prácticas que en ellos se desarrollan. c. Porque en los últimos veinte años todos los países de esta región han desplegado procesos de evaluación de sus sistemas educativos, como parte de las complejas reformas que caracterizaron los años 90. En esa década la evaluación dejó de ser una problemática de indagación de investigadores para convertirse en una preocupación política. El tema, se fue instalando en la agenda pública y atravesó educativas. discursos y prácticas

Propósitos
Este capítulo constituye una búsqueda orientada a:
• Elaborar un estado del arte provisorio acerca de los estudios referidos a los Sistemas de Evaluación de la educación básica y secundaria (en algunos países denominadas obligatoria y post-obligatoria) en América Latina.
• Focalizar el Sistema Nacional de Evaluación de la Calidad (SINEC) de la República Argentina.
Ofrecer algunos elementos que permitan profundizar las indagaciones en el campo de la evaluación educativa.

Algunas decisiones adoptadas para concretar este trabajo
Teniendo en cuenta la naturaleza de la temática indagada:
1. Se estableció como límite temporal, la inclusión de los trabajos publicados a partir de la segunda mitad de la década de los noventa (siglo XX) hasta el presente. El sentido de esta decisión, se orienta a recuperar las perspectivas de análisis posteriores a las reformas educativas latinoamericanas.
2. Se consideraron como insumos de consulta para esta elaboración, no sólo los informes de investigación, sino también los estudios realizados sobre la base de datos secundarios, trabajos de campo, ensayos, sistematizaciones teóricas y en algunos casos, informes técnico-políticos. La razón fundamental de esta opción, fue lograr una aproximación a la complejidad de la evaluación, considerando y contrastando perspectivas y discursos diversos, que posibilitaran comprender la dimensión histórico situacional del fenómeno, como así también, advertir algunas líneas de tensión que se van definiendo al interior del mismo.
3. Se focalizó la indagación preferentemente en trabajos publicados en Internet. Ello obedeció a dos razones: en primer lugar, por tratarse de publicaciones que corresponden a organismos especializados en el tema y que se encuentran disponibles para la consulta de quienes deseen hacerlo. En segundo lugar, porque siendo el período escogido prácticamente el último decenio, el caudal de publicaciones virtuales resulta mucho más rico, que aquel que se ofrece en soporte papel.

Fuentes consultadas
Para concretar esta indagación se trabajó con fuentes claves: • En el ámbito de Latinoamérica, con el Programa para la Promoción de la Reforma en América Latina y el Caribe – PREAL-, considerando principalmente los aportes del Grupo de Trabajo sobre Estándares y Evaluación (GTEE), referente fundamental de consulta en América Latina (Perassi, 2006). La indagación se complementó con estudios del Laboratorio

Latinoamericano de Evaluación de la Calidad de la Educación –LLECE-, organización altamente representativa en el campo de la evaluación educativa en esta región. Se recuperaron también, aportes de la Organización de Estados Iberoamericano (OEI) y de organismos propios de cada país (especialmente entidades oficiales). Contribuyeron con esta línea algunas publicaciones realizadas en revistas especializadas. •

En Argentina, se consideró la Dirección Nacional de Información y Evaluación de la Calidad Educativa – DINIECE- institución que lleva adelante el sistema nacional de evaluación en educación. Se incluyeron además, publicaciones del Instituto Internacional de Planeamiento de la Educación-IIPE-UNESCO sede Buenos Aires y algunas investigaciones procedentes de ámbitos universitarios.

Gran parte de los trabajos consultados, fueron difundidos, publicados o bien, patrocinados por estos organismos. Las fuentes seleccionadas son entidades reconocidas en el campo de la evaluación, aunque no son las únicas. PREAL El Programa de Promoción de la Reforma Educativa en América Latina y el Caribe, creado en 1995, es una red hemisférica de organizaciones, públicas y privadas, interesadas en contribuir a mejorar la calidad y equidad de la educación mediante la promoción de debates informados sobre temas de política educacional y reforma educativa; la identificación y difusión de buenas prácticas y el monitoreo del progreso educativo en los países de la región. PREAL funciona bajo el amparo institucional del Diálogo Interamericano, con sede en Washington, D.C. y la Corporación de Investigaciones para el Desarrollo, CINDE, con sede en Santiago de Chile. PREAL promueve la participación de diversos actores sociales en el desarrollo y perfeccionamiento de políticas y estimula la búsqueda de acuerdos nacionales para mejorar la calidad, equidad y eficacia de los sistemas de educación. Para ello, trabaja a través de una red de contrapartes nacionales compuesta por organizaciones de la sociedad civil, entre las que participan, o han participado, centros dedicados a la investigación social y al análisis y formulación de políticas públicas, fundaciones de origen empresarial, corporaciones privadas, centros académicos independientes, organizaciones gremiales y civiles, medios de comunicación y organizaciones eclesiásticas.

Categorías de Análisis
Los estudios y trabajos consultados permitieron confirmar la definición de algunas categorías de análisis, que se fueron complejizando con el avance del trabajo. Inicialmente, se habilitaron dos categorías básicas que conforman los ejes centrales de estructuración del trabajo:
1. Sistemas Nacionales de Evaluación de la Educación. Entendidos como organizaciones y articulaciones relativamente complejas, orientadas a evaluar los aprendizajes a nivel nacional. En la mayoría de los países de América Latina surgieron en la década del noventa del pasado siglo.

2. Evaluaciones Internacionales. Se trata de estudios internacionales de tipo comparativo, sobre rendimientos educativos en distintas áreas. América Latina empezó a participar de los mismos en el transcurso de los últimos años, después de haber logrado conformar sus sistemas nacionales de evaluación.

Complementando las anteriores, emergen dos rangos que es posible definir como categorías adyacentes a las primeras, por cuanto tienen fronteras comunes con ambas y operan como territorio potencial de intercambio y de mutua determinación. Las mismas son:

3. Evaluación del Currículo. Se privilegia el currículo prescrito, concebido como el conjunto de contenidos que un sistema educativo aspira transmitir y que generalmente declara en documentos oficiales (Ferrer, Valverde y Esquivel Alfaro, 1999).

4. Evaluación del desempeño docente. Entendida como la valoración de las prácticas del profesor, orientadas principalmente a promover el logro de los aprendizajes prescritos para los estudiantes a su cargo.

Las cuatro categorías aludidas se enmarcan en una macrocategoría que las contiene: Reformas Educativas. Como parte de las políticas de reforma del Estado, instituyen cambios en tres aspectos fundamentales de la educación: el modo de gobernar y gestionar los sistemas educativos (procesos de

descentralización); la estructura general de los mismos y una modificación del currículum escolar (Gvirtz, Larripa y Oelsner, 2006).

Algunas reflexiones desde estas configuraciones promisorias.
En relación con los Sistemas Nacionales de Evaluación Las indagaciones referidas a sistemas nacionales de evaluación de la educación en América Latina, comenzaron a sistematizarse en los últimos tres o cuatro años del siglo pasado. En el siglo XXI, los estudios referidos a este campo se incrementaron notablemente, disponiéndose hoy, de una interesante variedad de trabajos vinculados con la temática. Las producciones consultadas, muestran dos dimensiones de abordaje fundamentales:

a- Dimensión técnica: referida al dominio de los conocimientos que se requieren para concretar la organización, puesta en marcha y sostenimiento del sistema nacional de evaluación. Las indagaciones vinculadas con esta dimensión consideran aspectos tales como: la elaboración de instrumentos, validación de criterios, aplicación de pruebas, procesamiento de datos, interpretación de los resultados, comparabilidad de los mismos, elaboración de informes de resultados, etc.

b- Dimensión política: alude al “lugar”, la importancia y la función, que se les atribuye a los sistemas de evaluación en Latinoamérica. Se alinean en esta dimensión los trabajos referidos a: presentación y comunicación de resultados, uso de los mismos, el impacto que éstos provocan en los distintos actores, la relación existente entre la información que surge de los sistemas nacionales de evaluación y la toma de decisiones, etc.

Estas dos dimensiones que interactúan constantemente, atraviesan los sistemas nacionales de evaluación de la educación obligatoria y post-obligatoria. Diversos estudios resaltan la existencia de múltiples problemas técnicos en los sistemas de evaluación, algunos de los cuales han podido mejorarse en los últimos años. Tal es el caso, de las pruebas referidas a normas, que va sustituyéndose –en varios países de América Latina- por pruebas referidas a criterios (Ravela P., Wolfe R., Valverde G. y Esquivel J.M., 2000; DINIECE, 2006). “Los sistemas nacionales que aplican pruebas referidas a criterios ofrecen por lo general, fundamentaciones conceptuales y descripciones operacionales más sólidas sobre los aprendizajes y niveles de desempeño esperados" (Ferrer, 2004:19). En los trabajos analizados, se evidencia un alto nivel de conciencia respecto a la necesidad de minimizar los errores técnicos para garantizar resultados válidos y confiables. Múltiples son los estudios que recomiendan mejorar la calidad técnica de los sistemas de evaluación, acotando los problemas que afectan la validez de las interpretaciones de los resultados obtenidos en las evaluaciones latinoamericanas (Wolfe, 2007). Validez entendida no sólo como característica intrínseca de una prueba, sino también, como propiedad estratégica de las interpretaciones y del uso legítimo que se hace de las mismas. Gran parte de las dificultades técnicas que padecen estos sistemas, encuentran explicación en la falta de acumulación de masa crítica que existe en los países de la región, respecto a los modos de evaluar la educación y a la selección de los indicadores más pertinentes a utilizar. En varios países las organizaciones responsable del sistema de evaluación a escala nacional, son entidades gubernamentales que trabajan en forma aislada y frecuentemente “divorciadas” de otras unidades burocráticas del propio Ministerio de Educación (Departamentos, Direcciones, Secretarías,...) que tienen a su cargo funciones específicas complementarias de aquella (este suele ser el caso de la unidad de Currículum). Tal vez, ella sea la primera línea de tensión que impide un verdadero aprovechamiento de la información que produce la evaluación. De este modo, se ve lesionado el circuito que vincula la dimensión política de la evaluacióncomo posibilidad de ofrecer información para la toma de decisiones en distintos ámbitos- en su interjuego con lo técnico, al no lograr la apropiación y devolución de aportes de otros sectores, que colaborarían con la redefinición evaluador. Los gobiernos que instituyeron sistemas nacionales de evaluación, aunque puedan haber diferido en las principales funciones que originariamente le atribuyeron, comulgaron en una necesidad básica: conocer el estado de situación de su sistema educativo. En consecuencia, resultaría esperable que la información obtenida mediante la evaluación, les permitiera intervenir y mejorar el funcionamiento de dicho sistema. Sin embargo, son varios los estudios que muestran el escaso uso que se realiza de la información brindada por los sistemas de evaluación (Tiana Ferrer 18 del proceso A., 2003; Ferrer G. 2005; Montoya S., Perusia J.C. y Vera Mohorade A., 2001; Locatelli I. y Couto Andrade A, 2001). Frente a este fenómeno se hace necesario preguntar, ¿qué valor político real le otorga un gobierno estatal al sistema de evaluación cuyo montaje le resulta tan costoso, cuando no puede garantizar el uso de los resultados obtenidos, por parte de los organismos de su propia administración? En la Argentina, hay investigaciones que ponen en evidencia los bajos índices de credibilidad que posee el Sistema Nacional de Evaluación de la Calidad –SINEC-, para los docentes y directivos de escuelas (Tiramonti , Dussel , Pinkasz , Marcalain y Montes, 2003). Este hecho, instala una “zona de oscuridad” sobre un sistema nacional cuya existencia ya pocos cuestionan, puesto que unánimemente se considera indispensable contar con lecturas macrosistémicas. Pero, desde el lugar de la escuela se interpela su valor porque dicho dispositivo se percibe ajeno, vacío de sentido, irrelevante, con resultados que significan un tibio aporte para la actuación cotidiana en contextos particulares. Resultados que los actores escolares no llegan a conocer, o bien, reciben demasiado tardíamente. En consecuencia, no se producen “marcas” sobre la educación impartida, el programa no articula con las necesidades educativas (Nores, 2002).Es precisamente en este punto donde se produce una segunda línea de tensión, un hiato entre el conocimiento que genera la evaluación y el aprovechamiento o impacto que sus resultados tienen en el establecimiento y en el aula (Montoya, Perusia, Vera Mohorade, 2001). El sistema de evaluación no logra construir valor formativo a sus aportes. Esta falta de apropiación de resultados no sólo acontece en Argentina, sino también en otros países de América Latina, como es el caso de Brasil (Locatelli y Do Couto Andrade, 2001). Estos países se encuadran dentro de lo que la literatura de evaluación de los sistemas educativos denomina de “bajo riesgo” o low –stakes (Messick, 1999), en los cuales los resultados obtenidos poseen una función meramente informativa- y sólo en ciertos casos formativa-, sin reportar consecuencia alguna para las instituciones involucradas. Esta es la situación imperante en la mayoría de los países de la región. Las evaluaciones de “alto riesgo” o high stakes son aquellas cuyos resultados entrañan consecuencias para las personas y/o las instituciones implicadas, en término de sanciones o incentivos de distintos tipos (simbólicos, materiales, económico, etc.). En esta categoría se encuadra el sistema de evaluación chileno.

Los estudios consultados (Ravela, 2001; Linn y Gronlund, 2000) muestran que existen tanto posturas críticas como defensoras de ambos sistemas. En este juego de confrontación, resulta interesante recuperar los principales riesgos que se advierten en cada caso:

a- La falta de consecuencia puede provocar en los actores – alumno, docente, directivo – un descompromiso con el proceso de evaluación, desinterés por conocer los resultados y el “no hacerse cargo” de la responsabilidad pública que cada institución posee. b- Cuando existen consecuencias “fuertes” se puede llegar a distorsionar el proceso educativo, interpretándose que sólo es válido enseñar aquello que se evalúa. El sentido amenazante de las mismas suele determinar una excesiva preocupación de los docentes por “enseñar la prueba” -entrenar para la misma-, utilizando para ello procedimientos variados y no siempre éticos.

Si bien existe una nítida diferencia en la función atribuida a la evaluación entre ambas posiciones, en ciertas circunstancias históricas los resultados alcanzados por algunos sistemas nacionales de evaluación legalmente concebidos como de bajo riesgo, fueron utilizados por sus gobiernos para exhibir y premiar a las escuelas cuyos alumnos habían obtenido los mejores puntajes, presentándolas públicamente como las instituciones escolares de mejor calidad del país. Este procedimiento desarrollado en la Argentina, hace algunos años- trae consigo al menos dos graves consecuencias: por un lado, desvirtúa el sentido esencial de la evaluación instalando una fuerte presión desde el poder central, para que las escuelas alcancen los primeros puestos –habilitando subrepticiamente la posibilidad que se empleen diversas estrategias para conseguirlos –y por otro lado, reduce la complejidad del concepto de calidad educativa a un puntaje que refleja sólo parcialmente una dimensión de la misma. Un nudo problemático que aún no logra resolverse adecuadamente en el campo de la evaluación educativa es el de la difusión, comunicación o reporte de los resultados. Los trabajos consultados distinguen básicamente tres destinatarios de esa comunicación:
a- funcionarios de gobierno que marcan las políticas del sector,
b- directivos y docentes de escuelas y
c- padres y público en general.
Varios países elaboran un informe general, único para todas las audiencias, que posee un carácter eminentemente técnico. En estos casos, se trata más bien de una descripción de datos –generalmente acompañada de tablas y gráficos- que del análisis e interpretación de resultados (Ravela, 2001). Subyace la idea que estos últimos procesos los realiza el destinatario. Otros países en cambio, avanzan en la interpretación, organizan informes distintos según las audiencias, respetando ámbitos de diversa cobertura –provincias/distritos, regiones, país-. “Lo importante en este caso… es la confianza subyacente en que la difusión pública de los resultados puede satisfacer las demandas de información planteadas por los diversos agentes educativos” (Tiana Ferrer, 2002: 5). En relación con el uso político de los resultados de la evaluación que realizan los funcionarios de los ministerios de educación, Ravela (2003) habla de una dinámica contradictoria de atracción-rechazo, puesto que inicialmente la posibilidad de evaluar el sistema despierta un claro interés en los actores gubernamentales, pero posteriormente, desconcierta la idea de qué hacer con esos resultados. Las acciones que se concretan en este estamento son variadas, las principales se orientan a: ligar la mejora de resultados a la propia gestión, ocultar la información – pues no resulta favorable a la propia actuación-, utilizarla para marcar los errores de un gobierno anterior, intervenir con acciones compensatorias en las regiones o escuelas de riesgo, o bien, dejar la información en manos de los medios de difusión para su comunicación. Esta última decisión, suele traer serias distorsiones de los resultados obtenidos en la evaluación, que dan origen a grandes títulos adjetivados de connotación catastrófica sobre lo que sucede en el sistema educativo. La mayoría de los gobiernos nacionales, no han podido definir estrategias apropiadas para difundir adecuadamente los resultados de los procesos evaluativos. En los países de América Latina, no se advierte una auténtica rendición de cuentas del Estado frente a la sociedad, en términos de responsabilización política y administrativa por los resultados alcanzados en el sistema. (Ferrer, 2006).
Los responsables de los sistemas de evaluación deberían “escuchar a los destinatarios” (Ravela, 2000) para poder detectar cuál es la información que cada audiencia necesita conocer de dichas evaluaciones, para potenciar la toma de decisiones vinculadas con este sector.

En relación con el reporte a la sociedad en general, la situación es variada e inconsistente. “Los indicadores de resultados educativos todavía no forman parte de la cultura general, ni tienen un significado mas o menos genéricos para los ciudadanos medianamente informados…” (Ravela, 2001: 11) En la mayoría de los países donde los resultados no tienen implicancia directa sobre los actores del sistema, no se registran esfuerzos sistemáticos por comunicar debidamente los logros obtenidos. El esfuerzo, el interés, la capacidad y la seriedad de los medios de prensa, determinan la difusión responsable (aunque esporádica) de los resultados. Países como Chile y Colombia, cuyos resultados poseen alto impacto para las escuelas, hacen públicos los resultados por institución y por alumnos, de manera sistemática (Ferrer, 2002). En la actualidad si bien existe una abundante producción escrita en torno a los sistemas nacionales de evaluación, referida a aspectos técnicos, instrumentales y políticos de los mismos, todavía es muy débil la reflexión que se produce acerca de los factores asociados al aprendizaje. Los mismos, se indagan a través de distintos instrumentos de relevamiento, que están dirigidos no sólo a los alumnos, sino también a docentes, directivos y -en algunos países - a los padres, como aspectos complementarios de la evaluación de aprendizajes. Conocer diferentes aspectos que configuran los contextos socioculturales

particulares de los que provienen los alumnos, colabora en el logro de una interpretación más ajustada a la complejidad propia de cada realidad. Ravela afirma “la única manera válida de construir indicadores que sirvan para sustentar afirmaciones o decisiones sobre la efectividad de las instituciones o sistemas educativos es a través de algún tipo de categorización de los “terrenos” en que trabajan, es decir de las características socioculturales de los hogares de los que provienen sus alumnos” (2001: 38).

En relación con las Evaluaciones Internacionales
El PREAL a través de la Comisión Internacional sobre Educación, Equidad y Competitividad Económica en América Latina y el Caribe elaboró dos informes claves: el primero denominado “El futuro está en juego” fue publicado en 1998; el segundo, fue “Quedándonos atrás” de 2001, identificado como primer informe de progreso educativo en América Latina. El Consejo Consultivo –grupo independiente, no gubernamental- que sucedió a la Comisión Internacional, dio continuidad a los informes publicando en 2006 “Cantidad sin Calidad”.
El informe de 1998, reconoce que las escuelas latinoamericanas están en crisis en tanto no educan debidamente a los jóvenes de la región. Se identifican cuatro problemas fundamentales que provocan brechas en la calidad, cantidad y equidad de la educación en América Latina. Estos problemas se refieren a:
a. La falta de estándares en evaluación de rendimiento.
b. La falta de autoridad y responsabilidad por los resultados a nivel de las escuelas.
c. La mala calidad de la enseñanza.
d. Inversión insuficiente en la enseñanza básica y media.
Quedándonos atrás marca el rol decisivo que tiene la buena educación en la reducción de la pobreza y promoción de la equidad. El informe sostiene que la misma, “prepara a los ciudadanos para una participación responsable en las instituciones de la democracia y la sociedad civil” (2001: 25). Ofrecer mejores escuelas para todos, se plantea como el paso más importante que pueden dar los países de la región para combatir la pobreza, reducir la desigualdad y promover el crecimiento económico. En este informe se profundizan las recomendaciones realizadas en el primero –que devenían de los problemas identificados- subrayándose con especial cuidado el estrechamiento de la brecha existente entre los discursos oficiales y las prácticas escolares. Los compromisos políticos no reflejan (ni aseguran) los cambios reales. El último informe correspondiente a 2006, reconoce que la mayoría de los países latinoamericanos han realizado avance en algunos aspectos (incremento de la inversión, instalación y consolidación de sistemas nacionales de evaluación, definición de estándares, delegación de autoridad y responsabilidad, etc), no obstante, lo que denominan “medidas de éxito” (calidad, equidad y eficiencia) no parecen haber mejorado. En este sentido, el informe de progreso educativo de la región sigue siendo insatisfactorio. El mismo concluye proponiendo a los países que desarrollen una educación de alta calidad, para lo cual deberán concretar dos modificaciones en sus políticas: por un lado, hacer del aprendizaje la principal medida de éxito de la educación y por otro, 23 los aprendizajes requeridos y la ausencia de lograr que las escuelas se responsabilicen ante la sociedad y sus ciudadanos, por el cumplimiento de los objetivos educativos. Frente a estos informes y recomendaciones surgen algunos interrogantes referidos al proceso de responsabilización por los aprendizajes y los resultados educacionales.
Cabe preguntarse ¿no correspondería incorporar a los gobiernos nacionales como los principales actores involucrados? El debilitamiento de los estados nacionales ¿acaso no impacta fuertemente en la calidad de la educación que ofrece cada país? Quiénes conducen la educación nacional y jurisdiccional ¿no deberían garantizar las condiciones para que los estudiantes alcancen los aprendizajes prescriptos para cada nivel del sistema educativo?... Estos interrogantes no intentan desreponsabilizar a la escuela de su obligación, no obstante, develan una línea de tensión instalada entre actores que no siempre asumen el compromiso que les corresponde. La experiencia de participación en estudios internacionales que poseen los países latinoamericanos es muy reciente, posterior al surgimiento de los propios sistemas de evaluación. Sin embargo, las primeras evaluaciones internacionales que se realizaron a nivel mundial datan de la década del 50 (siglo XX), mas precisamente del año 1958 cuando un grupo de investigadores en educación crearon la Internacional Assosiation for the Evaluation of Educational Archievement (IEA) (Tiana, 2001).
Esta es una asociación voluntaria e independiente, no gubernamental de instituciones de investigación que representan a diferentes sistemas educativos, cuyos estudios han servido de antecedentes y modelo para las nuevas organizaciones que realizan evaluaciones internacionales. Si bien los trabajos desarrollados durante sus cincuenta años de vida lograron reconocimiento, sin duda los que se llevaron a cabo a partir de los años noventa resultan más conocidos. Entre ellos se destacan: el Tercer Estudio Internacional de Matemáticas y Ciencias – TIMSS-, el ciclo sobre Comprensión Lectora (Reading Literacy Study y Progress in Reading Literacy Study) -PIRLS-, Estudio sobre Tecnologías de la Información en Educación –SITES- y el Estudio sobre Educación Cívica (Civic Education). La Organización para la Cooperación y el Desarrollo Económico (OCDE) es otra entidad que ha promovido el desarrollo de estudios internacionales a nivel mundial. La puesta en marcha de un proyecto de elaboración de indicadores internacionales de educación –Proyecto INES- a comienzo de la década del noventa, dio lugar a la producción de informes periódicos (Education at a Glance/Regards sur l´education) que gozan de alto renombre. No obstante, es con el programa PISA (Programme for International Student Assessmant) aplicado a partir del año 2000, que los estudios internacionales impulsados por la OCDE adquirieron una relevancia particular. La UNESCO con la creación del Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación –LLECE- en 1994, inició en América Latina el desarrollo de evaluaciones internacionales. Durante el año 1997 se desarrolló en trece países de la región, el Primer Estudio Internacional Comparativo sobre Lenguaje, Matemáticas y factores asociados. El Segundo Estudio Regional Comparativo y Explicativo (SERCE), iniciativa del LLECE que evalúa el aprendizaje de los niños de 3º y 6º grados de educación primaria en diecisiete países de América Latina y que, además, indaga sobre los factores escolares y sociales que explican el logro de los estudiantes, se aplicó durante 2006 y sus resultados se conocerán en el transcurso del 2008. En esta línea, es posible reconocer algunas iniciativas alentadas por la Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura –OEI-, la Cumbre de las Américas y el Programa de Promoción de la Reforma Educativa en América Latina –PREAL- (Tiana,2000). Al analizar los propósitos de los estudios internacionales, es posible reconocer puntos de coincidencia y divergencia entre los especialistas, cuando ellos señalan que la búsqueda esencial de estas indagaciones se refieren a:

Poner el rendimiento escolar de cada país en perspectiva de comparación internacional. Entregar a cada país información de alta calidad acerca del rendimiento escolar para la toma de decisiones en política educativa (Froemel Andrade, 2006). Poner en la agenda pública y privada, la educación y sus resultados (Froemel Andrade, 2006). Ofrecer a la comunidad investigadora, modelos descriptivos y explicativos de procesos y resultados de educación en distintos países (Froemel Andrade, 2006). Brindar mayor información que un estudio intranacional. La comparación es indispensable para lograr la credibilidad de las proposiciones, mientras no se establece la relación entre los universos generales y particulares, ninguna indagación es suficiente para probar una proposición. (Farell, 1979).

La participación de cada país constituye una intervención en sí misma, más allá de los resultados obtenidos (Ferrer y Arregui, 2003). Para los “formuladores de políticas” brinda información y hallazgos sobre la estructura del sistema educativo, que les permite decidir. Para los “ejecutores” de esas políticas, ofrece datos específicos sobre procesos de enseñanzaaprendizaje, prácticas y metodologías de aula, evaluación de aprendizajes (Husén, 1987). Comparar el logro académico entre países y por asignatura, identificar las implicancias para la política educativa en cada caso y volver a evaluar las prioridades de inversión para elevar la calidad educativa dentro de cada país (Theisen, 1983). Ofrecer información confiable sobre la situación comparativa de los sistemas educativos de distintos países o aspectos particulares de ellos (Tiana Ferrer, 2003). Brindar claves para la explicación e interpretación de los resultados que cada país o región ha alcanzado (Tiana Ferrer, 2003). Comparar lo que han aprendido los estudiantes en los distintos países. Por su carácter diagnóstico permiten evaluar las políticas educativas en curso y aportan información útil para tomar decisiones que mejoren el sistema educativo de cada país (Ravela, 2006).

Estos aportes permiten reconocer ciertos denominadores comunes que confirman a la evaluación como hecho político. La progresiva participación que en los últimos años han tenido los países de América Latina en pruebas internacionales, ha estado acompañada por una fuerte preocupación de las conducciones nacionales al decidir ser parte de las mismas. Pareciera que ocupar los puestos más bajos del ranking de resultados en el escenario internacional -hecho que ha sucedido con los países de la región en el concierto mundial-, genera alto nivel de inseguridad y provoca riesgos que impactan negativamente en distintas áreas. “Los gobiernos y sus políticas son analizados a partir de los resultados de la aplicación de estos dispositivos” (Iaes, 2003:16). A pesar de ello, la hipótesis que vincula los altos niveles de conocimientos de una población con la productividad económica futura del país, alienta el interés creciente de las naciones por estas evaluaciones (Martínez Arias, 2006).

Los estudios internacionales han alcanzado un desarrollo metodológico importante y en el mundo global en que vivimos, sus resultados constituyen estratégicos. Pero ¿qué evalúan esos estudios? Siguiendo a Tiana Ferrer (2002) es posible establecer algunas distinciones básicas: referentes

a. Pruebas orientadas a evaluar rendimiento escolar Vs. aquellas que estiman el nivel formativo de la población. Ejemplo de las primeras son TIMSS, PIRLS, mientras que PISA indaga en los jóvenes de 15 años, las capacidades vinculadas a diferentes disciplinas –no interesando en este caso el año de escolaridad alcanzado por el evaluado-.

b. Estudios centrados en áreas curriculares (Matemática, Lenguaje, Ciencias,…) Vs. pruebas dirigidas a evaluar capacidades transversales. Las tres mencionadas en el punto anterior corresponden a la primera categoría de estudios, en tanto que CIVICS y SITES –de IEA-, son ejemplo de las últimas.

Otros autores en cambio, como Ferrer G. y Arregui P. (2003), diferencian entre pruebas curriculares y acurriculares, según la relación que las mismas posean con los currículos vigentes en los países que son parte del estudio. Las primeras, comprometen a los organismos evaluadores a diseñar los instrumentos de indagación a partir de una matriz de contenidos básicos compartidos, extraídos de los documentos curriculares oficiales de los países participantes. La segunda, requiere la definición de estándares de desempeños para una adecuada inserción social y laboral, independientemente de lo que debe enseñar la escuela en cada nivel de su sistema educativo. Distinguir las características particulares del estudio que es objeto de análisis, permite al investigador poder interpretar y comprender plenamente el sentido del mismo. Las evaluaciones internacionales no están diseñadas para devolver los resultados a los distintos colectivos involucrados (alumnos –de escuelas públicas y privadas; urbanas y rurales- a docentes, directivos, etc.) sino que el organismo evaluador informa tomando el país como totalidad, organizando los datos por años, disciplinas o niveles de desempeños alcanzados. El carácter general y la globalidad de la información no deberían simplificarse e interpretarse como homogeneizante de los logros de la población evaluada. Al interior de cada país y de cada región donde los estudiantes son indagados en sus conocimientos y capacidades, se abre una compleja diversidad de producciones que suele sintetizarse en resultados promedios. La pluralidad en el rendimiento escolar alcanzado por el alumnado se explica desde distintos factores. Algunos de ellos intrínsecos al campo educativo, vinculados con las políticas del sector, la estructura y funcionamiento del sistema educativo, la organización y gestión de la institución escolar, la dinámica del aula, la formación de los docentes, sus estrategias de enseñanza, etc. Otros, extrínsecos a la educación, referidos a todas aquellas variables que sin ser parte de este campo, inciden y afectan al mismo. En esta categoría, distintos autores coinciden en destacar el lugar preponderante que en la actualidad ocupa el nivel socioeconómico y cultural de la población evaluada, en su doble carácter de condicionante socio familiar y macrosocial del desempeño escolar (Tiana, 2003, Froemel Andrade, 2006). Los estudios internacionales ayudan a un país a pensarse en el concierto global. Las sucesivas indagaciones colaboran para comprender e interpretar las propias tendencias y proyecciones. Pero constituyen indicadores aislados, válidos para ser complementados con otras indagaciones que posibiliten profundizar y contextualizar lo que ocurre en cada realidad particular.

En relación con la evaluación del Currículo La evaluación del currículo es un espacio que empieza a habitarse al trabajar las categorías anteriores. Los sistemas nacionales evalúan aprendizajes o logros de los estudiantes, del mismo modo que las pruebas internacionales indagan rendimientos y habilidades, ambas comprometen y ponen de manifiesto el currículum logrado (Ferrer G., 2004). Si bien esta relación se distingue naturalmente, sin embargo resulta poco dinámico el flujo de intercambio que efectivamente se produce entre el campo de la evaluación y el del currículo. Los procesos de transformación del currículum prescrito e implementado, pocas veces se ajustaron a los resultados que arrojan las evaluaciones nacionales (Ferrer, G. Valverde G. y Esquivel Alfaro J.M, 1999). Argentina fue un claro ejemplo de este fenómeno durante el período 19932005. En el seno de los Ministerios de Educación los equipos técnicos dedicados a la capacitación docente y al currículum no recuperan los resultados de los operativos nacionales como insumos claves para su trabajo. Los sistemas nacionales de evaluación operan como instancias de significativa autonomía con respecto a las demás políticas que impulsan los ministerios (Iaes, 2003). Dichos sistemas, no han podido constituirse en entidades sustantivas que aseguren procesos de

retroalimentación para el mejoramiento de la calidad educativa. El currículo ha asumido un papel importante y decisivo dentro de los procesos de reforma educativa que han tenido lugar en los países de América Latina. Enmarcado en contextos de transformación política, económica y social, los cambios curriculares se propusieron contribuir a la consolidación de las democracias en la región, al fortalecimiento de la paz, al desarrollo económico sostenido y a la competitividad internacional (Ferrer, 2004).
La búsqueda común que se reconoce en esos documentos curriculares, se orienta a elevar la calidad de los aprendizajes, sin embargo, en los mismos no se definen referentes o parámetros explícitos de logros a alcanzar en cada disciplina o área curricular, en términos de contenidos o desempeños específicos. Esto genera una profunda diversidad al interior de cada jurisdicción y denuncia la desarticulación (o línea de tensión) entre la prescripción oficial del currículo y los procesos de macroevaluación que sostiene el mismo gobierno. El movimiento de estándares en educación nacido en países sajones en la década de los ochenta, empieza a debatirse en esta región de la mano de propulsores y detractores. La elaboración de estándares requiere de una cuidadosa selección –validada socialmente- de aquellos conocimientos a los que todos los alumnos, tienen el derecho de acceder (Ferrer, 2006). Los estándares no son “el currículo”, pero definen dentro de él, los mínimos exigibles que deben alcanzar todos los escolares en determinados tramos del sistema educativo. La decisión política de trabajar con estándares compromete fuertemente al gobierno nacional a garantizar las condiciones de factibilidad, en todas las escuelas de su territorio, cualquiera sea el emplazamiento geográfico de la misma y las características socio-culturales de la población que atienda.

Esquivel (1998) sostiene que un sistema de evaluación alineado con estándares persigue básicamente tres objetivos:
1. Comunicar las metas curriculares que se espera que logren los alumnos.
2. Operacionalizar esas metas para orientar la enseñanza y el aprendizaje.
3. Concentrar los esfuerzos (de alumnos y docentes) en el logro de las mismas.

Sin duda un sistema de evaluación de estándares focaliza su búsqueda en aquello que ya desde el currículo se definió como fundamental y clave, por lo tanto no sorprende. Pero a la vez, fortalece la idea de orientar todo el esfuerzo al logro de los mismos, a riesgo de perder la posibilidad de trabajar en otros conocimientos, habilidades y competencia que no fueron definidos como estándares y sin embargo tienen un valor especial para ese contexto particular.

En relación con la evaluación del Desempeño Docente
En la labor que realiza la escuela para educar a sus alumnos, tiene un papel decisivo la acción del docente. Sin embargo, las reformas educativas no han puesto énfasis en este punto, más allá de incrementar la capacitación. En América Latina múltiples agentes educativos consideran que para lograr un crecimiento profesional continuo es indispensable montar procesos sistemáticos de evaluación de desempeño docente. No obstante, también existen otros actores que se oponen al desarrollo de políticas de evaluación del profesorado puesto que las vinculan estrechamente al control, tal es el caso de los sindicatos docentes. Sin duda, el problema central que poseen las evaluaciones docentes, se relaciona con el uso que la administración y la estructura burocrática del sistema, pueden hacer de los informes elaborados (Schulmeyer, 2004). En varios países de la región no existe marco legal que regule la aplicación de la evaluación docente (tal es el caso de: Paraguay, Guatemala, Brasil), en otros, aunque existe la norma jurídica no siempre se refleja en la actuación concreta (porque la misma no es obligatoria para todos los docentes –situación que se da en Perú- , porque se evalúa la formación inicial pero no el desempeño profesional, etc.) No es posible reconocer en la región estándares comunes referidos a indicadores de valoración del desempeño docente. Alejandra Schulmeyer en su trabajo “Estado actual de la evaluación docente en trece países de América Latina” sostiene que de los países investigados, sólo ocho evalúan el desempeño docente (Argentina, Colombia, Costa Rica, Cuba, Bolivia, México, Uruguay y Rep. Dominicana).Esta autora identifica la observación de clase como la estrategia más frecuentemente utilizada para ese fin. El hecho que un país evalúe el desempeño de su profesorado no significa que sostenga idénticos criterios en todo su territorio. En Argentina –por ejemplo- los gobiernos provinciales han adoptado modelos de valoración que difieren entre sí. Sin embargo, las investigaciones denuncian una disconformidad generalizada de los docentes argentinos con los mecanismos existentes para evaluar su trabajo (Tenti Fanfani, 2003). El mismo fenómeno se observa también en otros países, como en Perú y en Uruguay.
A pesar de esa contrariedad, la misma investigación muestra que cuando se indaga acerca de los criterios que los docentes consideran pertinentes para determinar las categorías salariales, la evaluación del desempeño profesional es propuesta como factor prioritario a tener en cuenta. Es importante resaltar que en la mayoría de los países latinoamericanos, la estructura salarial de la docencia es plana puesto que no se remunera en función de la calidad del desempeño, sino que los años de servicio que acumula el profesor, es la variable fundamental que incrementa el salario. La evaluación del desempeño y el pago de incentivos a los docentes es una dupla que va adquiriendo presencia en la región. No sin debates y oposiciones por parte del profesorado, las experiencias desarrolladas desde hace algunos años (especialmente en países como Chile y México) han instalado el tema en la agenda docente (Mizala y Romaguera, 2003). Los estudios realizados por Emilio Tenti Fanfani ponen de manifiesto que en Argentina y Uruguay los docentes aceptan como evaluadores naturales a las autoridades de las instituciones donde se desempeñan, pero no le otorgan legitimidad para valorar su trabajo ni a los alumnos, ni a los padres y menos aún, a sus propios colegas. Esto da indicios de la vigencia de una noción de evaluación unidireccional, que desciende en sentido vertical.

Con relación a las reformas educativas Las reformas educativas que se desarrollaron durante la década del 90 en Latinoamérica, ocurrieron en contextos 31 de fuertes redefiniciones políticas, económicas y administrativas del Estado, que alentaron principios de descentralización de la gestión educativa y revalorización de los procesos de participación, entre otros. Dos ejes prioritarios atravesaron las políticas de reformas educativas: calidad y equidad, en torno a los cuales, comenzó a construirse un nuevo discurso que impregnó el campo educacional.
La calidad educativa se instaló en el centro de la escena y colocó a la equidad hacia el borde, o en el margen…. Múltiple son los significados que se le otorgaron a la palabra “calidad” desde los teóricos, los técnicos y los políticos, no obstante, los sistemas nacionales de evaluación vincularon la calidad de la educación con los resultados obtenidos por los estudiantes, en las pruebas aplicadas a macro escala. La relación fue tan decisiva, que en varios sistemas de evaluación educativa de países de la región se incluyó en su denominación el término “calidad”: el Sistema Nacional de Medición de la Calidad Educativa –SIMCE- de Chile; el Sistema Nacional de Evaluación de la Calidad SINEC- de nuestro país; el Sistema de medición y Evaluación de la Calidad de la Educación –SIMECAL- de Bolivia; el Sistema Nacional de Evaluación de la Calidad de la Educación APRENDO de Ecuador. Si bien los procesos de descentralización que se concretaron en la región obedecieron fundamentalmente a razones políticas (y fiscales), en el campo educativo estos fenómenos se acompañaron con expectativas de mejores resultados. En América Latina, la descentralización educativa tomó múltiples formatos, entendiéndose esencialmente como una transferencia de autoridad y responsabilidad desde el gobierno central a instancias dependientes del mismo. Existió en cambio, amplia diferencia en la identificación de las entidades receptoras (un continuum que va desde el gobierno subnacional –provincia, estados, distrito, municipio- hasta la propia escuela) y en el tipo de decisiones que efectivamente se delegaron.
Distintos autores coinciden en señalar que resulta especialmente difícil evaluar los procesos de descentralización y de reforma. Entre ellos, Di Gropello (2004) sostiene que esto se debe al grado de complejidad que poseen, que por su magnitud a escala nacional sólo llega a compararse un antes y un después, sin poder establecerse un grupo control. Al haberse iniciado por razones externas al sector, no se previó debidamente una evaluación de impacto sobre los indicadores educacionales. Winkler y Gershberg (2000) por su parte, justifican esta dificultad en la carencia de datos de referencia -es decir, ausencia de series históricas-, en la implementación parcial de muchos aspectos de las reformas y además, en el impacto de variados factores externos (desde crisis ambientales, hasta cambios de gobiernos) sobre los resultados educacionales, que “interfirieron” y obstaculizaron variables propias de la reforma. Galiani, Gertler y Schargrodsky (2005) indagaron los efectos de la descentralización en la escuela media argentina. Ellos sostienen que este proceso tuvo un impacto positivo en el rendimiento que los alumnos alcanzaron en los exámenes estandarizados cuando se trataba de comunidades no pobres de provincias bien administradas. Pero advirtieron que no ocurría lo mismo en áreas de pobreza, donde los índices empeoraban. Concluyen que llevar las decisiones “más cerca de la gente” puede llevar a los “buenos” a lograr mejoras, pero también, agrava la situación de los más desfavorecidos. La equidad educativa - el otro término de fuerte presencia en los discursos de las reformas latinoamericanas- entendida como la satisfacción del derecho que tienen todas las personas de “tener oportunidades equivalentes para lograr su desarrollo personal, sin identificar esa equivalencia de oportunidades con la provisión de “la misma” educación para todos”

A modo de conclusión
El campo de la evaluación educativa se ofrece como un macro escenario relativamente nuevo en América Latina. De la mano de los procesos de reforma que ocurrieron en las últimas dos décadas los gobiernos nacionales montaron sus sistemas de evaluación, pero no siempre supieron capitalizar la información que éstos le han aportado, para revisar las políticas que ellos mismos generan en educación y en otros sectores de gobierno. Los sistemas nacionales de evaluación ya se han instalado en los países de esta región, han comenzado a transitar una segunda etapa de revisión, reajuste y fortalecimiento. Hoy no se cuestiona la existencia de una evaluación nacional, se interpela su precisión técnica y su pleno aprovechamiento por parte de los actores involucrados.

Desde esta perspectiva se hace imperativo avanzar hacia la resolución de las principales líneas de tensión que se detectan en relación con estos sistemas. Ello genera expectativas respecto a una acción comprometida por parte del gobierno de cada país para:
• Articular la gestión de las unidades responsables de la evaluación y el currículo, asegurando una dinámica de retroalimentación permanente entre ambas.

• Generar políticas adecuadas de difusión de los resultados de las evaluaciones, para audiencias. informar debidamente

• Asegurar un trabajo responsable de la institución escolar en la interpretación de los resultados obtenidos, incorporándolos como insumo de análisis de las propias prácticas institucionales y áulicas.

• Generar políticas de capacitación docente sostenidas, a partir de la información brindada por las evaluaciones.

• Producir informes sobre los factores asociados al aprendizaje que ayuden a contextualizar y dar mayor sentido a los resultados obtenidos.

• Planificar estrategias de apoyo para asistir a las instituciones escolares más desfavorecidas

El Estado Nacional es el actor de mayor responsabilidad frente a los resultados educacionales obtenidos por su alumnado. Esto no significa restarle a las instituciones escolares y a sus docentes, la responsabilidad que a ellos les compete. Los países latinoamericanos comenzaron a intervenir tímidamente en pruebas de envergadura internacional. Este camino que ha empezado a construirse en los últimos años, aún no cuenta con la participación de todas las naciones. Sin embargo, aquellas que han podido sumarse a esta acción – no sin dificultades, presiones, conflictos,…- ya no desandarán ese sendero. Participar en evaluaciones internacionales permite que cada país compare los aprendizajes logrados por sus estudiantes, con los de otras naciones. Ello otorga una posición frente a los demás, pero también “frente a uno mismo”. Si bien para los países de esta región el lugar alcanzado no ha sido bueno, poder conocerlo, ofrece elementos que posibilitan empezar a trabajar en su modificación. Tomar parte en evaluaciones que trascienden el ámbito nacional, implica un aprendizaje en si mismo. Los debates técnicos, las definiciones metodológicas, la administración de los instrumentos, la interpretación de los resultados, etc. enfrentan a los cuadros políticos con un bagaje de saberes especializados que no siempre se posee en la propia jurisdicción.
Trabajar en estos escenarios permite acceder a experiencias valiosas de crecimiento profesional. La posibilidad de participar en diferentes pruebas internacionales otorga a un país una visión clara de los estándares educativos que se persiguen en el concierto mundial. Será tarea posterior, repensar la propia situación y su vinculación con dichos estándares. Finalmente quisiera resaltar una línea tensión que surcó fuertemente el espacio educativo, especialmente durante los años 90. Esta línea vinculaba solidamente dos polos: evaluación y calidad. En algún momento llegaron a sugerirse como sinónimos. Desde una concepción simplificada, los resultados de las evaluaciones nacionales se constituyeron en la “medida” de la calidad de un país, sin advertir que la complejidad del concepto “calidad” no puede capturarse en una evaluación parcial, requiere en cambio, múltiples y variados abordajes. Cada escuela conforma un subsistema que articula aspectos complementarios y antagónicos de sus múltiples dimensiones. Innumerables aspectos y subprocesos son evaluados de modo particular en las instituciones escolares por los propios actores que ofrecen o reciben educación (docentes, autoridades educativas, alumnos, padres o comunidad) con el fin de poder alcanzar mejores resultados. Estas acciones son también maneras de evaluar la calidad educativa, aunque las mismas no estén formalmente reconocidas. (Perassi, 2007). El resultado que obtiene una escuela en una evaluación nacional no debe pensarse como “la medida de su calidad educativa”, sino como un indicador de esa calidad – asumiendo que el mismo no alcanza para agotarla-, que corresponde interpretarlo en función de la evolución histórica y del contexto en que ocurre. Debiendo articularse con la trama de (otros) indicadores que dispone el sistema y la propia institución. No es válido interpretar un resultado de manera aislada.
Alertar frente a esta simplificación en análisis nacionales e internacionales, es una responsabilidad que poseemos los educadores, para colaborar en la compresión de la complejidad del objeto evaluado.

En el Anexo de esta publicación se pueden consultar las fichas elaboradas de los principales textos analizados en la elaboración de este Estado del Arte.



Texto completo puede encontrarse en
http://www.scribd.com/doc/33327221/Libro-La-Eval-en-Educacion-Zulma-Perassi
La Evaluación en Educación. Un campo de controversias
Zulma Perassi