jueves, 29 de octubre de 2009

Nuevas perspectivas en el concepto de evaluación

Resumen
Este trabajo estudia el concepto de evaluación en relación con el proceso de enseñanza-aprendizaje en los centros inclusivos de Educación Primaria. Se ha realizado en el marco de las actividades de la Agencia Europea para el Desarrollo de la Educación Especial, entre los años 2005 y 2008. El proyecto ha sido dirigido por la Doctora Watkins (miembro directivo de la Agencia Europea para el desarrollo de la Educación Especial) y ha contado con la colaboración de expertos de los 23 países que han participado en el mismo.

El proyecto ha constado de dos etapas diferenciadas: la primera, de carácter teórico, ha analizado los sistemas educativos de cada país, en lo concerniente a la evaluación inclusiva; además, ha estudiado los conceptos de evaluación y ha clasificado las publicaciones sobre evaluación e inclusividad. La segunda fase ha estudiado diferentes casos prácticos acerca de la educación inclusiva de alumnos afectados en centros de educación ordinaria, dificultades como por ejemplo: alumnos con dificultades de aprendizaje severas, sordos, deficientes psíquicos, etc. en 5 países europeos Alemania, Austria, Dinamarca, Francia e Inglaterra. Se consideran los aspectos relativos a los marcos legales y las normativas acerca de la evaluación en los centros inclusivos y cómo condicionan su aplicación práctica. También se ha considerado el sistema para pasar de una evaluación de déficit o modelo médico hacia un enfoque educativo. El trabajo se centra en cómo la evaluación en aulas inclusivas puede aportar información que influya en la toma de decisiones para que el proceso de enseñanza-aprendizaje se realice en las mejores condiciones. El trabajo pretende ser una fuente de información para los que trabajan en el campo de la evaluación tanto desde la perspectiva de la normativa como en la práctica.

Introducción
En el año 2004, los Representantes de la Agencia Europea para el Desarrollo de la Edu¬cación Especial consideraron fundamental el estudio de la evaluación en el marco de la educación inclusiva. A tal efecto diseñaron el proyecto «Evaluación e Inclusión Edu¬cativa.Aspectos fundamentales en el desarrollo de la normativa y su aplicación» en el que vieron necesario examinar el proceso de evaluación en un contexto de inclusión y destacar ejemplos de buenas prácticas. La cuestión básica era «cómo» pasar de una evaluación centrada en los déficits del alumno (enfoque médico) a un planteamiento educativo que se sustentara en el proceso enseñanza-aprendizaje y que considerara el contexto educativo. Tras reflexiones y debates entre los miembros de la Agencia y los países observadores, se introdujo el análisis normativo, por la incidencia de los marcos legales y las políticas sobre la evaluación para la escolarización de alumnos con nece¬sidades educativas especiales.

La meta de la primera fase del proyecto era examinar cómo la normativa y la práctica en evaluación pueden ayudar a mejorar la eficacia de la enseñanza-aprendizaje. También se acordó que el estudio de la evaluación sería en la educación primaria y en centros inclusivos de educación ordinaria.

En esta fase, se revisaron las publicaciones sobre evaluación en centros inclusivos y se recogieron las disposiciones legales de cada país. Cada país tiene un sistema edu¬cativo propio y, por ello, cada uno elaboró su informe sobre la normativa y práctica de evaluación en centros educativos ordinarios, con ejemplos de buenas prácticas. La finalidad era conocer la situación de cada país (el proceso de evaluación educativa general; la evaluación inicial y continua de los alumnos con necesidades educativas especiales; la escolarización del alumnado; las inversiones y partidas presupuestarias y el análisis de los Planes Educativos Individuales) antes de poder examinar la práctica de la evaluación en las aulas inclusivas de Educación Primaria.

La metodología empleada en el proyecto se basa en la creación de grupos de trabajo constituidos por expertos, coordinadores nacionales y personal de la Agencia que dirigían los debates y las conclusiones de las sesiones de trabajo. En una segunda fase, se efectuaron visitas a cinco centros escolares y de recursos de Alemania, Austria, Dinamarca, Francia e Inglaterra. Se pretendía explorar en detalle la práctica de la eva¬luación en un ámbito escolar de educación inclusiva. Para la elaboración de la docu¬mentación se ha utilizado la información obtenida de las observaciones, los debates y las reflexiones realizadas durante y después de cada visita de estudio.
La metodología se ha completado con una comunicación a través de la red.

También se reflexionó sobre el significado de algunos términos utilizados en los diferentes sistemas educativos de cada país. El principal fue el concepto de evaluación, para consensuar uno de uso común en el proyecto, tal y como:
La evaluación se refiere a la forma en que los profesores y otras personas implicadas en la educación sistemática de un alumno recogen y emplean la información sobre los logros alcanzados y/o desarrollados en las distintas áreas de su experiencia edu¬cativa (académica,conductual y social) (Watkins,A.(ed.),2007,p.15)
Esta definición engloba los métodos y procedimientos de todas las formas de evaluación. También, remarca a los agentes implicados en la evaluación: profesores- tutores, maes¬tros y demás personal docente, el personal pedagógico externo, además de los padres y los propios alumnos. Así, la información sobre la evaluación no solo concierne al alumno, sino también al contexto de aprendizaje y, en ocasiones, al ambiente familiar.
También se acordó qué centros se consideraban «inclusivos», porque tampoco estaba claro y se fijó el de la UNESCO:
Las escuelas ordinarias con esta orientación integradora representan el medio más eficaz para combatir las actitudes discriminatorias, crear comunidades de acogida, construir una sociedad integradora y lograr la educación para todos; además, proporcionan una educación efectiva a la mayoría de los niños y mejoran la eficacia y, en definitiva, la relación costo-eficacia de todo el sistema educativo. (Declaración de Salamanca, 1994, p. 8)
El término inclusión en el ámbito educativo ha pasado por diversas etapas. Comienza con la propuesta de que los alumnos con necesidades educativas especiales tienen el derecho a un currículo apropiado a sus necesidades y que los sistemas educativos tienen el deber de acogerlos y actualmente se refiere al grupo de alumnos que tienen la posibilidad de ser excluidos de la escolaridad normal. En correspondencia, los centros inclusivos son los que tienen alumnos con y sin necesidades educativas especiales aprendiendo juntos y, además, trabajan para desarrollar un currículo que permita el aprendizaje y la participación de todos los alumnos.
Complementariamente fueron identificadas las características de la educación inclusiva según se entienden en todos los países intervinientes en el proyecto, así como las estrategias de evaluación que tienen en los contextos educativos de inclusión. En la mayoría de los países, la evaluación de los progresos de un alumno es un proceso pedagógico y, además, un acto administrativo basado en disposiciones legales.

Evaluación inclusiva
En el análisis de los sistemas educativos de evaluación europeos se vieron similitudes en los enfoques y objetivos y, aunque en cada país los sistemas se hayan ido transformando, la normativa y la práctica sobre evaluación es el resultado del desarrollo legislativo y de la concepción del proceso de la enseñanza-aprendizaje.

Por otro lado, no existe consenso sobre términos como discapacidad, necesidades especiales o incapacidad y estas diferencias son más patentes en la administración, la financiación y los procesos reguladores que entre los tipos de necesidades educativas especiales en cada país (Meijer, 2003, p. 9).

Todos los países tienen procesos de evaluación general, centrados en comparar logros y en el seguimiento de los niveles educativos. Hay procedimientos específicos y normativos de evaluación individual para identificar las necesidades especiales e informar sobre el proceso de la enseñanza-aprendizaje. En todos los países, los equipos multidisciplinares están implicados en la evaluación vinculada a la identificación inicial de necesidades educativas especiales. La información recogida sobre los progresos y dificultades de un alumno está unida a la implicación de los profesionales que proceden de diversos campos (salud, social, psicológico)y pueden conllevar diferentes tipos de evaluaciónde rasgosconcretos sobre el funcionamiento del alumno en diversas áreas.La accesibilidad a los especialistas multidisciplinares y su apoyo,si es preciso,mejora la eficacia de los profesores-tutores.

La evaluación es concebida como continua y formativa, es decir una evaluación para el aprendizaje y no meramente del aprendizaje. Surge como una clase cualitativa y está relacionada con los procedimientos evaluadores. Esta clase de evaluación se realiza habitualmente en las aulas por maestros y otros especialistas. En los centros inclusivos, la evaluación se vincula a los programas de aprendizaje que siguen todos los alumnos. Puede o no tener elementos sumativos ligados a los programas de aprendizaje. Los métodos de evaluación coinciden en planteamientos y contenidos de área y en procesos para todos los alumnos. Se destacan tres elementos en la evaluación del aprendizaje de alumnos con necesidades educativas especiales:
  • La obligatoriedad de referir la evaluación inicial a los objetivos del currículo.
  • La necesidad de unir los objetivos del currículo y los esquemas de evaluación a los Planes Individuales Educativos (PIE).
  • La adaptación de los métodos de evaluación en las clases ordinarias para detectar las necesidades de los alumnos con dificultades específicas.
Esta evaluación identifica logros y dificultades en relación a objetivos específicos,pero no siempre proporciona una retro alimentación formativa que oriente futuros programas de enseñanza-aprendizaje.Vincularla a los objetivos de un Plan Educativo Individual es uno de los puntos a tener en cuenta por los profesores en los centros inclusivos. Otra cuestión es cómo la evaluación sumativa gradúa los sistemas de trabajo que pueden modificarse según las necesidades y dificultades específicas de los alumnos.A pesar de los distintos enfoques y usos,en todos los países se debate sobre los mismos puntos:
  • Aumentar los progresos de todos los alumnos (incluidos los que tienen necesidades educativas especiales) empleando la información de la evaluación de forma eficaz.
  • Desplazar el punto de mira de la evaluación de necesidades educativas desde la identificación inicial vinculada al diagnóstico y a la provisión de recursos, a menudo realizada por personas ajenas al centro,hacia una evaluación continua dirigida por los profesores-tutores y que trata de la enseñanza-aprendizaje.
  • Desarrollar sistemas eficaces de evaluación continua formativa en los colegios ordinarios.Dar a los centros y a los profesores los instrumentos oportunos para responsabilizarse de la evaluación del aprendizaje de alumnos con necesidades educativas especiales e incluso para identificar inicialmente las necesidades especiales de otros alumnos.
Nuevas perspectivas
El principal reto al que hacen frente todos los países es desarrollar sistemas de evaluación que faciliten la inclusión, en vez de actuar como barrera potencial de ésta.

Para asegurar la calidad en la educación de los alumnos con necesidades educativas especiales,se establecen los derechos en la normativa educativa.La evaluación sumativa está claramente asociada a la formativa como instrumento esencial para asegurar la calidad.

Hay que desarrollar el concepto de «evaluación universal» donde todas las pruebas y procedimientos de evaluación se elaboren y diseñen para ser totalmente accesibles. En algunos países,la República Checa,Dinamarca,Reino Unido (Inglaterra) se está desa¬rrollando una evaluación adaptada como parte integral del nuevo sistema, pruebas gra¬duadas específicas de evaluación para alumnos con dificultades de aprendizaje que no pueden alcanzar los objetivos mínimos del currículo nacional.En Letonia,la evaluación se dirige hacia la habilidad en la resolución de problemas y no a la memorización de información o hechos;en Portugal,las evaluaciones nacionales se vinculan al aprendizaje de competencias. El informe de Francia propone que la evaluación de ámbito nacional no sea empleada para comparar alumnos,profesores,colegios y/o regiones.El de Suecia destaca...la información de la evaluación para apoyar el desarrollo del alumno y el interés público de la información sobre la mejora de la escuela

Emplear la evaluación inicial de necesidades educativas especiales para dar cuenta del proceso de la enseñanza-aprendizaje, supone un cambio de enfoque hacia un nuevo modelo educativo y atribuye más responsabilidad al profesor de la escuela ordinaria en la evaluación inicial y continua. Este cambio de enfoque en la evaluación inicial supone dejar de poner etiquetas a los alumnos según diagnóstico e ir hacia una evaluación que informe sobre el proceso de la enseñanza-aprendizaje). Holanda señala respecto a esta área principal de innovación, que la evaluación inicial de necesidades debería centrarse en decisiones sobre el proceso de la enseñanza-aprendizaje, evitando una innecesaria «categorización» de los alumnos.Los padres,los alumnos y profesores son los «clientes» de los resultados de la evaluación. Los profesionales multidisciplinares (servicios de salud, sociales y psicológicos), junto con los profesores, los padres y los alumnos del centro ordinario, trabajan en equipo en la evaluación inicial.

El vínculo entre evaluación inicial y provisión de recursos podría ser una futura línea de debate e innovación El apoyo y los recursos para hacer frente a las necesidades educativas especiales de un alumno no dependen solamente de un diagnóstico «formal» y de la decisión que se haya tomado en la «identificación».
En Suiza, los equipos «interdisciplinares» que implican a los padres y a los alumnos son considerados como un medio para lograr un enfoque «contextual» en el momento de evaluar las necesidades de un alumno. En España, aunque los equipos multidisciplinares utilicen distintos instrumentos y perspectivas teóricas, se destaca la necesidad de asegu¬rar el enfoque educativo de la evaluación y de hacer un seguimiento del trabajo de los equipos multidisciplinares implicados en el proceso para ver cómo sus recomendaciones son tenidas en cuenta en los Planes Educativos Individuales.

La evaluación inicial debería conducir a informar sobre la preparación de un Plan Educativo Individual. En la mayoría de los países,hay un desplazamiento de la evaluación que sirve para diagnosticar hacia las recomendaciones para el proceso de la enseñanza y el aprendizaje.En Francia,la política educativa establece que la evaluación debería identificar los puntos fuertes y las necesida¬des así como los déficits y debería apuntar a informar sobre un Plan Educativo Individual. Los informes de Chipre,Italia,Holanda y Portugal subrayan la necesidad de que la evaluación sea contextual y esto lleva a conclusiones y recomendaciones como las siguientes:
  • Desarrollar los equipos multiprofesionales para contribuir a la evaluación continua en las clases ordinarias. En España, se destaca la necesidad de hacer un seguimiento del trabajo de los equipos multidisciplinares implicados en el proceso para ver cómo sus recomendaciones son tenidas en cuenta en los Planes Educativos Individuales.
  • Ampliar el objetivo de la evaluación para ir más allá del contenido meramente académico.
  • Desarrollar los vínculos entre los Planes Educativos Individuales y la evalua¬ción.
  • Desarrollar el conjunto de métodos e instrumentos de evaluación para los profesores de las escuelas ordinarias.
  • Desarrollar nuevas formas de registrar la información de la evaluación y evi¬denciar el aprendizaje del alumno.
Revisando los Informes Nacionales se aprecia, de una u otra forma, que todos los países tienen como objetivo encontrar el equilibrio entre estos procesos. Un enfoque equilibrado de la evaluación en centros inclusivos es el que cada «elemen-to» de la práctica de evaluación da información y se correlaciona con los otros. Se caracteriza, además, por una normativa y una práctica que evitan la evaluación de los «altos niveles de exigencia» y minimizan las potenciales consecuencias negativas de cualquier proceso para todos los alumnos, especialmente para aquellos con ne¬cesidades educativas especiales.

Recomendaciones para legislar la evaluación
El objetivo principal es que todas las normativas y procesos de la evaluación fomenten la inclusión satisfactoria de todos los alumnos con posibilidad de exclusión. Para conseguirlo deben explicitarse factores de la evaluación inclusiva en:
Principios
  • La finalidad explícita de prevenir la segregación, evitando lo más posible las etiquetas y enfocando la práctica educativa que promueve la inclusión en centros ordinarios.
  • Las necesidades educativas especiales de los alumnos deben ser consideradas en las normativas generales de evaluación.
  • Derecho de todos los alumnos a participar en los procedimientos de evaluación.
  • Todos los procedimientos de evaluación deben promover el aprendizaje de todos los alumnos,ser complementarios e informarse entre sí y «fomentar» la diversidad, identificando y valorando los progresos en el aprendizaje de cada alumno.

Objetivos
  • Mejorar el aprendizaje de todos los alumnos en los centros ordinarios.
  • Informar del desarrollo del proceso de aprendizaje, utilizando diversos métodos, procedimientos e instrumentos.
  • Incluir otros propósitos relacionados con la evaluación sumativa, con la iden¬tificación inicial de necesidades educativas especiales y con la supervisión de los niveles educativos.

Métodos que…
  • Informen a los profesores sobre los logros y sobre cómo desarrollar y mejorar en el futuro el proceso de aprendizaje de un alumno o de un grupo.
  • Consideren el contexto educativo,los factores ambientales y familiares que in¬fluyen en el aprendizaje. Factores que amplían la evaluación para favorecer la inclusión de un individuo y que hacen más efectivas las decisiones, la gestión del aula y del centro.
  • Incluyan una serie de estrategias y posibles métodos para evaluar alumnos, reuniendo datos claros de su aprendizaje. Las decisiones se basan en hechos y en los datos recogidos durante un tiempo.Es una «información valiosa añadida» sobre el progreso y el desarrollo del aprendizaje de los alumnos (no solo pun¬tual) para asegurarse de que se evalúa una amplia cobertura de todas las áreas, académicas y no académicas.
Personas implicadas…
  • El profesor, los alumnos, los padres y cualquier otro asesor puede participar en el proceso de evaluación.
  • La participación y la colaboración entre los distintos agentes de la evaluación, compartiendo procedimientos y valoraciones del proceso.
  • Estímulo para el alumno en el metaconocimiento de su propio proceso de aprendizaje y motivación para implicarle en su futuro educativo.
En los Informes de los países, hay evidencia de normativas legales y práctica que promueven la evaluación inclusiva. Como en el distrito austriaco del Tirol donde han suprimido las escuelas especiales y todos los alumnos afectados por dificultades severas de aprendizaje,están asistidos por maestros especializados,dentrode las aulas normales. Esta experiencia de inclusión es posible gracias un marco político adecuado, con una organización de centros apropiada y con el apoyo de los profesores a los que se reclama una actitud positiva hacia la inclusión.

Todos los países poseen algún tipo de legislación o normativa que regula las distintas clases de evaluación en los centros ordinarios inclusivos.Todas las normativas educativas deben promover la práctica de la evaluación inclusiva y considerar las necesidades de los alumnos con posibilidad de exclusión.La participación y la promoción de la educación de todos los alumnos es la finalidad de la evaluación inclusiva y,para ello:
  • Ser accesible para todos los alumnos. Una evaluación «puntual» no parece suficiente para tomar decisiones sobre los alumnos,los profesores,los centros o la política de financiación y recursos.
  • Todos los procedimientos de la evaluación deben de estar ligados al currículo escolar y a los Planes Educativos Individuales e informar sobre el aprendizaje, favoreciendo el empleo de distintos procedimientos.
  • Promover el aprendizaje de todos los alumnos considerando la evaluación como instrumento eficaz para el seguimiento del alumno y para la planificación. La identificación y el desarrollo de las potencialidades y habilidades, requiere una formación adecuada que ha de recoger las normativas sobre la formación inicial y continua para profesores y especialistas.
  • Evitar que el propósito «formativo» de la evaluación se distorsione o se pierda, con el uso exclusivo de métodos de evaluación cuantitativa.
  • Comunicar a los alumnos y familias, los objetivos de todos los procedimientos de evaluación, como proceso positivo que destaca los progresos individuales.
  • Estar claramente unida a otros aspectos como la financiación y los recursos que apoyan la inclusión.
  • Evaluar e identificar las buenas prácticas para fundamentar las normativas.
  • Evitar los procedimientos de evaluación demasiado burocráticos reforzando la autonomía escolar. La organización del apoyo eficaz es sumamente importante, con estructuras que permitan la colaboración y el trabajo en equipo entre servicios educativos y departamentos.
Recomendaciones para profesores y centros
El profesor tutor y el equipo de profesores son los principales agentes con que cuenta el sistema a la hora de asegurar la aplicación de la evaluación inclusiva en los centros ordinarios. La evaluación inclusiva en las aulas de los centros ordinarios requiere pro¬fesores con:
Actitudes para
  • Desenvolverse en la diversidad de las aulas en centros ordinarios.
  • Entender las relaciones entre el proceso de aprendizaje y la evaluación.
  • Enfocar globalmente la evaluación con información sobre la práctica en el aula y no centrada en la identificación de los déficits de los alumnos.
  • Implicar a los padres y alumnos en los procesos de aprendizaje y evaluación.
Acceso a la formación
  • Conocimientos teóricos y experiencias prácticas sobre la aplicación de enfoques, métodos y herramientas al ámbito inclusivo.
  • Una guía para definir objetivos de aprendizaje y para emplear los resultados de la evaluación como base de la planificación futura del aprendizaje de todos.
  • Información y herramientas que relacionen el Plan Educativo Individual y la evaluación continua.
Acceso a Recursos y Apoyos
  • Colaboración entre los profesores, planificando y compartiendo experiencias de la práctica inclusiva.
  • Implicación del alumno, de los padres y de los compañeros en la evaluación continua, planificada y apoyada desde la escuela por el equipo docente y el profesor tutor.
  • Evaluación especializada en la identificación inicial de necesidades para poder aplicarla directamente en la práctica del aula.
  • Variedad de recursos y herramientas sobre evaluación como manuales técnicos, materiales de evaluación en aspectos no académicos, autoevaluación y evaluación entre iguales...
  • Flexibilidad en las obligaciones y tiempo de dedicación para actividades relacionadas con la evaluación inclusiva y asegurar las tareas cooperativas necesarias.
Recomendaciones para la organización escolar
Cultura organizativa
  • La «mejora de la escuela» solo es posible con la aplicación eficaz de la inclusión. La filosofía y «cultura» escolar se basan en la creencia de que una evaluación inclusiva es más eficaz y mejor.
  • Enfoque hacia las necesidades de los alumnos y actitud compartida en el claus¬tro de que la evaluación es una parte integral del proceso de enseñanza-apren¬dizaje y, como derecho, conlleva la participación e la implicación de todos los alumnos, con o sin necesidades educativas especiales, y la de sus padres.
Planificación
  • Identificación de las características ambientales del entorno y los procedi¬mientos de evaluación que apoyan o dificultan la evaluación de necesidades de los alumnos con necesidades educativas especiales.
  • Plan integral de centro con una normativa para la evaluación de todos los alumnos,con métodos para la evaluación,los informes y el seguimiento de los progresos de los alumnos, entre otros procedimientos.
  • Acceso a una formación adecuada sobre los métodos de evaluación;ya que los profesores han de diseñar una metodología y unas herramientas de evaluación sobre aspectos sociales y conductuales del proceso de aprendizaje, además de los académicos teniendo en cuenta otros contextos, no solo el del aula y el del centro.
Flexibilidad
  • Provisión de recursos y flexibilidad en los procedimientos de trabajo para facilitar la colaboración, la comunicación eficaz entre los profesores, los padres, los servicios de apoyo externo y los profesionales implicados en los sistemas de inspección educativa.
  • Determinación de estrategias para compartir las experiencias positivas y para aunar criterios de evaluación.
  • Individualización del proceso de aprendizaje de los alumnos, con la contribución activa de éstos en la evaluación, recogiendo los datos de su propio aprendizaje y planificando los objetivos personales.
  • Promoción de distintos enfoques sobre el proceso de aprendizaje, lo que implica flexibilidad para los profesores a la hora de tomar decisiones sobre cuándo y qué evaluar y accesibilidad a variedad de métodos y herramientas de evaluación.
  • El equipo directivo, responsable del desarrollo de la evaluación inclusiva, debe estar apoyado por los agentes externos y por las normativas educativas.
Recomendaciones para los equipos especialistas en evaluación
Hay consenso sobre la necesidad de equipos multidisciplinares en el proceso de aprendizaje de los alumnos con necesidades educativas especiales. Dependiendo de la situación de cada país, los especialistas son diferentes y su intervención puede pro¬ducirse en distintos momentos de la educación del alumno,ya sea en la identificación inicial de necesidades educativas especiales o en la evaluación continua. Su trabajo debe contribuir eficazmente a la evaluación inclusiva en los centros ordinarios a través de:
  • La comunicación personal con el alumno, con su familia y con su tutor.
  • Su integración en un proceso de aprendizaje cooperativo,compartiendo las experiencias de enseñanza con todos los implicados en la educación inclusiva.
  • Desde cualquier ámbito profesional (médico, psicológico y social), la evaluación de alumnos con necesidades educativas especiales en la escuela inclusiva debe emplear métodos de calidad, con la perspectiva de que la evaluación debe ser una evaluación para el aprendizaje y no solo del aprendizaje (William, 2007).Los especialistas deben garantizar el equilibrio entre la necesidad de un diagnóstico específico de las necesidades individuales del alumno con la desventaja, que supone etiquetar, y categorizar a un alumno como consecuencia del diagnóstico.


Autores
Víctor Santiuste Bermejo
Universidad Complutense de Madrid. Facultad de Educación. Departamento de Psicología Evolutiva y de la Educación. Madrid, España.
Mª Luisa Arranz
I.E.S. Santamarca de Madrid.

martes, 20 de octubre de 2009

EVALUACION DE LA ENSEÑANZA DE LAS ACTIVIDADES

APROXIMACIÓN METACOGNITIVA A LA EVALUACIÓN EN LA ENSEÑANZA Finalizo hoy la publicación del trabajo de Narciso Barrero González de la Universidad de Sevilla, que hace un importante aporte para la comprensión del tema. Hoy trata sobre la Evaluación de la enseñanza de las actividades y del Centro como estructura organizativa, más la síntesis final. Fuente http://www.uv.es/RELIEVE/ (pueden obtener el trabajo completo

EVALUACION DE LA ENSEÑANZA DE LAS ACTIVIDADES
La evaluación de la enseñanza de las actividades debe considerar la calidad de los medios utilizados desde una perspectiva multimedia. Desde un punto de vista formal es importante el aspecto general de los materiales curriculares, la calidad de las ilustraciones y el formato (tipos de letra y presentación tipográfica). Desde el punto de vista de los contenidos, éstos deben responder a unas gramáticas semánticas comprensibles por los alumnos, a unos valores recomendables y a una congruencia lógica de la estructura. En cuanto a las configuraciones discursivas hay que establecer un delicado equilibrio entre las restricciones de los códigos lingüísticos y la apertura al lenguaje común, respetando implicaciones culturales, éticas y estéticas. Un criterio relevante en la evaluación de las actividades es su fundamentación teórica ya que en Educación teoría y práctica están integradas y pierden su identidad al ser dicotomizadas.

Calidad de los soportes desde una perspectiva multimedia. Aspectos formales y semánticos.
El material curricular ha de ser motivador y atractivo en su presentación: cubierta, tamaño, colorido e ilustraciones, tipo de letra e interlineado. A veces el alarde tipográfico no garantiza la calidad semántica, pero los aspectos formales deben ser la antesala de contenidos valiosos porque son medios y no fines. Si El Quijote o El Rey Lear son independientes del formato de impresión la duda que se plantea es: ¿será que se lee cada vez menos y basta con formatear bellamente el texto?. En textos escolares esto supone que en su aparente calidad incorporan contenidos muy áridos para gran número de alumnos (Dreher y Singer, 1984). Los aspectos formales también tienen implicaciones semánticas pues al evaluar los soportes desde un perspectiva multimedia (Brody, 1981, 1982; Vega, Baliña y Bernal, 1990) el continente puede afectar al significado modificando la percepción que el alumno tiene. Así no se interpreta igual ni estética ni cognitivamente una película en la pantalla gigante de una sala de proyección que en un vídeo.

En el análisis semántico de los materiales curriculares se evalúa si la jerarquía de ideas está adecuadamente estructurada y actualizada de acuerdo con los últimos descubrimientos científicos, si los valores son mínimamente universales y congruentes y si se respeta la propia clarificación (Howe y Howe, 1980) y elección de valores del alumno. También se establece el grado de adecuación de éstos al desarrollo psicológico, cognitivo y emocional de los alumnos destinatarios ya que en áreas de contenido como Ciencias Sociales (Asensio y Pozo, 1987; Gil y Piñeiro, 1987)) se suele pedir a los alumnos conceptualizaciones, como la rotación-traslación y el relieve que evolutivamente son incapaces de realizar. Los alumnos deben ser instruidos en las gramáticas de historias de las informaciones que reciben, incluyendo la interpretación diferencial según sea el componente icónico (Denis, 1988; Sadoski, Goetz y Kangiser, 1988) ya que así aprenden a gestionar con criterios de relevancia sus esquemas de conocimiento.

Evaluación de aspectos relativos a la configuración discursiva del lenguaje empleado.
En la evaluación de las actividades de enseñanza el lenguaje es un elemento de características sutiles. Frente al tradicional concepto de deprivación los psico-lingüistas han troquelado el de configuración discursiva. Es decir, los alumnos no tienen un nivel de lenguaje más o menos elaborado según su clase o cultura de origen, sino una configuración discursiva distinta (Lawton, 1968; Trigo, 1990) que si no es respetada por el profesor puede perjudicar sus procesos de enseñanza.

El profesor ha de tener la habilidad necesaria para establecer determinados niveles restrictivos a dichas configuraciones a la vez que las respeta. Por un lado los alumnos tienen derecho a su subcultura pero a la vez tienen que integrarse en una cultura global y abrirse a una semántica más amplia. Estos matices del lenguaje empleado en las actividades de enseñanza tienen implicaciones que afectan al equilibrio personal y la creatividad de los alumnos. Al ser portador de valores culturales el lenguaje del alumno ha de ser respetado debiéndose evitar los juicios de valor ya que afectarían a la misma personalidad del niño y a su promoción social. En el proceso de enseñanza hay que establecer entre el enseñante y el alumno una dialéctica humanística, así podremos ayudar al alumno para que construya su universo ético y para que lo exprese estéticamente.

Fundamentación teórica de la actividad desarrollada
El proceso de enseñanza es una praxis como construir puentes o llevar a cabo operaciones quirúrgicas por lo que por inmersión en la actividad práctica se puede perder de vista que es necesaria una teoría de referencia. Al igual que el ingeniero precisa de una teoría de resistencia de materiales en el proceso de enseñanza debe haber una base epistemológica.

Esta relación se da entre el plano formal denominado genéricamente Investigación (Científica) y el plano material llamado Desarrollo (Técnico). Saber a qué teoría responde una praxis determinada tiene repercusiones existenciales, ya que si la teoría no la construimos nosotros, otros nos la impondrán sin que quizá lo percibamos.
Al desarrollar cualquier actividad de enseñanza deberemos evaluar si se adecua a los principios básicos que la soportan y si los principios enunciados tienen su correlato en la práctica, por ejemplo, si en el proyecto curricular del centro consta que se va a procurar el desarrollo de estrategias metacognitivas en el cálculo éstas deberán ser directamente observables en la actividad de los alumnos..

EVALUACIÓN DEL CENTRO COMO ESTRUCTURA ORGANIZATIVA
El modelo de supervisión de centros es más avanzado que el de profesorado individual ya que lo incluye, pero además considera la estructura del centro y el conjunto de órganos que hacen posible su funcionamiento. Las perspectivas de la evaluación educativa apuntan hacia los centros escolares o conjunto de éstos si son confesionales u organizaciones privadas con más de un centro. Partiendo de los distintos modelos de investigación evaluativa Pérez Juste y García Ramos (1989) aportan las siguientes sugerencias metodológicas:
- Integrarla en el proceso de enseñanza y no solo en el de aprendizaje
- Emplearla para comprender procesos de programas en desarrollo
- Primar el enfoque multivariante en la medida
- Evaluar el programa en sí y no en comparación con otros programas
- Crear bancos de items diferenciados por grupos de alumnos
- Evaluar los subproductos no considerados inicialmente como objetivos
- Relativizar la importancia de cada uno de los objetivos propuestos
- Asumir la consideración cualitativa de los resultados según sea el usuario
- Combinar informes frecuentes cortos y finales de recapitulación
- Desarrollar diseños empírico-experimentales de evaluación

La evaluación debe atender al claustro de profesores tanto en su consideración individual como colectiva. Los agentes externos, como es el caso de profesores itinerantes, inspectores de zona, asesores del centro de profesores y orientadores también deben ser evaluados. Igualmente el equipo directivo y su estaff, el equipo técnico de coordinación pedagógica y los psicopedagogos y trabajadores sociales del equipo de orientación interno si lo hubiere. Es preciso evaluar asimismo los departamentos, los equipos de ciclo-nivel, los seminarios y el consejo escolar. Debe evaluarse el clima de los diversos contextos educativos en tres niveles: en la comunidad educativa en general, en el centro y en las aulas. Para la evaluación de estos elementos existe un número limitado de instrumentos técnicos, pues la producción se ha centrado hasta ahora en el aprendizaje, mientras que los diseños de enseñanza y su necesaria evaluación se han considerado menos. En las bases de datos y en los catálogos de materiales técnicos aparecen algunos, relacionados con frecuencia con el tema del clima del aula y la eficacia docente, por lo que pensamos que la Evaluación Pedagógica debería implicarse más en la ampliación del catálogo de instrumentos de medida de las variables de enseñanza.

El proceso de evaluación del centro en todas estas dimensiones tiene dos versiones, la interna o procesual y la externa de la administración educativa que representa a la comunidad. Aunque es de derecho que el poder socio-político inspeccione externamente el rendimiento de los centros y tome decisiones, el hecho educativo por su carácter para-familiar y profundamente humano ha de tener un enfoque especial a cargo de unos supervisores, orientadores y asesores que sepan establecer esa dialéctica de supervisión dentro de un plan de promoción y apoyo que medie en la solución de los problemas. Con frecuencia se ha confundido el centro educativo con una industria pero en éste se relacionan personas que repercuten espiritualmente unas sobre otras y sobre esa relación no podemos aplicar sistemas de supervisión exclusivamente cuantitativa porque aquí el producto no es tal sino la promoción humana de toda la comunidad educativa, alumnos, familias y profesores.

Para la evaluación del grupo claustral Rodríguez (1992) ha diseñado escalas de valoración para el claustro, consejo escolar, equipos directivos, departamentos, equipos de nivel y clima del centro, por lo que lo tomaremos como referencia en nuestro análisis. El volumen de material estandarizado es menor por lo que deben formularse nuevas hipótesis de trabajo que promuevan la investigación. En la evaluación del claustro de profesores pueden tenerse en cuenta las areas de actividad de planificación y programación, organización y coordinación, animación y evaluación. En cuanto a planificación y programación deben analizarse el Proyecto Curricular del Centro, establecerse criterios pedagógicos de adscripción del profesorado y diseñar sistemas de información internos y externos. En organización y coordinación deben evaluarse los sistemas de agrupamiento del alumnado y el plan tutorial. En cuanto a diseños de investigación estos deben estar orientados a la innovación curricular dentro de una perspectiva de promoción del profesorado y en cuanto a factores internos debe evaluarse la implicación personal de los profesores y su permeabilidad a la orientación de asesores externos. La discusión mediante subcomisiones de los componentes del P.C.C., de los criterios de evaluación y recuperación y el análisis de la productividad medida desde línea base o valor añadido en escuelas eficaces (Fernández y González, 1997) son elementos muy relevantes en esta evaluación.

Los inspectores, asesores y orientadores debido a su necesaria implicación en programas de promoción son también en cierta medida objeto de evaluación interna. Si el inspector, el asesor o el orientador se limitan a la actuación externa y no se implican en programas de promoción, deberían ser evaluados en consecuencia y diseñarse mecanismos correctores. Los políticos locales de educación, tienen, en cierto modo, una función parecida, son elementos externos pero no ajenos y dado que la institución académica no puede ser neutra y se inserta en una comunidad educativa estos pueden y deben ser objeto de dicha evaluación. Este tipo de evaluación no suele llevarse a cabo, o si se hace es de manera artesanal y con escasos materiales técnicos pero dada la repercusión en la implementación de programas de promoción e innovación podrían diseñarse nuevos procedimientos.

De los aspectos de la evaluación del equipo directivo uno de los más relevantes en cuanto a planificación es la capacidad de promover una coordinación interna en el centro que permita una gestión democrática al sentirse los miembros informados y participantes en las decisiones a tomar. En la coordinación interna debe evaluarse la capacidad del equipo directivo para coordinar la estructura tutorial en el centro, ya que ésta sustenta las relaciones personales establecidas entre el profesorado, los alumnos y sus familias. En promoción y coordinación externas es relevante evaluar si el equipo directivo está facilitando la promoción personal del profesorado ya que ello favorece la calidad pedagógica. En gestión es relevante la organización de los recursos didácticos, incluidos los de carácter multimedia pues problemas en su mantenimiento pueden dificultar el desarrollo de programas. En la evaluación de los recursos de control y retroalimentación del centro es destacable la habilidad social del equipo directivo para evitar situaciones conflictivas y activar la auto-resolución de problemas en la comunidad educativa. El equipo técnico de coordinación pedagógica (ETCP) y el equipo interno de orientación formado por psicopedagogos y trabajadores sociales comparten como consultores la responsabilidad del equipo directivo por lo que estos parámetros les son aplicables.

Los equipos de profesores pueden ser formales como son los equipos docentes de ciclo y nivel o bien centrados en la comunicación de experiencias e investigaciones como es el caso de los seminarios y grupos de trabajo. Dada la función eminentemente didáctica que tienen los departamentos las áreas de actividad sus funciones giran en torno al diseño didáctico y gestión de los procesos de enseñanza. En cuanto a diseño se debe evaluar si se han especificado los objetivos curriculares con una metodología globalizadora, en cuanto a gestión y coordinación es importante comprobar si se ha promovido la organización departamental del profesorado para la gestión de materiales y para la evaluación del alumnado. Como retroalimentación debe existir un mecanismo de análisis de resultados del proceso de enseñanza por alumnos, por grupos de alumnos y por materias. En la evaluación de estos equipos tiene especial importancia su capacidad para proponer seminarios específicos orientados a resolver problemas del centro también es relevante la promoción de la organización del profesorado investigando aspectos de diseño curricular que estén causando problemas de rendimiento en el centro. Por último señalaremos la necesidad de evaluar la capacidad del departamento para evaluar los resultados del proceso de enseñanza desde una perspectiva didáctica de áreas de conocimiento.

La evaluación de los seminarios y grupos de trabajo de centros no universitarios, es una actividad que se está desarrollando desde hace una década en nuestro ámbito educativo a través de los Centros de Profesores. Su diseño aunque de carácter algo informal y con una fundamentación teórica relativa ha generado instrumentos valiosos pues todos los CEP tienen un protocolo de evaluación de grupos de trabajo. En lo concerniente a la creación de materiales técnicos son principalmente los asesores de los CEP quienes con motivo de su colaboración en investigaciones de departamentos universitarios o en la elaboración de tesis doctorales están dando forma científica a estos diseños de evaluación.

El consejo escolar es el máximo órgano de representación social en el que confluyen los intereses del centro y los de la comunidad que lo rodea. De entre los múltiples indicadores que se pueden tener en cuenta en su evaluación son relevantes en cuanto al diseño su sensibilidad para recoger las expectativas que la comunidad deposita en los centros y en cuanto a promoción su futuro depende de que los centros funcionen como ejes culturales. No es una utopía (Rodríguez, 1994) que un centro educativo se constituya, por ejemplo, en editor de libros de Ciencias Sociales que revierten tanto en el propio currículum del centro como en la comunidad que lo rodea. En este caso puede observarse cómo un centro educativo llega a ser el estímulo más significativo de su comunidad promoviendo exposiciones, eventos musicales y actividades de extensión cultural. Para la evaluación del clima de centro se han construido algunos instrumentos estandarizados en el caso concreto del clima del aula. En cambio se echan de menos instrumentos válidos y fiables de base sociológica dedicados a la evaluación del clima general del centro educativo. La Escala de Clima Social (Moos, Moos y Trickett, 1984) ofrece una medida estandarizada por factores del nivel y tipo de clima de convivencia en el aula y en la familia tras la aplicación de un protocolo. En la literatura científica también se documentan criterios de evaluación para el clima de aula en la enseñanza de las habilidades instrumentales de la lectura con un enfoque metacognitivo (Winograd y Smith, 1989).

SÍNTESIS DE LA SITUACIÓN ACTUAL Y FUTURO DE LA EVALUACIÓN DEL PROCESO DE ENSEÑANZA
El alumno es quién opone menos resistencia a la medida por lo que es sometido a veces a una administración de tests verdaderamente compulsiva (Popham, 1999). En cambio los instrumentos de evaluación del proceso de enseñanza tienden a enfrentarse al statu-quo ya que desde ese enfoque son los educadores quienes deben asumir la responsabilidad de la función mediacional, llegándose a una enseñanza en la que las clases son difíciles para el profesor y los exámenes fáciles para el alumno. Cuando los procesos de enseñanza se diseñan desde esta óptica metacognitiva al evaluarlos se constata que la carga ha sido soportada principalmente por el profesional y no por la persona orientada. En esta línea de reformas que tienden a mejorar la organización del centro y que engrosan un corpus teórico tradicionalmente magro se mueven los actuales estudios de eficacia académica conformando un modelo en torno a la evaluación de escuelas eficaces (Fernández y Galán, 1997). El concepto base es el aislamiento del valor añadido mediante procedimientos estadísticos, controlándose de esta forma las variables contextuales que pueden enmascarar el verdadero rendimiento de un centro. Estos programas se proponen intencionalmente romper las predicciones estadísticas construidas mediante regresión y constatar estas mejoras de forma empírica. El modelo conceptual se organiza en un esquema de contexto – imput – proceso - producto (Scheerens, 1992) dentro de una metodología de enseñanza estructurada, mediación sobre el rendimiento, oportunidad para aprender, altas expectativas, auto-monitorización del progreso y liderazgo educativo. Como conclusión podemos decir que para que el educador soporte el peso de su metodología tiene que estar formado como epistemólogo y como practicante de un oficio y ambas cosas se tienen que dar a la vez para que funcione la química dialéctica entre la teoría y la práctica evitándose, como diría Paul Valery, que la primera constituya una sombra de tortuga para la segunda:

Zenón! Cruel Zénon! Zénon d´Élée!
M´as-tu percé de cette fléche ailée
Qui vibre, vole, et qui ne vole pas!
Le son m´enfante et la flèche me tue!
Ah! Le soleil... Quelle ombre de tortue
Pour l´âme, Achille immovile à grands pas!

Esta visión esperanzada se basa en que la consideración social de la Educación como una profesión técnica de ayuda se incremente (Moratinos, 1989; ACEP, 1992), siendo un reto con el que todos los docentes e investigadores de los procesos formativos comenzamos el tercer milenio.


Autor
Narciso Barrero González
Universidad de Sevilla
Fuente
http://www.uv.es/RELIEVE/

miércoles, 7 de octubre de 2009

ENFOQUES MODÉLICOS Y ESTRATEGIAS EN LA EVALUACIÓN DE CENTROS EDUCATIVOS

RESUMEN
En este trabajo se presentan diversos enfoques modélicos de uso más frecuente entre los evaluadores de centros educativos. Se ofrecen distintas clasificaciones de estos modelos según enfoques conceptuales y criterios de evaluación utilizados, y se analizan los modelos de evaluación en las perspectivas siguientes: 1) los resultados escolares, 2) los procesos internos y la realidad estructural y funcional del centro; 3) la mejora institucional, diferenciando según se ponga el énfasis en la autoevaluación institucional o en la evaluación externa como complemento de la interna; y 4) las metaevaluaciones de los modelos utilizados por los sistemas educativos. La última parte del trabajo aborda la evaluación en su vertiente práctica de aplicación a los centros, presentando estrategias y apoyos metodológicos que puedan facilitar una tarea tan compleja y llena de dificultades.

1. INTRODUCCIÓN
En algún otro momento (Escudero, 1993) nos hemos hecho eco, coincidiendo con distintos autores, de la cierta ligereza con que se usa el término modelo en investigación evaluativa, para denominar cosas diversas como enfoques, planes, esquemas, organigramas, programas e incluso métodos de evaluación, que no son modelos en sentido riguroso (De Miguel, 1989). En cualquier caso, la investigación evaluativa trabaja habitualmente en un contexto de caso específico, de caso único, al que debe adecuarse, con lo que resulta de una cierta incoherencia hablar de modelos de aplicación general. Por estas razones, nosotros preferimos hablar de enfoques modélicos como término algo más flexible y, además, creemos que el evaluador de centros, por ejemplo, construye su propio modelo de evaluación a medida que va resolviendo los problemas que se plantea en el diseño y desarrollo de su trabajo sobre aspectos claves como finalidad, objeto, tiempo, agentes, etc. Más adelante profundizamos en los criterios básicos para definir el propio modelo evaluativo.

Pero, a pesar de lo dicho, la literatura especializada en evaluación de centros suele hablar de modelos de evaluación, aunque se produzca en coherencia con lo apuntado, una cierta dispersión de clasificaciones o tipologías. Sin embargo, siempre existen algunos elementos de acuerdo entre los diversos estudios. En este trabajo, ofrecemos un análisis panorámico amplio, aunque no exhaustivo, de los enfoques modélicos más habituales en la práctica de la evaluación de centros, así como de ciertas estrategias metodológicas en las que suelen apoyarse.

2. ENFOQUES MODÉLICOS
La aproximación a este tipo de estudios puede hacerse desde la perspectiva práctica del análisis del proceso global de evaluación de centros, contestando de manera secuenciada y explicando las alternativas posibles, dilemas y problemas con que se enfrenta el evaluador de centros. Esta perspectiva es la que suelen tomar textos o análisis con orientación global y de síntesis (Escudero, 1980; Pérez Juste y Martínez Aragón, 1989; De Miguel y otros, 1994). Pero también existen la aproximación a los modelos de evaluación desde perspectivas teóricas y la que se fundamenta en el análisis metaevaluativo de los programas de evaluación de centros. Nuestro análisis del problema lo apoyamos en estas tres diferentes aproximaciones y en su combinación.

Tomando como punto de partida los enfoques conceptuales sobre las organizaciones y considerando a los centros educativos como tales, De Miguel (1989) sugiere la existencia de cinco grandes bloques de agrupamiento de los modelos de evaluación de centros. Estos cinco bloques son los siguientes:
a) Los que enfatizan los resultados (outputs).
b) Los que enfatizan los procesos internos a la propia organización.
c) Los que postulan criterios mixtos o integradores.
d) Los que se centran sobre los aspectos culturales de la organización.
e) Los que intentan evaluar la capacidad de la propia organización para autotransformarse (evaluación para cambiar).

García Ramos (1989), partiendo del propio análisis de De Miguel, extiende a ocho los bloques de agrupamiento de los modelos según el tipo de criterio de evaluación utilizado, esto es, según se ponga el énfasis en:
a) Los resultados (outputs).
b) La relación entradas-salidas (inputs-outputs).
c) Los procesos internos de la propia organización.
d) Los aspectos técnicos de la organización.
e) Los aspectos culturales de la organización.
f) La capacidad de la propia organización para autotransformarse.
g) La relación organización-factores humanos.
h) Los criterios integradores.

Más recientemente, De Miguel y otros (1994) reducen todo a dos grandes bloques, los que enfatizan los resultados y los que enfatizan los procesos internos, y aunque dicen que este agrupamiento puede resultar algo reduccionista, resulta útil, sobre todo ante la dicotomía de planteamientos de orientación sumativa y formativa, y para captar las diferencias entre la investigación centrada en la eficacia escolar y la centrada en su mejora (Clark y otros, 1984; Wimpelberg y otros, 1989).

2.1. La perspectiva de los resultados escolares
Los modelos de evaluación de instituciones escolares centrados en sus resultados, se entroncan de manera directa en el movimiento investigativo de las escuelas eficaces y, como es lógico, tienen los mismos soportes metodológicos, tomando como referente básico los objetivos del centro y su nivel de consecución.
Dentro de estos modelos nos encontramos con distintos tipos tales como (Shulman, 1986): a) Entrada-salida (input-output), b) Proceso-producto, c) Entrada-proceso-producto y d) Contexto-entrada-proceso-producto, esto es, con el conocido modelo CIPP de Stufflebeam. Estos tipos, básicamente se reducen, según Castejón y otros (1993), a dos, los de entrada-salida y entrada-proceso-producto. De la Orden (1993), por su parte, habla de cuatro subtipos, diferenciados entre sí en función de las variables predictivas seleccionadas y del enfoque analítico o global. Estos subtipos son los siguientes: a) Modelos input-output, b) Modelos procesuales de eficacia institucional, c) Modelos procesuales con énfasis en la clase y d) Modelos sistémicos.

En el modelo de entrada-salida se considera el centro educativo como un conjunto de variables que contribuyen, junto con las características iniciales de los alumnos, de tipo personal (inteligencia, rendimiento anterior, autoconcepto, etc) o social (nivel socioeconómico y cultural), a la determinación del producto (rendimiento) final. Esta contribución es de tipo aditivo, esto es, a las características de entrada de los alumnos se añaden las del centro educativo. No se tiene en cuenta la contribución común de las características de los alumnos en interacción con los procesos educativos que tienen lugar en el centro. Metodológicamente se sustenta en un modelo aditivo en el que los factores son sumandos independientes. Técnicas estadísticas como el análisis de regresión múltiple y los métodos de partición de la varianza que enfatizan el componente único de cada variable, como el método paso a paso (stepwise), sirven de base a este modelo.

Los primeros estudios acerca de los «efectos de la escuela» (Coleman y otros, 1966; Jencks y otros, 1972; Bidwell y Kasarda, 1980), basados en un modelo de este tipo, concluyeron que las diferencias entre escuelas en los procesos educativos explicaban muy poco de la varianza en el logro de los alumnos. Por el contrario, el rendimiento académico era, sobre todo, función del ambiente socioeconómico y cultural ñvariables de entradañ del que procedían los alumnos, mientras que la organización educativa tenía unos efectos mínimos. Sin embargo, estos trabajos presentan una debilidad metodológica clara, por cuanto utilizan sistemas de partición de la varianza jerárquicos o acumulativos; lo cual no permite separar los efectos únicos de los efectos comunes que se dan entre las variables que se introducen primero en la ecuación y aquéllas ñcomo las referidas a los procesos educativosñ que se introducen después (Mayeskee y otros, 1969; Madaus y otros, 1979). Frente a las técnicas de partición incremental de la varianza, los procedimientos de partición simétrica (Mayeskee y otros, 1969; Pedhazur, 1982; Linn, 1986) permiten separar los componentes único y común, posibilitando establecer los efectos combinados de variables relativas a los bloques de entrada y a los efectos de la escuela conjuntamente. No obstante, el análisis de la comunalidad no ayuda a entender el tipo específico de interacciones que se producen entre las variables (Pedhazur, 1982). Este procedimiento, al igual que el método stepwise sólo resulta útil dentro de un esquema predictivo en el que lo que interesa es conocer qué variables contribuyen más a explicar el producto educativo.

Los modelos de entrada-proceso-producto incorporan tanto las variables de entrada de tipo sociofamiliar y personal de profesores y alumnos, como las variables procesuales de enseñanza-aprendizaje que tienen lugar en el centro. Modelos como los de Centra y Potter (1980) y Creemers y Scheerens (1989) pertenecen a este tipo. La característica diferencial respecto al modelo anterior, del tipo entrada-salida, no se refiere únicamente al mayor número de variables que contempla, sino también al tipo de relación que se establece entre ellas. Esta relación es interactiva. La escuela no se considera sólo un componente más de los que contribuyen al rendimiento, sino que se estima que ejerce un tipo preciso de efectos en combinación con el resto de las variables. Se establece explícitamente la dirección de estos efectos; lo cual permite un mejor entendimiento del funcionamiento del modelo y de sus componentes individuales. Este modelo es provechoso para la investigación sobre los efectos de la escuela, toda vez que en las escuelas eficaces, más que variables cruciales que ejercen su efecto de forma aislada y descontextualizada, parece existir una red de interrelaciones en la que todos los factores se refuerzan mutuamente, dando lugar a un patrón particular de funcionamiento escolar (Purkey y Smith, 1983). No podemos pretender hallar una causalidad lineal, sino más bien estructural, recíproca e interactiva. El modelo metodológico que le sirve de base es el interactivo, que permite la inferencia causal y la determinación de los efectos recíprocos entre variables, al menos en el caso de los modelos no recursivos. Se posibilita el establecimiento de un modelo teórico de influencias, interacciones y efectos directos e indirectos entre variables que puede contrastarse empíricamente. Para calcular los parámetros del modelo se utilizan técnicas de análisis de sendas y de ecuaciones estructurales (Jöreskog, 1978; Kenny, 1979; Long, 1987; Loehlin, 1987). Los resultados de Dunkin (1978) mostraron que las características iniciales de los estudiantes, en interacción con los factores del proceso educativo, eran los elementos que en mayor medida explicaban el rendimiento.

La aplicación de los modelos procesuales en la investigación sobre escuelas eficaces permitió identificar la relevancia de variables como liderazgo, disciplina y control de los estudiantes, expectativas sobre el rendimiento, tiempo de aprendizaje, etc., y las interacciones entre ellas como influyentes en los logros escolares; se seleccionan variables procesuales y del clima institucional como predictoras de la eficacia del centro, por sus relaciones con los resultados académicos.

Pero existen problemas con los supuestos de estos modelos, en la medida que se desconoce o conoce deficientemente la relación causal y su magnitud, entre estas variables y entre ellas y el producto institucional. Asimismo, estas variables pueden interaccionar de forma no prevista con otras variables contextuales del centro. Raudenbush y Willms (1995) concluyen un interesante artículo sobre la estimación de los efectos escolares diciendo que no se puede saber cual es el nivel de efectividad de las practicas pedagógicas de un centro, si no se parte de unaa teoría explicativa de qué hace que un centro educativo sea eficaz.

Algunos de estos modelos ponen el énfasis en los procesos propiamente instructivos, fundamentalmente relacionados con el contexto de enseñanza-aprendizaje del aula, a veces con preponderancia psicosociológica (Walberg, 1976) y otras con preponderancia técnico-didáctica (Hernichsfeger y Wiley, 1978).
Los modelos causales, de los que son ejemplos los presentados por Yorke (1987), Stöel (1987) y Fuentes (1988) tienden a integrar los presupuestos de los modelos que enfatizan los resultados y los que se centran únicamente en los procesos internos, sin tratar los resultados. Se postula una interrelación activa entre variables que se expresa y analiza en función de modelos causales en los que las variables relativas a la organización escolar son intermediarias entre sus entradas y salidas (De Miguel, 1989).

2.2. Las perspectivas de los procesos internos y de la realidad estructural y funcional del centro
Otra gran perspectiva evaluadora es la que se apoya en el análisis interno de la organización, de sus estructuras de funcionamiento y de la satisfacción de sus miembros, sobre la hipótesis de que una situación favorable desde esta perspectiva incide en la calidad y en el éxito de la organización (Goodman y Pennings, 1977; Van de Ven y Ferry, 1980; Lawler y otros, 1980). Dentro de estos planteamientos se convierte en objeto principal de interés la gestión y dirección de los centros (Reed y otros, 1987), la dirección de la dinámica didáctica del aula y de manera especial el clima institucional, con expresión de las percepciones, expectativas, actitudes, juicios, procesos de solución de conflictos, mecanismos de comunicación y participación, etc. (De Miguel, 1989). Sobre este último aspecto ya hemos señalado anteriormente que existe una pujante línea de trabajos, en el que participa nuestro país, con el diseño y elaboración de instrumentos para valorar el clima de los centros y el clima de las aulas.

Miles (1974) nos hablaba de diez características de un centro docente sano, que nosotros resumimos en su momento (Escudero, 1980). Estas características nos parecen seguir teniendo interés en el momento presente para valorar la calidad organizativa y funcional de un centro educativo. Las diez características son las siguientes:
1) Objetivos. Los objetivos deben ser claros y aceptados por los miembros del grupo. Además, deben ser alcanzables con los recursos disponibles y apropiados para las demandas del entorno.
2) Buenas comunicaciones. El movimiento de información es una importante dimensión de la salud organizativa de un centro educativo, ya que éste no es un pequeño grupo como para funcionar cara a cara. Es necesaria la comunicación libre de distorsiones de tipo «vertical», «horizontal» y con el entorno que le rodea. La información va de un lado a otro sin especial dificultad, con un mínimo de distorsión. Dentro de la organización sana se detectan bien y rápidamente las tensiones; existe la suficiente información sobre los problemas que hay en el sistema, como para asegurar que puede darse un buen diagnóstico sobre las dificultades existentes.
3) Óptima igualación de poder. En una organización sana la distribución de la influencia es relativamente equitativa. Los subordinados (si existe una autoridad formal) pueden ejercer influencias hacia arriba y perciben que su jefe puede hacer lo mismo respecto a su superior inmediato. La actitud básica de las personas en una organización como ésta, frente a los de arriba, los de abajo, y los de los lados, es de colaboración más que de tensión.
4) Utilización de recursos. A nivel organizativo, la «salud» implica que los «inputs» del sistema, en especial los personales, se usan de forma eficaz, esto es, requiriendo un esfuerzo tenso pero racional, lejano de la sobrecarga y el ocio.
5) Cohesión. Una organización sana se conoce a sí misma, en su conjunto y en sus partes, sabe a donde va, conoce sus objetivos y el por qué de los mismos. Cada miembro del centro debe participar de estos principios y sentirse a gusto dentro de la organización, recibiendo su influencia e influyendo en ella.
6) Moral. Esta dimensión implica la idea de satisfacción y bienestar, aunque la satisfacción no sea suficiente para la «salud» porque basándose en aquélla, pueden soslayarse hostilidades y problemas. No obstante, a nivel organizativo parece útil evocar la moral: una suma de sentimientos individuales de satisfacción que apoyan los deseos de realizar esfuerzos.
7) Innovación. Un sistema sano tiende a moverse hacia nuevos objetivos, nuevos procedimientos, a diversificarse a sí mismo y a ir cambiando en alguna medida a través del tiempo. Un sistema de este tipo crece, se desarrolla y cambia, en vez de mantenerse igual y rutinario.
8) Autonomía. La organización sana no responde en forma pasiva a las demandas del exterior, sintiéndose instrumento del entorno, y no responde tampoco a las demandas que percibe en forma rebelde o destructiva. Tiende a mantener, más bien, una cierta independencia del entorno, de forma que las respuestas recibidas en sus relaciones no sean «determinantes» de su propio comportamiento.
9) Adaptación. La autonomía e innovación tienen relación estrecha con la adecuación o adaptación con el entorno. Si las demandas de éste y los recursos organizativos no están equiparados, se plantean problemas que exigen un nuevo enfoque y una nueva estructura. Un sistema con esta concepción posee la suficiente estabilidad y capacidad de tolerancia como para afrontar las dificultades que se presenten durante el proceso de adaptación.
10) Equilibrio en las técnicas de resolución de problemas. Cualquier organismo, incluido el «sano», tiene problemas, tensiones y dificultades. Lo importante no es la no existencia de problemas sino la forma en que la organización se enfrente con ellos. En un sistema eficaz los problemas se resuelven con un mínimo de energía, de forma que los mecanismos usados para solucionarlos, no sólo no se debilitan, sino que se mantienen y refuerzan.

Una buena organización se caracteriza por poseer estructuras y procedimientos para detectar e identificar la existencia de problemas, descubrir las posibles soluciones, aplicarlas y medir su eficacia. En síntesis, un organismo sano es aquel que tiene capacidad, y, de hecho, se autoevalúa permanentemente.
Estas diez características tienen un alto grado de interdependencia y creemos que definen un marco apropiado de índices indirectos de calidad, pues se trata de aspectos que indudablemente condicionan en un sentido u otro el funcionamiento del centro, sobre los que parecen existir múltiples evidencias de su influencia en dicho sentido.
En esta misma línea de inspección interna del centro existen otras muchas propuestas de análisis que parten de distintas perspectivas (Escudero, 1980). Nos podemos encontrar desde esquemas de base analítica, con orientación primordial hacia los aspectos económico-administrativos, hasta enfoques que centran su interés básicamente en las características y en la actividad de los profesores. Entre las aproximaciones evaluativas del funcionamiento que más enfatizan los aspectos de gestión económico financiera está la conocida como auditoría (Pérez Juste y Martínez Aragón, 1989), en alguna de sus versiones más habituales.

También podríamos integrar en este bloque los que De Miguel (1989) denomina modelos culturales, que toman como elemento de análisis los aspectos culturales implícitos en los centros, considerados como organizaciones sociales. Los elementos de información sobre los individuos y grupos del centro, sus estructuras conceptuales y simbólicas a partir de los que construyen la realidad y el conjunto de propósitos y significados diferenciales generados en su relación con el entorno, son aspectos potencialmente definidores de la cultura del centro (Erickson, 1987).

Nosotros entendemos que el análisis de la cultura institucional no es, en rigor, un modelo diferenciado de evaluación, aunque quizás sí puede serlo de análisis de la realidad de un centro. De lo que sí estamos convencidos es de que el análisis de la cultura institucional es un elemento imprescindible en toda evaluación de un centro educativo, como elemento básico de contextualización y de explicación rigurosa de resultados, y como marco referencial para las propuestas de reformas.

Naturalmente, unidos a estos modelos de evaluación, al igual que al de los otros bloques, está la concepción estructural de la realidad de un centro, de sus variables definitorias, de sus relaciones, etc., sobre lo que la literatura especializada recoge multitud de ejemplos y concepciones. Como es lógico, el evaluador se apoya en alguna concepción estructural y relacional del centro al plantearse su evaluación.

2.3. La perspectiva de la mejora institucional
El cambio, la innovación, la reforma y la mejora institucional la entendemos como uno de los objetivos básicos en la investigación evaluativa sobre centros educativos en el momento presente.
Para nosotros, la evaluación para el cambio no nos parece solamente el elemento central desde el que definir un bloque de modelos de evaluación, tal como hemos señalado anteriormente, sino que nos parece una de las razones de ser, aunque no la única, de la evaluación de centros. Por ello, creemos en la evaluación para el cambio, que se entronca en un movimiento alternativo al de las escuelas eficaces, conocido como movimiento de mejora de la escuela, orientado a la búsqueda de aspectos del centro que inciden en su funcionamiento y eficacia que deben mejorar y del modo en que deben hacerlo (De Miguel y otros, 1994).

La mejora de los centros, en definitiva, nos parece más que un criterio definidor de modelos de evaluación y pensamos que puede y debe ser un objetivo de todo modelo de evaluación de un centro que se precie de tal, con independencia de que se enfatice el análisis de los resultados o de los procesos internos. Naturalmente, el énfasis en la mejora y el cambio condiciona obligatoriamente los procedimientos y las variables de la evaluación pero, repetimos, cualquier modelo de evaluación puede incidir, al nivel correspondiente, en la mejora del centro escolar.

Esta orientación de la evaluación de centros, sin duda preponderante en el momento actual, hace que en los planteamientos de las evaluaciones se pierda cierto interés por las relaciones causa-efecto entre variables de entrada y procesuales con los resultados, y se aumente el interés por el contexto concreto que se evalúa, con sus fenómenos y procesos interactivos. Hay que diagnosticar los problemas de la institución y ver qué fuerzas y recursos tiene para resolverlos. En esta perspectiva, aumenta la relevancia de los procesos de autoevaluación, de los de participación y de reflexión de los agentes del centro y del uso responsable y colegiado de la autonomía del centro (Sabirón, 1993; Sancho, 1993; Santos, 1993; Borrell, 1995).

2.3.1. El énfasis de la autoevaluación institucional
En coherencia con los nuevos planteamientos y orientaciones de la evaluación de centros escolares, la autoevaluación institucional ha venido articulándose cada vez más como el elemento central de la evaluación orientada hacia la mejora. Se trata de un proceso evaluativo que se inicia en el propio centro, que se realiza por los propios profesionales que actúan en él, con el objetivo de comprender y mejorar la práctica escolar (Gairín, 1993). Sin embargo, en la autoevaluación también pueden intervenir agentes externos para facilitar el proceso de reflexión y modular las interpretaciones desde el interior.

Lo que sí parece evidente es que la autoevaluación, para que pueda llevarse a cabo con éxito, necesita un caldo de cultivo proporcionado por la autonomía institucional y la participación responsable, a ser posible entusiasta, de los miembros de la organización. En este contexto, el liderazgo del director o facilitador de la evaluación resulta fundamental para ayudar al grupo a que tome conciencia de la importancia de su trabajo y a que lo realice de manera adecuada (Borrell, 1995). La autoevaluación, en definitiva, pone en evidencia la capacidad de la propia organización para autotransformarse.

En nuestro país, seguramente, no existe en los centros un clima afectivo entre el profesorado favorecedor de la autoevaluación, aunque sí se cuenta con un buen nivel de autonomía institucional. Por ello, no siempre son muy productivos los apoyos e impulsos evaluadores que parten de los responsables educativos. Pero sí existen muchos trabajos de investigación al respecto, con la producción de un buen número de instrumentos para la evaluación, que las más de las veces pueden ser utilizados tanto en procesos de evaluación interna como externa (Borrell, 1995). En algún caso concreto se ha diseñado un modelo completo de autoevaluación, como el modular desarrollo por Blanco (1993) en su tesis doctoral. Pero son algunos proyectos internacionales los que han tenido más incidencia en el desarrollo de este tipo de evaluaciones, incluso en nuestro contexto académico.

En esta línea de búsqueda de elementos de innovación y cambio escolar se sitúa el proyecto ISIP (International School Improvement Project) puesto en marcha en 1982 por la OCDE a través de su Centro para Investigación Educativa e Innovación (CERI), implicando a más de una docena de paises y más de un centenar de participantes. Los resultados globales fueron publicados unos años después (Hopkins, 1987; OCDE, 1989).
Se enfatiza la autonomía de la escuela para poder resolver sus propios problemas con programas de autoevaluación escolar o revisión basada en la escuela definida como una inspección sistemática interna, orientada hacia la mejora y el cambio (Bollen y Hopkins, 1987). El proceso se plantea con las cinco fases siguientes: a) Preparación, b) Revisión inicial, c) Revisión específica, d) Desarrollo (Introducción Sistemática de la Innovación) y e) Institucionalización. Globalmente, la autoevaluación en el ISIP se concibe como una estrategia en sí misma de mejora institucional.

Dentro de esta línea, el programa-guía de autoevaluación más conocido y recomendado por ISIP es el GRIDS (Guidelines for Review and Internal Development in Schools), que es un programa sin control externo, que identifica los agentes de la evaluación y la innovación, apoyándose en el enfoque procesual de la investigación-acción, sin negar la posibilidad de un asesoramiento externo (McMahon y otros, 1984; GRIDS, 1988; Hopkins, 1988; Bartolomé y otros, 1991; De Miguel y otros, 1994). Las cinco fases secuenciadas del programa GRIDS aparecen detalladas en las referencias anteriores.

Con el fin de organizar programas específicos de autoanálisis escolar, se creó en Francia, en 1983, la Mission Achadémique pour la Formation des Einseignants (MAFPEN). El grupo de estudios de Lyon de esta organización (GETED) ha elaborado documentos y directrices de autoevaluación (GETED, 1990 y 1992) con tres aproximaciones de análisis, el sistemático, el estratégico y el cultural. Las fichas de autoevaluación hacen referencia a siete ámbitos: a) Identificación del centro, b) Alumnos, c) Contexto, d) Recursos humanos y materiales, e) Aspectos pedagógico-organizativos, f) Visión de conjunto y g) Imagen del centro. El programa se plantea como elemento de formación, así como de colaboración entre centros para la mejora (Borrell, 1995).

2.3.2. El complemento de la evaluación externa
Recientemente opinaba Nevo (1994) que la evaluación basada en el centro no es sinónimo de evaluación interna, ni tampoco antónimo de evaluación externa, sino de una combinación de ambas, pues la evaluación necesita de las aportaciones tanto de una como de otra. Los centros con orientación innovadora y experimental necesitan libertad y autonomía para desarrollar sus enfoques innovadores y, consecuentemente, deben apoyarse fundamentalmente en la autoevaluación, pero también necesitan demostrar sus méritos, esto es, las ventajas que ofrecen sobre las escuelas más convencionales, a las que intentan reemplazar. Esto no se consigue sólo con la evaluación interna; sin algún elemento de la evaluación externa es probable que surjan críticas y demandas de rendición de cuentas. Sin embargo, parece claro que la evaluación basada en el centro, orientada para mejorarlo, debe apoyarse prioritariamente en la evaluación interna, aunque se sugiere siempre complementarla con cierta evaluación externa, como una evaluación colaborativa (De Miguel y otros, 1994).

Pero, con independencia de lo que acabamos de decir, todavía sigue siendo predominante la evaluación externa sobre la evaluación interna en aquellos países con gran experiencia en evaluación de centros (U.S. Department of Education, 1991) y también en nuestro propio sistema (Bartolomé y otros, 1991; Borrell, 1995).
Esta evaluación externa se puede promover desde dentro del centro, por el deseo de profesores o directivos de acreditarse o de conocer su situación, con fortalezas y deficiencias, o de contrastar los hallazgos de la autoevaluación.

Cuando se promueve desde fuera, la evaluación suele pretender el control del funcionamiento, el análisis de los logros, el diagnóstico de las dificultades y el análisis de la eficiencia en la utilización de los recursos (Soler, 1991).
Pero la evaluación externa tiene muchos formatos diferentes. Nos podemos encontrar evaluaciones del tipo auditoria, con un enfoque empresarial de control externo (Pérez Juste y Martínez Aragón, 1989) y también nos podemos encontrar con evaluaciones controladas externamente como el plan EVA ministerial (Luján y Puente, 1993; MEC, 1994), que tienen como uno de sus objetivos básicos el fomento de actuaciones internas para la mejora y que buscan la participación de los miembros del centro en el proceso de evaluación. En el modelo de auditoria, el auditor, que es un profesional externo, emite un informe valorativo del centro en cuanto al funcionamiento administrativo, utilización de recursos, eficiencia, cumplimiento legal, efectividad y logros.
Entre los modelos internacionales acreditados se puede destacar la Guía para la evaluación y acreditación (ECIS, 1987) del «European Council of International School» (Bartolomé y otros, 1991; Borrell, 1995), en la que se compagina la evaluación externa con un autoestudio, con un seguimiento cada cinco años.
Otro modelo reconocido es el puesto en marcha por el Departamento de Instrucción Pública del Estado de Delaware para alcanzar los estándares aprobados (DELAWARE, 1984). Se trata también de un programa quinquenal que utiliza encuestas y entrevistas a profesores y directivos, hojas de observación y registro y visitas de expertos; termina con un plan de mejora y ayuda.

Finalmente, modelos también conocidos son los existentes en el Estado de Colorado (Frazier, 1986), el de Connecticut (Proctor y Villanova, 1984), el PROYECTO RISE (1982) de Milwaukee, así como materiales y cuestionarios de evaluación de diversos proyectos de gran alcance (NAEPS, 1984; Northwest, 1985; Chrispleels, 1990).

2.4. La perspectiva de las metaevaluaciones
Al introducir el análisis de enfoques modélicos para la evaluación de centros señalábamos que una aproximación importante es la de la metaevaluación de los modelos utilizados por los sistemas educativos. En la práctica, esta aproximación nos parece que termina coincidiendo con la que toma el evaluador cuando analiza todos y cada uno de los pasos y fases del proceso evaluador y va valorando las posibles alternativas que puede tomar en cada caso. A la postre, tal como ya hemos señalado, es cada equipo de evaluación, en su contexto concreto, el que termina construyendo su propio modelo para evaluar el objeto de evaluación que tiene.
Bartolomé y otros (1991) llevaron a cabo un análisis de los modelos institucionales de evaluación de centros utilizados en Cataluña, seis en total, a los que añadieron dos europeos (ECIS y GRIDS) y uno americano (DELAWARE). Tras consultar la literatura especializada sobre el tema, este equipo estableció un listado de criterios comparativos agrupados en los cinco bloques siguientes:
1. OBJETIVOS DE LA EVALUACIÓN
1.1. Finalidad: necesidades o decisiones a las que sirve.
1.2. Audiencia de la evaluación: personas principales a las que se les informa de los resultados.
2. OBJETO DE LA EVALUACIÓN
Variables o aspectos sobre los que se recoge información categorizadas en:
2.1. Capacidad del sistema: contextuales, organizativas...
2.2. Proceso: durante el desarrollo de actividades.
2.3. Producto: resultados, efectos.
3. METODOLOGÍA DE EVALUACIÓN
3.1. Dinámica del proceso evaluativo: origen de la demanda de evaluación, nivel de formalización y sistematización establecido «a priori» y «durante el desarrollo», ¿quién selecciona las cuestiones evaluativas, temporabilidad, etc.?
3.2. Instrumentos de recogida de información categorizado en: de tipo cerrado (cuestionarios, escalas, etc.), de tipo abierto (entrevistas, registros anecdóticos, etc.) y de tipo mixto (proporción aproximada de uno u otro tipo).
3.3. Fuentes de información: ¿quién debe cumplimentar los instrumentos?
3.4. Estudios de validez y fiabilidad de los instrumentos: constatar SÍ o NO, o matizar en caso necesario.
4. CRITERIOS DE EVALUACIÓN
Tipo de criterio que utiliza. «De tipo absoluto»: quién y cómo se establecen (basados en estudios o teorías, ordenanzas legales, etc.). «De tipo comparativo»: comparaciones entre centros, etc.
5. EL PAPEL DEL EVALUADOR
En caso de una «evaluación externa»: agente o responsables de la evaluación. En caso de una «evaluación interna»: formación de equipo evaluador, presencia o no de un experto o agente externo al centro.

A partir de estos criterios establecieron ocho apartados con diferentes subapartados en cada caso, llegando en total a algo menos de medio centenar de potenciales entradas para una tabla de comparación y, consiguientemente, de definición de modelos de evaluación. Las entradas potenciales de la citada tabla de comparación de modelos de evaluación de centros son: 1) Objetivos, 2) Evaluador, 3) Audiencia primaria, 4) Instrumentos de evaluación, 5) Fuentes de información, 6) Criterios, 7) Dinámica y 8) Objeto de evaluación.
Bartolomé y otros (1991) analizan los nueve modelos de evaluación antes aludidos, señalando en cada entrada la existencia o no de esa característica en cada uno de los modelos. Solamente en el apartado del objeto de evaluación, ordenan por prioridad los tres aspectos recogidos. De su análisis comparativo destacan algunos aspectos como que solamente el GRIDS es concebido íntegramente bajo la perspectiva de evaluación interna y que solamente este modelo y el DELAWARE enfatizan claramente su orientación optimizadora. En la mayoría de los programas evaluados se sitúa la responsabilidad evaluadora en el exterior del centro, pero con ayudas internas. Las audiencias principales son los profesores y la Administración. Todos los programas salvo el GRIDS tienen instrumentos propios de evaluación, pero sólo en uno de los modelos se han realizado estudios métricos de los mismos. Todos los programas, salvo uno que se centra únicamente en los profesores, utilizan a la dirección del centro como fuente de información. Sobre la presencia de estándares o criterios propios existe una clara división en los modelos evaluados. La dinámica de la evaluación tiende a estar formalizada explicando cuándo y cómo debe evaluarse. El objeto prioritario de evaluación se reparte entre la capacidad del sistema y el proceso de enseñanza-aprendizaje; en todos los modelos evaluados el producto aparece en el tercer lugar en cuanto a prioridad.

Gallegos (1994) nos informa de una metaevaluación de actuales modelos de evaluación de centros en Estados Unidos, llevada a cabo por el CREATE (Center for Research on Educational Accountability and Teacher Evaluation), en la que se revisaron un total de cincuenta y un modelos de distinto carácter, nacional, regional, estatal, local y de agencias públicas y privadas. Este estudio partió de la clasificación de modelos reflejada en el estudio de Richards (1988), que incluye los siguientes tipos de modelos de evaluación de centros:
A) Modelos centrados en el cumplimiento, que determinan si el centro está operando de acuerdo con determinadas normas o requisitos externamente establecidos, que normalmente enfatizan más los «inputs» y los recursos disponibles que el rendimiento.
B) Modelos centrados en el diagnóstico de la mejora de los estudiantes y se apoyan en buena medida en pruebas criteriales antes y después. Tienen un énfasis preferentemente formativo y centran su interés en la búsqueda de fórmulas para cubrir las necesidades detectadas en los alumnos.
C) Modelos centrados en el rendimiento, sobre todo a partir de pruebas normalizadas aplicadas al final de los ciclos educativos. Se intenta una evaluación normativa que permita comparación de centros y distritos escolares, transversal y longitudinalmente.

También el equipo de Gallegos (1994) elaboró una matriz de análisis de modelos con el objetivo de clarificar y valorar los modelos de manera más detallada que la anterior clasificación general, puesto que son muchos los modelos prácticos que resulta difícil incluirlos en uno de estos grandes bloques, ya que comparten características de más de uno. Las categorías de la matriz de clasificación de modelos son los siguientes (mantenemos las siglas utilizadas por el estudio procedentes del nombre inglés para denominar entre paréntesis los aspectos de las diferentes categorías):
a) PROCESO
En esta categoría se indica si se solicita un autoestudio (SS) por parte del personal del centro, se requiere una visita (V) de un equipo de consultores externos, o se omite esta a favor de una auditoría administrativa (DA), llevada a cabo por algún responsable a partir de la información recogida.
b) NIVEL EDUCATIVO
Se indica si se usa para evaluar centros básicos (E) o secundarios (M y H) o de todos los niveles (DIST) o de todo el Estado (State).
c) ORIENTACIÓN
Aquí se indica la perspectiva para la que se recoge la información, formativa (Form) para mejorar el centro o sumativa (Sum) para tomar decisiones sobre la eficacia de sus programas y su continuidad.
d) DATOS
Esta categoría clasifica a los modelos según el uso de datos cuantitativos (Quan) o cualitativos (Qual).
e) PLANIFICACIÓN/TOMA DE DECISIONES
Esta categoría se apoya en el modelo CIPP de Stufflebeam (1983) e indica si el modelo evaluado incluye el contexto (C), esto es, trata de identificar las necesidades, problemas y oportunidades del entorno, las entradas (I) buscando información útil sobre la mejor ubicación de los recursos disponibles para cubrir las necesidades y obtener los objetivos, el proceso (P1) que detecta y documenta si lo que ocurre coincide con lo planificado y si existen mecanismos de corrección durante el mismo y los productos (P2) que miden los resultados previstos y no previstos, interpretados a la vista de las necesidades, los objetivos, las entradas y el proceso.
f) ÁREAS DE RENDICIÓN DE CUENTAS
Siguiendo los planteamientos de Stufflebeam (1991) se establecen los componentes o ámbitos sobre los que el centro debe rendir cuentas, tales como el crecimiento (G), en relación con las necesidades de desarrollo, la equidad (E) en relación con la igualdad de oportunidades, la factibilidad (F1) sobre la adecuación de la planificación en relación con los recursos y la excelencia (Ex), sobre si existe o no un clima que busque el aprendizaje y la excelencia en la enseñanza y en el rendimiento de los alumnos.
g) NORMAS DE LA EVALUACIÓN
Se utilizan las normas del Joint Committee (1981), en las cuatro categorías clásicas. Normas de utilidad (U) que aseguran que la evaluación sirve para cubrir las necesidades informativas de las distintas audiencias, normas de factibilidad (F2) que aseguran que una evaluación es realista, normas de legitimidad (P), que aseguran que se lleva a cabo de manera legal, ética y con el debido respeto a los implicados y normas de precisión (A), relacionadas con la adecuación técnica de la evaluación para determinar el mérito y el valor de lo evaluado.
h) RELACIONES CON EL SISTEMA
Esta categoría identifica los niveles de interacción o relación que son requeridos para poder llevar adecuadamente la evaluación, con el sistema escolar determinado, con la Administración, etc.
i) FORTALEZAS ESPECÍFICAS
Identificación de aquellos aspectos fuertes del modelo de evaluación, que le son específicos y que van más allá de las características genéricas del mismo.
j) PUNTUACIÓN
Se establece una puntuación de 1 a 5 para las distintas categorías genéricas de la matriz. La puntuación va desde el 1 (más de lo previsto) hasta el 4 (no cumple lo previsto), siendo 5 la indicación de que falta documentación para la valoración de dicha categoría. La puntuación 2 significa que se cumple lo previsto y la 3 que se cumple parcialmente.

Con todas estas categorías se articula una matriz sobre la que se identifica el modelo concreto de evaluación que se está evaluando, puntuando al nivel correspondiente las entradas de las distintas categorías.
El equipo de Gallegos evaluó con estos sistemas descritos seis modelos nacionales elaborados por asociaciones profesionales y organizaciones de centros y por las agencias federales. Uno de ellos, el de la Asociación Educativa Católica, es un modelo de autoestudio para sus centros miembros, los otros siguen apoyándose en gran medida en la evaluación externa. El programa América 2000, por ejemplo, se centra sobre el análisis de escuelas individuales, un poco en la línea promovida por la Administración de premiar con apoyos y reconocimiento a los centros con altos rendimientos.

Los modelos regionales evaluados procedían de las siete asociaciones regionales de acreditación y de un laboratorio educativo regional. Estos modelos han sólido ser modelos centrados en el cumplimiento de los requerimientos legales para su funcionamiento. Sin embargo, en los últimos años se están ofreciendo también alternativas más centradas en el rendimiento y en el diagnóstico para el perfeccionamiento institucional.
La mayoría de los veintidós modelos estatales evaluados, utilizados por los respectivos departamentos de educación, son modelos de cumplimiento, lo que parece explicable porque se trata de evaluaciones obligatorias que tienen como uno de sus objetivos principales el control del gasto público. Estos planteamientos probablemente seguirán por un tiempo en los modelos estatales, pero existen movimientos de cambio hacia otros modelos, como los detectados por Gallegos (1994) en los casos de los estados de Indiana y Texas.
Los modelos de las agencias locales parecen estar claramente influidos por el movimiento de las escuelas eficaces y buscan la mejora escolar a través de la determinación de aspectos que correlacionan con el éxito del centro. Esto no niega el objetivo de la evaluación sumativa de los centros, que también es objetivo de las agencias locales de evaluación.

En conjunto, Gallegos (1994) detecta un movimiento en la evaluación de centros que va más allá del control de su cumplimiento, interesándose cada vez más en el diagnóstico y solución de los problemas y en el rendimiento de los centros. Sin embargo, también detecta que la evaluación sigue fundamentalmente basada en mediciones propias de los viejos modelos; se necesita una revisión y ampliación de los indicadores de las evaluaciones. Pero, sobre este aspecto no parece existir suficiente trabajo empírico y, en consecuencia, es uno de los claros retos de la investigación evaluativa de instituciones escolares en la actualidad.

3. LA PRÁCTICA DE LA EVALUACIÓN DE INSTITUCIONES ESCOLARES: ESTRATEGIAS Y APOYOS METODOLÓGICOS
Sea cual sea el enfoque modélico que se tome, la evaluación de centros educativos, como casi todas las grandes investigaciones evaluativas, es una tarea compleja, sobre todo en la práctica , por razones técnicas, presiones ambientales, falta de evaluadores cualificados y dificultades de lograr la colaboración y participación necesarias. De hecho, la práctica de la evaluación, a pesar de sus avances, sobre todo en la última década, necesita seguir su proceso de desarrollo y solucionar algunos problemas importantes todavía demasiado frecuentes.
En referencia con lo anterior, Gallegos (1994), en su metaevaluación de más de medio centenar de modelos de evaluación americanos, encontró algunos defectos y lagunas muy generalizados. Los más comunes eran los siguientes:
• Falta de indicaciones claras de que los evaluadores han recibido un entrenamiento adecuado en evaluación de centros.
• Escasa evidencia de que las evaluaciones están basadas en un conjunto aceptable y reconocido de normas de evaluación de programas y productos.
• Limitada evidencia de que se comprende y utiliza un enfoque sistemático para la evaluación del centro.
• Insuficientes intentos de abordar las cuestiones de calidad de manera razonable.
• Ausencia de indicaciones de que se llevó a cabo o se ha sugerido una metaevaluación de la práctica evaluadora del personal del centro.

Ante estos problemas, la reforma y mejora escolar a través de procesos de evaluación, profundizando en las tendencias emergentes en los últimos años, parece requerir cambios en algunos terrenos.
Las administraciones educativas deben potenciar la formación de evaluadores, sobre todo dentro del personal de los centros educativos, pues no se puede seguir demandando y construyendo modelos que partan de la participación del personal de los centros, si este no tiene la debida preparación técnica para ello. Ya es suficientemente difícil lograr su participación por otros motivos como para añadir un impedimento que sí se puede evitar con programas de formación adecuados. Esto, lógicamente, podría hacerse más fácilmente y mejor, promoviendo la colaboración con los centros y departamentos universitarios especializados en estos campos de la investigación.

Otro aspecto de capital importancia es la contextualización del proceso de evaluación del centro, adaptándolo a sus objetivos, entorno y posibilidades,…, buscando su mejora como institución individual. De los programas estandarizados es muy difícil obtener beneficios relevantes para cada centro, de acuerdo con su situación y necesidades particulares.

Otra necesidad reconocida a la que ya nos hemos referido con anterioridad, es la de identificar indicadores de calidad de los centros más útiles que los habituales, profundizando en una línea de investigación ya en marcha (Oakes 1989: National Council on Educational Statistics, 1991), que busca indicadores verdaderamente relacionados con la salud del centro y con aspectos críticos para mejorar su funcionamiento. Pero en este intento se debe ser extremadamente cuidadoso, ya que si se enfatiza la atención a unos pocos indicadores, pero no relacionados con los temas relevantes, se pueden crear problemas en vez de resolverlos (National Council on Educational Statistics, 1991). Los buenos indicadores deben permitir comprobar el progreso de un centro educativo con el tiempo.

A estas reflexiones estratégicas podemos añadir las que nos ofrece Nevo (1994) tras cuatro años de trabajo en un experimento de evaluación interna y externa. Las sugerencias son las siguientes:
a) La mejor manera de que el personal del centro comprenda el significado de la evaluación es a través de la distinción de lo que es descripción y lo que es valoración o juicio.
Muchos de los problemas y resistencias a la evaluación proceden de las diferentes concepciones que de ellos tienen los profesores y los administradores de los centros, a veces concepciones erróneas (Nevo y Goldblat, 1988). Se necesita crear un clima de franca y abierta comunicación, sobre la base de conceptos y concepciones claros para todos, especialmente en componentes y funciones tan importantes de la evaluación como son la descripción y la valoración (Stake, 1967; Guba y Lincoln, 1981; Nevo, 1983).
En primer lugar, el personal de los centros debe entender que evaluar es un proceso sistemático y técnicamente riguroso, y no intuitivo, para el que se necesita preparación. En segundo lugar, dejar en claro que esta sistematicidad técnica mejora la objetividad de la descripción, pero no totalmente. En tercer lugar, aclarar que la subjetividad interviene más en la valoración que en la descripción, pero que la subjetividad no implica arbitrariedad. Precisamente la evaluación intenta evitar la arbitrariedad en los juicios, siempre con algún componente de subjetividad.
b) Los estudiantes y su rendimiento no deberían ser el único objeto de la evaluación escolar
Muchos profesores identifican la evaluación con la evaluación y las pruebas del rendimiento de los alumnos, en el sentido de calificarlos (Stiggins y Faires Conklin, 1992), teniendo dificultades para introducir en el proceso los programas y otros objetos o elementos escolares, tales como los proyectos, el currículum, los materiales, los profesores, otro personal, los estudiantes,…, y el centro como entidad global. Esto debe explicarse bien.
c) Los resultados o impactos no deberían ser lo único que se examina cuando se evalúa un programa, un proyecto o cualquier otro objeto escolar.
Esto no quiere decir que los resultados e impactos no sean variables importantes, pero los méritos de un programa o del centro no pueden limitarse a ellos. Habría que fijarse al menos en los objetivos, las estrategias y planes y el proceso de implementación, en unión de los resultados e impactos. Esto ya fue propuesto hace más de un cuarto de siglo (Stake, 1967; Stufflebeam y otros, 1971), pero no tiene la consideranción debida en la práctica evaluativa.
d) La evaluación del centro debe tener tanto la función formativa como la sumativa, proporcionando información para la planificación y el perfeccionamiento, así como para la certificación y la rendición de cuentas.
La corriente que niega el valor de la evaluación sumativa es errónea porque también es muy útil. No cabe duda de que la evaluación es importante para mejorar los centros, pero también lo es para acreditar su funcionamiento, sobre todo ante proyectos de reforma, cuando se ponen en contraste distintos proyectos. Evitar la evaluación sumativa ante el empuje de la formativa es un error.
e) No se puede juzgar de manera razonable la calidad global de un centro escolar con un sólo criterio, o incluso por criterios múltiples, ni se necesita hacerlo así.
Pero esto no significa que sólo haya que proporcionar datos descriptivos y evitar los juicios. La evaluación debe proporcionar juicios de valor a partir de diversos criterios sobre distintos aspectos del centro. Lo que probablemente no es necesario son las valoraciones globales, porque son escasamente útiles para la evaluación formativa y se mezclan con el terreno de las decisiones en el caso de la sumativa.
f) Las necesidades de evaluación interna de una escuela se atienden de la mejor manera por un equipo de profesores y otros educadores, para quienes la evaluación es solamente parte definitoria de su trabajo, apoyados por un apropiado entrenamiento y asistencia técnica externa.
Scriven (1967) llamó a este equipo «amateur», cuya fortaleza está en su familiaridad con el centro y sus funciones, así como en no ser visto como una amenaza por el resto de compañeros. Su debilidad puede estar en la falta de experiencia y preparación, pero esto puede ser compensado con la asistencia de expertos externos.
g) Para llevar a cabo evaluaciones internas razonables es necesario utilizar instrumentos y métodos alternativos de las ciencias del comportamiento y de otros campos de estudio relacionados y adaptarlos a las necesidades del centro y a las capacidades del equipo "amateur" de evaluación.
No hay evaluación sin medición y recogida de información, pero los evaluadores internos de la escuela necesitan instrumentos de fácil manejo. Las cosas deben mejorarse bastante en este terreno (Stiggins y Faires Couklin, 1992).
h) «Aprender haciendo» sigue siendo todavía la mejor manera de aprender a evaluar.

Es más eficaz motivar y explicar bien la evaluación y su significado y formar poco a poco con el apoyo de la práctica, que introducir en bloque una visión profunda o incluso «recetaria» de la evaluación. La evaluación interna suele ser mejor camino de aprendizaje que la evaluación externa.

Cuando nos referimos a las variables que deben considerarse en la evaluación de un centro, siempre nos vamos a encontrar con variables que son antecedentes, como los de entrada y las contextuales, que tienen básicamente un carácter estático, con variables del proceso, que tienen carácter dinámico y con las variables producto, que vuelven a tener carácter estático. El énfasis que demos a unas u otras variables en el proceso de evaluación marcará en buena medida nuestro enfoque modélico. Las variables antecedentes y de proceso coincidirían con índices indirectos de calidad del centro, mientras que los productos serían los índices directos de calidad. Listados amplios de distintos tipos de variables a considerar en la evaluación de centros, pueden encontrarse, por ejemplo, en los trabajos de Escudero (1980), García Ramos (1989) y Pérez Juste y Martínez Aragón (1989).
Buena parte de las variables producto de un centro en un momento, en un periodo, se convierten en antecedentes para un periodo posterior.

Los evaluadores ante todo el conjunto de variables posibles, tienen que plantearse un proceso de selección dentro de cada tipo, en función del objeto, de la finalidad y de la orientación preferente de la evaluación.
Si el evaluador decidiera prestar atención únicamente a los productos, estaría aplicando un modelo economicista que desvirtúa incluso el propio concepto de educación. Se podrían juzgar y comparar niveles educativos y de salida del centro, pero nunca valorar la educación que se imparte en el mismo. En rigor, este enfoque sería un verdadero disparate.

Dedicarse a los productos, pero a la vista de los antecedentes, lo que coincide con el conocido modelo input-output, con los inputs como covariables o predictores, supone utilizar un enfoque eficaz en cuanto a medición de los rendimientos del sistema, pero muy limitado, porque se pueden detectar problemas, pero, en muchas ocasiones no se sabe donde ubicarlos ni, por consiguiente, ofrecer alternativas de solución.
Dedicarse a los productos, a la vista de los antecedentes y del proceso es un enfoque más educativo y más completo, pues permite la mejora real del sistema. Para compaginar la evaluación formativa y sumativa es necesario tener en cuenta tanto los índices directos como los indirectos de calidad del centro. Dentro de la consideración de estos tres tipos de variables, se pueden plantear diferentes esquemas de tratamiento y enfatizar más o menos unas u otras variables.

La consideración de las variables antecedentes y productos, por la naturaleza métrica de estas variables, generalmente estáticas, resalta la metodología cuantitativa. Por el contrario, la consideración de las variables de proceso, por sus características y dinamismo, resalta la metodología cualitativa. En todo caso, estas situaciones no son siempre así, aunque sean las más frecuentes, puesto que existen productos claramente cualitativos (elección de estudios, intereses, etc.) y variables del proceso que sí se pueden cuantificar (intervenciones en el aula, tiempos de explicación, etc.).

Seleccionadas sus variables, el evaluador de centros necesita instrumentos de medición de las mismas, instrumentos que con bastante frecuencia tiene que elaborar o, al menos, adecuar a partir de instrumentos de manuales u otros proyectos o modelos de evaluación.

Ya hemos dicho anteriormente que la investigación evaluativa debe incidir mucho más en la elaboración de buenos instrumentos de evaluación, pero esto no niega que en los últimos años se han producido muchos materiales y muchos instrumentos que están a disposición de los evaluadores.

De hecho, lo habitual es que los textos que tratan de la evaluación de centros, incluyan también instrumentos para la evaluación. Así, por ejemplo, el libro de De Miguel y otros (1994) que trata de la evaluación de centros e institutos de educación secundaria, ofrece quince cuestionarios de evaluación de otros tantos aspectos de la vida de un instituto, tales como el contexto sociocultural y educativo, la organización y funcionamiento del Consejo Escolar, el Proyecto Educativo de Centro, el liderazgo del equipo directivo, los procesos en el aula, el clima institucional, etc. Al describir estos cuestionarios se indican los correspondientes indicadores y los «items» relacionados con cada uno de ellos.

Los modelos de evaluación de centros utilizados en Cataluña, evaluados por Bartolomé y otros (1991), son en algunos casos un conjunto de cuestionarios de evaluación sobre distintos aspectos de los centros y su funcionamiento. Borrell (1995) referencia algunos de los apoyos instrumentales elaborados en la última década en nuestro país. El plan EVA ministerial (MEC, 1991), por ejemplo, ha desarrollado muchísimos materiales para la evaluación (encuestas, entrevistas, listados, etc.). Esteban y Bueno (1988) construyeron guías para la discusión y el autoanálisis. Como trabajos pioneros en nuestro país pueden citarse la pauta de evaluación de centros educativos de García Hoz (1975), las pautas del Servicio de Inspección Técnica de Educación de mediados de los setenta (Pérez Juste y Martínez Aragón, 1989), los cuestionarios sobre las tareas del profesor, los objetivos educativos y la dirección del centro que ofrece en su libro Isaacs (1977) y los instrumentos que presenta Ibar (1976) para evaluar el modelo económico-administrativo de un centro. Previamente, el CEDODEP (1966) había editado su escala de evaluación de centros de básica.

En un trabajo mucho más reciente sobre los instrumentos para evaluar los centros escolares de secundaria, Cardona (1995) analiza una serie de instrumentos elaborados en España, diferenciando los que tienen una perspectiva global, esto es, que intentan evaluar los diferentes aspectos del centro, de los que la tienen específica y se centran en determinados aspectos de la vida o características del centro. En este trabajo Cardona analiza su Escala de Evaluación Diagnóstica para Centros de Educación Secundaria (EED/CES).
Para finalizar haremos referencia al trabajo de Sabirón (1993) que, tras introducir su planteamiento sobre la evaluación de centros docentes, ofrece un anexo de instrumentos de evaluación españoles y extranjeros, referenciando casi una cuarentena, con mención expresa de la denominación del instrumento, autor, dimensiones evaluadas, base paradigmática y aplicación sugerida.

4. EPÍLOGO
En las páginas anteriores se recoge un análisis de buena parte de las diferentes aproximaciones modélicas, con las que la investigación evaluativa afronta la evaluación de centros educativos.
En primer lugar nos hemos detenido en aquellos enfoques que toman como criterio preferente los resultados escolares y que se entroncan, de manera clara, en la línea de investigación de las escuelas eficaces. Dentro de los modelos de este bloque, hemos visto la diversidad existente, sobre todo en función del grado de inclusión y de consideración en los mismos de las variables de carácter procesual.
El segundo gran bloque de enfoques modélicos se fundamenta en el estudio y valoración de los propios procesos internos del centro, así como en su realidad estructural y funcional. Las teorías sobre organizaciones, así como los estudios sobre clima y cultura institucionales, son la base fundamentadora de este tipo de aproximaciones a la evaluación de centros educativos.

La perspectiva de la mejora institucional es el tercer criterio de clasificacion de enfoques modélicos de evaluación que hemos utilizado, pero lo hemos hecho más por resaltar una línea muy pujante en la actualidad, que por concebir a esta perspectiva como algo diferenciado de los restantes enfoques. Ya hemos señalado que, para nosotros, la mejora como objetivo, es una condición definitoria de toda investigación evaluativa, sea cual sea el enfoque empleado. En todo caso, en esta línea deben enfatizarse los procesos de autoevaluación institucional y el complemento de las evaluaciones externas.

La última perspectiva introducida es la de la metaevaluación de los modelos utilizados por los diferentes sistemas educativos, que termina coincidiendo con la que toma el evaluador, cuando analiza los pasos y fases del proceso de evaluación y valora y se decide por una u otra de las alternativas posibles. En el artículo recogemos los resultados y las sugerencias de algunos recientes estudios metaevaluativos.

Estos últimos análisis se conectan con la presentación y discusión de algunos de los problemas metodológicos y de fundamentación más habituales en la práctica de la evaluación de centros en la actualidad. Posteriormente, se ofrecen un buen número de estrategias metodológicas favorecedoras del rigor y de la calidad de la práctica evaluadora.


Autor
Tomás Escudero Escorza
Instituto de Ciencias de la Educación
Universidad de Zaragoza
R evista ELectrónica de Investigación y EValuación Educativa // 1997 // Volumen 3 // Número 1_1
ISSN 1134-4032 // D.L. SE-1138-94
Fuente
http://www.uv.es/RELIEVE/v3n1/RELIEVEv3n1_1.htm
Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs