miércoles, 4 de marzo de 2009

Evaluación Educativa. Sobre Sentidos y Práctica

El presente trabajo se propone aportar algunas reflexiones construidas a partir de distintas experiencias de evaluación en las que he participado, realizadas desde diferentes ámbitos, ya sea que remitan a la evaluación de sistemas educativos (o subsistemas) en organismos de gobierno, como a la evaluación de instituciones o de programas educativos. Dado que siempre he formado parte de equipos (sea como integrante como en su coordinación) estas reflexiones son personales pero, a la vez, resultan de los trabajos colectivos de diseño y desarrollo de estrategias y metodologías de evaluación.

Sostenemos que un modelo de evaluación debe ser construido en y para cada sistema o subsistema educativo o proyecto. Sin embargo, la experiencia acumulada permite ofrecer aportes conceptuales y metodológicos para dicha construcción. Estos aportes recogen algunas de las discusiones tradicionales sobre el tema de la evaluación. Por otro lado, pretenden ofrecer algunas reflexiones que permitan sobrepasar cada experiencia concreta en un intento por sistematizarlas; por ello el artículo concluye con algunas orientaciones generales que pueden ser consideradas en el diseño de propuestas de evaluación.

1. ALGUNAS DEFINICIONES BÁSICAS PARA COMPARTIR
Diferentes conceptos y nociones son las que están involucradas en el proceso de evaluación. Por mencionar sólo algunos podemos enumerar los siguientes: evaluación, referente / referido, evaluación interna / externa, cualitativa / cuantitativa, etc. Si bien no pretendemos reproducir en este apartado definiciones y discusiones que pueden encontrarse en toda la literatura clásica sobre evaluación, nos proponemos dejar establecidas algunas de las nociones clave de modo de compartir sus sentidos.

1.1. Evaluación educativa
Es uno de los términos de los que, tal vez, más acepciones puedan relevarse en la bibliografía especializada en las ciencias sociales y, en particular, en educación. Sin embargo, para aproximarnos al concepto, pueden reconocerse algunas líneas comunes a varios autores.

“En primer lugar, evaluar supone efectuar una lectura orientada sobre el objeto que se evalúa, en función de la cual el evaluador se ´pronuncia sobre la realidad´. Dicho de otra manera, no existe una lectura directa de la experiencia. Hay siempre un proceso de interacción entre el evaluador y la realidad a evaluar. En ese proceso, en función de las propiedades de esa realidad, el evaluador construye el referente, es decir, aquello con relación a lo cual se va a efectuar la evaluación, aquello que le permitirá ´pronunciarse sobre la realidad´ que evalúa”. “Con respecto al producto de la evaluación, también concierne al evaluador construir los resultados de la evaluación, construir los datos, ´lo referido´ (con relación al referente)”.

En otros términos, el referente puede definirse como el conjunto de normas o de criterios que sirven de grilla de lectura del objeto a evaluar. Constituye una especie de “ideal” o de “deber ser” y hace que la evaluación implique, siempre, una lectura orientada por el marco, por la óptica, por la perspectiva de análisis privilegiada por el evaluador (ya sea éste un sujeto o un equipo). Por el contrario, lo referido está constituido por el conjunto de observables que se recortan de un objeto de evaluación y que se consideran representativos de éste. Cabe aclarar también aquí que el evaluador, durante el proceso de evaluación, toma decisiones y construye tanto el referente como lo referido. Tomar decisiones significa, entre otras muchas cuestiones, recortar, seleccionar y plantearse desde qué marcos organizar la lectura de la realidad a evaluar. Este aspecto pone en cuestión tanto la existencia de referentes universales (el evaluador siempre opta por alguna perspectiva, alguna toma de posición o algún recorte teórico en particular), como el hecho de que un programa o proyecto pueda ser evaluado en toda su complejidad (en realidad evaluamos mucho menos de lo que pretendemos, y operamos como si hubiéramos atrapado casi todo del objeto de la evaluación).

Asimismo, es interesante constatar que la puesta en relación entre el referente y lo referido puede ser abordada en dos sentidos. El primero es el más habitual: del referente a lo referido, de las expectativas a la realidad; el segundo, de lo referido al referente, de lo existente (por lo menos, de aquello que un recorte pone en evidencia) a lo deseado.

Otra cuestión importante a agregar es que la evaluación comprende tanto aspectos políticos como técnicos. Es una actividad política por naturaleza, ya que debe ser no sólo veraz sino también justa, y por supuesto requiere capacidades técnicas para poder desarrollarse.

A partir de lo afirmado hasta aquí, cabe subrayar entonces las siguientes cuestiones:
La evaluación desde la perspectiva que sostendremos debe ser entendida como un proceso de construcción de conocimiento sobre el objeto de evaluación.

Implica, en el mismo sentido, un acto de interrogación sobre aquello que se evalúa; acto de interrogación que se puede formular sobre el objeto de evaluación como sobre las propias estrategias y prácticas del evaluador.
Siempre supone algún tipo de recorte (tanto desde los referentes que se construyen, como desde los aspectos -lo referido- que se seleccionan del objeto a evaluar y que se consideran representativos de éste).

1. 2. Evaluación interna / externa
Básicamente, los términos aluden, en primera instancia, a la cuestión del origen de una iniciativa de la evaluación. Desde otras perspectivas, puede sumarse también a este primer aspecto el tema del grado de control sobre el proceso y los resultados de la evaluación y el de la participación y grado de implicación de los actores en la realización de la evaluación.

En este sentido, se trata de un binomio de términos que, en algunas ocasiones, son presentados como dilemáticos. Sin embargo, los principios y las modalidades sostenidas en modelos concretos de evaluación pueden permitir articulaciones y potenciaciones mutuas entre una y otra.

Por otra parte es conocido que una y otra modalidad presenta ventajas y desventajas, las cuales aparecen relevadas en la bibliografía especializada. Nos parece importante, sin embargo, señalar en primer lugar algunas fortalezas de la evaluación interna y luego avanzar en su articulación con la externa.

La evaluación interna o autoevaluación es el proceso de indagación y estudio de un programa, proyecto o institución, generado, organizado y gestionado por sus propios integrantes.
Con respecto a ella, podemos señalar las siguientes ventajas:
Se incrementa el conocimiento del proyecto o institución que se autoevalúa:
Se favorece la revisión y adecuación de fines y objetivos de las acciones que se realizan.
Se clarifican y dimensionan en mayor grado las fortalezas y los problemas.
Se logra una mejor organización y jerarquización de la información del proyecto.
Se incrementa la comunicación efectiva entre los actores involucrados en el proyecto.
Se fortalece la racionalidad de las decisiones.
Se promueve la capacitación interna y fortalecimiento del desarrollo profesional.
Se facilita una mayor participación y apropiación de los resultados de la evaluación porque su validez no es cuestionada por los actores implicados en ella.

Si bien es cierto que algunos de los rasgos mencionados pueden ser también adjudicados a la evaluación externa, es decir que no son exclusivos de la autoevaluación, cabe destacar que, en el caso de esta última, se potencia y fortalece la autonomía, el mejoramiento y la profesionalización de los actores de un proyecto y contribuye en gran medida a que se promuevan cambios a partir de los resultados de la evaluación. En otros términos supone un compromiso con el cambio y la innovación.

Sin embargo, también es necesario destacar, además de sus numerosas ventajas, algunas de las debilidades o problemas que presenta la autoevaluación, los cuales se encuentran estrechamente relacionados con ciertas condiciones que deben enmarcar el proceso. Esto es, en la medida en que ciertas condiciones no están presentes, los riesgos se incrementan y la autoevaluación se vuelve más compleja en relación con su factibilidad o más débil desde la perspectiva de su credibilidad. Al respecto, pueden señalarse las siguientes cuestiones:
Encierra el riesgo de que cada grupo actúe con criterios que sirvan para justificar sólo aquello que está haciendo. Es decir que puede convertirse en una autojustificación.

No siempre existen condiciones internas en cada proyecto para llevar a cabo el proceso de autoevaluación. Esto es, requiere capacidades metodológicas y técnicas instaladas en los equipos de los proyectos, tiempos y motivación para realizarla y un decidido respaldo institucional.

La instalación y diseminación de una cultura evaluativa democrática y de colaboración en proyectos e instituciones, o su carencia, es un factor importante a la hora de sostener procesos de autoevaluación. No obstante, es necesario aclarar que la instalación de una cultura evaluativa democrática implica un proceso gradual y extenso que sólo puede hacerse efectivo ... evaluando. Dicho en otros términos, puede ser considerada como un requisito o condición preexistente para la autoevaluación o como una cuestión que progresivamente se va construyendo en el proceso de evaluación de un proyecto o institución.

Para superar posiciones o planteos dilemáticos, la evaluación externa e interna puede ser pensada de modo que se articulen y complementen entre sí. Más aún, la evaluación externa puede contrarrestar algunos de los riesgos de la autoevaluación, aunque este argumento no es su única justificación.

En realidad, el acceso a la información que provee una evaluación externa sobre un proyecto o institución, especialmente cuando integra aspectos descriptivos, analíticos y reflexivos, encuentra en ellos su mejor fundamentación. Se suma que algunas evaluaciones tienen por propósito central capturar algunas dimensiones de microsistemas, lo que hace inviable (o por lo menos muy dificultoso) el abordaje desde procesos de autoevaluación.

Otra de las ventajas que generalmente se le asigna a la evaluación externa se vincula con el hecho de que es realizada por profesionales con mayor grado de independencia o, lo que es lo mismo, menor grado de implicación que los actores involucrados directamente en los proyectos y en la acción. Mayor grado de independencia significa, centralmente, que sólo tienen menos intereses comprometidos con los resultados de la evaluación; esto no significa mayor grado de objetividad (la que puede lograrse tanto en la autoevaluación como en la evaluación externa mediante ciertos cuidados y recaudos metodológicos).

Cuando las prácticas evaluativas articulan la mirada y el análisis externo, esta combinación permite aumentar la credibilidad y contribuir a que se tome conciencia de los problemas en los que no se ha reparado. Incluso aparece en la bibliografía especializada bajo la figura del “agente provocador” o “amigo crítico”, términos que dejan claramente planteada la idea de una interlocución crítica y reflexiva que puede potenciar aún más las ventajas de la autoevaluación.

1.3. Enfoque cualitativo / cuantitativo
Estos términos aluden también a paradigmas y concepciones sobre la evaluación que han tenido un extenso tratamiento en la bibliografía especializada. En muchas ocasiones las concepciones se han presentado de modo fragmentado y polarizado y, en el extremo, como planteos dilemáticos (de modo similar a lo que ha ocurrido con los aspectos tratados en el punto anterior).

No es objetivo de este artículo rastrear el conjunto de las discusiones sobre el tema, que remiten tanto a cuestiones metodológicas como a las concepciones epistemológicas que las sustentan . Sin embargo, conviene recordar que algunas de las discusiones que enfrentan y atraviesan uno y otro enfoque (como por ejemplo, la relación entre paradigma y método; la oposición subjetividad / objetividad como patrimonio de uno u otro; la relación entre validez y confiabilidad en cada uno de los métodos; el énfasis en el proceso o en los resultados; el carácter exploratorio e inductivo en un caso y confirmatorio y deductivo en otro; la posibilidad de establecer generalizaciones; la relación con el contexto de descubrimiento o de verificación; etc.) deben, y más aún en el caso de la investigación evaluativa, ser analizadas a la luz de una nueva reconceptualización del debate que las sustenta.

Al respecto, los autores ya citados afirman que “de hecho, todos los atributos que se asignan a los paradigmas son lógicamente independientes. Del mismo modo que los métodos no se hallan ligados lógicamente a ninguno de los atributos de los paradigmas, los propios atributos no se encuentran lógicamente ligados entre sí... Baste con decir que no existe nada, excepto quizá la tradición, que impida al investigador mezclar y acomodar los atributos de los dos paradigmas para lograr la combinación que resulte más adecuada al problema de la investigación y al medio con que se cuenta”. Más adelante, avanzan aún más en sus planteos al afirmar: “Parece entonces que no existe tampoco razón para elegir entre métodos cualitativos y cuantitativos. Los evaluadores obrarán sabiamente si emplean cualesquiera métodos que resulten más adecuados a las necesidades de su investigación, sin atender a las afiliaciones tradicionales de los métodos” .

En el mismo sentido que venimos afirmando la importancia de la complementación de estos enfoques, es necesario recordar algunas de las ventajas potenciales sobre el empleo y la articulación de ambas metodologías. Son básicamente tres. En primer lugar, dado que la investigación evaluativa generalmente tiene múltiples propósitos, éstos deben ser atendidos con referencia a una variedad de métodos. Esto supone, en otros términos, atender tanto al proceso como a los resultados y considerar, en muchos casos de manera simultánea, los objetivos vinculados con la comprobación, la valoración del impacto y la búsqueda de explicaciones sobre los aspectos evaluados.

En segundo término, la utilización de manera articulada de ambos métodos puede contribuir a una potenciación mutua. Esto implica que uno no puede sustituir al otro, dado que aportan formas diferentes de abordar y develar el objeto de evaluación y que, en consecuencia, requieren su complementariedad. Si bien, cabe aclarar, no se trata de pensar que ésta resulta de una simple sumatoria sino, por el contrario, que implica atender a los problemas que resultan de su articulación.

Por último, dado que no hay método que no presente problemas, dificultades o inconvenientes, la tercera ventaja que ofrece la articulación de ambos enfoques es la de posibilitar la triangulación de métodos que permitan disminuir los sesgos propios a cada uno de ellos.

Así como consignamos algunas de las ventajas posibles del uso conjunto de ambos enfoques, también es necesario dejar planteados algunos de los inconvenientes que éste presenta. En primer lugar, la disponibilidad de recursos y tiempo que éstos exigen y, en segundo término, la formación metodológica y técnica requerida para sostener la combinación de ambos.

De cualquier manera, más allá de las objeciones que puedan realizarse a la utilización conjunta de estos enfoques, la cuestión principal a considerar es la selección de los métodos más apropiados en función del o de los problemas de evaluación que se hayan formulado en el diseño de este proceso.

1.4. El sentido de la evaluación
Las preguntas por el sentido pueden (y deben) formularse en relación con cualquier actividad, pero se vuelven aún más relevantes en el caso particular de la acción educativa.

Por ello, en el caso particular de la evaluación, también son centrales las preguntas por su sentido, que reenvían a su vez a una interrogación tanto por su concepción y metodología como por sus efectos.

En la evaluación de programas y proyectos, las decisiones metodológicas no están sólo guiadas por una racionalidad técnica. Aún más, “una teoría de la evaluación debe ser tanto una teoría de la interacción política como una teoría del modo de construir el conocimiento” . En esta línea, toda propuesta de evaluación remite, explícita o implícitamente, a posiciones teóricas y no sólo metodológicas, involucra cuestiones vinculadas con las relaciones de poder y produce afirmaciones políticas que tienen efectos políticos (sobre políticas, programas e instituciones concretas).

Las preguntas que orientan una evaluación son relevantes para guiar el proceso y pueden además tener por finalidad el incremento de la autoreflexividad de los equipos responsables de un diseño de evaluación. La indagación sobre el conocimiento práctico puesto en juego en el desarrollo de experiencias evaluativas involucra a los actores implicados, en mayor o menor medida, en las diferentes acciones que supone una evaluación.
En este sentido, la evaluación implica decisiones colectivas y situaciones de negociación; remite a situaciones en donde el quehacer y la acción se vuelven públicos y pueden ser motivo de discusión pública.

Por otra parte, entendemos que siempre la evaluación supone considerar “objetos” singulares; de este aspecto se deriva la necesidad de contextualizar las orientaciones metodológicas en relación con los objetivos priorizados en un diseño y las características propias de lo que se recorta como objeto de la evaluación.

2. ALGUNOS LINEAMIENTOS Y CRITERIOS GENERALES PARA ORIENTAR PROCESOS DE EVALAUACIÓN
No obstante el reconocimiento de la singularidad de cada experiencia de evaluación, algunos lineamientos generales pueden resultar pertinentes para orientar cada proceso evaluativo y el modelo que se construya para tal fin. Los lineamientos y las orientaciones metodológicas que aquí se presentan son sólo guías generales para la acción y no pretenden uniformar la evaluación en formatos únicos. Las orientaciones generales pueden permitir enriquecer las propuestas y promover las reflexiones sobre los supuestos (no siempre explícitos) que fundamentan decisiones metodológicas así como anticipar problemas o sistematizar dificultades encontradas en distintas iniciativas de evaluación.

Sin pretender agotar en la enumeración el conjunto de aspectos que pueden contemplarse en un proceso de evaluación, algunos lineamientos y criterios generales que creemos más significativos son:
Asegurar que se presente una visión representativa de aquello que se pretende evaluar, aun cuando la evaluación implica siempre un recorte de las acciones realizadas.

Éste constituye un aspecto central a considerar en el diseño de toda evaluación, porque una de las tentaciones más grandes es la pretensión de querer evaluarlo “todo”. En consecuencia, la definición de las preguntas clave que orientan el diseño de evaluación, constituye el hilo que permite marcar el límite pertinente del recorte.
Incorporar, además de la evaluación de resultados, una mirada sobre el contexto del objeto de evaluación y una perspectiva procesual e histórica de éste.

La evaluación supone el abordaje de objetos complejos, ya sea por la diversidad de objetivos y efectos que se pretenden valorar, como por las múltiples dimensiones que siempre conlleva el análisis de un sistema o proyecto educativo. En consecuencia, incluir una aproximación al contexto así como la consideración de una perspectiva procesual e histórica, cuando ésta es factible, permiten una comprensión más integral de los procesos educativos. Ambas cuestiones posibilitan poner en perspectiva la evaluación que se realice de cada sistema o proyecto, analizar tendencias y, de este modo, enmarcar los resultados obtenidos.

Dar cuenta de logros y dificultades en la evaluación de sistemas y proyectos.
Si bien puede ser considerado de “sentido común”, esta cuestión apunta a subrayar la relación entre la evaluación y la determinación del valor de un sistema o proyecto (hacia los actores clave comprometidos en el proyecto y hacia otras audiencias o destinatarios). Desde nuestra perspectiva, se articula con la necesidad de ofrecer no sólo una mirada descriptiva, sino fundamentalmente analítica, interpretativa y valorativa. En ese último caso, resaltar los logros (además de señalar las dificultades) permite evitar efectos desmoralizadores en los actores implicados en la evaluación.
Estar al servicio de la producción de conocimiento sobre los procesos y resultados educativos, por un lado, y del aprendizaje de los actores involucrados en éstos, por el otro.

La evaluación debería, desmarcándose de significaciones que la aproximan al control, contribuir a la producción de conocimiento en temáticas clave de la dinámica y procesos educativos. En ese sentido, la evaluación permite no sólo la sistematización de experiencias y su conceptualización, sino que puede contribuir a desarrollar instancias de reflexión sobre el conjunto de factores y dimensiones implicadas en los procesos educativos y sobre las responsabilidades compartidas por parte de los distintos actores involucrados en ellos. En consecuencia, los procesos de negociación de significado entre dichos actores ocupan un lugar central en el desarrollo de toda propuesta de evaluación.

Asegurar una evaluación válida y confiable.
Una de las cuestiones centrales en este punto se relaciona con el hecho de llevar a cabo un proceso de evaluación que permita construir juicios fundados, elaborados en el marco de un proceso sistemático. Este punto marca la frontera entre una evaluación informal, de aquella que toma en consideración recaudos metodológicos y técnicos para asegurar la construcción de juicios caracterizados por su validez y confiabilidad.

Contemplar los distintos destinatarios, o las diferentes audiencias, de la evaluación: los actores, organismos e instituciones involucrados.
Las preguntas sobre el “para qué” y el “por qué”, cuya formulación es imprescindible en todo proceso de evaluación, remiten en parte a los diferentes destinatarios o audiencias. Más que una referencia a producciones específicas elaboradas para cada audiencia (atendiendo a perfiles diferenciados y a las formas de presentar los resultados obtenidos según el uso de la información) nos interesa llamar la atención sobre la consideración de los diversos intereses y puntos de vista presentes en toda evaluación, que remiten a los diversos sentidos que están en juego en toda evaluación que se realiza.

3. A MODO DE CIERRE
Tanto las discusiones sobre temáticas de la evaluación que en ocasiones se presentan como dilemáticas como los lineamientos presentados no pretenden agotar el conjunto de abordajes que puede realizarse sobre un campo tan amplio como es el de la evaluación educativa. Por ello, nuestra línea de argumentación se orienta a promover la reflexión sobre el sentido de las prácticas evaluativas.

Por otra parte, si la evaluación produce conocimiento sobre una realidad determinada, su propósito no debe circunscribirse a pronunciarse sobre ella, sino que también debe pretender ofrecer indicios para mejorar aquellos aspectos que resultan problemáticos. Para ello, el tema de la construcción de confianza sobre la evaluación (es decir sobre las metodologías que diseña, los actores involucrados, el modo de producir los juicios evaluativos fundados en la evidencia, etc.) resulta clave a la hora de orientar la mejora educativa. Confianza que involucra a distintos actores: aquellos de máxima responsabilidad en la definición de las políticas educativas, los docentes que necesariamente estarán implicados en las estrategias de mejora que se desarrollen, la comunidad educativa en sentido amplio y otros actores sociales preocupados por los temas centrales de una agenda educativa.
Por último, el apoyo político es clave para producir avances o desarrollar nuevas metodologías en materia de evaluación, porque es un área sensible cuyos resultados producen efectos tanto en el sistema educativo como en la sociedad. Por ello, tal como se afirmó anteriormente es fundamental no perder de vista las dimensiones políticas y a la vez técnicas inherentes a toda evaluación educativa.


Autora
Margarita Poggi

Recuperado de
http://rinace.net/riee/numeros
El 1 de febrero de 2009

No hay comentarios:

Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs