Los abusos de las Evaluaciones

Las instituciones educativas deben ser evaluadas, como parte de un proceso continuo de búsqueda de mejoras. Es evidente que, como toda herramienta, su utilidad depende de la forma en que se la use. En el siguiente texto, Miguel Ángel Guerra alerta sobre los posibles abusos de las evaluaciones.

   

Los abusos de la Evaluación

Se insiste mucho en la necesidad e importancia de la evaluación. Si bien se mira, resulta lógico preguntarse por los resultados de los programas y acciones que ponen en marcha con pretensiones educativas. La evaluación es una parte intrínseca de acción racional, no un complemento o un añadido. Si se ha tenido alguna pretensión resulta coherente preguntarse por el resultado de la misma.

Poner en marcha procesos de evaluación resulta, pues, necesario para saber como se está trabajando: si se cumplen las previsiones, con qué ritmo, a qué precio, con qué efectos secundarios. La evaluación es un quehacer imprescindible para conocer y mejorar lo que se hace. No basta poner en funcionamiento programas y acciones excelentemente concebidos. Papagiannis nos llama la atención al respecto en un excelente artículo sobre innovación educativa. En él dice que muchas reformas emprendidas para favorecer al los más desfavorecidos acaban convirtiéndose en reformas que favorecen a los más beneficiados. No basta, pues, planificar inteligentemente ni actuar con buena intención. Es preciso analizar lo que sucede con el desarrollo del plan y con la incidencia de los imprevistos sobre el mismo.

Importa mucho la concepción que de la evaluación se tenga. De ella dependerá, obviamente, la evaluación que se haga. Hay realidades educativas de extrema complejidad que no pueden ser abordadas por procedimientos simplificados. Unos métodos estereotipados no pueden recoger la riqueza de la actividad educativa. De ahí la conveniencia de que la evaluación sea realizada mediante métodos diversos, adaptables y sensibles a la complejidad.

Siendo importantes las dos cuestiones que planteábamos (necesidad y naturaleza de la evaluación), aquí quiero prestar atención a los problemas que plantean su utilización abusiva. Supongamos que se trata de una evaluación bien planteada, perfectamente realizada y que ha desembocado en un informe rico y riguroso. ¿Quién garantiza que los resultados de la evaluación no sean utilizados de forma arbitraria, sesgada o tramposa? La utilización que se haga de ella convierte a la evaluación en un mecanismo inútil y puede ser perjudicial. En ese caso, más valdría que no hubiese realizado la evolución.

Nos estamos refiriendo a una evaluación de carácter externo, encargado por un patrocinador, sean con el mero consentimiento o bien con la acepción entusiasta de los responsables y protagonistas de la experiencia.

Ahora que esta tratando de poner en marcha Instituciones de Evaluación, importa mucho que existan las garantías necesarias de que van a estar al servicio de la comunidad educativa y de la sociedad y no sólo el servicio del poder. Los Institutos de Evaluación pueden convertirse fácilmente en agencias de control y de publicidad. La evaluación realizada por expertos se convertiría así en un instrumento de dominación y de engaño.

Pueden cometer los abusos tanto los patrocinadores de la evaluación como los responsables del programa o las mismas personas evaluadoras. Cada uno de estos testamentos tendrá que hacer frente a dificultades peculiares para evitarlos y mantenerse en situación de alerta para que los otros no hagan trampas. Si se prefiere lo plantearé de forma positiva: cada uno ha de procurar poner la evaluación al servicio de los valores y ayudar a que los otros también lo hagan.

ALGUNOS (AB)USOS DE LA EVALUACIÓN.

Los abusos de la evaluación son de diferente naturaleza, pero todos de gran importancia. Unos están enraizados en la intención de las decisiones de supuesta en marcha, otros en la interpretación de sus resultados y algunos en la utilización de los mismos por parte del evaluador o de los patrocinadores.

Esta utilización dolosa no se produce solamente al finalizar la evaluación sino que puede presentarse en cualquier momento de la misma, en el proceso de la decisión, de la negociación y del desarrollo de la misma. Veamos, someramente, algunos de los posibles abusos.

1. Convertir la evaluación en un elogio a que la patrocina o la realiza.

El hecho de proclamar que se están haciendo evaluaciones es para algunos patrocinadores suficiente. Lo importante no es la evaluación sino decir que se hace la evaluación. De hecho, puede quedar sin ningún efecto todo lo que en ella se descubra, sobre todo si es de signo negativo.

Si, además, se ha encargado a personas de reconocido prestigio, la rentabilidad política de la evaluación será máxima. No importa mucho lo que la evaluación descubra sino decir a voz en grito que se ha destinado a mucho dinero a evaluar, que se ha encargado la evaluación a los mejores expertos y que se ha tenido el valor de someter al ojo escrutador de valoradores externos una experiencia educativa.

Algunas veces se dice que se hace evaluación cuando lo que realmente se ha puesto en marcha es un simulacro absurdo de la misma. Pienso en muchos cursos de formación en los que, al final, se reparte una hoja con cuatro preguntas a los asistentes. Unas preguntas a los que los asistentes responden de prisa y corriendo situando cuatro cruces en los lugares respectivos. Se ha hecho la evaluación. No importan quienes contestan, para qué lo hacen, qué quiere decir lo que dicen ni quiénes leen las contestaciones. Si solamente sirviese para satisfacer una ridícula curiosidad sobre la escala de puntuaciones obtenidas por los ponentes,

¿Podría decirse que se ha llevado a cabo la evaluación? Lo que está claro es que a los ponentes no les va a permitir aprender nada ni mejorar su práctica, ya que muchas veces ni siquiera tienen acceso a las calificaciones.

2. Elegir sesgadamente para la evaluación algunas parcelas o experiencias que favorezcan una realidad o una visión sobre la misma.

Elegir como objeto de evaluación una experiencia modélica con el fin de presentarla como prototipo y representación de toda la realidad es un modo de poner la evaluación al servicio de intereses bastardos.

La generalización de los resultados hace engañosa la realidad ante aquellos que sólo conocen una parte de la misma. Este peligro aumenta dada la casi siempre fragmentaría y unilateral elección de las parcelas de evaluación. Valorar los cursos de formación deja de lado la política general de formación, por ejemplo.

La evaluación es casi siempre de carácter descendente. Los que están en la cúspide de la jerarquía encargan evaluaciones sobre los que están por debajo de ese estrato. Y así sucesivamente, hasta llegar a la base, que es siempre evaluada y no eficazmente evaluadora. Digo ineficazmente en el sentido de que esa evaluación no surgen decisiones.

3. Hacer una evaluación de diferentes naturaleza y rigor para realidades igualmente importantes.

Hacer evaluaciones de diferentes tipo para experiencias de gran trascendencia revierte en la valoración de esas actividades por parte de quienes las realizan y de quienes han de beneficiarse de ellas, en realidad la evaluación no es mas que un reflejo de la importancia que la dan quienes deciden ponerla en funcionamiento de ese modo.

Me serviré de un ejemplo. En la enseñanza universitaria se evaluó la docencia dando como positiva la que se había realizado en cinco años. Incluso aquellos que ni siquiera habían estado en las aulas fueron evaluados positivamente. La investigación, por contra, se evaluó mediante tribunales nacionales y su resultado fueron muy diversos.

La conclusión para el profesorado fue que no era rentable académicamente dedicarse a la docencia. Era mucho más eficaz atender la investigación, las publicaciones y artículos hacer posibles en revistas de carácter internacional.

¿Qué beneficio reportaba dedicarse a una actividad a la que se daba tan poca importancia?

4. Convertir la evaluación en un instrumento de dominación, control y opresión.

Es importantísimo reflexionar sobre los valores al servicio de los cuales se pone la evaluación. Un proceso de reflexión que acabe potenciando los mecanismos del control y de dominación, sería poco deseable desde un punto de vista ético.

No está garantizado que, incluso con la buena voluntad de quien realiza o encarga la evaluación suceda de este modo. De ahí la necesidad del control democrático de la evaluación y de sus resultados.

Nadie tiene la patente de la interpretación y de la definición de lo que ha de considerarse como valor. Todos podemos y debemos participar en el debate que sobre este aspecto ha de promover la evaluación.

5. Poner la evaluación al servicio de quienes más tiene o más pueden.

Quien tiene o puede es capaz de encargar, promover o realizar evaluaciones. Los que reciben tienen también una parte de poder, pero hay quienes ni siquiera reciben ese beneficio. De ahí la importancia y la necesidad de que la evaluación tenga en cuenta la voz y los intereses de quienes no reciben el beneficio de los programas. El evaluador debe hacerse eco de su voz.

Un servicio que funciona de forma extraordinariamente positiva, que es evaluado para que pueda mejorar su eficacia, su eficiencia y su efectividad, podría ser considerado nefasto desde el punto de vista de su valor social ya que podría ser un privilegio que solo disfrutan injustamente los que menos lo necesitan.

No sólo es cuestión de enfoques y de actitudes. Es también cuestión económica. Destinar bienes que favorezcan a los más favorecidos del sistema tanto en los programas como en la evaluación de los mismos, ha de ser tenido en cuenta en la metaevaluación.

6. Atribuir los resultados a causas más o menos supuestas a través de procesos atributivos arbitrarios.

Si los asistentes a un curso valoran positivamente la sesiones alguien puede suponer que es debido a que eran excesivamente entretenidas, pero poco profundas o sibilinamente halagadoras para la audiencia. Si las valoran negativamente el interesado puede pensar que se debe a que los asistentes tenían una preparación insuficiente o una escasa motivación.

Lógicamente, quiénes interpretan pueden ser los evaluados o los patrocinadores o, mas en general las audiencias a las que llegan los resultados de la evaluación.

Las interpretaciones sesgadas son mas frecuentes en los resultados de la evaluación cuantitativa, ya que en el carácter cualitativo están mas matizadas las opiniones y mas elaborados los procesos.

7. Encargar la evaluación a equipos o personas sin independencia o valor para decir la verdad.

Encargar la evaluación a equipos que no gozan de independencia real (ética, política, económica...) supone ya de antemano, conseguir unos resultados favorables.

Esta domesticación de la evaluación al servicio de los intereses del patrocinador se hace mas grave cuando se realiza a través de fondos públicos.

El poder, sensible a la crítica evita de un modo sutil unos resultados adversos. Se podrá incluso apoyar en la evaluación para potenciar su prestigio. No se aclaman ellos mismos, ya que hacerlo resultaría inadmisible, sino que consiguen unos aplausos aparentemente nacidos de la objetividad de la ciencia.

Esa dependencia operará sobre el modo de hacer la evaluación, pobre la claridad y la naturaleza de contenido del informe, sobre la fuerza de la negociación y sobre la actitud que puede ser silenciosa o beligerante, en el caso de la manipulación de los resultados.

8. Silenciar los resultados de la evaluación respecto a los evaluados o a otras audiencias.

La evaluación sobre todo la que se ha realizado con fondos públicos, no ha de convertirse en un privilegiado acceso del poder al conocimiento de la realidad. No solo los evaluados tienen derecho a conocer los informes. Todos los ciudadanos interesados en la cuestión han de tener acceso a ese conocimiento. En primer lugar como un modo de llegar a la realidad. En segundo lugar como una manera de control a las decisiones. Si diversas audiencias conocen los resultados de la evaluación, no será tan fácil atribuir caprichosamente a ellos cualquier tipo de decisiones. Los ciudadanos podrán salir al paso de esas decisiones y decir: “No, no el lo que racionalmente se deriva de la evaluación”.

Los informes han de ser plataformas abiertas de comprensión y discusión para todos los interesados. De ese modo la evaluación se convierte en un excelente medio de diálogo, de comprensión y de mejora de los programas.

Esconder los informes, hurtados a la mirada de los mismos evaluados y, también, de los ciudadanos que tienen el derecho y el deber de preocuparse por la mejora de la sociedad, es un modo de inutilizar y envilecer la evaluación. Es cierto que esta difusión de los informes ha de tener en cuenta el derecho de los evaluados y de los informantes al anonimato y a la privacidad de su comportamiento y de su opinión. Estas exigencias han de hacerse compatibles con la publicación de los informes.

9. Seleccionar aquellos aspectos que permiten tomar decisiones que apoyan las iniciativas, ideas o planteamientos del poder.

La evaluación es fácilmente manipulable. Se puede fácilmente resumir, seleccionar e hipertrofiar aquel o aquellos aspectos que tienen un especial interés para el poder.

Si los informes no están en manos de los interesados y del público la falsedad de estos resúmenes, de esta selecciones, de estas hipertrofias no puede ser conocida, cuanto menos criticada y denunciada.

10. Hacer públicas sólo aquellas partes del informe que tienen un carácter halagador.

Los informes de la evaluación, también aquellos informes parciales o condensados, que llegan a la opinión pública deben ser realizados por los evaluadores. Si los resúmenes los hace el poder es fácil que aparezcan sesgados por intereses o expectativas de carácter particular.

Una evaluación con un informe cercano a las mil páginas fue resumida por un político con la expresión siguiente: “Un equipo de expertos ha realizado la evaluación...; en ella se han obtenido excelentes resultados”. Es asombrosa la capacidad de síntesis e imperdonable el abuso de una exploración larga y costosa “ Excelentes resultados” es una expresión cargada de confusión: a qué tipo de resultados hace referencia, para quienes han de considerarse positivos, quiénes son los que así lo valoran, qué costo personal y económico han supuesto...

Pero, como es fácil supones, en un informe tan voluminoso se decían muchas más cosas. Algunas poco gratas para el poder.

11.- Descalificar la evaluación achacándole falta de rigor si los resultados no interesan.

Existe otro modo de hacer inútil la evaluación. Es descalificarla en cuanto a su rigor en el caso de que sus resultados no sean los deseables.

En el caso de la evaluación cualitativa, por muchos motivos vulnerables, es,más fácil la descalificación científica. Se dirá que se eligieron sesgadamente los informantes, que el evaluador ha interpretado erróneamente los datos, que no sea reflejado fácilmente la realidad...

Si la evaluación es de carácter cuantitativo se dirá que la muestra no es representativa, que no se aplicaron bien las pruebas, que hay errores de baremación...

12.- Dar por buenos los resultados de la evaluación a pesar de su falta de rigor, cuando esto es lo que interesa.

También se da el abuso de orden inverso. Dar por buenos los resultados de una evaluación realizada de cualquier manera cuando los resultados son favorables. Una evaluación apresurada, sin aplicación de métodos diversificados con una interpretación descaradamente arbitraria, puede darse por buena por el interés que el patrocinador ó los responsables tienen en los resultados obtenidos.

13.- Utilizar los resultados para tomar decisiones clara ó subrepticiamente injustas.

La evaluación puede ser utilizada, incluso de manera intencional y planificada, para tomar decisiones que los responsables políticos no se atreven a tomar sin el apoyo externo de los informes de evaluación que han elaborado los expertos. La explicación que se ofrece al público es del siguiente tipo: “no es una decisión caprichosa ni interesada. Los expertos en los informes de la evaluación han aconsejado que se tomen estas decisiones”. La evaluación se concierte así en una palangana donde lavarse impunemente las manos.

14.- Aprovechar la evaluación para hacer falsas comparaciones entre lo que es realmente incomparable.

Algunas de las evaluaciones pretenden comparar realidades y experiencias que son incomparables. Una evaluación estandarizada ofrece la comparación de los resultados como si las condiciones previas fuesen idénticas. En realidad no han existido los mismos medios ni las mismas condiciones. Es más, los sujetos no han tenido la misma comparación algunos centros se han comparado las evaluaciones con las de otros centros sin advertir a los intérpretes que los alumnos ya estaban seleccionados previamente, que han contado con muchos mas medios y que las expectativas de los alumnos y sobre los alumnos han sido incomparablemente mejores.

La evaluación, en este caso, se convierte en un clasificador injusto de las personas y de las experiencias. El aparente rigor de los números y de las estadísticas conlleva un engaño añadido. Los centros ó las experiencias jerarquizan a través de unos indicadores cuantificados que desvirtúan la complejidad de la realidad y que dan por idénticos los contextos y las condiciones que no lo son.

15.- Atribuir los malos resultados no al desarrollo del programa sino a la torpeza, la pereza o la mala preparación o voluntad de los usuarios del mismo.

Explicar los resultados atribuyendo a los demás las causas de los fracasos hace que nada cambie después de las evaluaciones. Los responsable achacan la ineficacia a la escasa preparación y esfuerzo de los usuarios, estos a las malas condiciones e insuficientes medios del programa, los políticos a los defectos y falta de responsabilidad de unos y otros.

Las acusaciones mutuas perpetúan el statu quo y hacen inútil la evaluación. Esto sucede especialmente en las evaluaciones de carácter cuantitativo en las que no se dan explicaciones ni se hacen valoraciones de los procesos.

Cuando se hace solamente una medición de resultados conseguidos con el programa y no un análisis de todo el funcionamiento, se corre el peligro de que las interpretaciones posteriores no lleven a la reflexión y al cambio. Un programa puede fallar por el momento en que se ha puesto en marcha, por su mal diseño, por la insuficiente preparación y dedicación de los organizadores, por la escasez de los medios disponibles... Si no se tienen en cuenta todos los elementos a la hora de evaluar es fácil llegar a conclusiones distorsionadas.

ALGUNAS PISTAS PARA EVITAR LOS ABUSOS

Asegurar la independencia de los evaluadores es un medio de evitar los abusos de la evaluación. Esta independencia tiene componentes económicos, políticos y, por supuesto, éticos. Si los equipos de evaluación han de sobrevivir de los trabajos que realizan será más fácil que se acomoden a las exigencias de los patrocinadores y será casi inevitable que pongan las evaluaciones al servicio de quien tiene el poder del dinero o el dinero del poder. La evaluación tiene un carácter político aunque parezca superficialmente como una actividad de carácter técnico. Los evaluadores difícilmente se consideran a si mismos como figuras políticas, sin embargo, su trabajo se puede considerar como inherentemente político, dice Barry McDonald. Consiguientemente, la evaluación tiene un fuerte componente ético, porque tiene mucho que ver con el valor de los programas y con el servicio a la comunidad social.

Con equipos dependientes del poder será difícil que haya garantías de libertad. La domesticación de los evaluadores es el principal escollo para la eficacia.

La elección de quipos que tengan una fuerte adhesión a valores sociales facilitará la realización de la evaluación desde perspectivas socialmente enriquecedoras.

Los valuadores negociarán con el patrocinador los principios que garanticen, hasta el punto en que se pueda, una utilización positiva de la evaluación.

Una de estas condiciones o principios será el difundir el informe o un resumen del mismo entre los usuarios y otras audiencias. De este modo no será fácil que el poder utilice caprichosa o tendenciosamente los resultados de la evaluación.

Someter las evaluaciones a procesos de metaevaluaciones es un mecanismo importante de control. Desde este análisis de las evaluaciones se podrá opinar si se han elegido parcelas de forma tendenciosa, si el momento es adecuado o está determinado por intereses espurios, si se ha destinado el dinero a las evaluaciones con buenos criterios, si se han elegido los equipos de evaluación con exigencias rigurosas o más bien partidistas, si se han negociado los informes de forma seria y exigente, si se han tomado las medidas oportunas una vez examinadas las conclusiones, si se han puesto las decisiones al servicio de los más necesitados o, por el contrario, al de quienes ya tenían lo suficiente.

La transparencia de los procesos en todas sus fases (decisión), elección, negociación.) es un elemento imprescindible para garantizar el buen uso de la evaluación.

Si la iniciativa de la evaluación parte del grupo de responsables y usuarios que tienen participación en el programa, será más fácil garantizar el buen uso de la evaluación. Sería más complejo alterar el proceso, manipular los resultados, mal interpretar los datos y hacer un mal uso de las conclusiones. Todo el proceso (decisión, negociación inicial, negociación interactiva, exploración, negociación del informe final, toma de decisiones...) estaría controlado por la participación democrática del grupo.

Estas cuestiones se enraízan en La ética de la evaluación. Una cuestión frecuente e

inexplicablemente olvidado o postergada. No basta hacer evaluaciones. No basta siquiera hacerlas bien. Es preciso saber al saber al servicio de qué valores y de que personas se ponen.

Extraído de

LA EVALUACIÓN: UN PROCESO DE DIÁLOGO, COMPRENSIÓN Y MEJORA

MIGUEL A. SANTOS GUERRA

Capítulo III, Los (ab)usos de la evaluación.

Miguel Ángel Santos Guerra

Doctor en Ciencias de la Educación.

Diplomado en Psicología.

Catedrático de Didáctica y Organización Escolar.

Autor y Director de libros, colecciones, revistas y publicaciones de libros sobre educación.

Miembro de la Comisión Asesora para la evaluación del sistema educativo de la

Junta de Andalucía.