El metaevaluador se dirige a los evaluadores, pero también
al patrocinador y a las diversas audiencias de la evaluación. Es
importante elegir cuidadosamente al metaevaluador, ya que su independencia así
como las garantías de independencia que ofrece, son el fundamento de un trabajo
riguroso.
Puede elegirse a una persona afín al paradigma de la
evaluación realizada o bien a alguien que se halle situado en posiciones
diferentes. Tendría dudosa eficacia elegir a alguien poco sensible al modelo de
evaluación con el que se ha trabajado. La elección puede realizarla el
patrocinador en connivencia con los evaluadores o bien alguna de estas partes
de forma independiente.
Es obvio que el metaevaluador realizará el trabajo desde la
óptica de su peculiar visión de lo que ha ser un proceso de evaluación. Debería
explicitar en su informe cuáles son los presupuestos de los que par te. Además,
ha de disponer de toda la documentación escrita de la evaluación: documentos de
negociación, informes, cuadernos de campo, etcétera. Y puede entrevistar a las
personas que hayan participado en la evaluación.
Conviene tener en cuenta que la evaluación es todo el
proceso, no únicamente el informe final. Por eso es necesario seguir las pistas
de revisión disponibles. O, mejor aún, comenzar el proceso de metaevaluación de
forma paralela a la evaluación misma. El metaevaluador hace juicios, pero
también plantea sugerencias y preguntas. Ese tipo de enfoque ayuda a los
evaluadores tanto descubrir las limitaciones como a mejorar su trabajo; pone un
espejo para que los evaluadores puedan ver con más precisión cuál ha sido su
manera de proceder. Mediante ese espejo –que el metaevaluador (dada su
condición de independiente y dado el tiempo de que dispone para hacer el
trabajo) coloca de forma precisa– el evaluador puede verse de manera más
rigurosa.
Opinión de los
protagonistas
Los protagonistas de la evaluación tienen las claves del
proceso. Saben si se han respetado las reglas, conocen cómo se han aplicado los
métodos, quiénes han sido los agentes de la negociación de los informes,
etcétera. Recabar por escrito o verbalmente su opinión sobre el proceso de
evaluación es un modo excelente de comprobar el rigor y pueden realizarlas no
sólo los evaluados sino también los evaluadores. Unos y otros contrastan esas
opiniones que en algún caso se publican como complemento del informe. Las
opiniones y las actitudes de los protagonistas pueden modificarse a lo largo
del proceso de evaluación. Es interesante saber cómo y por qué se ha producido
ese cambio.
Para que las opiniones sean sinceras es preciso crear un
clima de libertad en el que se puede expresar sin ambages lo que se piensa. De
lo contrario, no tendrán ningún valor o, lo que es peor, ofrecerán pistas
falsas de análisis. Los protagonistas pueden plantear cuestiones relativas al
proceso, al rigor de la aplicación de los métodos y de la utilización de los
datos y, también, sobre los aprendizajes realizados.
No conviene distanciar mucho esta exploración a los
protagonistas de la realización de la evaluación, si es que se efectúa una vez
terminada. Digo esto porque la separación en el tiempo hace olvidar
selectivamente partes de lo que ha sucedido. Pueden recabar esta opinión no
sólo los evaluadores sino otras personas que tengan independencia respecto del
proceso realizado. Ese hecho ofrecerá mayores garantías de sinceridad y, por
consiguiente, de rigor.
Indicadores
confirmados
Aunque cualquier experiencia, programa, institución o
actividad de carácter educativo son diferentes a otros, existen hallazgos de la
investigación que pueden ser vir de referentes para el contraste. Lo cual no
significa que, si los resultados de una evaluación difieren de lo previamente
descubierto, haya de considerarse ésta poco rigurosa. Puede ser vir para avivar
la reflexión y revisar de forma concienzuda todo el proceso.
En relación con el soporte sobre el cuál establecer los
juicios de valor, algunos autores recomiendan la utilización de indicadores de
rendimiento. Entienden por tales, los datos empíricos –ya sean cuantitativos o
cualitativos– recogidos de forma sistemática en relación con ciertas metas o
procesos que nos permiten estimar la productividad y/o funcionalidad de un
sistema. El procedimiento de los indicadores trata de dar sistematicidad a la
recolección y credibilidad a los resultados. La formulación de los indicadores
encierra una gran dificultad pero, sobre todo, el problema reside en el
establecimiento de una doble correspondencia: la que se pretende conseguir
entre los indicadores y los programas y la que su atribuye al programa concreto
con los indicadores formulados.
Si se tiene en cuenta que cada programa es único e
irrepetible, será difícil establecer algunos indicadores genéricos. La
evaluación de los programas a través de la comprobación de los objetivos o la
consecución de indicadores deja al margen preguntas de gran calado: ¿Y si los
objetivos estaban mal planteados? ¿Si se consiguen de forma inmoral? ¿Si se
logran de manera excesivamente costosa? ¿Si se impide que los protagonistas
propongan sus propios objetivos? ¿Por qué no se han conseguido los objetivos?
¿Podrían haberse planteado otros mejores (más razonables, más justos)? ¿Si se
han producido efectos secundarios negativos? ¿Para qué sir ven esos objetivos?
¿Han existido medios suficientes para alcanzarlos? Otros problemas intrínsecos
a la utilización de indicadores radican en los criterios de selección de los
mismos, en su aplicación y en la interpretación de la información que aportan.
El control
democrático de las evaluaciones
Cuando la evaluación se convierte en un juego que comparten
sigilosamente los patrocinadores y los evaluadores, existen pocas garantías de
credibilidad. Por eso resulta imprescindible que los informes se hagan
públicos. Son los ciudadanos los que, en definitiva, tienen el control del proceso.
Conocen no sólo los contenidos de los informes sino las características que ha
tenido todo el proceso.
La devolución de informes a los protagonistas, la
negociación de los mismos y la difusión del texto final a los ciudadanos es una
parte fundamental del control democrático de la evaluación. Esta
seguridad salvaguarda a priori de muchos abusos y, a posteriori, es un
excelente medio para conocer y mejorar la práctica evaluadora. Cuando los
evaluadores utilizan un lenguaje indescifrable para los evaluados y para las
diversas audiencias interesadas por la educación, están robando el conocimiento
a los ciudadanos. La evaluación se convierte así en un mecanismo de poder que
utilizan a su antojo los que pueden y los que saben.
El control democrático de la evaluación no sólo se centra en
el análisis de una experiencia aislada sino en el nivel macro de la cuestión. Los
aspectos centrales sobre los que plantea el control podrían sintetizarse en las
siguientes: ¿qué evaluaciones se hacen?, ¿quién decide que se realicen?,¿por qué en ese momento preciso?, ¿qué finalidades las
inspiran?, ¿qué principios éticos las guían?, ¿qué rigor tienen?, ¿a quién se
encargan? ¿cómo y con quién se negocian?, ¿para qué se utilizan?, ¿quién las
conoce?, ¿qué efectos producen?, ¿cuánto cuestan?, ¿quién tiene el control?
Mientras más amplia sea la extensión de los ciudadanos, más
democrática será la
metaevaluación. McDonald , preguntaba en una sesión de trabajo
celebrada en la Universidad de Málaga: “Quién decide, conoce, opina y utiliza
la evaluación? La respuesta a esta cuestión se aproxima a las exigencias
democráticas cuando es del siguiente tipo: todos”. En la medida en que algunos
privilegiados (sean éstos patrocinadores, evaluadores o informantes) tengan
especial acceso a los datos o capacidad para hacer con ellos lo que deseen, se
tratará de una evaluación autocrática. La participación de los ciudadanos en
las cuestiones relativas a la educación (en todas sus fases: planificación,
acción, evaluación, etcétera) es una garantía de su buen uso.
Por eso resulta importante que los evaluadores se
comprometan con los patrocinadores a entregar informes a los evaluados y a
otras audiencias. De no hacerlo así, el evaluador devolverá los informes al
patrocinador que hará con esa información lo que considere oportuno.
Autores
Miguel Ángel Santos es catedrático de Didáctica y
organización escolar de la Universidad de Málaga, campus de Teatinos 29071,
Málaga, España.
Tiburcio Moreno es investigador del Centro de Investigación
en Ciencias y Desarrollo de la Educación (CINCIDE) de la Universidad Autónoma
del Estado de Hidalgo, México.
En
¿EL MOMENTO DE LA METAEVALUACIÓN EDUCATIVA ?
CONSIDERACIONES SOBRE EPISTEMOLOGÍA, MÉTODO, CONTROL Y FINALIDAD
Revista mexicana de investigación educativa, octubre-diciembre,
año/vol. IX, número 023
COMIE
Distrito Federal, México pp. 913-931
No hay comentarios:
Publicar un comentario