viernes, 31 de mayo de 2013

Juicio crítico en la metaevaluación educativa

Toda institución educativa debe evaluarse, para poder mejorar. Al efectuar un juicio crítico a una evaluación debemos dirigirnos a diversos participantes ¿Qué opiniones deben ser tenidas en cuenta? ¿Qué debemos preguntarnos?



El metaevaluador se dirige a los evaluadores, pero también al patrocinador y a las diversas audiencias de la evaluación. Es importante elegir cuidadosamente al metaevaluador, ya que su independencia así como las garantías de independencia que ofrece, son el fundamento de un trabajo riguroso.

Puede elegirse a una persona afín al paradigma de la evaluación realizada o bien a alguien que se halle situado en posiciones diferentes. Tendría dudosa eficacia elegir a alguien poco sensible al modelo de evaluación con el que se ha trabajado. La elección puede realizarla el patrocinador en connivencia con los evaluadores o bien alguna de estas partes de forma independiente.

Es obvio que el metaevaluador realizará el trabajo desde la óptica de su peculiar visión de lo que ha ser un proceso de evaluación. Debería explicitar en su informe cuáles son los presupuestos de los que par te. Además, ha de disponer de toda la documentación escrita de la evaluación: documentos de negociación, informes, cuadernos de campo, etcétera. Y puede entrevistar a las personas que hayan participado en la evaluación.

Conviene tener en cuenta que la evaluación es todo el proceso, no únicamente el informe final. Por eso es necesario seguir las pistas de revisión disponibles. O, mejor aún, comenzar el proceso de metaevaluación de forma paralela a la evaluación misma. El metaevaluador hace juicios, pero también plantea sugerencias y preguntas. Ese tipo de enfoque ayuda a los evaluadores tanto descubrir las limitaciones como a mejorar su trabajo; pone un espejo para que los evaluadores puedan ver con más precisión cuál ha sido su manera de proceder. Mediante ese espejo –que el metaevaluador (dada su condición de independiente y dado el tiempo de que dispone para hacer el trabajo) coloca de forma precisa– el evaluador puede verse de manera más rigurosa.

Opinión de los protagonistas
Los protagonistas de la evaluación tienen las claves del proceso. Saben si se han respetado las reglas, conocen cómo se han aplicado los métodos, quiénes han sido los agentes de la negociación de los informes, etcétera. Recabar por escrito o verbalmente su opinión sobre el proceso de evaluación es un modo excelente de comprobar el rigor y pueden realizarlas no sólo los evaluados sino también los evaluadores. Unos y otros contrastan esas opiniones que en algún caso se publican como complemento del informe. Las opiniones y las actitudes de los protagonistas pueden modificarse a lo largo del proceso de evaluación. Es interesante saber cómo y por qué se ha producido ese cambio.

Para que las opiniones sean sinceras es preciso crear un clima de libertad en el que se puede expresar sin ambages lo que se piensa. De lo contrario, no tendrán ningún valor o, lo que es peor, ofrecerán pistas falsas de análisis. Los protagonistas pueden plantear cuestiones relativas al proceso, al rigor de la aplicación de los métodos y de la utilización de los datos y, también, sobre los aprendizajes realizados.

No conviene distanciar mucho esta exploración a los protagonistas de la realización de la evaluación, si es que se efectúa una vez terminada. Digo esto porque la separación en el tiempo hace olvidar selectivamente partes de lo que ha sucedido. Pueden recabar esta opinión no sólo los evaluadores sino otras personas que tengan independencia respecto del proceso realizado. Ese hecho ofrecerá mayores garantías de sinceridad y, por consiguiente, de rigor.

Indicadores confirmados
Aunque cualquier experiencia, programa, institución o actividad de carácter educativo son diferentes a otros, existen hallazgos de la investigación que pueden ser vir de referentes para el contraste. Lo cual no significa que, si los resultados de una evaluación difieren de lo previamente descubierto, haya de considerarse ésta poco rigurosa. Puede ser vir para avivar la reflexión y revisar de forma concienzuda todo el proceso.

En relación con el soporte sobre el cuál establecer los juicios de valor, algunos autores recomiendan la utilización de indicadores de rendimiento. Entienden por tales, los datos empíricos –ya sean cuantitativos o cualitativos– recogidos de forma sistemática en relación con ciertas metas o procesos que nos permiten estimar la productividad y/o funcionalidad de un sistema. El procedimiento de los indicadores trata de dar sistematicidad a la recolección y credibilidad a los resultados. La formulación de los indicadores encierra una gran dificultad pero, sobre todo, el problema reside en el establecimiento de una doble correspondencia: la que se pretende conseguir entre los indicadores y los programas y la que su atribuye al programa concreto con los indicadores formulados.

Si se tiene en cuenta que cada programa es único e irrepetible, será difícil establecer algunos indicadores genéricos. La evaluación de los programas a través de la comprobación de los objetivos o la consecución de indicadores deja al margen preguntas de gran calado: ¿Y si los objetivos estaban mal planteados? ¿Si se consiguen de forma inmoral? ¿Si se logran de manera excesivamente costosa? ¿Si se impide que los protagonistas propongan sus propios objetivos? ¿Por qué no se han conseguido los objetivos? ¿Podrían haberse planteado otros mejores (más razonables, más justos)? ¿Si se han producido efectos secundarios negativos? ¿Para qué sir ven esos objetivos? ¿Han existido medios suficientes para alcanzarlos? Otros problemas intrínsecos a la utilización de indicadores radican en los criterios de selección de los mismos, en su aplicación y en la interpretación de la información que aportan.

El control democrático de las evaluaciones
Cuando la evaluación se convierte en un juego que comparten sigilosamente los patrocinadores y los evaluadores, existen pocas garantías de credibilidad. Por eso resulta imprescindible que los informes se hagan públicos. Son los ciudadanos los que, en definitiva, tienen el control del proceso. Conocen no sólo los contenidos de los informes sino las características que ha tenido todo el proceso.

La devolución de informes a los protagonistas, la negociación de los mismos y la difusión del texto final a los ciudadanos es una parte fundamental del control democrático de la evaluación. Esta seguridad salvaguarda a priori de muchos abusos y, a posteriori, es un excelente medio para conocer y mejorar la práctica evaluadora. Cuando los evaluadores utilizan un lenguaje indescifrable para los evaluados y para las diversas audiencias interesadas por la educación, están robando el conocimiento a los ciudadanos. La evaluación se convierte así en un mecanismo de poder que utilizan a su antojo los que pueden y los que saben.

El control democrático de la evaluación no sólo se centra en el análisis de una experiencia aislada sino en el nivel macro de la cuestión. Los aspectos centrales sobre los que plantea el control podrían sintetizarse en las siguientes: ¿qué evaluaciones se hacen?, ¿quién decide que se realicen?,¿por qué en ese momento preciso?, ¿qué finalidades las inspiran?, ¿qué principios éticos las guían?, ¿qué rigor tienen?, ¿a quién se encargan? ¿cómo y con quién se negocian?, ¿para qué se utilizan?, ¿quién las conoce?, ¿qué efectos producen?, ¿cuánto cuestan?, ¿quién tiene el control?

Mientras más amplia sea la extensión de los ciudadanos, más democrática será la metaevaluación. McDonald, preguntaba en una sesión de trabajo celebrada en la Universidad de Málaga: “Quién decide, conoce, opina y utiliza la evaluación? La respuesta a esta cuestión se aproxima a las exigencias democráticas cuando es del siguiente tipo: todos”. En la medida en que algunos privilegiados (sean éstos patrocinadores, evaluadores o informantes) tengan especial acceso a los datos o capacidad para hacer con ellos lo que deseen, se tratará de una evaluación autocrática. La participación de los ciudadanos en las cuestiones relativas a la educación (en todas sus fases: planificación, acción, evaluación, etcétera) es una garantía de su buen uso.

Por eso resulta importante que los evaluadores se comprometan con los patrocinadores a entregar informes a los evaluados y a otras audiencias. De no hacerlo así, el evaluador devolverá los informes al patrocinador que hará con esa información lo que considere oportuno.



Autores
Miguel Ángel Santos es catedrático de Didáctica y organización escolar de la Universidad de Málaga, campus de Teatinos 29071, Málaga, España.
Tiburcio Moreno es investigador del Centro de Investigación en Ciencias y Desarrollo de la Educación (CINCIDE) de la Universidad Autónoma del Estado de Hidalgo, México.
En
¿EL MOMENTO DE LA METAEVALUACIÓN EDUCATIVA? CONSIDERACIONES SOBRE EPISTEMOLOGÍA, MÉTODO, CONTROL Y FINALIDAD
Revista mexicana de investigación educativa, octubre-diciembre, año/vol. IX, número 023
COMIE
Distrito Federal, México pp. 913-931

No hay comentarios:

Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs