Ante cualquier
evaluación institucional en Educación, una de las actividades metaevaluativas
más importante, ronda en torno del rigor de la misma ¿Las evidencias extraídas
son justas o arbitrarias? ¿Qué criterios de rigurosidad podemos tener en
cuenta?
La metaevaluación se pregunta por el rigor. ¿Es fiable el
conocimiento extraído de la evaluación o es fruto de la arbitrariedad, de los
intereses y de la torpeza? Existe un problema que consiste en trasladar los
términos y conceptos de la evaluación experimental a la de carácter
cualitativo. La servidumbre del paradigma etnográfico ha hecho que se haya
copiado y trasladado el modelo de validez interna.
“En sentido amplio –dice House – entiendo por validez la
cualidad de merecer reconocimiento”. Ahora bien, cada modelo de evaluación hace
una interpretación de lo que ha de entenderse por validez. House habla de ocho
tipos o modelos de evaluación. Cuatro son calificados de “objetivistas” por su
epistemología, y son los enfoques del análisis de sistemas, de objetivos, de
decisión y la evaluación que prescinde de objetivos. En mayor o menor grado,
todos basan su explicación de validez en métodos explícitos.
Las peculiaridades genéricas de estos cuatro modelos de
evaluación podrían sintetizarse en las siguientes:
1) se derivan de la tradición teórica empírica de las
ciencias sociales;
2) se manifiestan neutrales desde el punto de vista
axiológico;
3) basan su pretensión de validez en métodos explícitos
calificados de científicos;
4) se valora mucho en ellos la fiabilidad de la medida;
5) su fuerza está en el rigor del método prescrito, no en
las interpretaciones; y
6) se valora mucho la posibilidad de confirmar las
hipótesis.
Otros cuatro enfoques son calificados como “subjetivistas”.
El método crítico, y los enfoques de revisión profesional, cuasijudicial y del
estudio de casos. Éstas son algunas de las características fundamentales de los
métodos subjetivistas en lo que se refiere a su validez:
1) fundan su presunta validez en la apelación a la
experiencia y no al método científico;
2) suponen que el saber es, en gran medida, tácito más que
explícito;
3) es muy importante la significación y la interpretación;
4) se asume que cada evaluador y cada lector son capaces de
establecer conclusiones de forma individual;
5) lo que es válido para una persona puede no serlo para
otra;
6) la evaluación ha de ser comprensible para los
destinatarios;
7) están internamente ligados con la visión fenomenológica
de la persona; y
8) la exactitud de la descripción y la utilidad para los
destinatarios son conceptos clave.
Cada uno de los modelos tiene ciertas exigencias para
garantizar la validez. La
tarea del metaevaluador consiste en analizar todos estos presupuestos, es
decir, que deberá tomar en cuenta el modelo de evaluación utilizado y, además,
ir más allá para poner sobre el tapete sus limitaciones. La forma de pensar y
de actuar del evaluador tienen que ir acompañadas de rigor en la manera de
recoger la información al igual que de consistencia en el análisis de los
datos. No basta una intención noble y sincera, ni un compromiso con los valores
de la sociedad. Es
necesario el rigor en la manera de acercarse a la realidad, de escuchar lo que
“dice” y de interpretarlo de forma rigurosa y creíble. Existen, desde nuestra
perspectiva, cinco modos de responder a esta cuestión, aunque no todos son de
la misma naturaleza ni tienen la misma importancia para solucionar el problema
epistemológico y metodológico:
Criterios de rigor
Es necesario garantizar el rigor de la evaluación, tanto en
la cuantitativa como en la cualitativa, aunque el concepto de validez tenga una
diferente acepción en un caso y otro.
El concepto de validez, de acuerdo con Hopkins, consiste en
que los evaluadores demuestren que las observaciones que registran y analizan
corresponden a lo que pretenden registrar y analizar. La falta de validez se
debe a errores sistemáticos. La fiabilidad consiste en evitar las fluctuaciones
aleatorias en las observaciones que registran, la carencia de fiabilidad se
produce a causa de errores aleatorios. Esencialmente, la fiabilidad está
relacionada con la consistencia de los resultados y se refiere al requisito de
que cualquier otro evaluador o el mismo en otra ocasión podrá replicar la
evaluación original, consiguiendo datos comparables.
McCormick y James hablan de dos tipos de fiabilidad: la
interjueces, que alude al grado de acuerdo entre dos evaluadores que registran
sus observaciones del mismo fenómeno o de fenómenos iguales o similares, y la
intrajuez que se refiere a la consistencia de las observaciones del mismo
evaluador en distintas ocasiones.
Es evidente que cada una de estas definiciones se acomoda de
forma distinta a la evaluación cuantitativa y a la cualitativa. Cuando
hablamos de replicar una evaluación, está claro que nunca habrá dos situaciones
idénticas si nos referimos a una exploración etnográfica. Cada experiencia es
única, irrepetible, situada en un contexto peculiar, sometida a expectativas e
influencias diversas, etcétera. Lo anterior no quiere decir que la evaluación
cualitativa tenga menores exigencias o que sea menos rigurosa que la cuantitativa. Cada
una tiene su peculiaridad y su problemática. Así como las pruebas de la validez
parecen más claras y definitivas en la evaluación cuantitativa, no es menos
cier to que hay que poner en cuestión el rigor de la medición en fenómenos
difícilmente cuantificables y aislables.
La aparentemente más rigurosa forma de comprobar la validez
en las evaluaciones cuantitativas, no es de ningún modo absoluta e
indiscutible. Es exclusivamente estocástica, se basa en la probabilidad. Hemos
de remitirnos a Guba para plantear esta cuestión ya que su artículo, alejado ya
en el tiempo, sigue siendo un punto de referencia. Dice Guba que no existen
criterios absolutos que garanticen el rigor, pero que podemos tener indicadores
de su presencia. Una de las preocupaciones más importantes respecto de
cualquier evaluación son los criterios de credibilidad. ¿Tienen calidad los
datos, gozan de rigor las conclusiones? Sin estas preguntas, todo el edificio
se viene abajo.
El contagio de la más arraigada y difundida investigación
experimental ha pesado, y sigue haciéndolo, sobre las concepciones del diseño,
del desarrollo y de los criterios de validez interna. Por eso se buscan
criterios de parecida naturaleza (y a veces con la misma terminología) a los de
la investigación cuantitativa. Es un error, ya que la tipología de los procesos
es diferente.
No hay un criterio absoluto de credibilidad. Ninguno de
ellos constituye una segura e inequívoca prueba de rigor. Lo cual no quiere
decir que no sea necesario preguntarse por los indicadores que dan fiabilidad a
la indagación.
Autores
Miguel Ángel Santos es catedrático de Didáctica y
organización escolar de la Universidad de Málaga, campus de Teatinos 29071,
Málaga, España.
Tiburcio Moreno es investigador del Centro de Investigación
en Ciencias y Desarrollo de la Educación (CINCIDE) de la Universidad Autónoma
del Estado de Hidalgo, México.
En
¿EL MOMENTO DE LA METAEVALUACIÓN EDUCATIVA ?
CONSIDERACIONES SOBRE EPISTEMOLOGÍA, MÉTODO, CONTROL Y FINALIDAD
Revista mexicana de investigación educativa,
octubre-diciembre, año/vol. IX, número 023
COMIE
Distrito Federal, México pp. 913-931
1 comentario:
Alguien se ha preguntado alguna vez por qué los científicos se ayudan de sus errores para aprender y nosotros los profesores castigamos el error que severidad. Os aconsejo que hagáis evaluaciones teniendo en cuenta la cantidad de errores que son capaces vuestros alumnos solucionar en vez de castigarles el error. Hasta otra, feliz día ahtria: http://ahtriaedu.blogspot.com.es/
Publicar un comentario