jueves, 16 de mayo de 2013

El rigor de la evaluación


Ante cualquier evaluación institucional en Educación, una de las actividades metaevaluativas más importante, ronda en torno del rigor de la misma ¿Las evidencias extraídas son justas o arbitrarias? ¿Qué criterios de rigurosidad podemos tener en cuenta?


La metaevaluación se pregunta por el rigor. ¿Es fiable el conocimiento extraído de la evaluación o es fruto de la arbitrariedad, de los intereses y de la torpeza? Existe un problema que consiste en trasladar los términos y conceptos de la evaluación experimental a la de carácter cualitativo. La servidumbre del paradigma etnográfico ha hecho que se haya copiado y trasladado el modelo de validez interna.

“En sentido amplio –dice House – entiendo por validez la cualidad de merecer reconocimiento”. Ahora bien, cada modelo de evaluación hace una interpretación de lo que ha de entenderse por validez. House habla de ocho tipos o modelos de evaluación. Cuatro son calificados de “objetivistas” por su epistemología, y son los enfoques del análisis de sistemas, de objetivos, de decisión y la evaluación que prescinde de objetivos. En mayor o menor grado, todos basan su explicación de validez en métodos explícitos.

Las peculiaridades genéricas de estos cuatro modelos de evaluación podrían sintetizarse en las siguientes:

1) se derivan de la tradición teórica empírica de las ciencias sociales;
2) se manifiestan neutrales desde el punto de vista axiológico;
3) basan su pretensión de validez en métodos explícitos calificados de científicos;
4) se valora mucho en ellos la fiabilidad de la medida;
5) su fuerza está en el rigor del método prescrito, no en las interpretaciones; y
6) se valora mucho la posibilidad de confirmar las hipótesis.

Otros cuatro enfoques son calificados como “subjetivistas”. El método crítico, y los enfoques de revisión profesional, cuasijudicial y del estudio de casos. Éstas son algunas de las características fundamentales de los métodos subjetivistas en lo que se refiere a su validez:

1) fundan su presunta validez en la apelación a la experiencia y no al método científico;
2) suponen que el saber es, en gran medida, tácito más que explícito;
3) es muy importante la significación y la interpretación;
4) se asume que cada evaluador y cada lector son capaces de establecer conclusiones de forma individual;
5) lo que es válido para una persona puede no serlo para otra;
6) la evaluación ha de ser comprensible para los destinatarios;
7) están internamente ligados con la visión fenomenológica de la persona; y
8) la exactitud de la descripción y la utilidad para los destinatarios son conceptos clave.

Cada uno de los modelos tiene ciertas exigencias para garantizar la validez. La tarea del metaevaluador consiste en analizar todos estos presupuestos, es decir, que deberá tomar en cuenta el modelo de evaluación utilizado y, además, ir más allá para poner sobre el tapete sus limitaciones. La forma de pensar y de actuar del evaluador tienen que ir acompañadas de rigor en la manera de recoger la información al igual que de consistencia en el análisis de los datos. No basta una intención noble y sincera, ni un compromiso con los valores de la sociedad. Es necesario el rigor en la manera de acercarse a la realidad, de escuchar lo que “dice” y de interpretarlo de forma rigurosa y creíble. Existen, desde nuestra perspectiva, cinco modos de responder a esta cuestión, aunque no todos son de la misma naturaleza ni tienen la misma importancia para solucionar el problema epistemológico y metodológico:

Criterios de rigor
Es necesario garantizar el rigor de la evaluación, tanto en la cuantitativa como en la cualitativa, aunque el concepto de validez tenga una diferente acepción en un caso y otro.

El concepto de validez, de acuerdo con Hopkins, consiste en que los evaluadores demuestren que las observaciones que registran y analizan corresponden a lo que pretenden registrar y analizar. La falta de validez se debe a errores sistemáticos. La fiabilidad consiste en evitar las fluctuaciones aleatorias en las observaciones que registran, la carencia de fiabilidad se produce a causa de errores aleatorios. Esencialmente, la fiabilidad está relacionada con la consistencia de los resultados y se refiere al requisito de que cualquier otro evaluador o el mismo en otra ocasión podrá replicar la evaluación original, consiguiendo datos comparables.

McCormick y James hablan de dos tipos de fiabilidad: la interjueces, que alude al grado de acuerdo entre dos evaluadores que registran sus observaciones del mismo fenómeno o de fenómenos iguales o similares, y la intrajuez que se refiere a la consistencia de las observaciones del mismo evaluador en distintas ocasiones.

Es evidente que cada una de estas definiciones se acomoda de forma distinta a la evaluación cuantitativa y a la cualitativa. Cuando hablamos de replicar una evaluación, está claro que nunca habrá dos situaciones idénticas si nos referimos a una exploración etnográfica. Cada experiencia es única, irrepetible, situada en un contexto peculiar, sometida a expectativas e influencias diversas, etcétera. Lo anterior no quiere decir que la evaluación cualitativa tenga menores exigencias o que sea menos rigurosa que la cuantitativa. Cada una tiene su peculiaridad y su problemática. Así como las pruebas de la validez parecen más claras y definitivas en la evaluación cuantitativa, no es menos cier to que hay que poner en cuestión el rigor de la medición en fenómenos difícilmente cuantificables y aislables.

La aparentemente más rigurosa forma de comprobar la validez en las evaluaciones cuantitativas, no es de ningún modo absoluta e indiscutible. Es exclusivamente estocástica, se basa en la probabilidad. Hemos de remitirnos a Guba para plantear esta cuestión ya que su artículo, alejado ya en el tiempo, sigue siendo un punto de referencia. Dice Guba que no existen criterios absolutos que garanticen el rigor, pero que podemos tener indicadores de su presencia. Una de las preocupaciones más importantes respecto de cualquier evaluación son los criterios de credibilidad. ¿Tienen calidad los datos, gozan de rigor las conclusiones? Sin estas preguntas, todo el edificio se viene abajo.
El contagio de la más arraigada y difundida investigación experimental ha pesado, y sigue haciéndolo, sobre las concepciones del diseño, del desarrollo y de los criterios de validez interna. Por eso se buscan criterios de parecida naturaleza (y a veces con la misma terminología) a los de la investigación cuantitativa. Es un error, ya que la tipología de los procesos es diferente.
No hay un criterio absoluto de credibilidad. Ninguno de ellos constituye una segura e inequívoca prueba de rigor. Lo cual no quiere decir que no sea necesario preguntarse por los indicadores que dan fiabilidad a la indagación.


Autores
Miguel Ángel Santos es catedrático de Didáctica y organización escolar de la Universidad de Málaga, campus de Teatinos 29071, Málaga, España.
Tiburcio Moreno es investigador del Centro de Investigación en Ciencias y Desarrollo de la Educación (CINCIDE) de la Universidad Autónoma del Estado de Hidalgo, México.
En
¿EL MOMENTO DE LA METAEVALUACIÓN EDUCATIVA? CONSIDERACIONES SOBRE EPISTEMOLOGÍA, MÉTODO, CONTROL Y FINALIDAD
Revista mexicana de investigación educativa, octubre-diciembre, año/vol. IX, número 023
COMIE
Distrito Federal, México pp. 913-931

1 comentario:

Unknown dijo...

Alguien se ha preguntado alguna vez por qué los científicos se ayudan de sus errores para aprender y nosotros los profesores castigamos el error que severidad. Os aconsejo que hagáis evaluaciones teniendo en cuenta la cantidad de errores que son capaces vuestros alumnos solucionar en vez de castigarles el error. Hasta otra, feliz día ahtria: http://ahtriaedu.blogspot.com.es/

Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs