jueves, 8 de octubre de 2015

EVALUACIÓN MEDIANTE TEST. LA BASE TEÓRICA: LA TEORÍA DE RESPUESTA AL ÍTEM

Desde este blog hemos insistido en la necesidad de evaluar en Educación ¿Qué evaluar? Todo ¿Para qué? Para conocer, y mejorar. En este contexto es importante no dejar pasar las oportunidades que brindan las nuevas tecnologías. Los párrafos siguientes se abocan al tema.



Una teoría psicométrica proporciona métodos para la construcción de tests y provee de modelos matemáticos  que  facilitan  la  interpretación  y  validación  de  los  resultados  obtenidos.  Históricamente,  la primera teoría fue la que a día de hoy se conoce como  Teoría Clásica de los Tests (TCT), que surgió a primeros del siglo XX, si bien no recibió su forma axiomática hasta mediados los sesenta (Novick, 1966). La TCT se fundamenta en el denominado modelo clásico, que establece una relación lineal entre la habilidad del examinado y la puntuación obtenida en el test realizado.

Este  modelo  se  expresa  en  términos  de  la  puntuación  empírica  del  test,  el  elemento  central alrededor del que gira toda la teoría. Concretamente,  se considera que la puntuación empírica del sujeto, esto es, el valor observado en el test, es igual a la suma de dos componentes hipotéticos y desconocidos a priori: la puntuación verdadera o habilidad real del evaluando y un determinado error de medida.

La principal limitación achacada a la TCT es que en su contexto las características del test y las del examinado son dependientes, esto es, las mediciones obtenidas dependen por lo general de la naturaleza del test utilizado; y a la inversa, las propiedades  de los tests dependen  de los sujetos a quienes se les aplica. Así, para la TCT, la habilidad del alumno se mide mediante el número de respuestas acertadas en el test realizado. Por lo tanto, los resultados estarán siempre relacionados con el test administrado: si las preguntas son difíciles, la habilidad de los examinados resultará ser baja porque habrá pocos que las responderán correctamente;  y viceversa, si el test es fácil, entonces la habilidad resultante será alta. Por otra parte, la TCT calcula  la dificultad  de una pregunta  (y, por extensión,  de un test) en función  de la cantidad de individuos que la responden correctamente: cuanto mayor sea el número de evaluandos que responden bien a una cuestión, tanto más fácil se considerará la pregunta. Así, la dificultad estimada de un test  según  la  TCT  dependerá  de  quién  lo  realice:  si  los  examinados  son  muy  listos,  responderán correctamente a las preguntas y, por tanto, el test será considerado fácil. Esta dependencia entre tests y examinados  supone  que las medidas  obtenidas  en la TCT no se pueden  utilizar en otros contextos  de manera generalizada, y por tanto comparar individuos que hayan hecho exámenes distintos resulta harto complicado.

La Teoría de Respuesta al Ítem (TRI - Lord, 1952) supera esta limitación, pues propone modelos matemáticos   orientados   a  las  preguntas   (que   en  este   contexto   reciben   el  nombre   de  ítems),   en contraposición a la TCT, para la que la evaluación de conocimientos gira en torno al test como unidad. Se trata  de  una  teoría  relativamente  joven,  más  si  se  tiene  en  cuenta  que  la  idea  original  de  los  tests adaptativos fundamentados en la TRI, de los que se hablará más adelante, data de comienzos de los años setenta, habiendo sido implementados por vez primera durante los ochenta(Segall y Moreno, 1999).

La gran ventaja  de la TRI es que, a diferencia  de la TCT, mide la habilidad  del ex aminado y la dificultad de los ítems en la misma escala, lo que facilita su comparación. Se trata del intervalo de valores (- , +  ), con el valor 0 como punto medio. Si lo consideramos representado en una recta horizontal, los ítems más fáciles aparecerán  a la izquierda del eje y los más difíciles a la derecha. Asimismo, los sujetos con menor habilidad se situarían más a la izquierda que aquellos con mayor destreza.

En la TRI cada ítem se define por una función matemática, la Curva Característica del Ítem (CCI), que relaciona la probabilidad de una respuesta correcta y la habilidad del estudiante. En otras palabras, la CCI proporciona para cada ítem la probabilidad P(è) de que un alumno, cuya habilidad es è, lo responda correctamente. La forma de la CCI la definen varios parámetros que, dependiendo del modelo utilizado, uno puede tener en cuenta o no:

La dificultad (parámetro  b), que indica el punto en el que la probabilidad de responder correctamente al ítem es 0.51

La discriminación (parámetro a), que indica la precisión del ítem al determinar la habilidad de los sujetos. Cuanto mayor sea su valor, más significativo resultará el ítem a la hora de evaluar estudiantes, aunque menor será el intervalo de habilidades en el que sea aplicable.

El  pseudoacierto  (parámetro  c),  que  es  la  probabilidad  de  que  un  examinado  con  baja habilidad  (región  izquierda  del  eje  horizontal)  responda  al  ítem  correctamente.  En  otras palabras, puede decirse que se trata de la probabilidad de que el alumno acierte el ítem al azar.

El pseudofallo (parámetro y), la probabilidad de que un examinado con habilidad alta (región derecha del eje horizontal) responda mal al ítem, fallando así un ítem cuya respuesta conoce.

Dado que la TRI se basa en una familia de modelos matemáticos, existen ciertas restricciones o condiciones que se deben considerar sobre los parámetros de los ítems. Así, hay varios supuestos que se deben respetar. Será necesario comprobar las propiedades de unidimensionalidad (los ítems sólo miden una única habilidad), independencia local (cada ítem es independiente de todos los demás) e invarianza (las propiedades de los ítems no dependen de la habilidad de los sujetos, y el nivel estimado del evaluando no se ve afectado por los ítems que componen el test que se le administra).

Un aspecto importante que se deriva de lo anterior es que las curvas características de los ítems incluidos  en  un  test  se  pueden  incorporar  por  nivel  de  habilidad  definido,  obteniendo  así  la  Curva Característica del Test (CCT), gracias a la cual es posible predecir, dada la habilidad de un estudiante, cuántas de sus respuestas serán correctas. Asimismo, también será posible realizar estimaciones a priori, por  ejemplo,  para  predecir  la  probabilidad  de  que  un  sujeto  con  una  habilidad  específica  acierte  un determinado ítem.

La TRI promueve el uso de bancos de ítems, que almacenan las preguntas susceptibles de formar parte de un test, para desarrollar diferentes pruebas a partir de un mismo banco. Definiendo a priori la curva característica del test que se desea generar, basta con incluir en él aquellos ítems tales que la suma de sus CCI se aproximen a la CCT objetivo. Por otra parte, la TRI también facilita la generación  dinámica de tests, en concreto, los Tests Adaptativos Informatizados (TAI) que se tratarán más adelante.



Extraído de
EVALUACIÓN MEDIANTE TESTS: ¿POR QUÉ NO USAR EL ORDENADOR?
Javier López-Cuadrado, Tomás A. Pérez y Ana Jesús Armendariz
Departamento de Lenguajes y Sistemas Informáticos, Universidad del País Vasco, España
Revista Iberoamericana de Educación (ISSN: 1681-5653)


Related Posts Plugin for WordPress, Blogger...

Busca en mis blogs