Comisión 1
Evaluación de los resultados escolares
Introducción
En el marco general del Diagnóstico del sistema educativo, la Comisión
número 1 se encargó de la evaluación del rendimiento escolar de los
alumnos de 14 y 16 años. Los resultados de este estudio tienen una
gran importancia, tanto por el tamaño y representatividad de la
muestra analizada, como por la metodología de evaluación empleada.
Muestra
Se aplicaron pruebas de Matemáticas, Comprensión Lectora, Gramática y
Literatura a 46.535 alumnos, 20.642 de 14 años y 25.893 de 16 años, en
15 comunidades autónomas, más Ceuta y Melilla. Además, se aplicaron
pruebas de Ciencias de la Naturaleza y Geografía e Historia a 6.560
alumnos del territorio gestionado por el MEC. Por último, se aplicaron
las pruebas de Ortografía y Expresión Escrita a una muestra de 3.460
alumnos, representativa de la población de estudiantes de 14 y 16
años.
Metodología
Para presentar los resultados de la evaluación de los rendimientos
escolares de los alumnos de 14 y 16 años se ha utilizado una
metodología basada en los últimos avances de la medición en psicología
y educación, que presenta múltiples ventajas sobre las técnicas
tradicionales. A pesar de su novedad es una metodología probada con
éxito e incorporada progresivamente por los países que realizan
evaluaciones periódicas del sistema educativo.
La metodología empleada, de la que se da cuenta detallada en el
informe final del estudio, se basa en las condiciones impuestas a las
pruebas aplicadas y en la forma de cálculo de las puntuaciones
atribuidas a los alumnos.
En cada materia, las pruebas de 14 y 16 años contenían algunos ítems
comunes que, posteriormente, gracias al método de cálculo utilizado,
permiten expresar los rendimientos de los alumnos de 14 y 16 años en
una escala común y valorar el cambio que se produce entre esos dos
puntos.
Tradicionalmente, los resultados del rendimiento se han presentado en
términos de porcentaje de respuestas correctas. Con el objeto de
facilitar la comprensión de resultados, en el presente avance se
proporcionan también algunos datos en esa misma escala. Sin embargo,
la interpretación de estos resultados debe hacerse teniendo en cuenta
algunas salvedades que a continuación se indican.
Indicaciones para interpretar la 'escala de porcentajes'
El porcentaje medio de aciertos indica cuál es el tanto por ciento
medio de aciertos de los alumnos en los ítems de las distintas
pruebas. No debe considerarse que el 50% de aciertos es 'aprobado'. Si
los mismos alumnos hubieran contestado a otra prueba ligeramente más
fácil o más difícil podrían haber obtenido valores medios de aciertos
distintos. Es erróneo identificar cierto valor de la proporción de
aciertos al fracaso o al éxito en una materia. No existe, a priori,
ningún valor que pueda considerarse como rendimiento insatisfactorio.
El porcentaje medio de aciertos no indica qué es lo que saben o lo que
ignoran los alumnos. Solamente un análisis más detallado de los
resultados permite determinar ese extremo. El porcentaje de aciertos
no tiene en cuenta la dificultad de los ítems. Dos alumnos con la
misma proporción de aciertos pueden tener conocimientos de muy
distinto nivel. Un alumno ha podido responder correctamente a los 10
ítems más difíciles y otro a los 10 más fáciles. Los dos tendrán la
misma puntuación y, lo que es peor, el mismo grado de certidumbre
respecto a su puntuación.
El porcentaje de aciertos no puede referirse, de ninguna manera, a los
contenidos. El porcentaje de respuestas correctas puede obtenerse con
ítems de contenidos totalmente dispares. Por esa razón, no puede
decirse qué punto de corte es el que corresponde a un nivel
satisfactorio de rendimiento. El porcentaje de respuestas no indica ni
cuál es la importancia de los ítems no contestados correctamente, ni
cuántos son los sujetos que no los han contestado.
Aunque en cada materia las pruebas de 14 y 16 años compartían algunos
ítems, las escalas de porcentaje no permiten hacer comparaciones entre
ambos grupos de edad. En este sentido, por ejemplo, sería erróneo
interpretar que el resultado de gramática y literatura a los 16 años
(51 porcentaje medio de aciertos) es inferior a los resultados de 14
años (53 porcentaje medio de aciertos). De hecho, como se comprueba en
la escala de rendimiento, la media para 14 años es 41,38 puntos
inferior a la de 16 años.
Indicaciones para la interpretación de la 'escala de rendimiento'
Todas las razones expresadas y otras de índole más técnica llevaron a
la adopción, en cada una de las materias, de las denominadas 'escalas
de rendimiento'. Esta metodología está basada en la Teoría de
Respuesta al Ítem, y proporciona los resultados en una escala que
supera muchos de los inconvenientes de las basadas en la Teoría
Clásica de los Tests.
La escala de rendimiento representa, para cada materia, el resultado
que habría obtenido cualquier sujeto que hubiera respondido a una
prueba teórica de 500 ítems. Esta prueba sería común para sujetos de
14 y 16 años. Es muy importante destacar que se trata de una escala
común para los dos niveles de edad y que, por tanto, no puede
interpretarse como nivel satisfactorio el alcanzar el punto medio de
la escala, es decir 250, o considerar insatisfactorio el no
alcanzarlo, ya que en cada grupo de edad el nivel adecuado es
distinto. Para valorar los resultados es necesario conocer lo que
"saben" y lo que "saben hacer" los alumnos.
Es evidente que cuanto mayor es la puntuación de un sujeto en una
materia, más tareas es capaz de resolver satisfactoriamente. Para dar
una idea del tipo de capacidades asociadas a los distintos niveles de
la escala, se han establecido unos puntos de corte y se han definido
aquellas tareas que los sujetos que alcanzan esos niveles son capaces
de realizar. En este caso, esos puntos son los correspondientes a las
puntuaciones 100, 150, 200, 250, 300, 350, 400, y 450. Asignar
significado a los distintos puntos de la escala introduce un elemento
criterial en la evaluación. Ya no se presta atención sólo a los
resultados del grupo, sino que se enfoca el estudio hacia el distinto
grado de consecución de los objetivos implicados en el proceso.
Estos puntos o niveles no representan juicios acerca de los
conocimientos y capacidades deseables de los alumnos. No son criterios
o estándares de rendimiento. Sin embargo, sabiendo cuántos sujetos
superan un determinado nivel y sabiendo qué conocimientos y
capacidades están asociados a ese nivel, se tiene una visión clara de
los rendimientos obtenidos por los alumnos evaluados. Esto permitirá
comparar lo que "saben" y "saben hacer" los alumnos con lo que se
considera rendimiento satisfactorio en el sistema educativo, es decir,
con los criterios que representan los conocimientos y capacidades
deseables.
Dado que la escala es común para los 14 y los 16 años, el nivel
deseable para los 16 años deberá ser, necesariamente, superior al que
cabe esperar para los 14 años. Cuál sea ese nivel, es una cuestión
opinable que dependerá de las especiales circunstancias de cada grupo
de alumnos. Sin embargo, dadas las capacidades y destrezas reflejadas
en las distintas escalas de rendimiento de cada materia, el Comité
Científico1 opinó que los valores medios deseables para los grupos de
14 y 16 años podrían ser los de 250 y 300 respectivamente.