Home Diagnóstico general del sistema educativo
Comision 1 - Resultados escolares


anterior índice siguiente



Comisión 1
Evaluación de los resultados escolares


Introducción

En el marco general del Diagnóstico del sistema educativo, la Comisión número 1 se encargó de la evaluación del rendimiento escolar de los alumnos de 14 y 16 años. Los resultados de este estudio tienen una gran importancia, tanto por el tamaño y representatividad de la muestra analizada, como por la metodología de evaluación empleada.


Muestra

Se aplicaron pruebas de Matemáticas, Comprensión Lectora, Gramática y Literatura a 46.535 alumnos, 20.642 de 14 años y 25.893 de 16 años, en 15 comunidades autónomas, más Ceuta y Melilla. Además, se aplicaron pruebas de Ciencias de la Naturaleza y Geografía e Historia a 6.560 alumnos del territorio gestionado por el MEC. Por último, se aplicaron las pruebas de Ortografía y Expresión Escrita a una muestra de 3.460 alumnos, representativa de la población de estudiantes de 14 y 16 años.


Metodología

Para presentar los resultados de la evaluación de los rendimientos escolares de los alumnos de 14 y 16 años se ha utilizado una metodología basada en los últimos avances de la medición en psicología y educación, que presenta múltiples ventajas sobre las técnicas tradicionales. A pesar de su novedad es una metodología probada con éxito e incorporada progresivamente por los países que realizan evaluaciones periódicas del sistema educativo.

La metodología empleada, de la que se da cuenta detallada en el informe final del estudio, se basa en las condiciones impuestas a las pruebas aplicadas y en la forma de cálculo de las puntuaciones atribuidas a los alumnos.

En cada materia, las pruebas de 14 y 16 años contenían algunos ítems comunes que, posteriormente, gracias al método de cálculo utilizado, permiten expresar los rendimientos de los alumnos de 14 y 16 años en una escala común y valorar el cambio que se produce entre esos dos puntos.

Tradicionalmente, los resultados del rendimiento se han presentado en términos de porcentaje de respuestas correctas. Con el objeto de facilitar la comprensión de resultados, en el presente avance se proporcionan también algunos datos en esa misma escala. Sin embargo, la interpretación de estos resultados debe hacerse teniendo en cuenta algunas salvedades que a continuación se indican.


Indicaciones para interpretar la 'escala de porcentajes'

El porcentaje medio de aciertos indica cuál es el tanto por ciento medio de aciertos de los alumnos en los ítems de las distintas pruebas. No debe considerarse que el 50% de aciertos es 'aprobado'. Si los mismos alumnos hubieran contestado a otra prueba ligeramente más fácil o más difícil podrían haber obtenido valores medios de aciertos distintos. Es erróneo identificar cierto valor de la proporción de aciertos al fracaso o al éxito en una materia. No existe, a priori, ningún valor que pueda considerarse como rendimiento insatisfactorio. El porcentaje medio de aciertos no indica qué es lo que saben o lo que ignoran los alumnos. Solamente un análisis más detallado de los resultados permite determinar ese extremo. El porcentaje de aciertos no tiene en cuenta la dificultad de los ítems. Dos alumnos con la misma proporción de aciertos pueden tener conocimientos de  muy distinto nivel. Un alumno ha podido responder correctamente a los 10 ítems más difíciles y otro a los 10 más fáciles. Los dos tendrán la misma puntuación y, lo que es peor, el mismo grado de certidumbre respecto a su puntuación.

El porcentaje de aciertos no puede referirse, de ninguna manera, a los contenidos. El porcentaje de respuestas correctas puede obtenerse con ítems de contenidos totalmente dispares. Por esa razón, no puede decirse qué punto de corte es el que corresponde a un nivel satisfactorio de rendimiento. El porcentaje de respuestas no indica ni cuál es la importancia de los ítems no contestados correctamente, ni cuántos son los sujetos que no los han contestado.

Aunque en cada materia las pruebas de 14 y 16 años compartían algunos ítems, las escalas de porcentaje no permiten hacer comparaciones entre ambos grupos de edad. En este sentido, por ejemplo, sería erróneo interpretar que el resultado de gramática y literatura a los 16 años (51 porcentaje medio de aciertos) es inferior a los resultados de 14 años (53 porcentaje medio de aciertos). De hecho, como se comprueba en la escala de rendimiento, la media para 14 años es 41,38 puntos inferior a la de 16 años.


Indicaciones para la interpretación de la 'escala de rendimiento'

Todas las razones expresadas y otras de índole más técnica llevaron a la adopción, en cada una de las materias, de las denominadas 'escalas de rendimiento'.  Esta metodología está basada en la Teoría de Respuesta al Ítem, y proporciona los resultados en una escala que supera muchos de los inconvenientes de las basadas en la Teoría Clásica de los Tests.

La escala de rendimiento representa, para cada materia, el resultado que habría obtenido cualquier sujeto que hubiera respondido a una prueba teórica de 500 ítems. Esta prueba sería común para sujetos de 14 y 16 años. Es muy importante destacar que se trata de una escala común para los dos niveles de edad y que, por tanto, no puede interpretarse como nivel satisfactorio el alcanzar el punto medio de la escala, es decir 250, o considerar insatisfactorio el no alcanzarlo, ya que en cada grupo de edad el nivel adecuado es distinto. Para valorar los resultados es necesario conocer lo que "saben" y lo que "saben hacer" los alumnos.

Es evidente que cuanto mayor es la puntuación de un sujeto en una materia, más tareas es capaz de resolver satisfactoriamente. Para dar una idea del tipo de capacidades asociadas a los distintos niveles de la escala, se han establecido unos puntos de corte y se han definido aquellas tareas que los sujetos que alcanzan esos niveles son capaces de realizar. En este caso, esos puntos son los correspondientes a las puntuaciones 100, 150, 200, 250, 300, 350, 400, y 450. Asignar significado a los distintos puntos de la escala introduce un elemento criterial en la evaluación. Ya no se presta atención sólo a los resultados del grupo, sino que se enfoca el estudio hacia el distinto grado de consecución de los objetivos implicados en el proceso. Estos puntos o niveles no representan juicios acerca de los conocimientos y capacidades deseables de los alumnos. No son criterios o estándares de rendimiento. Sin embargo, sabiendo cuántos sujetos superan un determinado nivel y sabiendo qué conocimientos y capacidades están asociados a ese nivel, se tiene una visión clara de los rendimientos obtenidos por los alumnos evaluados. Esto permitirá comparar lo que "saben" y "saben hacer" los alumnos con lo que se considera rendimiento satisfactorio en el sistema educativo, es decir, con los criterios que representan los conocimientos y capacidades deseables.

Dado que la escala es común para los 14 y los 16 años, el nivel deseable para los 16 años deberá ser, necesariamente, superior al que cabe esperar para los 14 años. Cuál sea ese nivel, es una cuestión opinable que dependerá de las especiales circunstancias de cada grupo de alumnos. Sin embargo, dadas las capacidades y destrezas reflejadas en las distintas escalas de rendimiento de cada materia, el Comité Científico1 opinó que los valores medios deseables para los grupos de 14 y 16 años podrían ser los de 250 y 300 respectivamente.



1    El Comité Científico es un órgano asesor del INCE formado por expertos en distintos ámbitos de la educación. No ha tenido responsabilidad directa en el diseño y puesta en práctica de la evaluación de los rendimientos; esta responsabilidad ha recaído en la Comisión especializada número 1, formada por expertos y técnicos en evaluación educativa. El Comité Científico ha dado su visto bueno al diseño y metodología empleados en la evaluación.


anterior índice siguiente


© Instituto Nacional de Calidad y Evaluación (INCE)
calle San Fernando del Jarama, 14
E28002 MADRID
Tel: +34 91.745.9200
Fax: +34 91.745.9249
email: info@ince.mec.es