¿Qué pasó en España con PISA 2018? Una explicación a partir de los tiempos de respuesta a los ítems
Autores
José G. ClavelSalto de línea
https://orcid.org/0000-0001-5800-319X
Salto de línea
Universidad de Murcia
Francisco Javier García-CrespoSalto de línea
https://orcid.org/0000-0002-1050-462YSalto de línea
Universidad Complutense de Madrid
Luis Sanz San MiguelSalto de línea
https://orcid.org/0000-0002-1050-462XSalto de línea
Instituto Nacional de Evaluación Educativa (INEE)
DOI
https://doi.org/10.4438/1988-592X-RE-2025-411-727
Resumen
En diciembre de 2019, la OCDE decidió no publicar los resultados de la competencia en lectura para España de PISA 2018 porque, aunque no se habían detectado errores en la realización de la prueba, los datos mostraban lo que llamaron una respuesta poco plausible de un porcentaje elevado de estudiantes, lo que no permitía asegurar la comparabilidad internacional de los datos españoles. Meses después, en julio de 2020, se publicaron finalmente los datos, acompañados de un estudio independiente que señalaba varias posibles explicaciones de esos resultados inesperados. Entre esos motivos se citaba la fecha de realización de la prueba, y se añadía que quizás también tuvo su influencia la estructura de la prueba.
En este trabajo mostraremos que es precisamente la estructura de la prueba, lo que causó el problema. En concreto, la presencia de los llamados “reading fluency items” y su repercusión en la calificación final provocaron un caldo de cultivo adecuado para que las respuestas de un grupo de estudiantes desmotivados -quizás efectivamente por la localización de las pruebas en determinadas fechas- tuvieran relevantes consecuencias en algunas Comunidades Autónomas. Tan relevantes como para que la OCDE decidiera no publicar los resultados en lectura para España.
A partir de la estructura de la prueba, y los tiempos de respuesta de los alumnos a cada uno de los ítems, determinamos aquellos estudiantes que tuvieron comportamientos anómalos y qué características tienen. Además, estudiamos qué efecto han provocado en los rendimientos medios de sus CCAA y cuál hubiera sido su efecto con una estructura distinta de la prueba.
Palabras clave
PISA 2018, fluidez lectora, rapid guessing, process data, comportamientos anómalos, modelo loglinear, rendimiento en lectura.
Abstract
In December 2019 OECD decided not to publish Spanish results on Reading for PISA 2018. Apparently, they had found implausible student-response behaviour on a certain number of students. Enough students as to consider not acceptable the results for international comparisons. Months later, they finally published the Reading results, adding a technical note proposing some possible explanations. In this paper, we show that was the test structure what caused the problem. Specifically, the presence at the beginning of the test of the “reading fluency items” and its effect on the final results. We use the time response of those items and the successive performance of the students in the remaining of the test to find which students had an odd behaviour. Later, using a loglinear multilevel model, we found what characterized those students. The application period, the student motivation and the immigration status are relevant variables. The private or public condition of the school, or the gender of the students are not a relevant to predict a student odd behaviour. Finally, the comparison with the results without the reading fluency items, show the repercussion of these for certain CCAA.
Keywords
PISA 2018, Reading fluency, rapid guessing, process data, odd behaviour, loglinear model, Reading performance.
Cómo citar
Clavel, J.J., García F.J., Sanz, L. (2026). ¿QUÉ PASÓ EN ESPAÑA CON PISA 2018?. Revista De Educación, 411, 311-338. https://doi.org/10.4438/1988-592X-RE-2025-411-727