{"id":1054,"date":"2018-11-13T08:00:14","date_gmt":"2018-11-13T07:00:14","guid":{"rendered":"https:\/\/blogs.diariovasco.com\/ekonomiaren-plaza\/?p=1054"},"modified":"2018-11-08T20:42:39","modified_gmt":"2018-11-08T19:42:39","slug":"pisa","status":"publish","type":"post","link":"https:\/\/blogs.diariovasco.com\/ekonomiaren-plaza\/2018\/11\/13\/pisa\/","title":{"rendered":"\u00bfSon verdaderamente fiables los resultados de PISA?"},"content":{"rendered":"

@jonmizabala<\/a><\/p>\n

El pasado 25 de octubre tuve la oportunidad de poder asistir a uno de los foros organizados por la Diputaci\u00f3n Foral de Gipuzkoa<\/a> dentro de su estrategia Etorkizuna Eraikiz<\/a>, mediante la cual se quiere avanzar en la construcci\u00f3n del futuro de Gipuzkoa. El objetivo del foro era el de debatir acerca de c\u00f3mo se comportan los j\u00f3venes ante los retos, principalmente en el \u00e1mbito de la educaci\u00f3n, y para ello se cont\u00f3 con la presencia de Nagore Iriberri<\/a> y Lucas Gortazar<\/a>, dos personas que conocen muy bien las dificultadas asociadas a la evaluaci\u00f3n de la docencia.<\/p>\n

En su exposici\u00f3n, tanto Nagore como Lucas se centraron en analizar si los informes de PISA<\/a> constituyen un buen reflejo de los cambios de la juventud. PISA (Programme for International Student Assessment<\/em> por sus siglas en ingl\u00e9s) es el principal instrumento empleado en los pa\u00edses de la OCDE para evaluar el grado en el que los sistemas educativos son capaces de mejorar las habilidades y el conocimiento de los estudiantes. Como nuestrxs lectores conocer\u00e1n, las conclusiones que se emanan de los informes PISA suelen tener una gran repercusi\u00f3n tanto medi\u00e1tica como pol\u00edtica. Para ello, se realizan tests<\/a> homog\u00e9neos a lo largo de todos los pa\u00edses de la OCDE, de forma que todxs lxs alumnxs responden a las mismas preguntas, con lo que se garantiza que los resultados sean comparables entre pa\u00edses. En 2015, respondieron a estos tests, que duran aproximadamente 2 horas, unos 28 millones de j\u00f3venes de 15 a\u00f1os en 72 pa\u00edses. Los estudiantes fueron evaluados en ciencias, matem\u00e1ticas, lectura, resoluci\u00f3n de problemas en colaboraci\u00f3n y educaci\u00f3n financiera. Es decir, en PISA no se tienen en cuenta factores estructurales tales como el gasto por alumno, los niveles de renta, o nivel educativo de los padres, los cuales tambi\u00e9n pueden incidir sobre el nivel de desempe\u00f1o del alumnado.<\/p>\n

Los \u00faltimos resultados disponibles son los del a\u00f1o 2015, y como se recogi\u00f3 en la pr\u00e1ctica totalidad de los medios de comunicaci\u00f3n, Euskadi no obtuvo la calificaci\u00f3n que se esperaba (puedes ver los resultados de 2015 aqu\u00ed<\/a>). En el caso vasco, los resultados de PISA son complementados por los diagn\u00f3sticos que elabora el ISEI-IVEI<\/a> (Instituto Vasco de Evaluaci\u00f3n e Investigaci\u00f3n Educativa) en el que se mide el nivel de capacitaci\u00f3n de \u00e9stos mismos alumnos en comunicaci\u00f3n ling\u00fc\u00edstica en euskera, castellano e ingl\u00e9s, su competencia matem\u00e1tica y su competencia cient\u00edfica (puedes encontrar el \u00faltimo informe del ISEI-IVEI para el a\u00f1o 2017 aqu\u00ed<\/a>).<\/p>\n

Pero, \u00bfson verdaderamente fiables los resultados de PISA? La presunci\u00f3n que se hace de los informes PISA es que las diferencias observadas en los puntajes reflejan diferencias en las habilidades cognitivas y en el conocimiento general del contenido entre territorios (entre pa\u00edses, o entre regiones dentro de un mismo pa\u00eds). Pero, \u00bfhasta qu\u00e9 punto estos resultados no est\u00e1n influidos por una serie de variables meramente personales como el nivel de atenci\u00f3n del alumnado a la hora de responder a los tests de PISA, su g\u00e9nero, o su constancia? No podemos olvidar que aunque sean de obligado cumplimiento, los resultados de PISA no forman parte de la calificaci\u00f3n del alumnado; es m\u00e1s, en muchos casos \u00e9ste no conoce los resultados de sus tests (cu\u00e1ntas preguntas respondieron correcta o incorrectamente).<\/p>\n

Nagore y Lucas presentaron los resultados de tres investigaciones que me parecieron dignas de menci\u00f3n. En la primera de estas investigaciones Gema Zamarro<\/a> y sus colegas de la Universidad de Arkansas se preguntan si la variaci\u00f3n en los puntajes de las pruebas PISA est\u00e1 asociada con el nivel de esfuerzo que el\/la estudiante haya puesto en el test, en lugar del verdadero conocimiento del contenido acad\u00e9mico evaluado. Sus resultados (puedes encontrarlos aqu\u00ed<\/a>) muestran que el nivel de \u201caciertos\u201d depende de si una misma pregunta es formulada en el inicio del test o en el final del mismo. Hay que tener en cuenta que para que las muestras sean totalmente aleatorias y comparables, a pesar de que las preguntas incluidas en los tests sean id\u00e9nticas para una misma cohorte, el orden de las preguntas var\u00eda de persona en persona. Sin embargo, este nivel de constancia del alumnado a la hora de responder a las preguntas del tests var\u00eda notablemente entre pa\u00edses. Mientras que en Finlandia o Hong Kong el nivel de desempe\u00f1o del alumnado no var\u00eda excesivamente del comienzo al final de la prueba, en pa\u00edses como Espa\u00f1a, Grecia, o EEUU esta variaci\u00f3n es muy superior. En este sentido, a pesar de que las autoras de la investigaci\u00f3n no llegan a determinar por qu\u00e9 unos pa\u00edses son m\u00e1s constantes que otros en su esfuerzo al responder al tests, s\u00ed concluyen que el nivel de constancia y de esfuerzo del alumnado ayuda a explicar entre el 32 y el 38 por ciento de la variaci\u00f3n observada en los puntajes de las pruebas en todos los pa\u00edses.<\/p>\n

\"1\"<\/a><\/p>\n

 <\/p>\n

Fuente: Zamarro et al.<\/a> (2016)<\/p>\n

Estos mismos resultados son corroborados para el caso espa\u00f1ol por Pau Balart y Antonio Cabrales (puedes encontrar sus resultados aqu\u00ed<\/a>). Estos autores se centran en analizar las diferencias entre comunidades aut\u00f3nomas en relaci\u00f3n con el nivel de constancia mostrado por el alumnado. Como se puede observar en la siguiente figura, el decaimiento en el rendimiento es un problema generalizado en el conjunto de regiones espa\u00f1olas. Sin embargo, al igual que ocurr\u00eda a escala nacional, a escala regional tambi\u00e9n se observan diferencias notables. Los autores consideran que la diferencia entre la posici\u00f3n relativa de las comunidades aut\u00f3nomas en los resultados PISA se explican en gran medida por las diferencias en el decaimiento a lo largo del test. En particular, observan que el decaimiento en el rendimiento es de especial relevancia para explicar el buen resultado de las comunidades aut\u00f3nomas a la cabeza de la clasificaci\u00f3n (Castilla y Le\u00f3n, Arag\u00f3n, La Rioja y Madrid).<\/p>\n

\"2\"<\/a><\/p>\n

Fuente: Balart y Cabrales<\/a> (2014)<\/p>\n

La \u00faltima de las investigaciones que mencionaron fue una realizada por la propia Nagore conjuntamente con Ghazala Azmat y Caterina Calsamiglia. En ella, las autoras analizan por un lado si las diferencias de g\u00e9nero tambi\u00e9n inciden en los resultados de este tipo de pruebas (puedes encontrar los resultados aqu\u00ed<\/a>). Existe una amplia evidencia emp\u00edrica que muestra c\u00f3mo estad\u00edsticamente, y en t\u00e9rmino medio, las chicas obtienen mejores calificaciones que los chicos. Pero las autoras van un paso m\u00e1s all\u00e1 y se preguntan si estas diferencias de g\u00e9nero se siguen observando cuando los resultados de las pruebas inciden de forma directa en la calificaci\u00f3n final del alumnado. A trav\u00e9s de un experimento natural, las autoras observaron que el sesgo de g\u00e9nero se observaba de forma clara cuando los resultados de estos tests representaban entre un 5% (low stakes<\/em>) y un 27% (high stakes<\/em>) de la nota final. En estos casos en los que el impacto del test en la evaluaci\u00f3n final es bajo las estudiantes femeninas superan a los estudiantes varones. Sin embargo, cuando la calificaci\u00f3n del test representa el 50% de la calificaci\u00f3n final (super high stakes<\/em>), la brecha de g\u00e9nero desaparece.<\/p>\n

\"3\"<\/a><\/p>\n

Fuente: Azmat et al.<\/a> (2016)<\/p>\n

La presentaci\u00f3n de estos resultados dio pie a un debate entre los ponentes y los participantes, en el cual salieron a relucir cuestiones como las diferencias entre la motivaci\u00f3n intr\u00ednseca o extr\u00ednseca de los estudiantes en relaci\u00f3n con su formaci\u00f3n acad\u00e9mica, o la creciente cultura antievaluaci\u00f3n a la que nos enfrentamos desde las instituciones educativas.<\/p>\n

Personalmente, considero que la informaci\u00f3n que se deriva de este tipo de rankings deber\u00eda emplearse con mucha cautela, ya que como hemos observado hay una serie de factores que inciden directamente en los resultados, pero que no se controlan ni son susceptibles de poder ser controlados. Soy de los que opina que m\u00e1s all\u00e1 de la \u2018foto finish\u2019 que se pueda derivar de estos rankings, lo que deber\u00edamos plantearnos es el grado en el que este tipo de estudios nos resultan de utilidad como herramienta para la toma de decisiones, en este caso, sobre la pol\u00edtica educativa. Creo que el debate no deber\u00eda ser cu\u00e1n de bien o de mal salimos en el ranking, sino si los resultados que se derivan del mismo responden a la estrategia (en este caso educativa) que tenemos como pa\u00eds. \u00bfQu\u00e9 rol social y econ\u00f3mico queremos que desempe\u00f1e la educaci\u00f3n en nuestro pa\u00eds? Sin embargo, por m\u00e1s que busco, no encuentro respuesta a esta pregunta en la estrategia de Etorkizuna Eraikiz.<\/p>\n

Moraleja: si no te gusta la realidad que ves a trav\u00e9s de las gafas, en vez de seguir limpi\u00e1ndolas para tratar de ver mejor, trata de transformar la realidad en la que vives (elaboraci\u00f3n propia del autor).<\/p>\n

Puedes seguirme en Twitter: @jonmizabala<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"

@jonmizabala El pasado 25 de octubre tuve la oportunidad de poder asistir a uno de los foros organizados por la Diputaci\u00f3n Foral de Gipuzkoa dentro de su estrategia Etorkizuna Eraikiz, mediante la cual se quiere avanzar en la construcci\u00f3n del futuro de Gipuzkoa. El objetivo del foro era el de debatir acerca de c\u00f3mo se […]<\/p>\n","protected":false},"author":70,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":[],"categories":[1],"tags":[],"_links":{"self":[{"href":"https:\/\/blogs.diariovasco.com\/ekonomiaren-plaza\/wp-json\/wp\/v2\/posts\/1054"}],"collection":[{"href":"https:\/\/blogs.diariovasco.com\/ekonomiaren-plaza\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blogs.diariovasco.com\/ekonomiaren-plaza\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blogs.diariovasco.com\/ekonomiaren-plaza\/wp-json\/wp\/v2\/users\/70"}],"replies":[{"embeddable":true,"href":"https:\/\/blogs.diariovasco.com\/ekonomiaren-plaza\/wp-json\/wp\/v2\/comments?post=1054"}],"version-history":[{"count":2,"href":"https:\/\/blogs.diariovasco.com\/ekonomiaren-plaza\/wp-json\/wp\/v2\/posts\/1054\/revisions"}],"predecessor-version":[{"id":1060,"href":"https:\/\/blogs.diariovasco.com\/ekonomiaren-plaza\/wp-json\/wp\/v2\/posts\/1054\/revisions\/1060"}],"wp:attachment":[{"href":"https:\/\/blogs.diariovasco.com\/ekonomiaren-plaza\/wp-json\/wp\/v2\/media?parent=1054"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blogs.diariovasco.com\/ekonomiaren-plaza\/wp-json\/wp\/v2\/categories?post=1054"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blogs.diariovasco.com\/ekonomiaren-plaza\/wp-json\/wp\/v2\/tags?post=1054"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}