Es Pisa fundamentalmente defectuoso?
Son las tablas de clasificación de educación más confiables del mundo. Pero los académicos dicen que el Programa para la Evaluación Internacional de Alumnos rankings se basan en un "profundo error conceptual". Así deben ser los países basando reformas en ellos?
En menos de cinco meses, se publicará el conjunto más influyente de los resultados de pruebas de educación que el mundo haya visto jamás. Los líderes de los países más poderosos de la Tierra estarán esperando ansiosamente para ver cómo les ha ido en el último Programa para la Evaluación Internacional de Alumnos (Pisa).
En el mundo cada vez más interconectado de hoy, donde el conocimiento está suplantando la industria tradicional como la clave para la prosperidad futura, la educación se ha convertido en el evento principal en la "carrera global". Y Pisa, la evaluación llevada a cabo por la Organización para la Cooperación y el Desarrollo Económico (OCDE) cada tres años, ha llegado a ser visto como el más reconocido y confiable medida de la educación.
Los políticos de todo el mundo, como el secretario de educación de Inglaterra Michael Gove, han basado su caso de reformas radicales, polémicas sobre el hecho de que los rankings Pisa de sus países han "caído en picado". Mientras tanto, las historias de la parte superior del ranking de éxito como Finlandia se han convertido en términos paralelos internacional para la excelencia educativa, con otros países ambiciosos haciendo cola para ver cómo se han conseguido.
Pisa 2012 - que se publicará el 3 de diciembre de 2013 - va a crear más estrellas, causar aún más angustia y persuadir a más gobiernos a gastar más millones en las reformas que sugiere la encuesta han tenido más éxito.
Pero lo que si hay "graves problemas" con los datos de PISA? ¿Qué pasa si las técnicas estadísticas utilizadas para compilarlo son "completamente equivocado", y sobre la base de un "profundo error conceptual"? Supongamos que toda la idea de ser capaz de clasificar con precisión tales sistemas educativos diversos es "sin sentido", "locura"?
¿Qué pasa si usted aprendió que las comparaciones de Pisa no se basan en una prueba común, pero en diferentes estudiantes contestan preguntas diferentes? ¿Y si el cambio en torno a estas preguntas conduce a enormes variaciones en los rankings de suma importancia en Pisa, con el Reino Unido de terminar en cualquier lugar entre el 14 y el 30 y en Dinamarca entre el quinto y el 37o? ¿Qué pasa si estas clasificaciones - que tanta reputación y miles de millones de libras dependen, que tienen tanto impacto en los estudiantes y profesores de todo el mundo - de hecho son "inútiles"?
Esta es la realidad preocupante de Pisa, según varios académicos que están llegando de forma independiente algunas conclusiones condenatorias acerca de las tablas de clasificación de educación popular del mundo. En lo que a ellos respecta, el emperador está desnudo.
Quizás tan preocupante son las respuestas proporcionadas al TES puso argumentos de los académicos a la OCDE. Sobre la cuestión clave de si los sistemas educativos de los distintos países se clasifican correctamente por Pisa, y si estos rankings son fiables, la respuesta es menos tranquilizador.
Los datos de las muestras utilizadas significan que hay "incertidumbre", la OCDE reconoce. Como resultado, la "gran variación en un solo (país) posiciones en el ranking es probable", añade.
La organización siempre ha argumentado que Pisa proporciona un análisis mucho más profundo y matizado que simples clasificaciones, ofreciendo puntos de vista en el que las políticas de educación funcionan mejor. Pero la verdad es que, para muchos, el ranking de titulares son el comienzo y el final de Pisa y es ahí donde radica gran parte de su influencia.
En otras cuestiones importantes, tales como la existencia de un "error matemático insoluble fundamental" en el corazón del modelo estadístico utilizado para Pisa, la OCDE ha ofrecido ninguna respuesta.
Las preocupaciones acerca de Pisa se han planteado públicamente antes. En Inglaterra, las reiteradas referencias de Gove para el país que caían de la matemáticas en Pisa, la lectura y la clasificación de la ciencia entre los años 2000 y 2009 han dado lugar a un estrecho control de los resultados del estudio.
El año pasado, el secretario de Educación recibió una reprimenda oficial de la Autoridad de Estadística del Reino Unido para citar las "problemáticas" cifras del Reino Unido desde 2000, que la propia OCDE ya había ingresados fueron estadísticamente inválida porque no hay suficientes escuelas participaron.
El organismo de control de estadísticas también destacó otras críticas hechas por el Dr. John Jerrim, profesor de economía y estadísticas sociales en el Instituto de Educación, Universidad de Londres. Señala que Pisa caída de Inglaterra en desgracia fue contradicha por las cuentas del país en las tendencias rivales en Internacional de Matemáticas y Ciencias, que se levantó entre 1999 y 2007. El artículo de Jerrim también sugiere que las variaciones en la época del año que los estudiantes de Inglaterra tomaron las pruebas Pisa entre 2000 y 2009 podrían haber sesgado los resultados.
La OCDE dice TES que esto equivale a la especulación, y que Jerrim sólo consideró las pruebas en el Reino Unido y no abordaba el objetivo principal de Pisa, que es proporcionar una "comparación instantánea" entre el 15-años de edad en los diferentes países.
Pero es la naturaleza "instantánea" de Pisa - el hecho de que se ve en otra cohorte de 15 años de edad, cada tres años - que es una de las principales críticas al programa por Harvey Goldstein, profesor de estadísticas sociales a la Universidad de Bristol, en el suroeste de Inglaterra.
"Yo estaba recomendando hace 10 años a la OCDE que debería tratar de incorporar los datos longitudinales, y simplemente no ha hecho eso", dice Goldstein TES. A él le gustaría ver Pisa sigue una cohorte en el tiempo, ya que la base de datos de la pupila del gobierno en Inglaterra hace, de modo que más relaciones causales podrían ser estudiados.
Ahondando
Críticas al alcance de Pisa son importantes. Pero los desafíos metodológicos más profundos que se están realizando son probablemente aún más importante, aunque más difícil de penetrar.
No debe ser ninguna sorpresa que han surgido. Una comparación justa entre más de 50 sistemas educativos diferentes que operan en una gran variedad de culturas, lo que permite proceder a su clasificación precisa sobre medidas comunes simples, siempre iba a ser enormemente difícil de administrar en una forma que todo el mundo está de acuerdo.
Goldstein señala la preocupación de que las preguntas utilizadas en las pruebas de Pisa han sido sesgadas culturalmente o lingüísticamente hacia ciertos países. Pero, explica que cuando la OCDE ha tratado de abordar este problema descartando preguntas sospechosas de parcialidad, puede tener el efecto de "suavizar" las diferencias fundamentales que existen entre los países.
"Eso está dejando fuera muchas de las cosas importantes", advierte. "Ellos simplemente no se les comentaron. Lo que estás viendo es algo que pasa a ser común. Pero (es) vale la pena mirar? Resultados de Pisa se toman por su valor nominal de proporcionar algún tipo de norma común entre los países. Pero tan pronto como se empieza a deshacer, creo que todo se desmorona ".
Para Goldstein, las preguntas que Pisa termina con garantizar la comparabilidad puede tender hacia el mínimo común denominador.
"Existe el riesgo de que," admite Michael Davidson, jefe de la división de las escuelas de la OCDE. "En cierto modo, no se puede ganar, ¿verdad?" Sin embargo, Pisa aún encuentra "grandes diferencias" entre los países, dice, a pesar de "eliminar a lo que sospechamos son preguntas culturalmente sesgadas".
Davidson también reconoce que algunas de las preguntas que sobreviven todavía "se comportan" de manera diferente en diferentes países. Y, como veremos más adelante, esta cuestión se encuentra en el corazón de algunos de los mayores reclamos contra Pisa.
Imperfección simple
Las clasificaciones Pisa son como las tablas de la liga en la educación que ejercen una enorme influencia, pero debido a su simplicidad necesaria son imperfectos. ¿Dónde se podría argumentar que lo que difieren es en la falta de conciencia acerca de estas limitaciones.
Los riesgos también son altos en las tablas de rendimiento interno de Inglaterra, con la propia existencia de algunas escuelas que descansan sobre sus resultados. Pero en Inglaterra la medida título escogido - el porcentaje de alumnos que han alcanzado cinco A *-C GCSE, incluyendo Inglés y matemáticas - es fácilmente comprensible. Sus deficiencias - que viene en ninguna parte cerca de capturar todo lo que hacen las escuelas y fomenta un enfoque desproporcionado en los estudiantes en el límite de la calificación CD - también son ampliamente conocidos.
Pisa, en comparación, es efectivamente un cuadro negro, con poco conocimiento del público acerca de lo que sucede en el interior. Los países están clasificados por separado en la lectura, las matemáticas y la ciencia, de acuerdo con las puntuaciones basadas en los logros de sus alumnos en las pruebas especiales de Pisa. Estos son representativos en lugar de las puntuaciones reales, ya que se han ajustado para adaptarse a una escala común, donde el promedio de la OCDE es siempre 500. Así que en la evaluación PISA 2009, por ejemplo, Shanghai terminó primero en la lectura con 556, los EE.UU. se correspondía con la media de la OCDE, con 500 y Kirguistán acabó último con 314.
Se podría pensar que para lograr una comparación justa - y teniendo en cuenta que las preguntas sesgadas culturalmente han sido "eliminados" - se les ha pedido a todos los estudiantes que participan en Pisa para responder a las mismas preguntas.
Pero sería un error. Por ejemplo, en Pisa 2006, aproximadamente la mitad de los alumnos participantes se les pidió no alguna pregunta sobre la lectura y la otra mitad no fueron probados en absoluto en las matemáticas, aunque se produjeron el ranking completo para ambos temas. La ciencia, el foco principal de Pisa ese año, fue el único tema que todos los alumnos participantes fueron probados en.
Profesor Svend Kreiner, de la Universidad de Copenhague, Dinamarca, ha examinado los resultados de la lectura para el año 2006 en detalle y señala que otro 40 por ciento de los estudiantes participantes se pusieron a prueba en tan sólo 14 de las 28 preguntas de lectura utilizados en la evaluación. Así que sólo aproximadamente el 10 por ciento de los estudiantes que participaron en Pisa se pusieron a prueba en todas las 28 preguntas de lectura.
"Esto en sí mismo es ridículo", dice Kreiner TES. "La mayoría de la gente no sabe que la mitad de los estudiantes que participan en Pisa (2006), no responden a ningún elemento de la lectura en absoluto. A pesar de eso, Pisa asigna puntuaciones de lectura para estos niños ".
Las personas también pueden no ser conscientes de que la variación en las preguntas no es sólo entre los estudiantes dentro de un mismo país. También hay diferencias entre los países.
Por ejemplo, ocho de las 28 preguntas de lectura utilizados en Pisa 2006 se eliminaron del análisis final en algunos países. La OCDE dice que esto se debía a que eran considerados como "poco fiable" y "tenía malas propiedades psicométricas en un país en particular". Sin embargo, en otros países los datos de estas preguntas han contribuido con sus puntuaciones Pisa.
En resumen, las preguntas de la prueba utilizados varían entre los estudiantes y entre los países que participan de la misma evaluación Pisa.
La OCDE ofrece TES la siguiente explicación para este escenario aparentemente poco probable: "Es importante reconocer que Pisa es una evaluación a nivel de sistema y el diseño de la prueba se crea con ese objetivo en mente. La evaluación Pisa no genera calificaciones de los individuos, sino que calcula los valores plausibles para cada estudiante con el fin de proporcionar magnitudes del sistema ".
A continuación hizo referencia a una explicación en un informe técnico de Pisa, que señala: "Es muy importante reconocer que los valores plausibles no se ponen a prueba las puntuaciones y no deben ser tratados como tales. Son números aleatorios extraídos de la distribución de las puntuaciones que se podrían asignar razonablemente a cada individuo. "En otras palabras, una gran parte de la clasificación de Pisa no se basa en el desempeño real del estudiante en todo, pero en los" números aleatorios ".
Para el cálculo de estos "valores plausibles", la OCDE utiliza algo llamado el modelo de Rasch.Alimentando puntuaciones reales de estudiantes en esta estadística "modelo de escala", los administradores de Pisa tienen como objetivo elaborar una versión plausible de lo que las puntuaciones habrían sido si todos los estudiantes de todos los países habían respondido a las mismas preguntas.
Dentro de la caja negro
El modelo de Rasch está en el centro de algunas de las críticas más fuertes que se están realizando de Pisa. También es el cuadro negro dentro de la caja negro de Pisa: exactamente cómo funciona el modelo es algo que pocas personas entienden completamente.
Pero Kreiner hace. Él era un estudiante de Georg Rasch, el estadístico danés que dio su nombre al modelo, y ha trabajado personalmente con él durante 40 años. "Conozco bien ese modelo", dice Kreiner TES. "Sé exactamente lo que pasa allí." Y es por eso que está preocupado por Pisa.
Dice que para el modelo de Rasch para trabajar por Pisa, todas las preguntas utilizadas en el estudio tendrían que funcionar exactamente de la misma manera - igualmente difícil - en todos los países participantes. Según Kreiner, si las preguntas tienen "diferentes grados de dificultad en los distintos países" - si, en términos técnicos, no hay funcionamiento diferencial del ítem (DIF) - Rasch no se debe utilizar.
"Eso fue lo primero que me puse a buscar y encontré extremadamente fuerte evidencia de DIF", dice. "Eso significa que (Pisa) comparaciones entre países no tienen sentido."
Por supuesto, como ya se ha dicho, la OCDE no pretende "eliminar a" las preguntas que se polarizan hacia los países en particular. Pero, como admite Davidson de la OCDE, "hay alguna variación" en la forma en que las cuestiones de trabajo en diferentes países, incluso después de que eliminar a. "Por supuesto que lo es", dice. "Sería ridículo esperar que cada artículo (pregunta) se comporte exactamente igual. Lo que nosotros trabajamos para hacer es minimizar esa variación ".
Pero la investigación de Kreiner sugiere que la variación es aún demasiado para permitir que el modelo de Rasch para que funcione correctamente. En 2010, tomó los datos de la prueba de lectura de PISA 2006 y les dio de comer a través del modelo de Rasch a sí mismo. Él dijo que los reclamos de la OCDE no se ponen de pie, porque el ranking de los países varían considerablemente en función de las preguntas utilizadas. Eso significaba que los datos eran inadecuados para Rasch y, por tanto, Pisa era "no es fiable en absoluto."
"Yo no soy realmente capaz de encontrar dos artículos en las pruebas de Pisa, que funcionan exactamente de la misma manera en diferentes países", dijo Kreiner en 2011. "No hay un solo elemento que es el mismo en todos los 56 países. Por lo tanto, no puede utilizar este modelo ".
La OCDE respondió con un documento de ese mismo año, escrito por uno de sus asesores técnicos, Ray Adams, quien argumentó que el trabajo de Kreiner se basaba únicamente en el análisis de las preguntas en pequeños grupos seleccionados para mostrar la mayor variación. La organización sugiere que cuando se utilizó un gran número de preguntas, cualquier variación en el ranking se nivelan.
Pero Kreiner respondió con un papel nuevo este verano que rompió las preguntas de lectura 2006 en las mismas agrupaciones utilizadas por Pisa. No incluyó las ocho preguntas que los admite la OCDE eran "poco fiables" para algunos países, pero aún así encontró grandes variaciones en el ranking de los países en función de los cuales se utilizaron grupos de preguntas.
Además de las variaciones del Reino Unido y Dinamarca ya mencionadas, las diferentes preguntas hicieron que el Canadá podría haber terminado en cualquier lugar entre la segunda y 25 y Japón entre el octavo y 40mo. Es, dice Kreiner, más evidencia de que el modelo de Rasch no es adecuado para Pisa y que "lo mejor que podemos decir sobre el ranking PISA es que son inútiles".
Según la OCDE, no todos los expertos están de acuerdo con la posición de Rasch de Kreiner que el modelo no se puede utilizar cuando el DIF está presente. También sostiene que no existe un modelo estadístico se ajusta exactamente con los datos de todos modos, a la que Kreiner responde: "Es cierto que todos los modelos estadísticos son erróneas. Sin embargo, algunos modelos son más malo que otros modelos y no hay razón para usar el peor modelo ". Kreiner acusa aún más la OCDE de no presentar ninguna prueba para demostrar que sus rankings son robustos.
La organización dice que los investigadores pueden solicitar los datos. Pero, más significativamente, ahora ha admitido que hay "incertidumbre" en torno a la clasificación Pisa país y que "gran variación en las posiciones de ranking individuales es probable".
Atribuye esto a "datos de ejemplo" en lugar de la falta de adaptación de su modelo estadístico. Pero la variación de posibles clasificaciones citadas por la OCDE, aunque más pequeño que Kreiner de, todavía puede levantar las cejas. En 2009, la organización dijo que el ranking del Reino Unido fue de entre 19 y 27 para la lectura, entre los días 23 y 31 de matemáticas, y entre 14 y 19 para la ciencia.
Serias preocupaciones sobre el modelo de Rasch También se han planteado por el Dr. Hugh Morrison de la Universidad Queen de Belfast en Irlanda del Norte. El matemático no se limita a pensar que el modelo no es adecuado para Pisa - está convencido de que el modelo en sí es "completamente equivocado".
Morrison sostiene que en el corazón de Rasch, y otras modelos estadísticos similares, se encuentra un error matemático fundamental, insoluble que hace que la clasificación de Pisa "sin valor" y significa que el programa "no va a funcionar".
Él dice que el modelo insiste en que cuando los estudiantes de la misma capacidad de responder a la misma pregunta - en perfectas condiciones, cuando todo lo demás es igual - algunos estudiantes siempre contestar correctamente y algo de manera incorrecta. Pero Morrison sostiene que, en estas circunstancias, los estudiantes serían, por definición, todos dar una respuesta correcta o estarían todos dar una respuesta incorrecta, porque todos tienen la misma capacidad.
"Este es mi problema fundamental, que nadie puede resolver por lo que yo puedo ver porque no hay manera de resolverlo", dice el académico, que quiere dar a otros la oportunidad de refutar su argumentación matemática. "Yo soy un matemático bastante cautelosos y estoy seguro de que esto no se puede responder."
Morrison también impugna Rasch porque él dice que el modelo hace la afirmación "imposible" de ser capaz de medir la capacidad de forma independiente de las preguntas que los estudiantes respondan."Considera un candidato GCSE que marque 100 por ciento en matemáticas fundación GCSE", dice a TES."Si Einstein fuera a tomar el mismo papel, parece probable que él también anotaría 100 por ciento.¿Hemos de suponer que Einstein y el alumno tienen la misma capacidad matemática? ¿No lo siguiente, la afirmación más conservadora, estar más cerca de la verdad: que Einstein y el alumno tienen la misma matemática capacidad relativa a la prueba de matemáticas fundación "?
Cuando TES ponen preocupaciones de Morrison a la OCDE, que respondió repitiendo su refutación de los argumentos de Kreiner. Pero Kreiner hace un punto diferente y argumenta en contra de la idoneidad de Rasch para Pisa, mientras que Morrison afirma que el modelo en sí es "totalmente incoherente".
Después de ser remitido un breve resumen del caso de Morrison, Goldstein dice que él destaca "un importante problema técnico", en lugar del "profundo error conceptual" reclamada por el académico de Belfast. Pero los dos están de acuerdo en su opinión, de la respuesta de la OCDE a la crítica. Morrison ha puesto sus puntos a varias personas de alto nivel en la organización, y dice que fueron recibidos con "silencio absoluto". "Me sorprendió lo reticente que eran", dice. "Eso me hace sospechar."
Goldstein publicó por primera vez sus críticas de Pisa en 2004, pero dice que aún no se han abordado."Pisa rotundamente ignorado muchos de estos temas", dice. "Todavía estoy preocupado."
La OCDE dice TES que: "El material técnico sobre Pisa que se produce en cada ciclo pretende ser transparentes acerca de los métodos de Pisa. Pisa siempre estará dispuesto a mejorar en eso, llenar los vacíos que se perciben de existir, o eliminar las ambigüedades y discutir estas metodologías públicamente ".
Pero Kreiner está convencido: "Uno de los problemas que todo el mundo ha de Pisa es que ellos no quieren discutir las cosas con la gente criticar o hacer preguntas acerca de los resultados. No querían hablar conmigo en absoluto. Estoy seguro de que es porque no pueden defenderse a sí mismos ".
¿Cuál es el problema?
"(Pisa) se ha utilizado de forma inapropiada y algo de la culpa de que se encuentra consigo misma Pisa.Creo que tiende a decir mucho de lo que puede hacer y que no tiende a dar a conocer el negativo o los aspectos más débiles ". Profesor Harvey Goldstein de la Universidad de Bristol, Inglaterra
"Estamos tan transparente como creo que podemos ser."
Michael Davidson, jefe de la división de las escuelas de la OCDE
"El punto principal es, no es hasta el resto del mundo para demostrar que (la OCDE) están equivocados.Depende de Pisa para demostrar que tienen razón. Ellos afirman que están haciendo algo y que están recibiendo una gran cantidad de dinero para hacerlo, y deben apoyar sus demandas. "Profesor Svend Kreiner, de la Universidad de Copenhague, Dinamarca
"Hay muy pocas cosas que se pueden resumir con un número y, sin embargo Pisa afirma ser capaz de capturar todo el sistema educativo de un país en tan sólo tres de ellos. No puede ser posible. Es una locura ". Dr. Hugh Morrison, la Universidad Queen de Belfast, Irlanda del Norte
Otras lecturas
- Papeles por el profesor Svend Kreiner: bit.ly / SvendKreiner y
- bit.ly / PisaScaling
- Artículo y un enlace a papel por el Dr. John Jerrim: bit.ly / EnglandPerformance
- Papel del profesor Harvey Goldstein: bit.ly / HarveyGoldstein
- Papel por el asesor técnico de la OCDE Ray Adams: bit.ly / RayAdams
- Papel por el Dr. Hugh Morrison: bit.ly / MorrisonBelfast .
Crédito de la foto: Getty
Comentario (11)
Nuestra conclusión de andar por casa es que Finlandia le va bien en las pruebas de PISA como su sistema educativo se orienta a hacer bien en las pruebas PISA. Pregunte a la mayoría profesores del Reino Unido, a los padres o simplemente ciudadanos de a pie lo que PISA es y ellos dicen que es una comida italiana a base de pasta con tomate y queso como topping!
Mr.Gove necesita escuchar a los educadores del Reino Unido como nosotros antes de tomar la tabla de la liga PISA tan a pecho - que estamos haciendo un muy, muy buen trabajo en el Reino Unido y que no queremos ser arrastrados hasta el nivel de desguace para los lugares en una prueba - la liga conducido! Pregunte Finlandia o los otros países europeos 'table-desmoche' para sentarse algunos exámenes estándar Unido GCSE y ver cómo les va ...
26 de julio 2013
29 de julio 2013
29 de julio 2013
31 de julio 2013
11 de agosto 2013
Como Finn, puedo decir que esta afirmación no tiene sentido, a menos que se quiere decir que hay un fuerte énfasis en la resolución de problemas y la enseñanza basada en problemas en Matemáticas y Ciencias de la enseñanza en Finlandia, que ayuda a los estudiantes finlandeses para un buen desempeño en las pruebas de PISA. El sistema educativo finlandés se construyó sin tratar de ser el mejor. Por otra parte, la competencia entre las escuelas no era parte del plan. En cambio, la atención se ha centrado en la creación de buenas escuelas para todos los niños. Sin embargo, paradójicamente, los estudiantes finlandeses realizan bien en Estudios Internacionales y del informe McKinsey 2010 calificaron el sistema educativo finlandés como uno de los excelentes del mundo.
En comparación con algunos sistemas educativos asiáticos que también lo hacen muy bien en las comparaciones, el sistema finlandés es muy diferente sin la extensa abarrotar, el aprendizaje memorístico, escolares largas y un montón de tareas presentes en el primero. Por otra parte, los niños finlandeses comienzan la escuela a la edad de siete, años más tarde que en otros países.
El sistema educativo finlandés fue reconstruido y modernizado en el año 1970 sobre la base de la estrategia de los países nórdicos para lograr la igualdad y la excelencia en la educación basada en la construcción de un sistema de educación integral financiado con fondos públicos sin seleccionar, el seguimiento o la transmisión de los estudiantes durante su formación básica común (fuente Wikipedia).
El Ministerio de Educación de Finlandia atribuye su éxito a "el sistema educativo (educación básica uniforme para todo el grupo de edad), los maestros altamente competentes, y la autonomía que se otorga a las escuelas."
Si usted está interesado en saber por qué el sistema educativo finlandés se desempeña bien, entonces no es un libro y los artículos (en Inglés) sobre el tema escrito por un profesional de Finlandia en la educación, Pasi Sahlberg (o google "Resultados de la pisa de Finlandia"). Sin embargo, si usted está buscando una "bala de plata", entonces usted probablemente será decepcionado. Se trata de un "paquete total", no sólo una bolsa de trucos diferentes. Sahlberg menciona que generalmente dos tercios del éxito (o fracaso) se debe a asuntos fuera del sistema educativo (los maestros y las escuelas), como los antecedentes familiares y la motivación para aprender.Esto no quiere decir que los profesores o las escuelas no tienen un efecto, lo hacen, pero podría ser menos de lo que usted piensa al principio. También piensa que si, por ejemplo, todos los maestros de Indiana, EE.UU., fueron sustituidos por los grandes maestros de Finlandia (durante 5 años, y suponiendo que se convertirían con fluidez en Inglés) y todas las otras cosas que quedan como están, la mejora en la los resultados serían marginales.Además, al final de ese periodo muchos de los profesores finlandeses estaría haciendo algo más que enseñar (al igual que sus contrapartes en Estados Unidos, también). Además, compara las escuelas de los equipos deportivos, donde el equipo tampoco puede ser más fuerte o más débil que la suma de los jugadores individuales (maestros en las escuelas), dependiendo de lo bien que trabajan como un equipo. En su opinión los maestros en las escuelas se debe dar la oportunidad y ser alentados a trabajar en equipos con el fin de obtener mejores resultados.
El informe de la OCDE menciona los siguientes puntos acerca del éxito finlandés:
"Consenso político para educar a todos los niños juntos en un sistema escolar común, la expectativa de que todos los niños pueden lograr altos niveles, independientemente de los antecedentes familiares o circunstancia regional; inquebrantable búsqueda de la excelencia docente; responsabilidad colectiva de la escuela para los estudiantes que están luchando; recursos financieros modestos que están fuertemente enfocados en el salón de clases y un clima de confianza entre los educadores y la comunidad "
Me gustaría mencionar sólo un par de pensamientos personales adicionales relativas a la ejecución de leer:
La lengua finlandesa es muy regular en la ortografía (fonética), en contra de la Inglés que está "acercando Chino" en este sentido. Esto hace que sea difícil para los escolares de inglés para aprender cómo se escribe correctamente y por lo tanto también es difícil de aprender a leer el texto de Inglés (en relación al finlandés). A modo de ejemplo, sería posible construir un sintetizador de voz (un dispositivo que convierte texto a voz) con vocabulario libre durante el finés, pero no para el Inglés. Para Inglés, la pronunciación de cada palabra debe ser enseñado al sintetizador (pero no para los de Finlandia, debido a la regularidad de la ortografía). Otro ejemplo es que los concursos de ortografía para los escolares sería una broma en Finlandia, debido a la regularidad de la ortografía.
Otra cosa es que los programas de televisión extranjeras no están dobladas, pero tienen subtítulos, lo que mejora la rutina de lectura de los niños.
La referencia Interskola citado dice lo siguiente (entre otros):
La Red Interskola busca, mediante la estimulación de la discusión internacional, para explorar y promover:
• La educación en las zonas rurales y escasamente pobladas
Para su información, la mayoría de los finlandeses no viven en las zonas rurales, aproximadamente el 84% vive en zonas urbanas. Por otra parte, cuando un extranjero observa el sistema educativo finlandés, a continuación, además de observar qué características tiene, él / ella debe ser capaz de ver lo que no tiene comparación con otros sistemas. De hecho este último puede ser lo más importante para el éxito como la anterior.
Finlandia no ha adoptado los sistemas de pruebas estandarizadas (como los exámenes GCSE del Reino Unido) que son comunes en muchos otros países. El peligro de este tipo de sistemas es que la enseñanza se centra en conseguir una buena puntuación en la prueba en lugar de aprender bien (enseñar para el examen), además de los escándalos de trampas de pruebas reportadas en todo el mundo (USA, Indonesia). Sahlberg considera que son síntomas de la infección GERMEN (Global Educación, Movimiento de Reforma).
Llevar la competencia de estilo mercado en el sistema educativo, con la idea de que los mecanismos de mercado en la educación permitiría la igualdad de acceso a la educación de alta calidad para todos, es otro de los síntomas.
También me ocurrió leer algunas noticias de la BBC sobre cómo algunas escuelas del Reino Unido hacen trampa en los exámenes GCSE del Reino Unido. Este tipo de engaño sería inaudito en Finlandia (práctica muy contraproducente orientado a conseguir algunos "buenos" resultados de la prueba en lugar de aprendizaje).
Observe que hay pruebas (exámenes) en las escuelas finlandesas, también.La diferencia es que cada escuela y al maestro se le permite crear sus propias pruebas.
Hubo un informe del New York Times sobre las trampas que concluyó:
"Nunca antes tantos han tenido tanta razón para hacer trampa. Resultados de los estudiantes ahora se utilizan para determinar si los maestros y directores son buenos o malos, si los profesores deben recibir un bono o ser despedido,
si una escuela es un éxito o un fracaso. "
Por último, la complacencia, por no hablar de la arrogancia, no es un buen punto de partida para la mejora en cualquier organización / sistema.
29 de septiembre 2013
Wikipedia menciona lo siguiente sobre el modelo de Rasch:
"El modelo de Rasch, el nombre de Georg Rasch, es un modelo psicométrico para analizar datos categóricos, como respuestas a las preguntas sobre una lectura de las respuestas de evaluación o cuestionario, en función del equilibrio entre (a) habilidades del entrevistado, actitudes o rasgos de personalidad y (b) la dificultad de los ítems. Por ejemplo, pueden ser utilizados para estimar la capacidad de lectura de un estudiante ".
Así, al menos, el escritor del texto Wikipedia parece estar en desacuerdo con Morrison acerca de si el modelo puede ser usado para cosas como la estimación de las habilidades de lectura de los estudiantes.
Morrison sostiene que si un estudiante tiene (lo suficiente) la capacidad de resolver un problema, entonces él siempre resolverlo. Por lo tanto, si tomamos 1000 dichos estudiantes, todos van a resolver el problema contrario al modelo de Rasch que supone que sólo el 50% va a resolver el problema. Morrison puede estar correcto para tareas muy simples, como sumar o multiplicar dos números: o se sabe cómo hacerlo o no lo haces. Sin embargo, para tareas más complejas el modelo de hipótesis de Rasch parece ser más correcta.
A modo de ejemplo, supongamos que tengo un problema que resolver, lo que puedo, en circunstancias normales resolver en un minuto. Vamos entonces a suponer que yo soy un poco cansado, así que mi capacidad para resolver el problema ha disminuido un poco. Por lo tanto, puede tomar dos minutos para que me de dos a resolver el problema debido a la disminución de la capacidad. Morrison dice que yo no puedo resolver el problema en absoluto, porque mi capacidad ha caído por debajo del umbral necesario.OMI es claramente errónea.
Por otra parte, la OMI Morrison se equivoca al afirmar que las matemáticas se debe utilizar para probar o refutar si el modelo de Rasch es aplicable o no en las ciencias cognitivas / conductuales. La ciencia cognitiva / conductual no es matemática, por lo que tratar de resolver este tipo de problemas sólo Matemático significa es "inútil", utilizando sus propias palabras. Matemáticas ni siquiera pueden resolver todos los problemas en su propio campo (ver, por ejemplo, "Lista de los problemas sin resolver en matemáticas" o teoremas de incompletitud de Gödel en Wikipedia).
Sería interesante escuchar la opinión de Kreiner sobre las afirmaciones de Morrison?.
Kreiner dice que es "ridículo" que sólo la mitad de los estudiantes tomó la prueba de lectura y sólo el 40% respondió a todas las 28 preguntas. Esto puede ser cierto si no hay una razón aparente para ello, como por ejemplo la falta de recursos, el tiempo o la financiación. Sin embargo, el hecho de que menos estudiantes participaron no hace los resultados inutilizable. El resultado es que la incertidumbre se incrementó. Esto es similar a una encuesta de opinión con 2.500 o 5.000 participantes. Este último da resultados más fiables, pero el primero no sirve de nada tampoco.
OMI Kreiner parece ser un poco obsesionado en la búsqueda de la verdad "absoluta" al insistir en que las preguntas deben tener "igualdad de dificultad" en diferentes países. Está claro que no existe una verdad absoluta, sólo la verdad en el marco de Pisa. Por ejemplo, Finlandia se clasificó en dos estudios de competitividad diferentes cerca de la parte superior (tercero) en uno de ellos y el 20 º en la otra. Entonces, ¿qué es la verdad absoluta en este caso? Diferentes criterios producen resultados diferentes, es tan simple como eso. Del mismo modo, si en lugar de la prueba PISA, se utiliza el TIMSS, el resultado puede ser diferente debido a que estos exámenes pueden medir diferentes cosas, como la resolución de problemas en situaciones nuevas en comparación con el aprendizaje de memoria, por ejemplo. Hay otros países que se desempeñan bien en el TIMSS, pero no tan bien en el PISA, por ejemplo Rusia.
Además, es evidente que mediante la inclusión de sólo un subconjunto de las preguntas, la incertidumbre aumentará. Además, me parece que si sólo preguntas muy fáciles se incluyeron entonces, aunque ambos países originalmente tener ranking similar, el país con menos alumnos en la categoría más baja de rendimiento sería conseguir un mejor ranking como resultado. Un cambio similar se produciría mediante el uso de sólo preguntas muy difíciles o preguntas en cualquier otra categoría para el caso.Por lo tanto me parece muy sospechoso para reducir radicalmente el número de preguntas que se incluyen a continuación, utilizando el "número" como una "prueba" de algunas opiniones sobre la metodología de Pisa.
Me resulta un poco desconcertante que Kreiner (o TES?) Afirma que sólo el 10% de los alumnos respondió a todas las 28 preguntas de lectura. De acuerdo con el texto anterior, un 50% respondió que lee las preguntas y de los que el 40% respondió que sólo 14 preguntas: esto significa el 60% de los que respondieron a todas las preguntas 28. Por lo tanto esto hace 0,6 veces 0,5 = 0,3 o 30% de todos los estudiantes respondieron a todas las preguntas de lectura. Así que la distribución era:
- 20% respondió sólo 14 preguntas
- 30% respondió a todas las 28 preguntas
- 50% no contestó ninguna pregunta
- Lo que hace 100% en total
Sobre la base de lo que escribí más arriba, creo que la decisión de reducir el número de preguntas de lectura a 14 para el 20% de los estudiantes es una idea un tanto cuestionable.
Por lo tanto es probable que Pisa no es perfecta y que se podría hacer mejor si hay dinero y los recursos para eso.
Es interesante considerar un método alternativo, como por ejemplo el (Nacional) el examen de la primera matriculación utilizado en Finlandia. Hay las preguntas son asignadas diferente cantidad de puntos basado en la dificultad. Por ejemplo respondiendo a una pregunta fácil correctamente un estudiante obtiene 1 punto, por una cuestión un poco más difícil 2 puntos son asignados etc hasta que por fin una pregunta muy difícil puede ser que consiga 10 puntos asignados. Así que sería este tipo de método más justo?No lo creo. Algunos profesores podrían argumentar que, por ejemplo una pregunta de 5 puntos en realidad debería tener 6 o 7 puntos, en algunos países, mientras que 3 o 4 puntos en algunos otros países con el fin de tener la justicia "absoluta" (la misma dificultad en los países). Así que, probablemente, el "orden de las preguntas" (en crisis) se debe cambiar en algunos países o si eso no es posible, a continuación, algunos de escala se debe utilizar. Sin embargo, a continuación, algunos otros podrían argumentar que esto es una tontería y que sólo producen resultados muy artificiales. OMI el método Rasch produce una justicia "promedio", que es mejor que algunos imparcialidad "artificial" creada por un comité.
Yo habría esperado Kreiner para indicar qué método se considera que es el más adecuado? Es mucho más fácil criticar el método actual que para llegar a una mejor alternativa?
29 de septiembre 2013
Pisara centra en mi cuenta de la profunda paradoja conceptual en el corazón del modelo de PISA. Al formular este argumento postulo una muestra de tamaño de la misma capacidad, todos tienen la respuesta correcta a un elemento o todos tienen la respuesta incorrecta. Se sugiere Pisara que la paradoja podría tener implicaciones para mi aproximación a la medición de la capacidad. Pero esto no es así por una razón muy simple: la idea misma de un atribuyéndole una capacidad definida para un solo testee, y mucho menos una muestra de 1000, no tiene sentido, porque en mi cuenta, la capacidad no medida no puede tener valores definidos. Medición, como yo lo veo, hace que el indefinido y definido.
En segundo lugar Pisara invoca teorema de incompletitud de Gödel para argumentar que los enfoques matemáticos tienen sus limitaciones. Es importante recordar que el teorema de incompletitud se aplica a los sistemas formales y aborda la relación entre la prueba y la verdad en las matemáticas. Seguramente no se está sugiriendo que la humanidad evitan las matemáticas pero retienen PISA? Da la casualidad de que escribí sobre una de las implicaciones del razonamiento de Gödel para PISA en una carta - vea "PISA todavía tiene preguntas que responder" - para el TES del viernes 16 de agosto de 2013. El teorema de incompletitud muestra las dificultades que surgen cuando uno se olvida de las limitaciones del razonamiento. Uno sólo puede razonar (incluso en matemáticas) en contra de un marco fiduciario, es decir, las costumbres y las convenciones de la práctica matemática existentes. Práctica matemática es el "fondo" contra el que la noción de la verdad matemática recibe su sentido. PISA malinterpreta la medición, porque se funda (voluntaria o involuntariamente) en el fondo de la independencia. La medición independiente del fondo estático adoptada por PISA no es medida en absoluto. (Einstein nos enseñó que nada funciona sin ser actuado.) No avance en IRT o en el software de PISA puede tener en cuenta la práctica.PISA consiste en un enfoque totalmente sin sentido de la medición. El mundo sería un lugar mejor si PISA simplemente admitir que simplemente no puede hacer lo que pretende hacer.
Dr. HG Morrison
09 de octubre 2013
27 de octubre 2013
En resumen:
1) La OCDE ha encargado un estudio estadístico de las habilidades de los estudiantes que usan enfoques estándar publicados.
2) Un matemático Belfast, HG Morrison, afirma haber descubierto que el modelo estadístico original de la década de 1960 se ha roto, y que, por tanto, todo el uso durante los últimos 50 años es falso.
3) No sabemos si el Dr. Morrison es correcta, un "excéntrico", o está haciendo un punto oscuro, pero prácticamente irrelevante.
4) No podemos encontrar (o entender) cualquier revisión por pares publicado literatura sobre el tema.
5) No podemos ser molestado en hacer cualquier matemáticos que sabrían de una manera u otra. Gosh esto matemáticas es dura.
6) Vamos a publicar cualquier artículo de todos modos.
TES. Oh querida.
La ciencia en el Daily Mail es mejor origen local (y más "creativo" a saber).
03 de diciembre 2013
Recuerde que Spiegelhalter es un estadístico. Él describe Pisa de este modo:
El modelo estadístico utilizado para generar las "puntuaciones plausibles 'es manifiestamente insuficiente.
Análisis utilizando datos imputados ('verosímil') no es intrínsecamente errónea, siempre (como PISA lo hacen) se toma el error de muestreo adicional en cuenta. Pero la cuestión fundamental es que el ajuste para la imputación sólo es válida si el modelo utilizado para generar los valores plausibles puede ser considerado "verdadero", en el sentido de que los valores generados son razonablemente las evaluaciones "plausibles" de lo que el estudiante habría anotado tenido que responden a las preguntas.
Un modelo de Rasch sencilla es asumido por PISA, en el que se supone que las preguntas para tener un nivel común de dificultad en todos los países - preguntas con claras diferencias son eliminadas como "poco fiable". Sin embargo, en un artículo en Psychometrika, Kreiner ha demostrado la existencia de sustanciales funcionamiento diferencial del ítem "(DIF) - es decir, las preguntas tienen diferentes dificultades en los diferentes países, y concluye que la" La evidencia en contra del modelo de Rasch es abrumadora ".
Estoy de acuerdo con la opinión de Svend Kreiner que no es posible predecir el efecto de basar el análisis detallado posterior sobre valores plausibles a partir de un modelo erróneo.