Studien zur Studie Darum ist PISA überbewertet

Seit dem 3. Dezember 2019 haben wir es schwarz auf weiß: Im internationalen PISA-Ranking sind wir sieben Plätze nach unten gerutscht und rangieren nun auf Platz 20 von 71. Sind unsere Schüler wirklich schlechter geworden? Oder liegt es am Studiendesign? Inzwischen gibt es zahlreiche Studien, die PISA kritisieren. Was sagt der internationale Vergleich wirklich aus - über unsere Kinder und unser Schulsystem?

Der Begriff "Studie" gibt vor, das hier eine wissenschaftliche Untersuchung zu einer Einzelfrage vorliegt. Doch was ist eigentlich die Fragestellung? Was bzw. wer wird hier wie untersucht - und in wessen Auftrag?

Seit 2000 werden alle drei Jahre 600.000 15-Jährige aus etwa 80 Ländern im Hinblick auf ihre Leistungen im Lesen, in Mathematik und in den Naturwissenschaften getestet. Aus Deutschland fließen Zahlen von etwa 10.000 Kindern ein. Auftraggeber des "Programme for International Student Assessment" (PISA) ist die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD). Ziel der Untersuchung ist es, die Schulsysteme der teilnehmenden Länder miteinander zu vergleichen.

Was sagt das PISA-Ranking wirklich aus?

Regelmäßig schrecken die Resultate auf, so wie der deutsche Platz 20 am 3. Dezember. Doch was sagt das Ranking über die Schüler, über das Schulsystem einer Nation wirklich aus? Heiner Barz ist Leiter der Abteilung für Bildungsforschung und Bildungsmanagement an der Heinrich Heine Universität Düsseldorf. Er hat in den vergangenen Jahre intensiv zu Bildungsstudien wie PISA geforscht.

PISA ist kein Instrument mit hundertprozentiger Messgenauigkeit. Ob man aus den Ergebnissen wirklich Schlussfolgerungen für das deutsche Bildungssystem ziehen kann, bezweifeln viele Experten inzwischen.

Heiner Barz, Bildungsexperte

Ein fairer Vergleich?

Seit es PISA gibt, wird beispielsweise die Stichprobenziehung immer wieder kritisiert. In Deutschland wird darauf geachtet, das Kinder aller Schulformen einschließlich der Sonder- und Förderschulen dabei sind. Eine Vorgabe dafür gibt es jedoch von der OECD nicht, die teilnehmenden Länder entscheiden selbst, wie sie ihre Stichprobe zusammenstellen.

In anderen Ländern kann es vorkommen, dass am Tag der PISA-Erhebungen den schlechteren Schülern vielleicht nahe gelegt wird, sich krank zu melden.

Heiner Barz

Inzwischen gibt es zahlreiche Studien, die die Schwachstellen von PISA wissenschaftlich dokumentieren.

Methodische Mängel offengelegt

Während die PISA-Tests 2018 an den Schulen liefen, veröffentlichten Wissenschaftler aus Harvard und vom Boston College im Wissenschaftsmagazin "Science" ihre Kritik an der Methode hinter den vorangegangenen Studien. Judith B. Singer (Harvard) und Henry I. Braun (Boston College) stellen vor allem das Ranking, also die Erfolgsreihenfolge der einzelnen Nationen in Frage. Tatsächlich werden die Lehrpläne der Länder und die einzelnen Klassenstufen nicht berücksichtigt. 15-Jährige werden getestet, ganz gleich ob sie noch in Klasse neun oder schon in Klasse zehn lernen und wie weit sie "im Stoff" sind.

Spitzenreiter nicht immer grundsätzlich schlauer

Schon oft wurde die Auswahl der getesteten Kinder in Frage gestellt. Auch Singer und Braun stellten fest: In einigen Ländern werden gerade 15-Jährige aus vermeintlich bildungsfernen Familien ausgespart. So hätten zum Beispiel in Shanghai Jungen und Mädchen, die aus ländlichen Gebieten Chinas zugewandert waren, gar kein Recht auf einen Platz an den städtischen Schulen. Dadurch würden 27 Prozent der Kinder in diesem Jahrgang gar nicht erfasst.

So muss man die Spitzereiterposition Chinas 2012 zusammen mit Singapur und Hongkong neu betrachten. Auch die Ergebnisse Mexikos oder der Türkei sind umstritten. Dort besuchen 40 Prozent der Jugendlichen im Alter von 15 Jahren gar keine Schule mehr, vermutlich vor allem aus bildungsfernen Familien.

Zentralisierte Länder und förderale Staaten schwer vergleichbar

Weiterhin monieren die Forscherinnen und Forscher, dass zentral regierte Länder wie China mit förderalen Staaten wie Kanada oder Deutschland direkt verglichen werden. Denn dort, wo Schulbildung den Bundesländern oder -staaten obliegt, sei die Spreizung der Werte allein innerhalb einer Nation groß.

Wo die Schüler ihr Wissen wirklich erlangen, bleibt außer acht

Ob Schülerinnen und Schüler das Wissen, das sie beim PISA-Test wiedergeben, tatsächlich im Klassenzimmer erworben haben, wird im Ranking nicht berücksichtigt. So gab 2012 die Hälfte der koreanischen Kinder an, dass sie privat Nachhilfe erhielten. Daher warnen Singer und Braun, aus dem Ranking lineare Schlüsse über die Qualität des jeweiligen Schulsystems zu ziehen. Das jedoch ist das das Ziel, das PISA verfolgt.

Was Aussagekraft und Vergleichbarkeit verbessert

Deshalb raten die Autoren zu Verlaufsstudien, die die Entwicklung der Kinder innerhalb ihres Schulsystems über einen längeren Zeitraum darstellen. Und tatsächlich wurden viele der benannten Kritikpunkte bei der aktuellen PISA-Erhebung berücksichtigt, sagt Andreas Schleicher, Leiter des Bildungsdirektorats der OECD.

Die Kultusministerkonferenz hat in Deutschland zusätzliche Ländervergleiche eingeführt. Sie sollen helfen, die Vergleichbarkeit zu zentral regierten Ländern zu erhöhen. Durchgeführt werden die Vergleiche vom Institut zur Qualitätsentwicklung im Bildungswesen (IQB). Auch die Auswahl der Stichproben ist inzwischen verändert:

Wir haben die Stichproben erweitert, damit sie repräsentativer sind. In China zum Beispiel beziehen wir nun auch Schülerinnen und Schüler aus zusätzlichen Provinzen mit ein.

Andreas Schleicher, Leiter des Bildungsdirektorats der OECD

Neu bei PISA: Test in "globaler Kompetenz"

Um die Testbereiche weiter zu fassen und mehr Fähigkeiten abzubilden, wurde für PISA 2018 auch die "Globale Kompetenz" mit geprüft. Dabei sollten die Schülerinnen und Schüler zeigen, wie sie sich in interkulturellen Zusammenhängen bewegen und mit Verschiedenheiten umgehen. Bei der nächsten PISA-Runde in drei Jahren soll dann das kreative Denken eine Rolle spielen.

krm

6 Kommentare

Ichich vor 34 Wochen

Ach, so .... "Überbewertung von PISA".
iqb ... da liegt M-V in den Naturwissenschaften mittlerweile vor dem superreichen Baden-W. Konsequenzen ?
IGLU ... da verschlechtern sich die Werte seit 2006. Konsequenzen ?
TIMSS ... da schmiert D. ungebremst ab und liegt hinter Portugal, Litauen, Bulgarien. Konsequenzen ?

Ichich vor 34 Wochen

"Über dem Durchschnitt" heißt nichts Anderes als daß andere Länder wie Schweden schlechter geworden sind. Ein Land wie Polen, daß 2000 hinter D. lag, also "schlecht", liegt nunmehr VOR Deutschland.
Soziale Ungleichheiten beruhen im wesentlichen auf biologischen Ungleichheiten. Und ja, mehrere Länder sind (angeblich) "ungleicher": Ungarn, Frankreich, Schweiz, Portugal, Belgien. Wie will man das erklären ?
Welche "Konsequenzen" will man jetzt ziehen ? Von einem "Experten" wie Köller wird eine Variante wie "head start" (USA) empfohlen ... obwohl head start seit mehr als 45 Jahren keine Ergebnisse produziert und die USA außer im Bereich "Lesekompetenz" HINTER D. legt. :-)

MDR-Team vor 34 Wochen

Hallo Ichich,

für Sie mag es ein "Desaster" und ein "Schönschminken" sein. Das ist Ihre Interpretation und genau diesen Spielraum bietet die PISA-Studie. Andere Menschen interpretieren die Ergebnisse durchaus positiv: Im Jahr 2000 lagen die Leistungen der Jugendlichen in Deutschland unter dem OECD-Durchschnitt. Im Jahr 2009 lagen sie im Durchschnitt und jetzt hat Deutschland sich über dem OECD-Durchschnitt etabliert und gehalten.
Statt also über die Ergebnisse zu streiten, wäre die Frage nach den Konsequenzen vielleicht zielführender. Soziale Ungleichheiten haben sich verstärkt und Themen wie Migration oder Digitalisierung sind auch für die Bildung von hoher Relevanz. Was also muss getan werden, um einen möglichst hohen Bildungsstandard zu erreichen und um sicherzustellen, dass kein Kind zurückbleibt?

Herzliche Grüße aus der MDR-Wissen-Redaktion