Strong et al. (2011) | Unterrichtsbeobachtungen

Psychologie fürs Klassenzimmer Forschung zur Schule und Unterricht, die jede Lehrerin und jeder Lehrer kennen sollte. Ein Podcast mit Benedikt Wismärski Hallo, ich begrüße Sie zur Folge 14 von Psychologie fürs Klassenzimmer. Stellen Sie sich bitte folgende Situation vor. Eine Prüfungslehrprobe einfach Englisch. Eine fünfte Klasse soll das Wortfeld in der Haus erschließen. Die Schülerinnen und Schüler schneiden 30 Minuten lang Wort und Bildkarten aus. Malen diese aus und ordnen sie dann zu. Toll, meint die Ausbilderin nach der Stunde. Das war eine außerordentlich Handlungsorientierte Stunde. Was Sie damit wohlmeint? Sicher nicht, dass theoretisch solide Begründete und empirisch bestens abgesicherte psychologische Konstrukte Handlungsorientierung von Julius Kuhl. Denn dieses meint, ja die Tendenz von Menschen sich etwa nach einem Miserfolg nicht in Gedanken festzuhalten. Das kann hier nicht gemeint sein. Wahrscheinlich auch nicht, die aktive Auseinandersetzung mit Inhalten durch die Lernenden, die zur Vernetzung von Alten und neuen Wissen führt. Im Sinne kognitive Erktywierung, denn dies war ja durch Ausschneiden und ausmalen kaum gegeben. Aber was dann? Vielleicht einfach eine Unschafe, ungenau operationalisierte und wage pädagogische Beschreibung dessen, das Schülerinnen und Schüler in irgendeiner Form Handlungen ausführten. Wenn ja? Warum soll dies relevant sein? Warum ist dies ein Beurteilungsgetärium von Unterricht, wenn es keine aller Forschungsergebnis gibt, die zeigen können, dass bloß es handeln, lernerfolgen in irgendeiner Weise beeinflusst? Warum wurde zur Begründung der Beurteilung nicht auf Konstrukte zurückgegriffen, deren Wirksamkeit nachgewiesen ist? Wie etwa das der kognitivem Aktivierung? Und schließlich? Wie war Lide, ist die Beurteilung von Unterricht durch diese Ausbilderin? Fragen über Fragen Worum geht es in dieser Folge? Es geht in dieser Folge um die Studie "Do we know a successful teacher when we see one?" Erkennen wir eine erfolgreiche Lehrkraft, wenn wir sie sehen. Von Michael Strong, John Gagani und Öskie hat sie Fagliolo, erschienen ihm ja 2011 im Journal of Teacher Education. Die Kernfrage dieser empirischen Studie ist die, ob Personen Lehrkräfte bei den Schülerinnen und Schüler überdurchschnittlich viel lernen, von solchen unterscheiden können, bei denen unterdurchschnittliche Lernerfolge erzielt werden, wenn sie diesen beim Unterrichten zusähen können. Also kurz, erkennen Personen erfolgreiche Lehrkräfte anhand von Unterrichtsbeobachtungen. Die Grundsatzfragen sind folgende. Welche Reliabilität und welche Validität haben Unterrichtsbeobachtungen? Und wie hängen Beobachtungen von Lehrpersonen damit zusammen? Wie viel Schülerinnen und Schüler bei diesen Lehrpersonen tatsächlich lernen? Warum sind diese Forschungsergebnisse für Lehrerinnen und Lehrer interessant? Diese Forschungsergebnisse sind in erster Linie einmal für alle Lehrerinnen und Lehrer interessant, die selbst, zum Beispiel im Rahmen der Lehrkräfteausbildung oder der dienstlichen Beurteilung, unterricht mit dem Zielbeobachten eine Aussage über die Qualität dieses Unterrichts zu treffen. Im Prinzip betäffen Sie aber auch alle anderen Lehrkräfte, denn das Thema Unterrichtsbeobachtung spielt ja für jeden und jede im Schulsystem eine nicht unwesentliche Rolle. Wenn man vielleicht vermuten würde, dass in einem System, in dem der Zusammenhang von Beurteilungen und kreierisch-hausen eher gering ist, eine gewisse Gelassenheit herrschen müsste, wenn andere Personen in eigenen Unterricht zu Beurteilungszwecken besuchen, liegt man komplett falsch. Eine Studie von Heinz Rosenbusch aus dem Jahr 1992, mit einer deutschen Lehrkräfte stich pro Bezeigt das glatte Gegenteil. Unterrichtsbesuche durch die Schulleitung oder die Dienstaufsicht sind zu einem hohen Grad Angst besetzt und die Ängste sind gerade an den Schularten, an denen diese Besuche die geringsten Karriereauswirkungen haben am höchsten. 81 Prozent der befragten Lehrpersonen sind der Meinung, dass alle oder zumindest viele Kolleginnen und Kollegen vor Unterrichtsbesuchen Angst haben. Die Konsequenz ist laut Rosenbusch, das bei Besuchen versucht wird, Probleme zu verbergen und das vorzuführen, was am glattesten und eindrucksvollsten noch verläuft und was vielleicht speziell für die Wissitationsstunden vorgesehen und pinibel vorbereitet wurde. Offensichtlich handlässig folglich beim Thema Unterrichtsbeobachtung um ein sehr relevantes. Man könnte erwarten, dass in einem Bereich, in dem diese Beobachtungen einen gehörigen Anteil daran haben, wie die Arbeitsleistung von Personen eingeschätzt wird, auch ein tatsächlich hoher Zusammenhang zwischen Einschätzungen der beobachten Personen und Objektiv-Messbarnerfolgskriterien besteht. Besonders bedeutsam ist dies natürlich für den Kontext der zweiten Phase der Lehrerbildung, während der über die berufliche Eignung junger Berufsanwärterinnen und Anwärter im Wesentlichen auf der Basis von Unterrichtsbeobachtungen entschieden wird. Was wurde genau erforscht? Die Studie von Strong et Altere beschäftigt sich primär mit der Forschungsfrage, ob und zu welchem Grad Personen mit und Personen ohne fachliche pädagogische und didaktische Expertise anhand von Unterrichtsbeobachtungen einschätzen können, ob es sich bei der unterrichtenden Lehrperson um eine erfolgreiche oder weniger erfolgreiche Handelt. Erfolgreich bedeutet, dass Schülerinnen und Schüler bei dieser Lehrperson überdurchschnittlich viel lernen, weniger erfolgreich bedeutet das Gegenteil. Hierzu gleich mehr. Zudem wurde untersucht, an welchen Kriterien die beobachten Personen sich orientieren, wenn sie die Effektivität der Lehrpersonen einschätzen. Zum Studiendesign, die Studie besteht aus drei Experimenten. Vom Prinzip her sind diese alle gleich aufgebaut. Es wurden Unterrichtsstunden von zwei Gruppen von Lehrpersonen videographiert, einmal von hoch effektiven und einmal von niedrig effektiven. Die Effektivität wurde über die im Angloamerikanischen Raum üblichen Value-Edit-Masters bestimmt. Dabei handelt es sich um ein statistisches Verfahren, bei dem die Ergebnisse von Schülerinnen und Schülern in standardisierten Tests verglichen werden. In dem man in diesen Ländern die Ergebnisse aller Schülerinnen und Schüler systematisch und mit den gleichen Prüfungsinstrumenten erhebt, hat man die Möglichkeit durch Vergleiche von Klassen mit anderen Klassen an anderen Schulen und mit Vorjahreis-Ergebnissen den Anteil am Lernzuwachs zu bestimmen, der durch die unterrichtende Lehrkraft verursacht wurde. Einflussbariablen wie Intelligenz, Motivation oder Vorwissen erlernen oder der socioökonomische Status der Eltern können herausgerechnet werden. Die Value-Edit-Masters sind also ein relativ objektives Maß für die Effektivität von Lehrpersonen. Wenn sie sich für dieses Verfahren und auch die wichtigsten Kritikpunkte an diesem Verfahren interessieren, habe ich Ihnen dazu einen Text verlinkt. Stronger Altere zeigt nun verschiedenen Versuchspersonengruppen Aufzeichnungen des Unterrichts der Lehrpersonen mit Unterdurschnittlichen sowie der Lehrpersonen mit überdurschnittlichen Value-Edit-Ergebnissen. Die Gruppen waren andere Lehrpersonen, Eltern, Mentoren und Mentoren, Universitätsprofessoren und Professoren, Mitglieder der Dienstaufsicht, Lehrerausbilderinnen und Ausbilder, Fachfremde erwachsene und nicht zuletzt Schülerinnen und Schüler. Diese verschiedenen Personengruppen sollten im Anschluss an ihre Beobachtung entscheiden, ob es sich jeweils um eine hocheffektive oder niedrige, effektive Lehrkraft handelte. Sie mussten also lediglich eine Entscheidung zwischen zwei Optionen treffen. Erhoben wurde, welche Übereinstimmung innerhalb der gesamten Versuchspersonenstichprobe und jeweils innerhalb der Gruppen in Bezug auf die Einschätzung der Beobachtungen vorlag, also die Reliabilität, wie zutreffend die Beobachtungen in Bezug auf die tatsächliche Zuordnung hochwärtslos niedrige Effektiv waren, also die Validität, welche Kriterien die Versuchspersonen für ihre Einschätzung heranzogen und wie sicher sie sich bezüglich ihrer Einschätzung waren. Die Stichproben der Videografierten Lehrpersonen und der Beobachterinnen und Beobachter stammten aus dem US-amerikanischen Raum und der beobachter der Unterricht fand im Fachmatematik statt. So viel zum grundsätzlichen Design nun zu den drei einzelnen Experimenten. In Experiment 1 wurde den Versuchspersonen jeweils lediglich ein kurzer Ausschnitt aus sieben Videografierten unterrichtsstunden vorgespielt, drei von hocheffektiven und vier von niedrig effektiven Lehrpersonen, der ein Berufserfahrung jeweils gleich verteilt war. Die Versuchspersonenstichprobe bestand hier aus 100 Personen. In Experiment 2 wurden einer neuen Versuchspersonenstichprobe aus 165 Personen, dieses mal nur solche Mit-Expertise zur Unterricht ebenfalls neu unterrichts Ausschnitte vorgespielt und dieses mal wählte man die videografierten Lehrpersonen nicht nach ihr. aktuellen Value-Edit-Ergebnissen aus, sondern nach ihrem Durchschnittsergebnis der letzten drei Jahre. Im dritten Experiment verwendete man schließlich nicht kurze Ausschnitte der Unterrichtsstunden als Entscheidungsgrundlage, sondern die kompletten Unterrichtsstunden. Die Beobachterinnen und Beobachter waren in diesem Experiment Personen mit Expertise, die zusätzlich noch anhand eines Beobachtungsinstrumentes geschult waren. Was sind die zentralen Ergebnisse? Fangen wir mal mit der Übereinstimmung zwischen den einzelnen Beobachterinnen und Beobachtern an. Insgesamt herrschte wenige Übereinstimmung, wenn man jeweils die Einschätzungen einer beobachteten Lehrperson durch die gesamte Versuchspersonen stich probeanalyseierte. Eine extrem hohe Übereinstimmung lag dagegen innerhalb der einzelnen Versuchspersonengruppen vor, also innerhalb der Gruppen der Schulleiter, der Ausbildenden, der Mitglieder der Dienstaufsicht usw. Personen mit gleichen beruflichen Expertisehintergrund waren sich also untereinander einig, welche beobachteten Lehrinnen und Lehrer effektiv und welche weniger effektiv unterrichteten. So weit so gut. Aber jetzt kommt's. In allen drei Experimenten war die Übereinstimmung zwischen der Einschätzung durch die Versuchspersonen und der tatsächlichen durch die Value-Edit-Mascher bestimmten Effektivität äußerst gering. Sie war in allen Gruppen, also auch in der der Schulleitungen und der Ausbilderinnen und Ausbilder sogar so gering, dass man die Zugehörigkeit der Beobachteten zu den beiden Kategorien hoch effektiv und niedrige Effektiv durch einen Münzwurf genauer hätte ermitteln können als durch die Einschätzung der Beobachterinnen und Beobachter. Die Trefferquote lag mit anderen Worten in allen Gruppen unter 50 Prozent. Und es wird noch schlimmer. Sie war besonders niedrig bei Ausbilderinnen und Ausbildern und Mitgliedern der Dienstaufsicht mit gerade mal 31 Prozent. Am besten schnitten noch die Grundschülerinnen und Grundschüler ab, die immer hin in etwa 50 Prozent der Fälle richtig lagen. Als Kriterien der Entscheidung gaben die Personen mitfachlicher Expertise, merkmalle wie Berücksichtigung von Vorkennissen, Interaktionsdichte, Bewegung im Klassenzimmer und Schaffung einer stimulierenden Lernumgebung an. Mit anderen Worten, es wurde in erster Linie auf Oberflächenmärkmaler geachtet. Ganz oben auf der Liste stand aber die Beobachtung dessen, dass die Schülerinnen und Schüler selbst in irgendeiner Form tätig waren. Sie erinnern sich an das Beispiel aus dem Intro. Was schließlich das Vertrauen in die eigene Einschätzung betrifft, äußerten 27 Prozent der probandinnen und probanten, sie wären nicht überrascht, wenn sie in 100 Prozent der Fälle richtig gelegen hätten. Die Ergebnisse weisen darauf hin, dass auch Personen zu deren beruflichen Kernaufgaben die Beurteilung von Unterricht gehört, sich zwar untereinander relativ einig sind, wie der Unterricht von erfolgreichen Lehrinnen und Lehrern aussieht, dass diese Beobachtungen aber tatsächlich messbare Unterrichtserfolge kaum bis gar nicht widerspiegeln. Was bedeuten die Ergebnisse für Schule und Unterricht? Die Forschungsergebnisse von Mike the Strong, John Gagani und Öskie, Hatsi Faljogo, sind ein Weckruf. Unterrichtsbeobachtungen, die sich an subjektiven Alltagstheorien und Wagen pedagogischen Konzepten orientieren, besitzen geringe, prädektive Validität im Bezug auf das, was Unterricht in erster Linie leisten soll, nämlich Schülerinnen und Schüler dabei zu unterstützen, Lernerfolge zu erzielen. Sie sagen dies also schlecht voraus und dies ist natürlich immer dann besonders ungünstig, wenn die Beobachtungen zum Zbecke der Beurteilung verwendet werden. Denn Beurteilungen spiegeln dann nicht die Effektivität der Beurteilten Person, sondern die Privattheorie der Beurteilenden Person wieder. Und dies ist selbst verständlich nicht hinnehmbar. Daher wird es tatsächlich langsam Zeit, dass sich für Unterrichtsbeobachtungen fundierte und empirisch abgesicherte Instrumente etablieren. Und ich sage bewusst, etablieren, denn diese Instrumente gibt es ja bereits. Es ist hindlänglich bekannt, welche Merkmale effektiven Unterrichts Lernerfolge von Schülerinnen und Schüler am besten vorher sagen. Sie folge zwei. Sie werden halt kaum eingesetzt. Wenn man weiß, dass tiefen Dimensionen von Unterricht Lernerfolge sehr genau vorher sagen, Oberflächen merken wir aber aber kaum. Warum räumt man zweiterin, dann so viel Wichtigkeit ein. Vielleicht einfach nur deswegen, wenn man diese eben leichter beobachten kann? Wenn man weiß, dass beispielsweise kognitive Aktivierungen Lernerfolge bestens vorher sagt. Und an welchen spezifischen Merkmalen sich kognitive Aktivierungen erkennen lässt. Warum spricht man dann über ein Schwammiges und Wagespsäudo-Konstrukt wie Handlungsorientierung, dessen vorher sage Kraft für sämtliche relevante Kreatieren bei Null liegt? Und schließlich, wenn ein Münzwurf effektive Lehrpersonen besser identifiziert als fachlich pedagogisch und didaktisch qualifizierte Personen. Warum kommt man dann nicht zum Schluss, dass etwas Gehörig falsch läuft bei der Unterrichtsbeobachtung. Gibt es zu dem Thema noch mehr Forschung? Eine Studie aus dem Jahr 2016 von Matthew Steinberg und Rachel Garrett liefert Hinweise darauf, dass Beurteilungen von Unterricht durch externe beobachter extremen Verzerrungen unterliegen, die durch die Unterschiedlichkeit der Lernvoraussetzungen der Schülerinnen und Schüler entstehen. Lehrerinnen und Lehrer, welche Klassen im obersten Leistungsbereich unterrichten, werden je nach Fach mit einer Zwischen 2,5 und sechsmal höheren Wahrscheinlichkeit als Top-Performer beurteilt werden, als Lehrkräfte die Klassen im untersten Leistungsbereich unterrichten. Herr Verheer und Kollegen, haben die Reliabilität von Unterrichtsbeobachtungen untersucht und kommen zu dem Schluss, dass man für den Fall, dass man die Unterrichtsqualität bei einer Lehrperson mit 90% der Genauigkeit bestimmen möchte. Dafür mindestens vier Beobachtungen, jeweils einer kompletten Unterrichtsstunde, doch jeweils vier Unabhängige Beobachterinnen und Beobachter benötigt. Der Erziehungswissenschaftler Kenneth Peterson konstatiert zur Beurteilung von Lehrpersonen aufgrund von Unterrichtsbeobachtungen, dass die armselige Praxis in diesem Bereich stillschweigend hingenommen wird. Aber das muss eigentlich nicht sein. Wenn Sie mit Aussagen wie im Intro, beispielsweise zur Handlungsorientierung konfrontiert werden, dann fragen Sie doch nach. Was meinen Sie damit genau? Könnten Sie den Begriff für mich definieren? Warum ist das dahinterliegende Konstrukt als Ihrer Sicht relevant? Und durch welche Forschungsergebnisse ist diese Relevanz belegt? Der Artikel von Strong, Gagani und hat sie Falliogo, kann aus meiner Sicht jeden und jede ermutigen diese Fragen zu stellen. Und aus diesem Grund handelt es sich um eine Studie, die jede Lehrerin und jeder Lehrer kennen sollte. Vielen Dank für Ihr Interesse an diesem Podcast. Fanden Sie die Forschungsergebnisse hilfreich? Haben Sie Fragen an Merkungen oder Einwände? Dann diskutieren Sie mit auf Twitter unter dem Hashtag, pfk, unterstrich, podcast. Bis zum nächsten Mal bei Psychologie fürs Klassenzimmer.