Welche Methode ist die effektivere?

Veröffentlicht: Sonntag, Februar 6, 2011 in Forschungsmethodik, LdL

Im Bildungsbereich stell sich immer wieder die Frage, welche Unterrichtsmethoden eigentlich effektiver sind als andere. Damit verbunden ist auch immer der Wunsch nach Vergleichsstudien. Eine schwierige Kiste.

Durch ein kurzes Twitter-Intermezzo mit jeanpol, otacke und herrlarbig über diesen Forenbeitrag fühle ich mich dazu angeregt, mal was darüber zu bloggen.

Methodenvergleiche sind schwierig: Man muss versuchen, einen Schulversuch so zu gestalten, dass die Methode als unabhängige Variable (bzw. als Faktor) eingeht und sich keine anderen „Schmutzvariablen“ einmischen. So kann man beispielsweise nicht Methode A von Lehrer X in Klasse i durchführen lassen und Methode B von Lehrer Y in Klasse j, weil hier viel mehr variiert wird als nur die Methode: Wenn Klasse j besser abschneidet, dann muss das nicht an Methode B liegen, sondern könnte auch an Lehrer Y liegen oder einfach daran, dass Klasse j besser ist. Okay, das wäre ziemlich offensichtlich nicht gut „designed“, aber – wenn man es besser machen will, wird’s schon ziemlich schnell ziemlich schwierig. Wie eliminert man denn z.B. den Einfluss der Klasse? Man benötigt vermutlich einige Klassen mehr, sodass mehrere Klassen mit derselben Methode unterrichtet werden. Dennoch sind die Versuchspersonen in Klassenverbänden organisiert, die Stichprobe ist „geklumpt“. Hier gibt es zwar zahlreiche statistische Methoden, mit denen dies berücksichtigt werden kann. So könnte man testen, ob Interaktionseffekte mit dem Faktor „Klasse“ auftreten, man macht Mehrebenenanalysen usw. Dennoch ist das mit einem erheblichen Aufwand verbunden: Zig mal muss derselbe (!) Unterricht in Klassen gehalten werden, die auf die verschiedenen Versuchsbedingungen zufällig verteilt wurden, und man muss alle anderen Einflussfaktoren möglichst konstant halten. Unterrichte also bitte nicht eine der Klassen in der 6. Stunde, während die anderen in der 1. Stunde unterrichtet wurden. Und sorge am besten dafür, dass Jonas den Micha in der Pause vorher nicht verkloppt hat, weil das Klassenthema sein wird. Ja, und stelle sicher, dass sich der Lehrer einer Klasse in der Stunde zuvor nicht abfällig über Unterrichtsforschung äußert. Oder am besten nicht mal nur eine abfällige Geste macht. Und sorge dafür, dass die Schüler alle gesund sind, damit dir kurz vor dem Versuch keine Schülerin vor die Tür kotzt und das für Aufregung sorgt (ist uns mal passiert). Am besten also, du schaffst möglichst künstliche Situationen, in denen all diese zusätzlichen Faktoren keine Rolle mehr spielen – und bewegst dich weit weg von realistischen Unterrichtssituationen. Mache dich darauf gefasst: Anschließend werden die Kritiker kommen und dir sagen, dass du zwar schöne Unterschiede in deinen künstlichen Stunden gemessen hast, aber wie ist denn die Relevanz deiner Studie für echten Unterricht? (Stichworte für die näher Interessierten: interne und externe Validität)

Nimmt man  für solche Stunden jetzt eigentlich den „richtigen“ Lehrer der Klasse oder einen „Pseudolehrer“, der zum Forschungsteam gehört? Besser den richtigen Lehrer, oder? Damit es möglichst realistisch bleibt. Dumm nur, wenn der vorurteilsbehaftet deine Methode anwenden – dann kannst du die Stunde gleich in die Tonne kloppen, weil so etwas mit Sicherheit auf die Schüler wirkt. Also doch besser einen Pseudolehrer? Dumm nur, dass der weiß, welche Methode wünschenswerterweise besser sein soll und somit evtl. subtile Signale aussendet und sich dementsprechend verhält.

Es ist ein echtes Kreuz mit Vergleichsstudien. All diese Punkte könnte man aber hinbekommen. Mit erheblichem Aufwand. Und dem Ergebnis, dass die Klassen, die mit Methode A unterrichtet wurden, in einem Lernerfolgstest um 4,5% besser abschneiden als die Klassen, die mit Methode B unterrichtet worden sind. Ein voller Erfolg also!

Man bekommt es hin. Allerdings gibt es noch ein weiteres, tiefer liegendes Problem, das nicht methodischer, sondern prinzipieller Natur ist: Es gibt nicht nur fachliche Lernziele. Oft wird aber nur an diese bei Methodenvergleichen gedacht (Die Schüler sollen anschließend z.B. mehr über das Mittelalter wissen). Oft bedingen andere Methoden aber andere Lernziele.

Beispiel A: LdL. Wenn man LdL einsetzt, dann möchte man nicht, dass die Schüler anschließend mehr Fachwissen haben. Das ist zumindest nicht das erste Ziel, das man damit verfolgt. Ja, man ist sogar froh, wenn sie aus fachlicher Sicht gleich viel lernen wie ohne LdL. Man würde aber sogar vielleicht in Kauf nehmen, dass sie sich weniger Fachwissen aneignen, dafür aber anderes lernen: Sie sollen lernen, sich ohne Angst im Unterricht zu äußern. Sie sollen lernen, keine Angst vor Fehlern zu haben. Sie sollen lernen, dass es sich lohnt, wenn man sich für etwas mit ganzem Nachdruck einsetzt. Sie sollen lernen, sich selbst nicht zu wichtig zu nehmen. Sie sollen lernen, dass sie Teil von Gruppen sind, und dass der Erfolg der Gruppe mit von ihrem Einsatz abhängt (Netzsensibilität, Partizipationsfähigkeit, …). Und und und. Und das wichtigste: Eine solche Methode muss über einen längeren Zeitraum mit einer Klasse eingeübt werden, damit sie diese Früchte trägt. Etwas, das man gerne in Kauf nimmt, wenn man die damit verfolgten Lernziele für wichtiger hält als die „herkömmlichen“. Methoden über einen langen Zeitraum einsetzen ist allerdings auch etwas, das Forschern gar nicht gefällt: Was da alles für Störvariablen mit einfließen können… Außerdem muss der Lehrer von der Methode überzeugt sein. Manoman – ich würde sagen: Vergleichende Effektivitätsforschung? Vergiss es.

Beispiel B: Computer in der Schule. Eine so alte wie sinnlose Frage ist, ob man mit computerunterstützten Methoden besser lernt als ohne. Es hängt – wie bei allen Methoden – von Schülereigenschaften, Lehrereigenschaften und ganz vielen anderen Variablen ab. Aber natürlich setze ich auch (!) den Computer in der Schule ein, nämlich a) wenn es passt und b) weil ich auch andere Lernziele damit verfolge: Die Schüler sollen lernen, mit dem Computer umzugehen, Probleme unter Nutzung des Internets zu lösen, digitale Produkte zu erzeugen usw. Und, glaubt mir: Man lernt mit Methoden, in denen Informationstechnologie eingesetzt wird, einfach besser digitale Produkte zu erzeugen als ohne.

Fazit: Unterrichtssituationen sind komplex und machen es schwer, valide Vergleichsstudien zum Einsatz von Unterrichtsmethoden durchzuführen. Es ist schwer, es ist nicht unmöglich, aber man muss sich fragen, ob es sinnvoll ist.

Kommentare
  1. RalfLippold sagt:

    Ein Hybrid ist immer noch die beste Variante des Lernens. Nicht alle Schüler sind auf dem gleichen Stand. Manche lernen, weil sie etwas treibt, sie etwas erfahren oder gesehen haben.

    Wie lernten wir als Kind Radfahren? Da gab es keinen Lehrer dem wir alles nachgemacht haben. Wir haben uns angeschaut, wie unser Vater oder Mutter fahren. Versuchten es nachzumachen. Fielen um. Dachten, „Das muss doch gehen!“. Irgendwann klappte es dann (ohne Stützräder!).

    Erinnere mich noch gut an den Schwimmunterricht als ich sechs Jahre alt war. „Fisch-Frosch-Hampelmann“ hieß es, und doch schwamm ich nicht im Becken des Hallenbads.

    Wir mussten erst in den Urlaub fahren nach Krk in Kroatien (damals noch Jugoslawien). Das Hotel hatte eine Meerwasserschwimmbad (!). Dieser kleine Unterschied des Auftriebs ermöglichte mir die Bewegungen richtig zu koordieren – und so lernte ich (ohne Lehrer (!)) Schwimmen. Meine kleine Schwester lernte so das Schwimmen nur vom Abgucken von mir und mit dem Vorteil des Salzwassers.

    Die Schule (oder sogar den Kindergarten) als Lernort gegenseitigen Lernens zu begreifen, bei dem Lehrer lediglich die Rolle eines Coachs übernimmt und die Richtung leitet, Mentor und Helfer ist, das ist was ich als Traum umzusetzen versuche in Dresden. Vielleicht ein bisschen so „verrückt“ wie #LdL (Lernen durch Lehren) von JeanPolMartin. Dass es klappt habe ich in Finnland erleben dürfen vor zwei Jahren.

    http://www.innpulsos.com/files/2011/01/TeamAcademyArticleReflections.pdf

  2. Du hast, für mich sehr unterhaltsam, beschrieben, mit was ich mich im Geiste schon länger beschäftige.

    Und dabei denke ich nicht nur über die Erforschung von Situationen im Bildungssystem nach, sondern jegliche Lernsituationen.

    Vornehmlich auch jene im beruflichen Alltag und speziell in extremen Lern-/Verlernszenarien, wie der Einführung von neuen Informations- und Kommunikationssystemen in Unternehmen.

    Will sagen, das Problem, valide Vergleichsstudien für das Verhalten von Gruppen von Menschen zu erdenken und umzusetzen scheint ineffizient zu sein.

    Wie aber lassen sich dann Hypothesen „sauber“ prüfen? Will man das überhaupt?

    Ist vielleicht das Langzeitprojekt in möglichst diversifizierten, praxisnahen Situationen eine Alternative? Wie aber überzeugt man die notwendigen Unterstützer und Umsetzenden (Lehrer, Unternehmen etc.)?

  3. Sigi sagt:

    Lieber Christian,
    in der Tat: diese Studien sind sinnlos! Ich habe herzlich gelacht über deinen ersten Teil, wo du die unterschiedlichenKonstallationen und Szenarien betrachtest. Das erinnert mich an die „Totschlagfrage“ von Kollegen “ was bringt denn das?“ als ob man denn Fertigkeiten wie möglichst schnelles fehlerfreies Tippen oder auswendig gelernte Vokabeln vergleichen wollte. Wenn man neue Wege beschreitet, wird man sich immer dem nicht messbaren Erfolg oder Misserfolg stellen müssen, denn wie bitte schön, messe ich die erlangte Kompetenz, wenn es um den Umgang mit komplexen Themen, Informationsbeschaffung und -filterung, selbständiges Arbeiten, soziale Kompetenzen u.v. mehr geht.
    Wollen wir denn „teach to test“ – das könnte man dann auch messen ( und wird leider auch so gemessen) oder wollen wir Schüler aus der Schule entlassen, die mit den neuen Anforderungen in der Gesellschaft mit den Kompetenzen, die sie in der Schule erlangt haben, klar kommen und innovative Lösungen finden. Jeanpols LdL versetzt die Schüler zumindest in die Lage, selbständiges Denken und Handeln zu erlernen und nicht nur irgendwelche Fakten aus einem Lehrbuch zu erinnern – bis zum Abitur und dann ade… In einer Zeit, wo wir die Schüler in eine ungewisse Zukunft entlassen mit der Gewissheit, dass lebenslanges Lernen und Mobilität auf der Tagesordnung stehen, halte ich es für sträflich, sich vorwiegend auf messbare Leistungen zu stützen. Leider sind unsere Prüfungsordnungen immer noch teilweise auf dem Stand, eindeutig messbare und vergleichbare Leistungen abzuprüfen und selbst meine Schüler, die ein Jahr lang relativ entspannt selbständig alle möglichen Problemstellungen (auch die in der Prüfung verlangten) bearbeitet haben, werden nervös, wenn in anderen Fächern plötzlich der Prüfungsvorbereitungsstress beginnt.
    Wenn man innovatives Lernen fördern will, kann man dies eigentlich nur dann , wenn man in einer Klasse mehrere Lehrer hat, die mit der gleichen Philosophie arbeiten und gemeinsam das „Projekt“ tragen. Querschüsse kommen eh von allen Seiten, junge Kollegen haben oft Ängste, dass sie sich durch nicht abgesicherte Methoden schlechte Bewertungen bei Schulleitungen einhandeln, wenn es mal Probleme gibt. Die älteren Kollegen können damit sorgloser umgehen, weil sie relativ unabhängig sind, aber man muss erst mal welche finden, die auch Veränderung wollen. Eine recht komplexe Geschichte, die oft dem Kampf gegen Windmühlen ähnelt und die Schüler mittendrin und oft von anderen verunsichert.
    Mein Rat: Solange man den objektiven Eindruck hat, dass Schüler aktiver und kreativer mit dem neuen Lernstil sind, sie mehr Freude am Lernen haben, ist man auf dem richtigen Weg und hat auch selbst mehr Spaß am Lernen und Lehren.
    Christian, du hast sicher aus meinen Zeilen herausgelesen, dass mir meine Schüler jetzt im „Ruhestand“ schon ein bisschen fehlen;-).
    Mach weiter so! Das Spannungsfeld zwischen Innovation und Leistungsmessung wird immer bestehen bleiben und jeder muss einen gangbaren Weg für sich und seine Schüler herausfinden.
    SIgi

  4. Lieber Christian,

    du lieferst da eine schöne anschauliche Schilderung eines alten Streitthemas in den Bildungswissenschaften. Dass man die skizzierten methdoischen Probleme „prinzipiell“ (will heißen auf dem Papier) lösen könnte, spricht allerdings aus meiner Sicht auch nicht gerade dafür, es weiter wie eine Monstranz vor sich herzuragen, zumal wenn doch klar ist, dass man es forschungspraktisch schlicht NICHT umsetzen kann.

    Das Schlimme aber ist doch: Jeder Bildungsforscher wird dir im informellen Gespräch in (fast) allen Punkten zustimmen. Im formalen Forschungsantrag aber wird derselbe mit der gleichen Überzeugung sagen, dass nur das Kontroll- oder Vergelichsgruppen-Experiment RICHTIGE Forschung ist. Warum? Weil unsere ganze Gesellschaft das Heil in Naturwissenschaft und Technik, ergo in naturwissenschaftlicher Forschung sieht, weil das nach Fortschritt, Innovation und Wohlstand klingt. In der Folge wird die naturwissernschaftliche Methodik zur Erforschung der materiellen Welt einfach zum Königsweg erklärt – auch in den Bildungswissenschaften, obschon jedem klar sein müsste, dass wir hier eben genau keine materiellen, sondern kulturelle und mentale Phänomene untersuchen. Aber irgendwie nutzt das nichts, dass man das immer wieder feststellt, sagt und diskutiert – es ändert sich NICHTS, und ich habe keine wirklich gute Idee, was man da tun kann.

    Gabi

  5. Im formalen Forschungsantrag aber wird derselbe mit der gleichen Überzeugung sagen, dass nur das Kontroll- oder Vergelichsgruppen-Experiment RICHTIGE Forschung ist.

    Daher habe ich sehr bald aufgehört, diese Leute überzeugen zu wollen. Mein Ansatz war, „meine“ Methode unter allen vorfindbaren Bedingungen einzusetzen, zu dokumentieren und möglichst viele Menschen davon zu überzeugen, LdL selbst im Unterricht zu testen und selbst wiederum zu dokumentieren. Das war der richtige Weg, weil viele LdL-Anwender die Methode gut fanden und sie weiterempfohlen haben. Das war mein Weg, die optimierende Wirkung von LdL nachzuweisen. Und dass immer wieder Leute kommen, und nach Vergleichsuntersuchungen verlangen, das überrascht mich nicht, interessiert mich aber auch ebensowenig. Auf diese Leute kommt es schließlich für die Verbreitung der Methode nicht an.

  6. Ist vielleicht das Langzeitprojekt in möglichst diversifizierten, praxisnahen Situationen eine Alternative?

    Ja.

  7. cspannagel sagt:

    Euren Kommentaren ist aus meiner Sicht eigentlich nichts mehr hinzuzufügen – so sieht’s aus.

    Oder… doch…

    @Gabi „…und ich habe keine wirklich gute Idee, was man da tun kann.“ – Ich glaube, man kann „nur“ das Folgende tun: Man tut nur diejenigen Dinge, die man für vernünftig hält, und vertritt überall mit Nachdruck seine Position („Das mach ich, weil ich das vernünftig halte. Das lass ich, weil das Quatsch ist, und zwar aus diesen und diesen Gründen…“). Und wenn alle anderen anders sind: Wurscht.

  8. cspannagel sagt:

    Und noch ein Hinweis zu „Ist vielleicht das Langzeitprojekt in möglichst diversifizierten, praxisnahen Situationen eine Alternative?“ – Ja, denke ich auch. Letztlich weist das auf Aktionsforschung hin. Ich hab mal einen Vortrag zum Thema „Experiment vs. Aktionsforschung“ gehalten – wen’s interessiert: https://cspannagel.wordpress.com/2009/04/07/experimentelle-forschung-und-aktionsforschung/

  9. @cspannagel
    Schön, das zu lesen! Hätten bestimmt auch Platon und Sokrates sowie Aristoteles gesagt! Was will man mehr?

  10. Prof Dr. Kruse „bitte unterscheiden Sie zwischen indirekten und direkten Variablen….Kultur und Kreativität kann ich nicht erzeugen, ich kann nur Rahmenbedingungen schaffen, in denen sie emergiert…“

    Lernen geschieht

    manchmal in ganz anderen Kontexten und 20 Jahre später, dafür umso explosiver😉

    aber das kann man beim besten Willen nicht dokumentieren.

    Auf der anderen Seite wünschen wir uns als Lehrende Beweise, die über das unmittelbar Erlebbare (Lebendigkeit, Frustrationstoleranz, Lösungsorientierung, Flexibilität etc. ) hinaus gehen.

    Jedoch will unsere Persönlichkeit selbst in Gang gehalten werden, „unterhalten“ im besten
    Sinne des Wortes.

    Spenden wir zuviel Energie und Aufmerksamkeit den wiederholbaren Zukunften, werden wir zu Technokraten. Die beste Garantie um Wünschbares umzusetzen ist wohl es im Hier und Jetzt zu tun.

    Wenn ich also ins Zentrum meiner Überlegungen setze, dass es die Lehrerpersönlichkeit selbst ist, die das entscheidende für die Gestaltung von Lernszenarien „leistet“ erhebt sich die Frage, ob es derzeit sinnvoll ist, überhaupt Methodenforschung im herkömmlichen Sinne zu betreiben. Oder nicht vielleicht beginnen sollten ohne vorgehaltene Hand so laut zu niesen, dass auch noch der in der letzten Reihe (aber doch im gleichen Raum) infiziert wird😉🙂

  11. podcast „untitled“

    hab ihn vielleicht schon einmal gepostet, egal, passt so schön

    diesen pod habe ich im rahmen von ein paar zigeunersemestern an der Fernuni Hagen gemacht. ich hätte dort endlich noch lernen können anständig zu zitieren etc. war aber nicht das was ich wollte, nämlich Kunst mit Didaktik-Methodik verschmelzen. also ich merkte, dass man nicht einmal darauf neugierig war, das von mir zu lernen, habe ich die sache in einer unspektakulären, privaten trauerfeier sanft eingeschläfert.

    hier mit wellenmeditation😉 ein paar sekunden warten, bis der podcast anläuft
    http://www.move-online.ch/

    hier ohne optik
    http://mindart.posterous.com/

  12. Crossyard sagt:

    Hallo Christian,

    schöne und unterhaltsame Zusammenfassung des Problemfeldes.

    Ich habe in letzter Zeit auch viele Gedanken darauf verwendet, inwiefern man „valide“ Forschung im Lehr-Lern-Kontext machen kann. Ich glaube das kann man sogar allgemein für die Sozialforschung sagen. Soziale Gruppen jeglicher Art sind meines Erachtens so komplexe Gebilde, dass „Schmutzvariablen“ unvermeidlich sind. Man kann einfach nicht alles kontrollieren und muss seine Ergebnisse immer in Hinblick auf die Validität kritisch beurteilen.

    Zentral scheint mir dabei auch die Abwägung zwischen „statistischer Validität“ und „ökologischer Validität“ zu sein. Was sagen in einem Laborexperiment gefundene Ergebnisse über die Wirkung verschiedener Lehr-Lern-Formen aus, wenn diese Laborsituation im eigentlichen Anwendungsfeld (Schule, Hochschule, etc.) nie vorzufinden sein wird?

    Eine Lösung habe ich auch noch nicht gefunden. „Langzeitprojekt in möglichst diversifizierten, praxisnahen Situationen“ sind sicher ein Weg. Allerdings sollte man sich meines Erachtens auch trotz aller Probleme nicht vorschnell von quasi-experimentellen Studien verabschieden. Ein Zusammenspiel beider Vorgehensweisen könnte sehr aufschlussreich sein und helfen die gefundenen Erkenntnisse kritisch zu beurteilen und so eventuell zu annährend validen Aussagen zu kommen.

    VG,
    Crossyard

  13. cspannagel sagt:

    @Jutta Ja, die Lehrerpersönlichkeit…. Da hängt ganz viel dran! Trotzdem kann man auch viel mit Methoden und Techniken machen – aber, wie immer, muss vermutlich einfach beides zusammen passen.

    @Crossyard „Allerdings sollte man sich meines Erachtens auch trotz aller Probleme nicht vorschnell von quasi-experimentellen Studien verabschieden.“ – Nein, das nicht. Aber: Vielleicht sollte man durch Überbetonung der anderen Möglichkeiten mal einen Kontrapunkt setzen…

  14. […] Zum Thema Unterrichtsmethoden auf ihre Effektivität überprüfen […]

Schreibe einen Kommentar

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s