Blind Review

Veröffentlicht: Montag, April 5, 2010 in OeffentlicherWissenschaftler, Review

Seit längerem beschäftigt mich hin und wieder die Frage nach dem Sinn von „blind reviews“. Zur Erläuterung: Reicht man einen Artikel in einer Zeitschrift ein, so wird dieser in der Regel anonymisiert an Reviewer weitergeleitet. Diese lesen den Artikel, beurteilen ihn und geben dem Autoren Feedback, ebenfalls anonym. Das bedeutet, weder Autor noch Reviewer kennen sich.

Mir ist natürlich schon klar, warum das ganze Verfahren „double blind“ statt findet: Es sollen keine persönlichen Gründe bei Ablehnungen oder Annahmen eine Rolle spielen, und die Reviewer sollen sich möglichst frei fühlen, auch harte Kritik zu äußern. Trotzdem: Es gefällt mir nicht.

Gabi Reinmann und ich haben über (blind) reviews bei der letzten Delfi/GMW-Tagung diskutiert, und sie meinte, dass sie hin und wieder mal ihren Namen als Reviewerin unter ihre Reviews schreibt, und zwar mit der Begründung, dass die Autoren ein Review nur dann richtig beurteilen können, wenn sie wissen, von dem das Review stammt, welche Expertise diese Person hat usw. Doof ist auch, wenn man als Autor ein Review zurück bekommt und man versteht eine Rückmeldung nicht. Eigentlich würde man dann gerne den Reviewer fragen, was damit gemeint ist. Das geht aber nicht, weil man ihn ja nicht kennt.

Ich habe mir nun vorgenommen: Wenn ich Artikel reviewe, dann schreibe ich meinen Namen unter meine Reviews, und zwar mit folgenden Überlegungen:

  • Es macht mir nichts aus, auch harte Kritik mit meinem Namen zu versehen.
  • Ich möchte, dass die Autoren wissen, wer das Review geschrieben hat. Sie sollen sich über mich informieren können, um einzuschätzen, auf welchem fachlichen Hintergrund ich das Review geschrieben habe.
  • Die Autoren sollen die Möglichkeit haben, Rückfragen stellen zu können.
  • Darüber hinaus hätte ich als Reviewer gerne ein Feedback zu meinem Review. War es hilfreich? Mit welchen Punkten sind die Autoren (nicht) einverstanden? Es ist immer irgendwie unbefriedigend, ein Review abzugeben und nicht zu wissen, was mit den einzelnen Rückmeldungen „passiert“.

Daher schreibe ich ab sofort den folgenden Absatz unter meine Reviews (und habs auch schon bei meinen elba 2010-Reviews gemacht):

Für Rückfragen stehe ich gerne zur Verfügung: Christian Spannagel (spannagel@ph-heidelberg.de). Es wäre auch schön, wenn ihr mir Rückmeldung zur Qualität meines Reviews geben würdet!

Ich bin mal gespannt, ob ich Rückmeldungen bekommen werde. Würde mich ja freuen.

Kommentare
  1. Hallo Christian,

    alle Herausgeber akzeptieren dies allerdings nicht. Wenn das Double-blind-Review zum Qualitätszeichen (also zum Renommee) einer Zeitschrift gehört, dann möchte man genau dieses Zeichen wahrscheinlich nicht „aufweichen“. Wir wissen ja alle, dass es selbstverständlich auch gute Gründe geben KANN, dass sich Autor und Gutachter nicht kennen. Ich bin mir auch sicher, dass viele Herausgeber wissen, dass es ebenso fruchtbar sein KANN, wenn der Reviewer dem Autor namentlich bekannt ist – nämlich z.B. aus den von dir geschilderten inhaltlichen Gründen. Renommee gegen Inhalt – was meinst du, siegt?

    Gabi

  2. Martin sagt:

    ich mach es kurz – ich bin zwar generell der meinung von dir christian, habe aber auch öfters schon die „menschliche“ komponente bei reviews miterlebt …

    ich sage es anders – man tut sich einfach leichter „mr/mrs nobody“ zu kritisieren als „prof XY“, von dem man schon x bücher gelesen hat …

    allerdings und das ist mein größter kritikpunkt – sollte der artikel wirklich so sein, dass er keinerlei rückschlüsse zulässt und das halt ich den verlagen vor, dass sie das nicht wirklich gründlich machen …

    also das blind ist m.E. wesentlich neutraler in Summe gesehen und daher zu bevorzugen … unsere kultur kann mit kritik nicht gut umgehen ist so meine erfahrung …

  3. cspannagel sagt:

    @Gabi Trotzdem mach ichs. Wenn ein Herausgeber das nicht akzeptiert, dann kann ers ja wieder rausnehmen oder mich als Reviewer rausschmeißen.

    Bei Tagungen ist es aber vermutlich nicht sooo streng. Was meinst du: Ob die Veranstalter z.B. der GMW-Tagung dies akzeptieren würden?😉

  4. Christian,

    deine Einwände gegen blind reviews teile ich nicht.

    (1) Ob es dir was ausmacht oder nicht ist irrelevant.
    (2) Ein review sollte so geschrieben sein, dass man keine Backgroundinformationen über dich braucht.
    (3) Die Möglichkeit zur Rückfrage besteht auch bei blind reviews, über den Herausgeber.
    (4) Auch das Feedback zu deinem Review kannst du über den Herausgeber bekommen.

    Was du aber mit deinem outing erreichst, ist dass alle Vorteile des blind reviews verloren gehen. Als Alternative fände ich es besser, wenn du bei deinen reviews anbietest, dass die Anonymität aufgehoben wird, ohne es gleich zu tun. Das ist durchaus üblich und macht weniger kaputt.

    Ulli

  5. cspannagel sagt:

    Hi Ulli,

    deine Kritik teile ich nicht.🙂

    (1) Für mich ist das schon relevant.

    (2) Natürlich schreibe ich Reviews so, dass sie für sich genommen verständlich sind. Aber ich schreibe sie immer aus meinem Kontext heraus, den ich nicht komplett darlegen kann/will. Der ist aber u.U. für denjenige, der das Review liest, eine interessante zusätzliche Information. Natürlich kann das Review auch für sich ohne das verstanden werden, erhält aber eine andere Bedeutung, wenn der Kontext bekannt ist.

    (3) Das ist aber viel zu umständlich, und das macht auch keiner. Wenn aber eine E-Mail-Adresse für Rückfragen dabei steht, dann ist die Hürde der Kontaktaufnahme doch viel geringer.

    (4) Ja, natürlich. Ich frage bei Herausgeber an und bitte ihn um Feedback zu meinem Review. Der fragt dann beim Autor an und bittet ihn, ein Feedback zu schreiben. Der macht das dann, schickt es an den Herausgeber, der es an mich weiterschickt. Wenn ich dazu eine Rückfrage habe, schreibe ich wieder an den Herausgeber usw… Wer bitte macht sowas?

    Welche Vorteile des Blind Reviews gehen denn verloren? Was mache ich denn kaputt? Mir war der Autor nicht bekannt, als ich gereviewt habe (hier ist m.E. Anonymität wesentlich wichtiger, obwohl das aufgrund der beschriebenen Inhalte im Artikel auch oft eine Farce ist). Ich schreibe mein Review so ehrlich wie immer und schreibe meinen Namen drunter. Der Review-Prozess ist damit abgeschlossen, und wir können bei Bedarf in eine Diskussion dazu einsteigen. Was habe ich dadurch kaputt gemacht?

  6. Jan-Martin Klinge sagt:

    Ich kann die Kritik an BlindReviews gut verstehen. Ein anschauliches Beispiel: Neulich las ich die Review zu einem Windows Mobile Handy. Der Autor – offenbar iPhone-Fan – kritisierte nicht etwa Usability oder Funktionen des Handys, sondern das Betriebssystem als solches.

    Es macht bei jeder Kritik immer einen Unterschied, aus welchem Lager jemand kommt. iPhone-Fans bewerten Windows Phones anders als iPhone-Hasser. Ich bewerte Microsofts Office anders als Linux-User.

    Wie in der Schule: Je nach Gesichtspunkt kann ein Deutschaufsatz eine 1 oder eine 6 sein.

    Von daher finde ich den Hintergrund eines Kritikers sogar enorm wichtig.

  7. cspannagel sagt:

    @Jan-Martin Genau, so sehe ich das auch.

    Vielleicht noch zur Klärung: Ich bin nicht für die Abschaffung von blind reviews in dem Sinne, dass jeder Reviewer seine Identität preisgeben muss. Ich kann verstehen, dass man das unter Umständen nicht möchte, wenn man beispielsweise „harte“ Kritik üben muss. Ich bin aber dafür, dass ich als Reviewer meine Identität preisgeben darf, wenn ich das möchte und kein Problem damit habe, dass der andere weißt, wer seinen Artikel zerrissen hat.

  8. Kai Nehm sagt:

    Ein weiterer Kritikpunkt am Double Blind Review ist der Publikationsbias, besonders in der medizinischen Wissenschaft gibt es hierzu nette Studien.

    Ich frage mich auch, ob mit zunehmender Spezialisierung am Ende nur noch 4 Kollegen weltweit für einen Review in Frage kommen, die sich am Schreibstil sehr schnell erkennen…

  9. @Christian: Versuche es bei der GMW – das hängt immer vom Ausrichter ab und der wechselt ja jedes Jahr!

    Ich finde das Thema ausgesprochen spannend – und ja: Natürlich ist es kontrovers. Wäre die Welt insgesamt „gut“, gäbe es nichts, aber auch nichts gegen deine Argumente einzuwenden, die ich allesamt teile! Mitunter wird man eines Besseren belehrt, dass es nicht allein um die Sache geht, dass Prestige, Wettbewerb und Neid oder was auch immer stärker sind, und dann, ja dann KANN es tatsächlich mal besser sein, wenn da alle auf beiden Augen besser blind sind.

    Gabi

  10. cspannagel sagt:

    @Kai Ich bin mir nicht sicher, ob der Publikationsbias was mit double blind reviews zu tun hat. Bzw. einfach die Rückfrage: Wieso denkst du, dass beides zusammenhängt? Würde sich das Problem des Publikationsbias lösen, wenn Reviewer ihren Namen preisgeben?

    @Gabi Lets fight Prestige!🙂

  11. Was ist denn bei diesem Experiment herausgekommen? (Update 2012)

  12. cspannagel sagt:

    Hi Marcus,

    ich habs bisher ein paar Mal so gemacht. Die Autorinnen und Autoren selbst haben sich auf solche Reviews entweder gar nicht gemeldet (ca. 90%) oder positiv geäußert (ca. 10%). (Also, es wurde für positiv befunden, dass ich mich „geoutet“ habe). In zwei Fällen sind sogar sehr intensive Mailwechsel daraus entstanden. Insgesamt würde ich also sagen: Es lohnt sich, das so zu machen.

    Einmal wurde mein Hinweis allerdings vom Programmkommittee gestrichen, bevor die Reviews an die Autoren gingen.😉

Schreibe einen Kommentar

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s