Schattenblick →INFOPOOL →GEISTESWISSENSCHAFTEN → FAKTEN

FORSCHUNG/036: Auf der Suche nach dem Maß aller Dinge (forsch - Uni Bonn)


forsch 3/2009 - Juli 2009
Bonner Universitäts-Nachrichten

Auf der Suche nach dem Maß aller Dinge
Möglichkeiten und Grenzen der Bewertung von Forschung

Kann man Forschung messen? Welche Kriterien werden angelegt? Wo liegen die Stärken und Schwächen heutiger Bewertungssysteme? forsch hat bei Prof. Dr. Stefan Hornbostel nachgefragt.


Der Sozialwissenschaftler Stefan Hornbostel (Jahrgang 1955) arbeitete nach seinem Studium an den Universitäten Kassel, Köln, Jena und Dortmund sowie am Centrum für Hochschulentwicklung (CHE). Heute ist er Professor für Soziologie (Wissenschaftsforschung) an der Humboldt-Universität zu Berlin und leitet das Institut für Forschungsinformation und Qualitätssicherung (iFQ) in Bonn. Diese Hilfseinrichtung der Wissenschaft wird von der Deutschen Forschungsgemeinschaft gefördert. Der Träger des Instituts ist ein gemeinnütziger Verein, dem auch die Universität Bonn angehört. Mit Stefan Hornbostel sprach Andreas Archut.

FRAGE: Herr Professor Hornbostel, kann man Forschung messen?

STEFAN HORNBOSTEL: Forschung ist nur schwer zugänglich für direkte Untersuchungen, zudem muss man zwischen Forschungsaktivität und -qualität trennen. Die Qualitätsbeurteilung kann nur durch die im jeweiligen Gebiet ausgewiesenen Wissenschaftler selbst erfolgen, deshalb zieht man entweder die Urteile von ausgewählten Wissenschaftlern als Maßstab heran (Peer Review), oder man nutzt die im Wissenschaftssystem routinemäßig erzeugten Bewertungen, um an Aussagen über die Aktivität und Qualität von Wissenschaft zu kommen (Indikatoren). Insbesondere nutzen wir dazu den Zugriff auf den wissenschaftlichen Kommunikationsprozess.

FRAGE: Wie funktioniert das?

STEFAN HORNBOSTEL: Der erste Weg über das Peer Review hat eine lange Tradition und gehört heute in der Wissenschaft zum Alltagsgeschäft. Allerdings ist das Peer Review auch immer wieder erheblicher Kritik aus der Wissenschaft ausgesetzt. Dabei geht es meist um mangelnde Validität und Reliabilität, Urteilsverzerrung zugunsten wenig riskanter Forschung bzw. zuungunsten interdisziplinärer Ansätze oder die Benachteiligung bestimmter Gruppen. Auch wenn die empirischen Befunde dazu sehr ambivalent sind, hat diese Kritik dazu beigetragen, bibliometrische Verfahren zu entwickeln. Die Bibliometrie - also die Analyse der wissenschaftlichen Publikationen - hat ihre Stärke darin, dass sie große Mengen von Peer Urteilen, die im Laufe der Publikation und Rezeption der wissenschaftlichen Literatur anfallen, in quantitative Indikatoren übersetzt. Auch die Bibliometrie basiert zu großen Teilen auf Peer Urteilen, denn aus der eigentlichen wissenschaftlichen Arbeit entsteht i.d.R. ein Aufsatz, der durch Peers begutachtet wird, dann gedruckt und von anderen Wissenschaftlern gelesen und schließlich in deren Publikationen auch zitiert wird, wenn er für wichtig erachtet wird. Aus den dabei anfallenden Informationen versucht die Bibliometrie Aussagen über Kooperationsstrukturen, thematische Entwicklungen, vor allem aber über den Impact von Publikationen zu machen. Die Bibliometrie produziert in diesem Sinne kein eigenes Qualitätsurteil, sondern informiert über die Resonanz einer Publikation oder einer Arbeitsgruppe in der scientific community.

FRAGE: Klingt gut. Aber ist das Messen von Zitaten und Publikationen nicht ein bisschen einseitig?

STEFAN HORNBOSTEL: Natürlich hat die Bibliometrie auch Schwächen. Ihre Indikatoren sind träge und haben stets einen Vergangenheitsbezug. Die Motive für eine Zitierung können recht unterschiedlich sein. Auch treffen die Indikatoren keine Aussage über die Nutzung der wissenschaftlichen Literatur, denn sie erfassen nur Zitate in anderen Publikationen, nicht aber die Rezeption und eventuelle Verwendung des Wissens in praktischen Kontexten. Hier bieten die Nutzungsanalysen elektronisch verfügbarer Literatur, die auch die Nichtschreiber erfassen, eine sehr interessante Ergänzung. Auch Strukturanalysen, die mit Algorithmen arbeiten, wie man sie von Internet-Versandhäusern kennt ("Kunden, die dieses Produkt angeschaut haben, haben auch jenes Produkt angeschaut"), geben sehr interessante Einblicke in die Formierung von Forschungsfeldern. Wichtig ist aber in jedem Fall, dass die Interpretation bibliometrischer Indikatoren ein fundiertes Wissen über ihre Konstruktion und die Publikations- und Zitationsgepflogenheiten der jeweiligen Disziplin voraussetzen. Das wird angesichts der leichten Verfügbarkeit vieler Indikatoren häufig übersehen und gilt analog auch für andere Wissenschaftsindikatoren (z.B. Drittmitteleinwerbungen).

FRAGE: Viele Geisteswissenschaftler kritisieren, dass die bibliometrische Bewertung an die Gegebenheiten in den Naturwissenschaften angelehnt sei und ihre Fachkultur nicht abbilde.

STEFAN HORNBOSTEL: Anders als in den Naturwissenschaften, wo das Publizieren schon sehr früh eine Internationalisierung und auch Hierarchisierung der Zeitschriften erfahren hat, stellt sich die Publikationslandschaft in den Geisteswissenschaften sehr viel bunter und vielfältiger dar. Auch die Qualitätskontrolle hat sich bei ihnen anders entwickelt. Die Fachkultur unterscheidet sich von den Naturwissenschaften ebenso wie die Prozesse, mit denen Fächer und Forscher zu einer Bewertung von Forschungsleistungen gelangen. Diese sind natürlich auch in den Geisteswissenschaften vorhanden, aber eben nicht so zugänglich wie etwa in der Physik oder den Lebenswissenschaften. Die Schwierigkeit besteht in den Geisteswissenschaften vor allem in der Verfügbarkeit von Daten. In den Naturwissenschaften hat man schon sehr früh damit begonnen, Datenbanken anzulegen. Diese waren zunächst lediglich als Hilfe bei der Suche nach Publikationen gedacht, erst später kam man auf die Idee, damit auch Messungen und Bewertungen durchzuführen. In den Geisteswissenschaften gibt es keine vergleichbare Datenbasis, die etwa auch die dort viel wichtigeren Monographien und Sammelbände systematisch erfasst. Die beiden großen internationalen Datenbanken Web of Science und Scopus sind jedenfalls für eine Evaluation geisteswissenschaftlicher Fächer ungeeignet.

FRAGE: Ist diese Unzugänglichkeit nicht auch ein Vorteil?

STEFAN HORNBOSTEL: Solange sie folgenlos bleibt, vielleicht. Derzeit gibt es aber zum Beispiel eine heftige Debatte - angestoßen durch die European Science Foundation - über die Entwicklung einer Qualitätskategorisierung geisteswissenschaftlicher Journale. In Großbritannien, wo das zur Verteilung der Forschungsmittel genutzte "Research Assessment Exercise" derzeit für die Natur- und Lebenswissenschaften im Wesentlichen auf Indikatoren umgestellt wird, fürchten die Geistes- und Sozialwissenschaften, langfristig in der "Schmuddelecke" zu landen, wenn es nicht gelingt, einige für ihre Fachgebiete geeignete Messgrößen zu etablieren.

FRAGE: Hängt der prozentual geringe Anteil geisteswissenschaftlicher Forschung an der Förderung im Rahmen der Exzellenzinitiative auch am Mangel von Bewertungskriterien?

STEFAN HORNBOSTEL: Nein, die Geisteswissenschaften haben vielmehr einfach einen deutlich kleineren Anteil an Forschungsprojekten, in denen intensiv kooperiert werden muss oder in großem Umfang Forschungsinfrastruktur benötigt wird. In den Naturwissenschaften findet dagegen die Wissenschaftsproduktion fast ausschließlich in Teams statt. Folglich waren die Geisteswissenschaften in den auf Verbundforschung ausgerichteten Förderlinien der Exzellenzinitiative weniger aktiv oder zumindest nur da, wo sie als Kooperationspartner anderer Disziplinen auftraten.

FRAGE: Kritiker der Exzellenzinitiative sagen, dabei sei vor allem "Antragsexzellenz" belohnt worden, also die Fähigkeit, gute Anträge zu stellen.

STEFAN HORNBOSTEL: Bei der Exzellenzinitiative haben die Gutachter vor allem zwei Kriterien gewichtet: Die "past performance", also bereits erzielte Forschungsleistungen einerseits und die Qualität der vorgelegten Konzepte andererseits. Fragt man führende Wissenschaftler, so benennen sie immer zuerst die früheren Erfolge eines Antragstellers als wichtigsten Bewertungsmaßstab. Aber auch das Schreiben eines Antrags gehört natürlich dazu! Der Antrag reflektiert ja auch die Fähigkeit einer Gruppe von Antragstellern, über Grenzen hinaus zusammenzuarbeiten, sich mit der Hochschulleitung abzustimmen und einen kohärenten Antrag zu verfassen. Dies ist eine absolut untypische Anforderung gewesen. Insofern kann man sagen: Der Antrag bildet auch die Organisationsfähigkeit einer Hochschule ab. Für die Gutachter war es darüber hinaus extrem schwierig, eine Qualitätsgrenze zu ziehen. Das bedeutet: Nur weil ein Antrag in der Exzellenzinitiative nicht erfolgreich war, muss er noch nicht schlecht gewesen sein. Dies zeigt sich auch daran, dass viele abgelehnte Vorhaben anderweitig weiterverfolgt und umgesetzt worden sind.

FRAGE: Die Messung von Forschungsleistung ist schon weit vorangekommen, aber wie sieht es mit der Messung von Exzellenz in der Lehre aus?

STEFAN HORNBOSTEL: Evaluation wurde ja zuerst in der Lehre eingeführt. Allerdings ist das eine ganz andere Welt mit anderen Mechanismen. Die Messung von Lehrleistung ähnelt eher der Kompetenzmessung im schulischen Bereich wie bei der PISA-Studie. Die Frage ist hier meist, ob es gelungen ist, einen erfolgreichen Lernprozess zu initiieren. Es ist schwierig, dafür Messungen zu etablieren, die über eine Akzeptanzmessung bei den Studierenden hinausgeht. Immerhin arbeitet die OECD derzeit an einem international einsetzbaren Kompetenztest für Studierende.

FRAGE: Wie kommt es, dass Rankings sich so häufig im Ergebnis widersprechen?

STEFAN HORNBOSTEL: Ich habe den Eindruck, die Ergebnisse der fachlich ernst zu nehmenden Rankings gleichen sich immer mehr an. Zwar mag die einzelne Hochschule mal so und mal so abschneiden, jedoch findet man im oberen Drittel immer wieder dieselben Namen. Allerdings gewichtet nicht jeder die Kriterien gleich. Im Idealfall stellt der Nutzer seinen eigenen Kriterienkatalog zusammen. Denn wer eine kleine, gemütliche Uni will, kommt für sich zu anderen Ergebnissen als jemand, der im Studium möglichst nah an der aktuellen Forschung sein will. Es geht also meist nicht darum, "die beste Uni" zu finden, sondern vielmehr "die beste Uni für ..."

Vielen Dank für das Gespräch!


*


Quelle:
forsch - Bonner Universitäts-Nachrichten Nr. 3, Juli 2009, Seite 12-13
Herausgeber:
Rektorat und Senat der Rheinischen Friedrich-Wilhelms-Universität Bonn
Abt. 8.2 - Presse und Kommunikation
Poppelsdorfer Allee 49, 53115 Bonn
Tel.: 0228/73 76 47, Fax: 0228/73-74 51
E-Mail: forsch@uni-bonn.de

forsch erscheint viermal pro Jahr


veröffentlicht im Schattenblick zum 31. Juli 2009