Humboldt-Universität zu Berlin - RMZ

Projektleitung: Dr. Stephan Gauch

ProjektmitarbeiterInnen: Dr. des. Alex Fenton, Julia Heuritsch, M.Sc., Max Leckert, M.A., Jacqueline Sachse, M.A.

Laufzeit: 2017-2021

Seit mehr als hundert Jahren ist die Quantifizierung von Teilen der Lebenswelt Gegenstand einer Soziologie moderner Gesellschaften (Simmel, 1900; Weber 1909). Wohlbekannt ist, dass Quantifizierung und Metrifizierung Rückwirkungen auf die untersuchten Objekte haben können und so zur Konstruktion einer sozialen Wirklichkeit beitragen. Die Quantifizierung in der Wissenschaft auf Basis bibliometrischer Indikatoren und Verfahren stellt insofern keine Ausnahme dar. In den letzten zwei Jahrzehnten ist dieser Prozess der Irritation ungeschriebener Reputationsordnungen durch Metriken an unterschiedlichsten Stellen erkennbar geworden, z.B. an der Debatte um die Positionierung wissenschaftlicher Organisationen in Rankings oder Ratings, in der Verunsicherung durch den Wechsel von Methoden und Verfahren und den daraus häufig resultierenden Veränderung von Ergebnissen in öffentlichen Berichtsreihen, oder den Diskursen zur Etablierung neuer Indikatoren zur Quantifizierung wissenschaftspolitisch relevanter Konzepte. Solche Irritationen sind zumindest ein Indiz für die wahrgenommene Bedeutsamkeit solcher Indikatoren. Unklar ist jedoch, ob und wie die Kommunikation und Nutzung von Wissenschaftsindikatoren sich in Verhaltensmodifikation niederschlagen. Die Fragen nach Rückwirkungen werden insofern wichtiger, als zu beobachten ist, dass die Konstruktion und Verbreitung von Indikatoren nicht mehr nur durch wenige Akteure  mit besonderer Ressourcenausstattung erfolgt, sondern dass sich zusammen mit neuen Datenkollektionen und technischen Analyse- und Zugangsmöglichkeiten eine “Laienindikatorik” etabliert hat, die von Praktiken der Selbstevaluation von Organisationen bis hin zu Praktiken der Selbstvermessung (self-tracking) auf Personenebene reicht. Fragt man danach, in welcher Weise sich Rückwirkungen von Wissenschaftsindikatoren auf Individuen und das Wissenschaftssystem manifestieren, geht der derzeitige Wissensstand meist nicht über mehr oder weniger allgemeine theoretische Vermutungen, anekdotische  Beobachtungen oder versprengte Einzelevidenzen hinaus (siehe Kapitel 2). Offensichtlich ist zumindest, dass Verhaltensmodifikation durch alte oder neue alternative Metriken nicht einem kontextfreien, einheitlichen Muster folgen, sondern zwischen hoch strategischem Handeln und  der diffusen Wahrnehmung einer Notwendigkeit zu Handeln z.B. im Falle “schlechter Werte”, variieren. Dabei werden Metriken meist im Rahmen umfassenderer wettbewerblicher Kontexte eingesetzt, so dass häufig sowohl unklar ist, ob die Metriken oder andere Umweltfaktoren wirken, als auch, ob quantifizierte Perfomanzinformationen Verhaltensänderungen erwünschter Art erzeugen.  Die meist ex-post als “nicht intendiert” bezeichneten Effekte, deuten darauf hin, dass „Actio und Reactio“ in einem dynamischen Feld stattfinden, in dem sich entwickelnde Praktiken und deren möglichen Wechselwirkungen nur schwer vorhersagbar sind.

Auch wenn die Erforschung von Ursachen, Struktur und Wirkung vergleichender Metrifizierung nicht neu ist, lässt sich in den letzten Jahren eine steigende Aufmerksamkeit für das Thema beobachten (Didier, 2016). Ausschlaggebend für dieses erneute  Forschungsinteresse zur Frage nach der “Wirksamkeit von Zahlen” sind unterschiedliche gesamtgesellschaftlich relevante Ereignisse wie z.B. d die zunehmende Algorithmisierung von Entscheidungsprozessen, die Bedeutungsaufwertung von Daten als wichtige Ressource und Handelsgut, aber auch technische Neuerungen die unter dem Begriff Big Data firmieren. Trotz dieses neuen Interesses, den daraus entstehenden neuen Möglichkeiten für die bibliometrische Forschung durch Ausweitung der Datenlage oder der Anwendung von avancierten Verfahren des maschinellen Lernens, und dem Aufarbeiten grundlegender Fragestellungen dominiert zwischen den wissenschaftlichen Vertretern der soziologisch motivierten Forschung zu Quantifizierung und Evaluation auf der einen und der bibliometrischen Forschung auf der anderen Seite eine wechselseitige Skepsis Fruchtbare Formen der Zusammenarbeit gibt es kaum. Eine kollaborative Wendung, also das gemeinschaftliche Bearbeiten von Fragen der Wirksamkeit, welche auch weitere interessierte und betroffene Kreise einschließt, findet kaum statt, auch wenn diese vereinzelt von prominenten Vertretern wiederholt gefordert wird (z.B. Desrosières, 2016).

An diesen Desiderata setzt die Nachwuchsgruppe “ReflexiveMetrics” (NWG) an. Erkenntnisinteresse der NWG ist die Untersuchung performativer Effekte bibliometrischer und szientometrischer Verfahren und Metriken. Hierbei wird auf die am Lehrstuhl Wissenschaftsforschung (ISW, HU Berlin) erarbeiteten Perspektiven zu Soziologie der Quantifizierung und (Be-)wertung zurückgegriffen. Grundlegend steht folgende Frage im Raum: “Wie wirken Indikatoren auf die  Beobachteten (einschließlich der Selbstbeobachtung)  zurück und welche Erfordernisse ergeben sich durch unterschiedliche Formen der Rückwirkung für die Methodenreflektion und Methodenentwicklung in der Bibliometrie?”

Ziel ist es Wirkungsforschung und Methodenreflektion miteinander zu verbinden, um eine neue Form der Reflektionsfähigkeit für die Bibliometrie zu entwickeln. Übergeordnete Ziele der NWG sind a) die Etablierung einer theoretisch geleiteten Empirie zur Abschätzung möglicher Rückwirkungen der Anwendung bibliometrischer Indikatoren auf Akteure im Wissenschaftssystem, b) die Entwicklung einer  theoretischen Grundlage zur Unterstützung der Neu- und Weiterentwicklung bibliometrischer Indikatoren, ebenso wie zur Weiterentwicklung einer Soziologie der Quantifizierung und der (Be-)Wertung und c) die Entwicklung kollaborativer Formen der Reflektion zwischen theoretisch geleiteter Wissenschaftsforschung, empirisch orientierter bibliometrischer Forschung und den durch Quantifizierung erfassten Akteuren. Die programmatische Perspektive der reflexiven Bibliometrie impliziert, dass Rückwirkungen und Bedeutsamkeit von bibliometrischen Indikatoren und Verfahren nur über eine genauere Untersuchung des Zusammenspiels von Metriken, Praktiken und Erwartungen auf unterschiedlichen Ebenen des Wissenschaftssystem verstanden werden können. Der Fokus soll auf der Anwendung quantitativer Verfahren liegen, welche durch die Verwendung qualitativer Verfahren flankiert werden können. Letztere dienen sowohl aus Ausgangspunkt der quantitativen Betrachtungen aber auch als Instrument der Vertiefung bestimmter Aspekte, welche sich quantitativ nicht erschließen lassen.