Google testet ein neues KI-gesteuertes Forschungstool, Scholar Labs, das darauf ausgelegt ist, hochrelevante Studien auf der Grundlage detaillierter Abfragen zu liefern. Diese Verschiebung wirft eine zentrale Frage auf: Wie werden Wissenschaftler auf eine Suchmaschine reagieren, die der Inhaltsanalyse Vorrang vor traditionellen Messgrößen wie Zitationszahlen und Journal-Impact-Faktoren einräumt?
Das Tool nutzt KI, um Beziehungen zwischen Wörtern in einer Suchanfrage zu verstehen und so Forschungsergebnisse ans Licht zu bringen, die andernfalls übersehen würden. In einer Demonstration, bei der es um Gehirn-Computer-Schnittstellen (BCIs) ging, identifizierte Scholar Labs einen relevanten Übersichtsartikel, der in Applied Sciences veröffentlicht wurde, und verwies dabei korrekt auf dessen Diskussion über Elektroenzephalographie und führende Algorithmen. Dem Tool fehlen jedoch insbesondere Filter für weit verbreitete Qualitätsindikatoren.
Das Problem mit vorhandenen Metriken
Das aktuelle System stützt sich stark auf Zitationen (wie oft eine Studie von anderen zitiert wird) und Journal-Impact-Faktoren (ein Maß für das Prestige einer Zeitschrift). Diese Kennzahlen bieten zwar eine grobe Einschätzung des Einflusses, sind jedoch unvollkommen. Häufig zitierte Arbeiten sind nicht immer besser und neu veröffentlichte oder interdisziplinäre Arbeiten können völlig übersehen werden. Eine Studie aus den 1990er Jahren könnte Tausende von Zitaten haben, während eine bahnbrechende Arbeit aus dem Jahr 2024 vielleicht gar keine Zitate hat. Nature hat einen Impact Factor von 48,5, während Applied Sciences einen Impact Factor von 2,5 meldet – was aber nicht unbedingt die Qualität der Forschung widerspiegelt.
Google argumentiert, dass die ausschließliche Verwendung dieser Kennzahlen dazu führen kann, dass wertvolle Forschung, insbesondere in aufstrebenden Bereichen, ausgeschlossen wird. Lisa Oguike, eine Google-Sprecherin, erklärte, dass die Einschränkung nach Impact-Faktor oder Zitationszahl dazu führen kann, dass „wichtige Artikel übersehen werden … insbesondere Artikel in interdisziplinären/angrenzenden Bereichen oder kürzlich veröffentlichte Artikel“.
Potenzielle Rolle der KI
Experten sind sich einig, dass Zitierzahlen und Impact-Faktoren unvollständige Qualitätsbeurteilungen darstellen. Matthew Schrag, außerordentlicher Professor für Neurologie an der Vanderbilt University, stellt fest, dass diese Kennzahlen „mehr über den sozialen Kontext der Arbeit aussagen“ als über ihren eigentlichen Wert. Eine KI-gestützte Suche könnte theoretisch den Umfang der Entdeckungen erweitern und Studien ans Licht bringen, die andernfalls untergehen würden.
James Smoliga, Professor an der Tufts University, gibt zu, dass er häufig zitierten Arbeiten unbewusst vertraut, obwohl er deren Mängel kennt. Das System ist nicht narrensicher, aber Scholar Labs möchte diese Mängel beheben, indem es den vollständigen Text von Forschungsarbeiten analysiert und dabei Veröffentlichungsdetails, Autorschaft und Zitierhistorie berücksichtigt.
Ein ganzheitlicher Ansatz
Letztendlich kann eine KI-gestützte Suche wie Scholar Labs eine wertvolle Ergänzung des wissenschaftlichen Ökosystems sein. Es bietet ein breiteres Netz für Entdeckungen und kontextbezogene Einblicke. Die endgültige Beurteilung der Forschungsqualität muss jedoch den Wissenschaftlern selbst überlassen bleiben. Schrag betont: „Man muss ein Gespür dafür haben, welche Standards in diesem Bereich in Bezug auf die Genauigkeit gelten und ob eine Studie diese erfüllt.“ Algorithmen sollten das kritische Denken bei der Bewertung wissenschaftlicher Arbeiten unterstützen und nicht ersetzen.
Scholar Labs stellen einen Wandel hin zu differenzierteren Forschungsentdeckungen dar, aber die menschliche Aufsicht bleibt von entscheidender Bedeutung, um die wissenschaftliche Integrität sicherzustellen.
