Google test een nieuwe AI-gestuurde onderzoekstool, Scholar Labs, die is ontworpen om zeer relevante onderzoeken te leveren op basis van gedetailleerde vragen. Deze verschuiving roept een belangrijke vraag op: hoe zullen wetenschappers reageren op een zoekmachine die voorrang geeft aan inhoudsanalyse boven traditionele statistieken zoals citatietellingen en impactfactoren van tijdschriften?
De tool maakt gebruik van AI om de relaties tussen woorden in een zoekopdracht te begrijpen, waardoor onderzoek naar voren komt dat anders over het hoofd zou worden gezien. In een demonstratie met brain-computer interfaces (BCI’s) identificeerde Scholar Labs een relevant overzichtsartikel gepubliceerd in Applied Sciences, waarin terecht de bespreking van elektro-encefalografie en toonaangevende algoritmen werd vermeld. De tool mist echter met name filters voor veelgebruikte kwaliteitsindicatoren.
Het probleem met bestaande statistieken
Het huidige systeem is sterk afhankelijk van citaties (hoe vaak naar een onderzoek wordt verwezen door anderen) en impactfactoren van tijdschriften (een maatstaf voor het prestige van een tijdschrift). Hoewel deze statistieken een ruwe graadmeter voor de invloed bieden, zijn ze onvolmaakt. Veel geciteerde artikelen zijn niet altijd beter, en nieuw gepubliceerd of interdisciplinair werk kan geheel worden gemist. Een onderzoek uit de jaren negentig kan duizenden citaten bevatten, terwijl een baanbrekend artikel uit 2024 er misschien geen heeft. Natuur heeft een impactfactor van 48,5, terwijl TNW een impactfactor van 2,5 rapporteert – maar dit weerspiegelt niet noodzakelijkerwijs de onderzoekskwaliteit.
Google stelt dat het uitsluitend vertrouwen op deze statistieken waardevol onderzoek kan uitsluiten, vooral op opkomende gebieden. Lisa Oguike, een woordvoerder van Google, legde uit dat beperken door de impactfactor of het aantal citaties “belangrijke artikelen kan missen… in het bijzonder artikelen op interdisciplinaire/aangrenzende vakgebieden of recent gepubliceerde artikelen.”
De potentiële rol van AI
Deskundigen zijn het erover eens dat het aantal citaties en impactfactoren onvolmaakte kwaliteitsbeoordelingen zijn. Matthew Schrag, universitair hoofddocent neurologie bij Vanderbilt, merkt op dat deze statistieken “meer zeggen over de sociale context van het artikel” dan over de intrinsieke waarde ervan. Zoeken op basis van AI zou theoretisch de reikwijdte van de ontdekking kunnen vergroten, waardoor onderzoeken naar boven zouden komen die anders misschien begraven zouden blijven.
James Smoliga, een professor aan de Tufts Universiteit, geeft toe dat hij onbewust veel geciteerde artikelen vertrouwt, ondanks dat hij de gebreken ervan kent. Het systeem is niet onfeilbaar, maar Scholar Labs wil deze tekortkomingen aanpakken door de volledige tekst van onderzoeksartikelen te analyseren, waarbij publicatiedetails, auteurschap en citatiegeschiedenis in aanmerking worden genomen.
Een holistische aanpak
Uiteindelijk kan AI-aangedreven zoeken zoals Scholar Labs een waardevolle toevoeging zijn aan het wetenschappelijke ecosysteem. Het biedt een breder net voor ontdekking en contextueel inzicht. Het uiteindelijke oordeel over de kwaliteit van onderzoek moet echter bij wetenschappers zelf blijven. Zoals Schrag benadrukt: “Je moet gevoel hebben voor wat de normen in het veld zijn als het gaat om nauwkeurigheid en of een onderzoek daaraan voldoet.” Algoritmen moeten het kritische denken bij het evalueren van wetenschappelijk werk ondersteunen en niet vervangen.
Scholar Labs vertegenwoordigt een verschuiving naar meer genuanceerde onderzoeksresultaten, maar menselijk toezicht blijft cruciaal om de wetenschappelijke integriteit te waarborgen.
