Google teste un nouvel outil de recherche basé sur l’IA, Scholar Labs, conçu pour fournir des études très pertinentes basées sur des requêtes détaillées. Ce changement soulève une question clé : comment les scientifiques réagiront-ils à un moteur de recherche qui donne la priorité à l’analyse de contenu par rapport aux mesures traditionnelles telles que le nombre de citations et les facteurs d’impact des revues ?
L’outil utilise l’IA pour comprendre les relations entre les mots dans une requête, faisant ainsi apparaître des recherches qui autrement pourraient être négligées. Dans une démonstration impliquant des interfaces cerveau-ordinateur (BCI), Scholar Labs a identifié un article de synthèse pertinent publié dans Applied Sciences, notant correctement sa discussion sur l’électroencéphalographie et les principaux algorithmes. Cependant, l’outil manque notamment de filtres pour les indicateurs de qualité largement utilisés.
Le problème avec les métriques existantes
Le système actuel s’appuie fortement sur les citations (la fréquence à laquelle une étude est référencée par d’autres) et les facteurs d’impact des revues (une mesure du prestige d’une revue). Bien que ces mesures offrent une mesure approximative de l’influence, elles sont imparfaites. Les articles très cités ne sont pas toujours meilleurs, et les travaux nouvellement publiés ou interdisciplinaires peuvent passer complètement inaperçus. Une étude des années 1990 pourrait avoir des milliers de citations, alors qu’un article révolutionnaire de 2024 pourrait n’en avoir aucune. Nature a un facteur d’impact de 48,5, tandis que Sciences appliquées en rapporte 2,5 – mais cela ne reflète pas nécessairement la qualité de la recherche.
Google affirme que s’appuyer uniquement sur ces mesures peut exclure des recherches précieuses, en particulier dans les domaines émergents. Lisa Oguike, porte-parole de Google, a expliqué que la limitation par facteur d’impact ou nombre de citations peut « manquer des articles clés… en particulier, des articles dans des domaines interdisciplinaires/adjacents ou des articles récemment publiés ».
Le rôle potentiel de l’IA
Les experts conviennent que le nombre de citations et les facteurs d’impact sont des évaluations imparfaites de la qualité. Matthew Schrag, professeur agrégé de neurologie à Vanderbilt, note que ces mesures « parlent davantage du contexte social de l’article » que de sa valeur intrinsèque. La recherche basée sur l’IA pourrait théoriquement élargir la portée des découvertes, en faisant apparaître des études qui autrement pourraient être enterrées.
James Smoliga, professeur à l’Université Tufts, admet qu’il fait inconsciemment confiance à des articles très cités, même s’il connaît leurs défauts. Le système n’est pas infaillible, mais Scholar Labs vise à combler ces lacunes en analysant le texte intégral des articles de recherche, en tenant compte des détails de la publication, de la paternité et de l’historique des citations.
Une approche holistique
En fin de compte, la recherche basée sur l’IA comme Scholar Labs peut constituer un ajout précieux à l’écosystème scientifique. Il offre un réseau plus large de découverte et d’informations contextuelles. Toutefois, le jugement final sur la qualité de la recherche revient aux scientifiques eux-mêmes. Comme le souligne Schrag, « il faut avoir une idée des normes en vigueur dans le domaine en termes de rigueur et savoir si une étude y répond. » Les algorithmes devraient aider, et non remplacer, la pensée critique dans l’évaluation du travail scientifique.
Scholar Labs représente une évolution vers des découvertes scientifiques plus nuancées, mais la surveillance humaine reste cruciale pour garantir l’intégrité scientifique.
