Google sedang menguji alat penelitian berbasis AI baru, Scholar Labs, yang dirancang untuk menghasilkan studi yang sangat relevan berdasarkan kueri mendetail. Pergeseran ini menimbulkan pertanyaan kunci: bagaimana para ilmuwan akan merespons mesin pencari yang memprioritaskan analisis konten dibandingkan metrik tradisional seperti jumlah kutipan dan faktor dampak jurnal?
Alat ini menggunakan AI untuk memahami hubungan antar kata dalam kueri, sehingga memunculkan penelitian yang mungkin terlewatkan. Dalam demonstrasi yang melibatkan antarmuka otak-komputer (BCI), Scholar Labs mengidentifikasi makalah ulasan relevan yang diterbitkan di Ilmu Terapan, dengan tepat mencatat pembahasannya tentang elektroensefalografi dan algoritma terkemuka. Namun, alat ini tidak memiliki filter untuk indikator kualitas yang banyak digunakan.
Masalah dengan Metrik yang Ada
Sistem yang ada saat ini sangat bergantung pada kutipan (seberapa sering suatu penelitian dirujuk oleh orang lain) dan faktor dampak jurnal (ukuran prestise jurnal). Meskipun metrik ini menawarkan ukuran pengaruh secara kasar, namun metrik tersebut tidak sempurna. Makalah yang banyak dikutip tidak selalu lebih baik, dan karya yang baru diterbitkan atau karya interdisipliner bisa terlewatkan seluruhnya. Sebuah studi dari tahun 1990-an mungkin memiliki ribuan kutipan, sedangkan makalah inovatif pada tahun 2024 mungkin tidak memiliki satu pun kutipan. Alam memiliki faktor dampak sebesar 48,5, sedangkan Ilmu Terapan melaporkan 2,5 — namun hal ini belum tentu mencerminkan kualitas penelitian.
Google berpendapat bahwa hanya mengandalkan metrik ini dapat mengecualikan penelitian yang berharga, terutama di bidang-bidang yang sedang berkembang. Lisa Oguike, juru bicara Google, menjelaskan bahwa pembatasan berdasarkan faktor dampak atau jumlah kutipan dapat “melewatkan makalah penting… khususnya, makalah dalam bidang interdisipliner/berdekatan atau artikel yang baru diterbitkan.”
Potensi Peran AI
Para ahli sepakat bahwa jumlah kutipan dan faktor dampak merupakan penilaian kualitas yang tidak sempurna. Matthew Schrag, seorang profesor neurologi di Vanderbilt, mencatat bahwa metrik ini “lebih banyak berbicara tentang konteks sosial makalah” daripada nilai intrinsiknya. Pencarian yang didukung AI secara teoritis dapat memperluas cakupan penemuan, memunculkan penelitian yang mungkin terkubur.
James Smoliga, seorang profesor di Universitas Tufts, mengaku secara tidak sadar memercayai makalah yang banyak dikutip meskipun mengetahui kekurangannya. Sistem ini tidak sepenuhnya mudah, namun Scholar Labs bertujuan untuk mengatasi kekurangan ini dengan menganalisis teks lengkap makalah penelitian, mempertimbangkan rincian publikasi, penulis, dan riwayat kutipan.
Pendekatan Holistik
Pada akhirnya, penelusuran yang didukung AI seperti Scholar Labs dapat menjadi tambahan yang berharga bagi ekosistem ilmiah. Ini menawarkan jaring yang lebih luas untuk penemuan dan wawasan kontekstual. Namun, penilaian akhir mengenai kualitas penelitian harus tetap berada di tangan para ilmuwan itu sendiri. Seperti yang ditekankan oleh Schrag, “Anda harus memahami standar di lapangan dalam hal ketelitian dan apakah suatu penelitian memenuhi standar tersebut.” Algoritma harus membantu, bukan menggantikan, pemikiran kritis dalam mengevaluasi karya ilmiah.
Scholar Labs mewakili pergeseran menuju penemuan penelitian yang lebih bernuansa, namun pengawasan manusia tetap penting untuk memastikan integritas ilmiah.
