Kita semua pernah mendengar ulasan sejawat. Ini memberikan kepercayaan untuk penelitian dan makalah ilmiah. Tapi apa artinya itu? Bagaimana cara kerjanya?
Apa sebenarnya peer review? Gambar melalui AJ Cann / Flickr.
.Oleh Andre Spicer, Kota, Universitas London dan Thomas Roulet, Universitas Oxford
Tinjauan sejawat adalah salah satu standar emas sains. Ini adalah proses di mana para ilmuwan ("rekan") mengevaluasi kualitas karya ilmuwan lain. Dengan melakukan ini, mereka bertujuan untuk memastikan pekerjaan itu ketat, koheren, menggunakan penelitian sebelumnya dan menambah apa yang sudah kita ketahui.
Kebanyakan jurnal ilmiah, konferensi, dan aplikasi hibah memiliki semacam sistem ulasan sejawat. Dalam kebanyakan kasus ini adalah peer review "buta ganda". Ini berarti evaluator tidak tahu penulis, dan penulis tidak tahu identitas evaluator. Tujuan di balik sistem ini adalah untuk memastikan evaluasi tidak bias.
Semakin bergengsi jurnal, konferensi, atau hibah, semakin menuntut proses peninjauan, dan semakin besar kemungkinan penolakannya. Gengsi inilah yang menyebabkan makalah ini cenderung lebih banyak dibaca dan lebih banyak dikutip.
Proses secara rinci
Proses peer review untuk jurnal melibatkan setidaknya tiga tahap.
1. Tahap evaluasi meja
Ketika sebuah makalah dikirimkan ke jurnal, ia menerima evaluasi awal oleh pemimpin redaksi, atau seorang associate editor dengan keahlian yang relevan.
Pada tahap ini, keduanya dapat "menolak meja" kertas: yaitu, menolak kertas tanpa membuat buta wasit. Umumnya, makalah ditolak jika makalah tidak sesuai dengan ruang lingkup jurnal atau ada kelemahan mendasar yang membuatnya tidak layak untuk publikasi.
Dalam hal ini, editor yang menolak dapat menulis surat yang merangkum keprihatinannya. Beberapa jurnal, seperti Jurnal Medis Inggris, meja menolak hingga dua pertiga atau lebih dari kertas.
2. Ulasan buta
Jika tim editorial menilai tidak ada kelemahan mendasar, mereka akan ditinjau oleh wasit buta. Jumlah pengulas tergantung pada bidang: di bidang keuangan mungkin hanya ada satu resensi, sedangkan jurnal di bidang ilmu sosial lainnya mungkin meminta hingga empat pengulas. Para pengulas dipilih oleh editor berdasarkan pengetahuan ahli mereka dan tidak adanya tautan dengan penulis.
Peninjau akan memutuskan apakah akan menolak makalah, menerimanya sebagaimana adanya (yang jarang terjadi) atau meminta makalah untuk direvisi. Ini berarti penulis perlu mengubah makalah sesuai dengan kekhawatiran pengulas.
Biasanya ulasan tersebut membahas validitas dan kekakuan metode empiris, dan pentingnya dan orisinalitas temuan (apa yang disebut "kontribusi" untuk literatur yang ada). Editor mengumpulkan komentar-komentar itu, menimbangnya, mengambil keputusan, dan menulis surat yang meringkas pengulas dan kekhawatirannya sendiri.
Karena itu dapat terjadi bahwa meskipun ada permusuhan dari pihak pengulas, editor dapat menawarkan makalah tersebut putaran revisi berikutnya. Dalam jurnal terbaik dalam ilmu sosial, 10% hingga 20% dari makalah ditawarkan "revisi dan kirim kembali" setelah putaran pertama.
3. Revisi - jika Anda cukup beruntung
Jika makalah tidak ditolak setelah putaran pertama tinjauan ini, makalah tersebut dikirim kembali ke penulis untuk revisi. Proses ini diulangi sebanyak yang diperlukan bagi editor untuk mencapai titik konsensus tentang apakah akan menerima atau menolak makalah. Dalam beberapa kasus ini dapat berlangsung selama beberapa tahun.
Pada akhirnya, kurang dari 10 persen dari makalah yang diajukan diterima di jurnal terbaik dalam ilmu sosial. Jurnal terkenal Alam menerbitkan sekitar 7 persen dari makalah yang dikirimkan.
Kekuatan dan kelemahan proses peer review
Proses peer review dipandang sebagai standar emas dalam sains karena memastikan ketelitian, kebaruan, dan konsistensi hasil akademik. Biasanya, melalui putaran review, ide-ide yang cacat dihilangkan dan ide-ide yang baik diperkuat dan ditingkatkan. Peer review juga memastikan bahwa sains relatif independen.
Karena ide-ide ilmiah dinilai oleh ilmuwan lain, tolok ukur penting adalah standar ilmiah. Jika orang lain dari luar lapangan terlibat dalam menilai ide, kriteria lain seperti keuntungan politik atau ekonomi dapat digunakan untuk memilih ide. Peer review juga dipandang sebagai cara penting untuk menghilangkan kepribadian dan bias dari proses menilai pengetahuan.
Terlepas dari kekuatan yang tidak diragukan, proses peer review seperti yang kita tahu telah dikritik. Ini melibatkan sejumlah interaksi sosial yang dapat menciptakan bias - misalnya, penulis dapat diidentifikasi oleh pengulas jika mereka berada di bidang yang sama, dan penolakan meja tidak buta.
Ini mungkin juga mendukung penelitian tambahan (menambah penelitian sebelumnya) daripada penelitian inovatif (baru). Akhirnya, pengulas adalah manusia setelah semua dan dapat membuat kesalahan, salah paham elemen, atau kehilangan kesalahan.
Apakah ada alternatif lain?
Para pembela sistem peer review mengatakan walaupun ada kekurangan, kami belum menemukan sistem yang lebih baik untuk mengevaluasi penelitian. Namun, sejumlah inovasi telah diperkenalkan dalam sistem tinjauan akademik untuk meningkatkan objektivitas dan efisiensinya.
Beberapa jurnal akses terbuka baru (seperti PLOS ONE) mempublikasikan makalah dengan evaluasi sangat sedikit (mereka memeriksa pekerjaan tidak cacat secara metodologis). Fokusnya ada pada sistem peer review pasca-publikasi: semua pembaca dapat berkomentar dan mengkritik makalah ini.
Beberapa jurnal seperti Alam, telah membuat bagian dari proses peninjauan publik ("terbuka" review), menawarkan sistem hybrid di mana peer review memainkan peran penjaga gerbang utama, tetapi komunitas publik sarjana menilai secara paralel (atau sesudahnya di beberapa jurnal lain) nilai penelitian.
Gagasan lain adalah membuat seperangkat pengulas menilai makalah setiap kali direvisi. Dalam hal ini, penulis akan dapat memilih apakah mereka ingin menginvestasikan lebih banyak waktu dalam revisi untuk memperoleh peringkat yang lebih baik, dan membuat pekerjaan mereka diakui secara publik.
Andre Spicer, Profesor Perilaku Organisasi, Cass Business School, City, University of London dan Thomas Roulet, Novak Druce Research Fellow, University of Oxford
Artikel ini awalnya diterbitkan pada Percakapan. Baca artikel aslinya.
Intinya: Apa itu peer review? Apa artinya sebenarnya dan cara kerjanya.