10 Alasan Teratas Anda Tidak Dapat Mempercayai Sains Saat Ini

Tanpa diketahui banyak orang, sains - terutama ilmu sosial dan psikologi - berada di tengah krisis replikasi, ketidakmampuan yang sangat luas untuk berhasil mengulangi temuan makalah yang diterbitkan sebelumnya. Faktanya, saat ini, sekitar tujuh puluh persen studi ilmiah gagal ketika upaya dilakukan untuk mereplikasi temuan mereka. Itu cukup mengerikan ketika Anda mempertimbangkan berapa banyak sains dan argumen konsensus yang salah dikutip hari ini oleh para politisi yang membuat beberapa perubahan mendasar terbesar pada masyarakat dalam sejarah.

Analisis yang lebih teliti dari banyak studi yang sangat berpengaruh menemukan celah dalam fondasi sains dan kelemahan dalam praktiknya, hanya membuktikan bahwa kita tidak selalu dapat mempercayai apa yang kita baca… bahkan di jurnal sains terkemuka.

10. Ini Masalah yang Sangat Luas

Apakah Sebagian Besar Riset yang Diterbitkan Salah?

Pada tahun 2018, koalisi ilmuwan sosial yang terdiri dari psikolog dan ekonom mencoba mereplikasi 21 temuan yang diterbitkan dalam dua jurnal bergengsi: "Nature" dan "Science". Termasuk dalam ulasan ini adalah studi yang sangat berpengaruh dan banyak dilaporkan, seperti disertasi 2011 tentang apakah akses ke mesin pencari menghalangi ingatan manusia, dan laporan mengenai dampak membaca pada kemampuan anak-anak untuk memahami sudut pandang yang berbeda, juga dikenal sebagai "teori pikiran. . ”

Melihat ke belakang menjadi 20/20, para ilmuwan yang melakukan replikasi membuat pengujian ulang lebih ketat daripada studi kasus asli. Untuk memastikan transparansi total, mereka mendaftarkan studi dan analisis mereka - perlindungan terhadap peneliti mana pun yang mencoba menyelamatkan muka dengan membiarkan kesimpulan menulis ulang sebagian maksud awal mereka. Dalam beberapa kasus, jumlah peserta juga meningkat sebanyak lima kali lipat, taktik kuantitas-sama-kualitas yang mengurangi kemungkinan bukti tidak langsung menjadi kanon ilmiah.

Yang mengkhawatirkan, hanya 13 dari 21 studi yang direplikasi di bawah pengawasan yang meningkat. Itu satu keberhasilan kurang dari 2/3, yang dengan sendirinya tidak akan dapat diterima untuk penelitian yang diterbitkan dalam publikasi sains yang dianggap begitu baik dan dianggap cerdas. Hasilnya jelas: ilmu sampah menjadi kebenaran yang diterima.

9. Bahkan Banyak Studi Sukses Sekarang Dicurigai


Bayangkan dua siswa mendapatkan nilai tengah semester kembali. Yang satu mendapat nilai A, yang lain nilai D. Keduanya lulus, tapi ada perbedaan besar antara kedua nilai itu.

Hampir sama mengkhawatirkannya dengan ketidakmampuan untuk mereplikasi studi tertentu adalah bahwa, bahkan di antara mereka yang secara teknis lolos, ukuran efek - perbedaan antara grup yang berpartisipasi dalam eksperimen aktif dan mereka yang dikesampingkan sebagai tolok ukur umum (disebut "grup kontrol") - sering turun drastis dalam kondisi yang lebih cermat. Itulah yang terjadi dengan banyak dari 13 studi yang direplikasi dari 21 yang direferensikan di entri sebelumnya. Beberapa menurun sekitar setengah - angka yang sangat tinggi yang menunjukkan bahwa temuan asli kemungkinan melebih-lebihkan kekuatan manipulasi eksperimental.

Contoh hipotetis: Misalkan seseorang secara ilmiah dapat menyimpulkan bahwa sebuah apel sehari, memang, menjauhkan dokter. Pertanyaan logis berikutnya adalah "Tentu, tapi seberapa banyak?" Banyak penelitian didukung sebagai temuan yang jelas ketika, pada kenyataannya, mereka hampir tidak mencapai nilai. Dalam sains, tingkat sebab dan akibat sangat penting.

Para peneliti yang melakukan studi replikasi yang disebutkan di atas mengakui banyak hal, menyatakan bias sistematis dalam temuan yang dipublikasikan "sebagian karena positif palsu dan sebagian lagi karena ukuran efek positif benar yang terlalu tinggi." Dengan kata lain, makan apel itu dengan sebutir garam.

8. Replikasi Itu Sendiri Memiliki Batasan


Tidak semua ulangan dibuat sama. Seringkali ada keadaan luar biasa yang terlibat yang membuat analisis lengkap dari studi individu tidak praktis atau bahkan tidak mungkin.

Dan terkadang para pengganda itu sendiri, tampaknya, sama angkuhnya dengan para peneliti aslinya. Studi yang disebutkan di atas menemukan korelasi antara akses mesin pencari dan memori manusia termasuk di antara delapan studi yang gagal ditiru. Tetapi percobaan replikasi terbatas pada tugas pencarian kata - apakah hanya memikirkan ketersediaan internet yang membuatnya lebih sulit untuk mengambil informasi - daripada percobaan dunia nyata yang melibatkan kuis subjek gaya trivia yang sebenarnya. Ini juga mengabaikan skenario yang terbukti dengan sendirinya: misalnya, sejak munculnya ponsel cerdas, jauh lebih sedikit orang yang mengingat nomor telepon individu lagi - indikasi yang jelas bahwa ketergantungan pada teknologi membuat mengingat fakta kurang diperlukan dan, oleh karena itu, kecil kemungkinannya.

Studi lain mungkin tidak mereplikasi karena adanya perubahan pada partisipan itu sendiri. Pada 2014, psikolog MIT David Rand menerbitkan sebuah penelitian tentang kerja sama manusia. Untuk studi tersebut, peserta memainkan permainan ekonomi online yang dimaksudkan untuk menentukan poin kolaborasi dan, sebaliknya, keegoisan.

Ketika eksperimen gagal untuk mereplikasi, Rand berpendapat bahwa kumpulan peserta studi online yang khas sejak itu menjadi akrab dengan permainannya, menjadikannya alat yang kurang berguna untuk memeriksa perilaku kehidupan nyata hipotetis. Itu tidak masuk akal, tetapi poin yang lebih besar adalah bahwa pengetahuan yang luas tentang eksperimen dapat menodai eksperimen itu sendiri.

Namun, lebih sering daripada tidak, eksperimen gagal untuk mereplikasi karena eksperimen tersebut tidak dapat dijalankan sejak awal, per beberapa item berikutnya.

7. Beberapa Studi Sangat Bodoh


Terkadang menakutkan apa yang dianggap sains. Salah satu eksperimen yang gagal untuk ditiru meneliti apakah menantang orang untuk berpikir lebih rasional akan membuat mereka kurang religius Meskipun secara sepintas sedikit menghina - tes semacam itu membawa asumsi yang mendasari bahwa keyakinan beragama pada dasarnya tidak rasional - tujuannya adalah untuk melihat apakah orang akan menjadi lebih terbuka untuk menemukan sebab dan akibat di dunia fisik daripada dunia spiritual.

Eksperimen itu sendiri, yah, bodoh. Salah satu tesnya membuat para peserta menatap selama beberapa menit pada gambar patung terkenal Rodin, The Thinker. Jadi pada dasarnya, eksperimennya adalah untuk menentukan apakah melihat gambar seorang pria telanjang dengan tinjunya yang diposisikan dengan serius di bawah dagunya akan menghilangkan keyakinan mereka pada dewa.

Ilmu suara? Saya pikir tidak. Secara histeris, arsitek studi tersebut berpikir bahwa kesalahan fatal - yaitu yang membuatnya gagal untuk ditiru - ada pada ukuran sampel dan bukan kebodohan eksperimen itu sendiri. "Ketika kami mengajukan satu pertanyaan kepada mereka tentang apakah mereka percaya pada Tuhan, itu adalah ukuran sampel yang sangat kecil, dan hampir tidak signifikan," kata psikolog Universitas Kentucky Will Gervais. "Saya ingin berpikir itu tidak akan diterbitkan hari ini," lanjutnya, dengan meremehkan abad ilmiah.

6. Soft Logic: The Marshmallow Test & The Oversimplification of Social Science

Uji Marshmallow | Media Penyala | Video Gereja

Studi lain gagal untuk mereplikasi karena variabel yang awalnya mereka perhitungkan tidak mencukupi atau tidak lengkap. Contoh utama di sini adalah apa yang disebut "tes marshmallow", yang awalnya menghubungkan kemampuan untuk menunda kepuasan di awal kehidupan dengan kesuksesan di masa remaja atau dewasa.

Eksperimen itu terbaca seperti penyiksaan yang menghibur. Seorang anak meletakkan marshmallow di depannya, dan seorang peneliti memberikan pilihan: Jika anak tersebut dapat menunggunya meninggalkan ruangan dan kembali, dia mendapat marshmallow lagi. Jika tidak, marshmallow ekstra tidak akan diberikan. Kepuasan langsung di satu sisi, menggandakan kelezatan di sisi lain.

Bertahun-tahun kemudian, anak-anak yang menunggu mencapai skor SAT yang lebih tinggi, tingkat penyalahgunaan zat yang lebih rendah, kemungkinan obesitas yang lebih rendah, dan keterampilan sosial yang baik. Kesimpulan yang jelas adalah bahwa anak-anak yang menunjukkan pengendalian diri sejak dini kemungkinan besar akan menjadi remaja dan orang dewasa yang lebih disiplin dan berfungsi tinggi.

Masalahnya adalah kehidupan seorang anak lebih rumit dari pada penganan. Ketika peneliti replikasi memeriksa kembali temuan dan memperhitungkan faktor-faktor seperti latar belakang keluarga, korelasi tersebut hilang. Kesimpulan yang paling mungkin, tentu saja, adalah bahwa anak-anak yang menunggu marshmallow kedua mendapatkan manfaat dari pengasuhan yang tepat, nutrisi yang baik, dll. Mereka tidak secara inheren lebih baik - mereka dibesarkan dengan lebih baik.

5. Pikirkan Lagi: Krisis Replikasi dalam Psikologi

PL8 - TSC 2012 Daryl J. Bem, Merasakan Masa Depan

Krisis replikasi dalam psikologi bahkan lebih menonjol, mungkin karena menunjukkan dengan tepat dorongan di balik pikiran mungkin lebih rumit daripada menentukan sebab dan akibat untuk tindakan atau pencapaian.

Satu peristiwa khususnya memicu kerusakan mental yang sangat dibutuhkan psikologi. Pada tahun 2010, sebuah makalah yang menggunakan metode eksperimen yang diterima mengklaim bukti dari sesuatu yang, secara ilmiah, secara luas tidak dapat diterima: orang-orang, ditemukan, mampu memahami masa depan.

Masalahnya bukanlah kesimpulan penelitian yang menggelikan, melainkan konduksi yang serius: percobaan dilakukan selama 10 tahun, selama waktu itu Profesor Psikologi Cornell University Daryl Bem dengan ketat melakukan sembilan ulangan - delapan di antaranya berhasil. Ketika penelitian itu dipublikasikan, Daniel Engber dari Slate dengan tepat menggambarkan dampaknya: "Makalah ini menimbulkan dilema yang sangat sulit," tulisnya. "Itu baik secara metodologis dan logis secara logis."

Tidak seperti masa depan, hasilnya dapat diprediksi: penelitian ini mendorong pertimbangan ulang praktik seperti ukuran sampel skala kecil - yang, dibandingkan dengan penelitian yang lebih besar, jauh lebih mungkin untuk menarik kesimpulan dari kebetulan belaka. Praktik terbaik untuk pengacakan yang efektif - yang berarti cara terbaik untuk mencegah bias atau rangsangan lain agar tidak memengaruhi hasil - juga semakin diperhatikan dalam pergolakan ilmiah yang, dimulai kurang dari satu dekade lalu, masih dalam proses.

4. Perhitungan Replikasi Psikologi

Ghostbusters (1/8) KLIP Film - Tes ESP Venkman (1984) HD

Kecuali "Dr." Peter Venkman dari Ghostbusters sebenarnya tertarik pada sesuatu, persepsi ekstrasensori paling banter belum terbukti, paling buruk tidak terbukti sama sekali. Jadi, ketika Daryl Bem yang disebutkan di atas menggunakan praktik eksperimen yang diterima untuk "membuktikan" yang tidak dapat diterima, psikologi dipaksa untuk memahami bagaimana studi dilakukan.

Muncul dari tinjauan seluruh disiplin ini adalah makalah upaya kelompok 2015, yang diterbitkan di majalah Science. Laporan tersebut merinci masalah yang menyeluruh: Ketika 270 psikolog mencoba mereplikasi 100 eksperimen yang diterbitkan dalam jurnal terkemuka, hanya sekitar 40% yang berhasil diulang; sisanya gagal atau menghasilkan data yang tidak meyakinkan dan, seperti beberapa eksperimen ilmu sosial yang direferensikan sebelumnya, banyak studi yang lolos replikasi menunjukkan efek yang lebih lemah daripada yang asli.

Kesimpulan laporan ini sama kuatnya dengan kata-kata yang didapat jurnal sains. “Setelah upaya intensif… berapa banyak efek yang telah kita buat yang benar? Nol. Dan berapa banyak dari efek yang telah kita anggap salah? Nol."

Ini bukan menunjuk jari secara intelektual, melainkan menyatakan bahwa sains tidak sejelas yang dibayangkan sebelumnya. “Ini adalah realitas melakukan sains,” lanjut kesimpulannya, “bahkan jika itu tidak dihargai dalam praktik sehari-hari.”

Akhirnya, inti masalahnya: "Manusia menginginkan kepastian, dan sains jarang memberikannya." Laporan tersebut kemudian menyarankan bahwa ada ruang untuk perbaikan dalam studi psikologis - langkah dan pertimbangan ekstra yang dapat mengarah pada temuan yang lebih dapat direproduksi. Poin yang lebih besar, bagaimanapun, adalah bahwa tidak ada solusi tongkat ajaib.

3. Koreksi Akal Sehat?

Profesor Brian Nosek tentang krisis reproduktifitas dan sains terbuka dalam psikologi

Untungnya, praktik melakukan replikasi dapat memberikan wawasan kepada para peneliti dari semua lapisan ilmu pengetahuan tentang eksperimen apa yang kemungkinan besar akan direplikasi - dan, melalui proses eliminasi, yang tidak mungkin dan oleh karena itu cacat secara konseptual.

Dengan krisis replikasi yang sekarang diakui secara luas, eksperimen replikasi yang lebih cermat dapat membantu mempertajam intuisi ilmuwan tentang hipotesis mana yang layak untuk diuji dan mana yang tidak. Dengan cara ini, uji tuntas studi replikasi dapat mengarah pada pendekatan yang lebih pragmatis terhadap teori dan eksperimen baru.

Berikut ini contohnya: studi replikasi yang dipimpin oleh psikolog Brian Nosek, Direktur Pusat Sains Terbuka, memasukkan komponen prediksi. Sekelompok ilmuwan bertaruh pada studi mana yang menurut mereka akan ditiru, dan mana yang tidak.

Yang menjanjikan, taruhan sebagian besar dilacak dengan hasil akhir - menunjukkan bahwa para ilmuwan memiliki semacam detektor omong kosong profesional. Eksperimen yang sebagian besar diprediksi oleh para ilmuwan tidak akan mereplikasi termasuk laporan bahwa hanya dengan mencuci tangan dapat mengurangi "disonansi pasca-keputusan", istilah mewah untuk bias konfirmasi yang memperkuat, di belakang, keputusan yang sulit dalam pikiran kita.

Kabar baiknya, kemudian, menyelesaikan krisis yang kompleks akan sangat dibantu oleh kualitas sederhana: akal sehat. Jika sebuah penelitian terdengar terlalu bagus untuk menjadi kenyataan, mungkin memang begitu.

2. Don't Bring Me Down (Ego Depletion, Part 1)


Tapi kadang-kadang, itu adalah studi yang tampaknya masuk akal yang memungkinkan perembesannya meskipun premisnya cacat. Di sini, menampilkan kerumitan krisis replikasi dan efek berjenjang memerlukan dua item daftar yang berurutan (bagian 2 berikut).

Replikasi gagal profil tinggi melibatkan eksperimen produktif yang temuan utamanya telah dikutip lebih dari 3.000 kali: penipisan ego. Sebagai sebuah konsep, nampaknya logis. Penipisan ego mengemukakan - dan para peneliti tampaknya membuktikan - bahwa pukulan terhadap ego seseorang dapat memiliki efek yang terbawa ke dalam berbagai tugas berikutnya, termasuk pengendalian diri, pengambilan keputusan yang bertanggung jawab dan kemampuan memecahkan masalah.

Untuk percobaan tersebut, psikolog Roy Baumeister dan Dianne Tice meletakkan kue yang baru dipanggang (yum) di samping semangkuk lobak (yuck). Mereka kemudian menyuruh beberapa peserta untuk makan lobak saja, dan kelompok lainnya hanya makan kue. Setelah itu, setiap sukarelawan mencoba memecahkan teka-teki yang sengaja dirancang tidak mungkin dilakukan. Klan pemakan kue meneliti teka-teki tersebut rata-rata selama 19 menit, mencocokkan mereka yang berada dalam kelompok kontrol yang tidak ngemil sama sekali. Para pemakan lobak berhenti rata-rata dalam delapan menit.

Baumeister dan Tice menduga bahwa ini mengungkapkan fakta mendasar: manusia memiliki persediaan kemauan yang terbatas, dan itu berkurang dengan penggunaan yang berlebihan. Makan lobak saat dikelilingi oleh kue adalah tindakan penyangkalan diri yang menguras tenaga, yang memiliki dampak limpahan, rasa muak pada tantangan berikutnya.

Penemuan ini menjadi raksasa, dikutip untuk menjelaskan keadaan sebab dan akibat yang luas, pada dasarnya mengatakan bahwa cadangan kemauan kita memiliki suara yang signifikan dalam keberhasilan pelaksanaan tugas yang diberikan. Pada tahun 2011, Baumeister menerbitkan buku self-help terlaris berjudul "Willpower: Rediscovering the Greatest Human Strength".

Ilmu pengetahuan yang mapan, bukan? Salah…

1. Deflasi Ego (Ego Depletion, Bagian 2)


Dan kemudian, seperti cookie merek dagangnya, penipisan ego hancur. Sebuah makalah tahun 2016 di jurnal "Perspectives on Psychological Science" merinci upaya besar-besaran 2.000 subjek untuk mereproduksi efek yang dinyatakan deplesi ego. Tidak menerima begitu saja (seperti seharusnya ilmu pengetahuan), penelitian ini terdiri dari dua lusin laboratorium di beberapa benua.

Berdasarkan kalimat pembuka dari kesimpulan studi, apa yang ditemukan sebenarnya tidak ada: "Hasil dari replikasi multilab terdaftar saat ini dari efek ego-deplesi memberikan bukti bahwa, jika ada efek, itu mendekati nol." Para peneliti tidak dapat menemukan hubungan yang jelas antara pukulan terhadap ego seseorang dan kemampuan untuk menyelesaikan tantangan selanjutnya. Jika Anda pandai mengerjakan teka-teki silang, tendangan ke pangkal paha tidak akan menghalangi Anda untuk mendapatkan angka 22 Menyilang.

Sama seperti itu, sebuah penelitian yang dikutip 3.000 kali - dan satu dibuat ulang ratusan kali dengan berbagai cara - sekarang paling mencurigakan, paling tidak palsu. Tidak dapat dilebih-lebihkan bahwa penipisan ego begitu mendarah daging dalam teori psikologis sehingga dianggap mendekati kanon.

Masalahnya - dan tantangan mendasar dari krisis replikasi - adalah MENGAPA penipisan ego diterima secara luas sebelum runtuh. Penipisan ego, di wajahnya, tampaknya masuk akal, dan kita masih melihatnya direferensikan - misalnya, ketika seorang pemain sepak bola atau bisbol yang mengalami kemerosotan ofensif dituduh telah membawa hal itu ke dalam permainan defensifnya.

Teori yang tampaknya masuk akal seperti itu mendapatkan keuntungan dari keraguan - bias yang diambil para peneliti dalam eksperimen selanjutnya. Replikasi menjadi sebagian didasarkan pada asumsi dan, alih-alih rumah kartu berjatuhan, ia hanya menerima level lain - yang, pada gilirannya, selanjutnya mendukung teori asli yang dapat dimengerti namun salah.