نکات کلیدی
1. علم به عنوان یک ساختار اجتماعی، متکی بر بررسی همتا و انتشار
علم یک ساختار اجتماعی است.
بررسی همتا ضروری است. فرآیند علمی شامل نه تنها انجام آزمایش‌ها، بلکه متقاعد کردن دیگر دانشمندان به اعتبار نتایج نیز می‌شود. این جنبه اجتماعی علم در سیستم بررسی همتا تجسم می‌یابد، جایی که کارشناسان قبل از انتشار، تحقیقات را ارزیابی می‌کنند. این فرآیند به منظور تضمین کیفیت و قابلیت اطمینان در ادبیات علمی طراحی شده است.
انتشار کلیدی است. دانشمندان یافته‌های خود را از طریق مجلات، کنفرانس‌ها و سایر پلتفرم‌ها به اشتراک می‌گذارند. این اشتراک‌گذاری دانش امکان بررسی جمعی، پرسش و اصلاح ایده‌ها را فراهم می‌کند. سیستم انتشار، هرچند ناقص، به عنوان وسیله اصلی برای انتشار اکتشافات علمی و ایجاد اجماع در جامعه علمی عمل می‌کند.
2. بحران تکرارپذیری نشان‌دهنده عدم اطمینان گسترده در یافته‌های علمی است
با بررسی دقیق‌تر، 'نتایج' آزمایش زندان استنفورد، به شکلی که هستند، از نظر علمی بی‌معنی هستند.
مشکلات تکرارپذیری فراوان است. بحران تکرارپذیری مسائل قابل توجهی را در زمینه‌های مختلف علمی آشکار کرده است. تلاش‌های تکرارپذیری در مقیاس بزرگ نشان داده‌اند که بسیاری از مطالعات منتشر شده، به ویژه در روانشناسی و زیست‌پزشکی، در تکرار نتایج مشابه شکست می‌خورند.
اعتماد کاهش یافته است. این بحران اعتماد به یافته‌های علمی را متزلزل کرده و نیاز به روش‌های تحقیقاتی دقیق‌تر را برجسته کرده است. نمونه‌هایی از نتایج غیرقابل تکرار شامل:
- اثرات قدرت‌نمایی
- مطالعات پرایمینگ در روانشناسی اجتماعی
- بسیاری از مطالعات پیش‌بالینی سرطان
- درمان‌های پزشکی متعدد که بعداً بی‌اثر شناخته شدند
3. تقلب علمی اعتماد را تضعیف کرده و منابع را هدر می‌دهد
تقلب نشان می‌دهد که چگونه می‌توان از آن اعتماد سوءاستفاده کرد.
موارد برجسته شوک‌آور هستند. موارد تقلب علمی، مانند رسوایی ماکچیاری در پزشکی بازسازی و پیوند ساختگی واکسن-اوتیسم ویکفیلد، پیامدهای ویرانگری داشته‌اند. این موارد نه تنها منابع را هدر می‌دهند، بلکه می‌توانند منجر به آسیب یا مرگ شوند وقتی که درمان‌های پزشکی تقلبی اجرا می‌شوند.
مشکلات سیستمیک آشکار شده‌اند. تقلب نقاط ضعف در سیستم علمی را نشان می‌دهد:
- بررسی همتای ناکافی
- بی‌میلی نهادی به تحقیق در مورد سوءرفتار
- فشار برای تولید نتایج چشمگیر
- عدم شفافیت داده‌ها
شیوع تقلب، هرچند به سختی می‌توان به دقت آن را اندازه‌گیری کرد، احتمالاً بیشتر از آنچه که معمولاً تصور می‌شود است، با نظرسنجی‌هایی که نشان می‌دهند اقلیتی قابل توجه از دانشمندان به روش‌های تحقیقاتی مشکوک اعتراف می‌کنند.
4. سوگیری انتشار ادبیات علمی را به سمت نتایج مثبت منحرف می‌کند
برش سالامی به خودی خود به این معنا نیست که علم موجود در هر یک از برش‌ها لزوماً کیفیت پایینی دارد (هرچند این واقعیت که محققان به وضوح از سیستم انتشار سوءاستفاده می‌کنند، به اعتمادپذیری آن‌ها اشاره نمی‌کند).
مشکل کشوی فایل. محققان تمایل دارند مطالعات با نتایج مثبت را منتشر کنند در حالی که یافته‌های منفی یا بی‌نتیجه را منتشر نمی‌کنند. این امر نمایشی منحرف از دانش علمی ایجاد می‌کند، جایی که ادبیات به نظر می‌رسد فرضیه‌های خاصی را قوی‌تر از کل بدنه تحقیقاتی پشتیبانی می‌کند.
تحلیل متا سوگیری را نشان می‌دهد. هنگام بررسی نمودارهای قیفی در تحلیل‌های متا، مطالعات مفقود (اغلب آن‌هایی با اندازه نمونه کوچک و اثرات کوچک) نشان‌دهنده سوگیری انتشار هستند. این تحریف می‌تواند منجر به برآورد بیش از حد اندازه اثر و اعتماد کاذب به ادعاهای علمی شود. این سوگیری بر زمینه‌های مختلفی تأثیر می‌گذارد، از جمله:
- روانشناسی
- پزشکی
- بوم‌شناسی
- اقتصاد
5. دستکاری داده‌ها و p-hacking به نتایج غیرقابل اعتماد منجر می‌شود
اعداد پر سر و صدا هستند.
ماهیگیری آماری. p-hacking شامل دستکاری داده‌ها یا تحلیل‌ها برای دستیابی به نتایج آماری معنادار (p < 0.05) است. این می‌تواند شامل:
- گزارش انتخابی نتایج
- حذف نقاط داده "نامناسب"
- ادامه جمع‌آوری داده‌ها تا رسیدن به معناداری
- امتحان چندین آزمون آماری و فقط گزارش دادن آن‌هایی که "موفق" هستند
نتایج مثبت کاذب افزایش می‌یابد. این روش‌ها احتمال نتایج مثبت کاذب را افزایش می‌دهند، منجر به تعداد زیادی از یافته‌های به ظاهر معنادار در ادبیات می‌شوند. تمرکز بر معناداری آماری اغلب ملاحظات مهم‌تری مانند اندازه اثر و معناداری عملی را تحت‌الشعاع قرار می‌دهد.
6. سهل‌انگاری در روش‌های تحقیقاتی یکپارچگی علمی را به خطر می‌اندازد
تعداد بسیار زیادی از مطالعات علمی بسیار کوچک هستند.
مطالعات کم‌قدرت غالب هستند. بسیاری از مطالعات، به ویژه در زمینه‌هایی مانند علوم اعصاب و روانشناسی، اندازه نمونه کافی برای شناسایی قابل اعتماد اثراتی که ادعا می‌کنند پیدا کنند ندارند. این منجر به:
- اندازه اثرات متورم
- قابلیت تکرارپذیری ضعیف
- هدر رفتن منابع بر روی تحقیقات بی‌نتیجه
اشتباهات پایه فراوان است. سهل‌انگاری در روش‌های تحقیقاتی شامل:
- اشتباهات محاسباتی
- داده‌های برچسب‌گذاری شده اشتباه
- نمونه‌های آلوده
- عدم تصادفی‌سازی یا کور کردن صحیح مطالعات
این مسائل، هرچند اغلب غیرعمدی، می‌توانند به طور قابل توجهی بر قابلیت اطمینان یافته‌های علمی تأثیر بگذارند و منابع ارزشمند را هدر دهند.
7. هیاهو و اغراق ارتباطات علمی را تحریف می‌کند
دانشمندان می‌خواهند تحقیقاتشان به گونه‌ای به نظر برسد که گویی از نوع فریاد یورکا است، بنابراین آن را تحلیل می‌کنند، می‌نویسند و به همان صورت تبلیغ می‌کنند.
اطلاعیه‌های مطبوعاتی اغراق می‌کنند. بسیاری از دفاتر مطبوعاتی دانشگاه‌ها و محققان پیامدهای یافته‌های خود را اغراق می‌کنند، منجر به پوشش رسانه‌ای هیجان‌انگیز می‌شوند. این هیاهو می‌تواند:
- قطعیت نتایج را نادرست نشان دهد
- کاربردهای عملی را بیش از حد بیان کند
- محدودیت‌های مهم را نادیده بگیرد
کتاب‌های علمی محبوب ساده‌سازی می‌کنند. نویسندگان کتاب‌های علمی محبوب اغلب یافته‌های پیچیده را به عنوان حقایق ساده و قطعی ارائه می‌کنند، از نادیده گرفتن پیچیدگی‌ها و عدم قطعیت‌های ذاتی در تحقیقات علمی. این می‌تواند انتظارات غیرواقعی و سوءتفاهم‌هایی در میان عموم ایجاد کند.
8. انگیزه‌های نادرست در دانشگاه‌ها کمیت را بر کیفیت ترجیح می‌دهند
برش سالامی به خودی خود به این معنا نیست که علم موجود در هر یک از برش‌ها لزوماً کیفیت پایینی دارد (هرچند این واقعیت که محققان به وضوح از سیستم انتشار سوءاستفاده می‌کنند، به اعتمادپذیری آن‌ها اشاره نمی‌کند).
فرهنگ انتشار یا نابودی. موفقیت دانشگاهی اغلب با تعداد انتشارات و اعتبار مجله اندازه‌گیری می‌شود، که محققان را تشویق می‌کند به:
- اولویت دادن به کمیت بر کیفیت
- جستجوی نتایج جدید و مثبت به قیمت روش‌های دقیق
- درگیر شدن در روش‌های تحقیقاتی مشکوک برای افزایش قابلیت انتشار
فشارهای مالی تحریف می‌کنند. نیاز به تأمین بودجه می‌تواند محققان را به:
- اغراق در یافته‌های اولیه
- اجتناب از تحقیقات پرخطر اما بالقوه پیشگامانه
- تمرکز بر موضوعات مد روز به جای کارهای مهم اما کمتر جذاب
این انگیزه‌ها به بسیاری از مشکلات در تحقیقات علمی، از p-hacking تا سوگیری انتشار، کمک می‌کنند.
9. علم باز و پیش‌ثبت‌نام می‌تواند شفافیت تحقیق را بهبود بخشد
پیش‌ثبت‌نام از سال 2000 برای آزمایش‌های بالینی با بودجه دولت ایالات متحده اجباری بوده و از سال 2005 پیش‌شرط انتشار در اکثر مجلات پزشکی بوده است.
مزایای پیش‌ثبت‌نام. با اعلام عمومی برنامه‌های تحقیقاتی قبل از جمع‌آوری داده‌ها، پیش‌ثبت‌نام:
- p-hacking و HARKing (فرضیه‌سازی پس از آگاهی از نتایج) را کاهش می‌دهد
- تحلیل‌های تأییدی را از تحلیل‌های اکتشافی متمایز می‌کند
- به مبارزه با سوگیری انتشار با ایجاد سابقه‌ای از تمام مطالعات کمک می‌کند
روش‌های علم باز. افزایش شفافیت از طریق داده‌های باز، روش‌های باز و انتشار دسترسی آزاد می‌تواند:
- تلاش‌های تکرارپذیری را تسهیل کند
- امکان بررسی همتای دقیق‌تر را فراهم کند
- اعتماد عمومی به یافته‌های علمی را افزایش دهد
این روش‌ها نمایانگر تغییر فرهنگی به سمت مسئولیت‌پذیری و قابلیت اطمینان بیشتر در تحقیقات علمی هستند.
10. اصلاح فرهنگ علمی برای بازگرداندن قابلیت اطمینان ضروری است
علم را اصلاح کنید، پیشنهاد می‌کنم، و اعتماد به دنبال آن خواهد آمد.
تغییرات سیستمیک مورد نیاز است. رسیدگی به مشکلات در تحقیقات علمی نیازمند اصلاحات در سطوح مختلف است:
- بازنگری ساختارهای انگیزشی در دانشگاه‌ها
- بهبود آموزش آماری برای محققان
- تشویق مطالعات تکرارپذیری و نتایج بی‌نتیجه
- اجرای فرآیندهای بررسی همتای دقیق‌تر
تغییر فرهنگی ضروری است. فراتر از تغییرات سیاستی، تغییر بنیادی در فرهنگ علمی ضروری است. این شامل:
- ارزش‌گذاری به دقت روش‌شناختی بر نوآوری
- پذیرش عدم قطعیت و محدودیت‌ها در تحقیقات
- ترویج همکاری بر رقابت
- پرورش رویکردی انتقادی و شکاکانه‌تر به ادعاهای علمی
با پرداختن به این مسائل سیستمیک و هنجارهای فرهنگی، علم می‌تواند به سمت قابلیت اطمینان و اعتماد عمومی بیشتر حرکت کند.
آخرین به‌روزرسانی::
نقد و بررسی
کتاب علم تخیلی به خاطر بررسی عمیق خود از تقلب، تعصب و هیاهو در تحقیقات علمی مورد تحسین قرار گرفته است. ریچی یک نمای کلی جامع از بحران تکرار ارائه می‌دهد و راه‌حل‌هایی برای بهبود شیوه‌های علمی پیشنهاد می‌کند. در حالی که برخی از خوانندگان این کتاب را روشنگر و ضروری می‌دانند، دیگران بر تمرکز محدود آن بر مثال‌های اخیر و احتمال ساده‌سازی بیش از حد انتقاد می‌کنند. این کتاب به خاطر نوشتار واضح و مثال‌های جذابش ستایش می‌شود، اما برخی معتقدند که ممکن است اعتماد به علم را تضعیف کند. به‌طور کلی، این کتاب برای هر دو گروه دانشمندان و غیرمتخصصانی که به درک وضعیت کنونی تحقیقات علمی علاقه‌مندند، توصیه می‌شود.