ประมาณ 50% ของการทดลองทางวิทยาศาสตร์กลับกลายเป็นว่าไม่สามารถทำซ้ำได้

2024 ผู้เขียน: Seth Attwood | [email protected]. แก้ไขล่าสุด: 2023-12-16 16:17

โดยบังเอิญ ในกระแสของข่าวและข้อมูล ฉันบังเอิญไปเจอบทความหนึ่งในรายงานทางวิทยาศาสตร์ธรรมชาติ นำเสนอข้อมูลจากการสำรวจนักวิทยาศาสตร์ 1,500 คนเกี่ยวกับความสามารถในการทำซ้ำของผลการวิจัยทางวิทยาศาสตร์ หากก่อนหน้านี้ปัญหานี้ถูกหยิบยกขึ้นมาเพื่อการวิจัยทางชีววิทยาและการแพทย์ ซึ่งในด้านหนึ่งอธิบายได้ (สหสัมพันธ์เท็จ ความซับซ้อนทั่วไปของระบบที่อยู่ระหว่างการศึกษา บางครั้งมีการกล่าวหาถึงซอฟต์แวร์ทางวิทยาศาสตร์) ในทางกลับกัน มีปรากฏการณ์ทางปรากฏการณ์วิทยา ตัวละคร (เช่น หนูมีแนวโน้มที่จะประพฤติตัวแตกต่างไปจากนักวิทยาศาสตร์เพศที่แตกต่างกัน (1 และ 2))

อย่างไรก็ตามไม่ใช่ทุกอย่างจะราบรื่นและด้วย มากกว่า วิทยาศาสตร์ธรรมชาติเช่นฟิสิกส์และวิศวกรรมเคมีนิเวศวิทยา ดูเหมือนว่าสาขาวิชาเหล่านี้มีพื้นฐานมาจากการทดลองที่ทำซ้ำได้ "แน่นอน" ที่ดำเนินการภายใต้เงื่อนไขที่มีการควบคุมมากที่สุด อนิจจา น่าอัศจรรย์ - ในทุกแง่มุมของคำ - ผลของการสำรวจ: มากถึง 70% นักวิจัยเผชิญ ไม่สามารถทำซ้ำได้ การทดลองและผลลัพธ์ที่ไม่เพียงได้รับจากนักวิทยาศาสตร์กลุ่มอื่นเท่านั้น แต่ และโดยผู้เขียน / ผู้เขียนร่วมของผลงานทางวิทยาศาสตร์ที่ตีพิมพ์!

นักเป่าปากทรายทุกคนยกย่องหนองน้ำของมันหรือไม่?

แม้ว่า 52% ของผู้ตอบแบบสอบถามชี้ให้เห็นถึงวิกฤตของการทำซ้ำทางวิทยาศาสตร์ แต่น้อยกว่า 31% ที่พิจารณาว่าข้อมูลที่ตีพิมพ์นั้นไม่ถูกต้องโดยพื้นฐาน และส่วนใหญ่ระบุว่าพวกเขายังเชื่อถืองานที่ตีพิมพ์

แน่นอน คุณไม่ควรตัดขาดจากบ่าและประณามวิทยาศาสตร์ทั้งหมดเช่นนี้เพียงบนพื้นฐานของการสำรวจนี้: ครึ่งหนึ่งของผู้ตอบแบบสอบถามยังคงเป็นนักวิทยาศาสตร์ที่เกี่ยวข้องกับสาขาวิชาทางชีววิทยาไม่ทางใดก็ทางหนึ่ง ตามที่ผู้เขียนทราบ ในสาขาฟิสิกส์และเคมี ระดับความสามารถในการทำซ้ำและความมั่นใจในผลลัพธ์ที่ได้นั้นสูงกว่ามาก (ดูกราฟด้านล่าง) แต่ยังไม่ถึง 100% แต่ในด้านการแพทย์ สิ่งต่างๆ เลวร้ายมากเมื่อเทียบกับส่วนที่เหลือ

เรื่องตลกเข้ามาในใจ:

Marcus Munafo นักจิตวิทยาชีวภาพแห่งมหาวิทยาลัยบริสตอล ประเทศอังกฤษ มีความสนใจมาอย่างยาวนานในการทำซ้ำข้อมูลทางวิทยาศาสตร์ เมื่อนึกถึงสมัยเรียนของเขา เขาพูดว่า:

มีอยู่ครั้งหนึ่งที่ฉันพยายามทำซ้ำการทดลองจากวรรณกรรมที่ดูเหมือนง่ายสำหรับฉัน แต่ฉันทำไม่ได้ ฉันมีความมั่นใจในวิกฤต แต่แล้วฉันก็ตระหนักว่าประสบการณ์ของฉันไม่ได้หายากขนาดนั้น

ปัญหาความลึกละติจูดและลองจิจูด

ลองนึกภาพว่าคุณเป็นนักวิทยาศาสตร์ คุณเจอบทความที่น่าสนใจ แต่ผลลัพธ์ / การทดลองไม่สามารถทำซ้ำในห้องปฏิบัติการได้ การเขียนเกี่ยวกับเรื่องนี้ถึงผู้เขียนบทความต้นฉบับ ขอคำแนะนำ และถามคำถามชี้แจงเป็นเรื่องสมเหตุผล จากการสำรวจพบว่า น้อยกว่า 20% เคยทำมาแล้วในอาชีพนักวิทยาศาสตร์!

ผู้เขียนของการศึกษาทราบว่าบางทีการติดต่อและการสนทนาดังกล่าวอาจยากเกินไปสำหรับนักวิทยาศาสตร์ เพราะพวกเขาเปิดเผยความไร้ความสามารถและความไม่สอดคล้องในบางประเด็นหรือเปิดเผยรายละเอียดมากเกินไปของโครงการปัจจุบัน

ยิ่งกว่านั้น นักวิทยาศาสตร์ส่วนน้อยโดยเด็ดขาดพยายามที่จะตีพิมพ์การหักล้างผลลัพธ์ที่ไม่สามารถทำซ้ำได้ ในขณะที่เผชิญกับการต่อต้านจากบรรณาธิการและผู้ตรวจสอบที่ เรียกร้องdownplay เปรียบเทียบกับงานวิจัยต้นฉบับ น่าแปลกใจหรือไม่ที่โอกาสในการรายงานผลทางวิทยาศาสตร์ที่ไม่สามารถทำซ้ำได้คือประมาณ 50%

บางทีก็คุ้มค่าที่จะทำการทดสอบการทำซ้ำภายในห้องปฏิบัติการเป็นอย่างน้อย? สิ่งที่น่าเศร้าที่สุดคือผู้ตอบแบบสอบถามหนึ่งในสามถึงกับ ไม่เคย และไม่คิดจะสร้างวิธีการตรวจสอบข้อมูลเพื่อทำซ้ำ เพียง 40% ระบุว่าใช้เทคนิคดังกล่าวเป็นประจำ

อีกตัวอย่างหนึ่ง นักชีวเคมีจากสหราชอาณาจักรที่ไม่ประสงค์จะเปิดเผยชื่อของเธอ กล่าวว่าการพยายามทำซ้ำ ทำซ้ำงานสำหรับโครงการห้องปฏิบัติการของเธอ ทำให้เวลาและต้นทุนวัสดุเพิ่มขึ้นสองเท่า โดยไม่ต้องให้หรือเพิ่มอะไรใหม่ๆ ให้กับงาน มีการตรวจสอบเพิ่มเติมสำหรับโครงการที่เป็นนวัตกรรมและผลลัพธ์ที่ผิดปกติเท่านั้น

และแน่นอนคำถามรัสเซียนิรันดร์ที่เริ่มทรมานเพื่อนร่วมงานต่างชาติ: ใครควรถูกตำหนิและจะทำอย่างไร?

ใครผิด?

ผู้เขียนงานระบุปัญหาหลักสามประการของการทำซ้ำของผลลัพธ์:

• แรงกดดันจากหัวหน้างานให้ตีพิมพ์งานตรงเวลา
• การรายงานแบบคัดเลือก (เห็นได้ชัดว่าหมายถึงการระงับข้อมูลบางส่วนซึ่ง "ทำลาย" ภาพรวม)
• การวิเคราะห์ข้อมูลไม่เพียงพอ (รวมถึงสถิติ)

จะทำอย่างไร?

จากการสำรวจ 1,500 คน ผู้เชี่ยวชาญมากกว่า 1,000 คนพูดถึงการปรับปรุงสถิติในการรวบรวมและประมวลผลข้อมูล ปรับปรุงคุณภาพการกำกับดูแลจากหัวหน้า และการวางแผนการทดลองที่เข้มงวดยิ่งขึ้น

บทสรุปและประสบการณ์ส่วนตัว

ประการแรก แม้แต่สำหรับฉัน ในฐานะนักวิทยาศาสตร์ ผลลัพธ์ก็น่าทึ่ง แม้ว่าฉันจะคุ้นเคยกับผลลัพธ์ที่ไม่สามารถทำซ้ำได้ในระดับหนึ่ง สิ่งนี้ชัดเจนโดยเฉพาะอย่างยิ่งในงานที่ทำโดยชาวจีนและอินเดียโดยไม่มี "การตรวจสอบ" ของบุคคลที่สามในรูปแบบของอาจารย์ชาวอเมริกัน / ยุโรป เป็นการดีที่ปัญหาได้รับการยอมรับและคิดเกี่ยวกับวิธีแก้ไข ฉันจะเงียบเกี่ยวกับวิทยาศาสตร์ของรัสเซียอย่างแนบเนียนเกี่ยวกับเรื่องอื้อฉาวล่าสุดแม้ว่าหลายคนทำงานของพวกเขาอย่างสุจริต

ประการที่สอง บทความเพิกเฉย (หรือค่อนข้างไม่พิจารณา) บทบาทของตัวชี้วัดทางวิทยาศาสตร์และวารสารทางวิทยาศาสตร์ที่ผ่านการตรวจสอบโดยเพื่อนในการเกิดขึ้นและการพัฒนาของปัญหาการทำซ้ำไม่ได้ของผลการวิจัย ในการไล่ตามความเร็วและความถี่ของสิ่งพิมพ์ (อ่าน เพิ่มดัชนีอ้างอิง) คุณภาพจะลดลงอย่างรวดเร็ว และไม่มีเวลาสำหรับการตรวจสอบเพิ่มเติมของผลลัพธ์

อย่างที่เขาพูดกัน ตัวละครทั้งหมดเป็นเรื่องสมมุติ แต่อิงจากเหตุการณ์จริง อย่างไรก็ตาม นักเรียนคนหนึ่งมีโอกาสทบทวนบทความเพราะไม่ใช่อาจารย์ทุกคนที่มีเวลาและพลังงานในการอ่านบทความอย่างถี่ถ้วน ดังนั้นจึงรวบรวมความคิดเห็นของนักศึกษาและแพทย์ 2-3-4 คน ซึ่งเป็นการทบทวน บทวิจารณ์ถูกเขียนขึ้นโดยระบุถึงความสามารถในการทำซ้ำของผลลัพธ์ตามวิธีการที่อธิบายไว้ในบทความ สิ่งนี้แสดงให้เห็นอย่างชัดเจนต่อศาสตราจารย์ แต่เพื่อไม่ให้เสียความสัมพันธ์กับ "เพื่อนร่วมงาน" - พวกเขาประสบความสำเร็จในทุกสิ่ง - บทวิจารณ์ "แก้ไข" และมี 2 หรือ 3 บทความดังกล่าวเผยแพร่

กลายเป็นวงจรอุบาทว์ นักวิทยาศาสตร์ส่งบทความไปยังบรรณาธิการวารสารซึ่งเขาระบุว่า " ที่ต้องการ"และส่วนใหญ่" ไม่ต้องการ »ผู้วิจารณ์ กล่าวคือ แท้จริงแล้ว เหลือไว้เฉพาะผู้ที่มีทัศนคติเชิงบวกต่อทีมผู้เขียนเท่านั้น พวกเขาตรวจทานงาน แต่พวกเขาไม่สามารถ "อึในความคิดเห็น" และพยายามเลือกความชั่วร้ายน้อยกว่าสอง - นี่คือรายการคำถามที่ต้องตอบแล้วเราจะเผยแพร่บทความ

อีกตัวอย่างหนึ่งที่บรรณาธิการของ Nature พูดเมื่อเดือนที่แล้วคือแผงโซลาร์เซลล์ของ Grazel เนื่องจากความสนใจอย่างมากในหัวข้อนี้ในชุมชนวิทยาศาสตร์ (ท้ายที่สุด พวกเขายังต้องการบทความใน Nature!) บรรณาธิการจึงต้องสร้างแบบสอบถามพิเศษที่พวกเขาต้องระบุพารามิเตอร์จำนวนมาก จัดเตรียมการสอบเทียบอุปกรณ์ ใบรับรอง ฯลฯ เพื่อยืนยันว่าวิธีการวัดแผงประสิทธิภาพเป็นไปตามหลักการและมาตรฐานทั่วไปบางประการ

และ, ที่สาม อีกครั้งที่คุณได้ยินเกี่ยวกับวัคซีนมหัศจรรย์ที่พิชิตทุกสิ่งและทุกคนเรื่องราวใหม่เกี่ยวกับงานในกระโปรงแบตเตอรี่ใหม่หรืออันตราย / ประโยชน์ของ GMOs หรือการแผ่รังสีของสมาร์ทโฟนโดยเฉพาะหากได้รับการส่งเสริมจากนักเขียนสีเหลืองจากวารสารศาสตร์ แล้วปฏิบัติด้วยความเข้าใจและอย่าด่วนสรุป รอการยืนยันผลลัพธ์จากนักวิทยาศาสตร์กลุ่มอื่น การรวบรวมอาร์เรย์และตัวอย่างข้อมูล

PS: บทความได้รับการแปลและเขียนอย่างเร่งรีบ เกี่ยวกับข้อผิดพลาดและความไม่ถูกต้องทั้งหมดที่พบ โปรดเขียนใน LAN