学术研究 学术研究
儒学动态
专家观点
项目成果
研讨动态
分中心建设 分中心建设
分中心活动
传播普及 传播普及
交流互鉴 交流互鉴
尼山永利集团(中华大区官网认证)·304am官网·文明论坛
机关党建 机关党建
廉洁文化建设
永利集团(中华大区官网认证)·304am官网·文明建设
学术期刊 学术期刊
《孔子研究》
《中国儒学年鉴》
儒学名家 儒学名家

【庆余年2】可重复率越高,研究的结论就一定越可靠吗? —

来源:永利集团(中华大区官网认证)·304am官网  更新时间:2024-11-01 08:39:08

 

这项被撤稿的可重靠心理学研究原先发表于去年11月的《自然-人类行为》(Nature Human Behaviour)杂志,这篇论文旨在研究如何改进心理学研究的复率可靠性,论文作者中包括了该领域的越高研究一些知名学者。


这篇论文描述了一项由4个团队协作完成的论定复杂而庞大的研究工作。四个研究团队分别在社会-行为科学领域进行了试点研究。可重靠例如,复率庆余年2其中一项研究探讨了时间压力是越高研究否会影响决策。如果试点研究发现了某种效应,论定团队则会尝试在至少1500人的可重靠样本中确认该结果。所有四个团队都试图重复已选中的复率实验,看看能否得到相同的越高研究结果。每个团队尝试重复其自身的论定四个实验,以及另外三个团队中的可重靠四个实验。


在64次重复性实验尝试中,复率86%是越高研究成功的,也就是说,它们产生了预期的结果,并且这些结果具有统计学意义。这是百度网盘此类研究记录中最高的可重复率之一。相比之下,其他社会-行为科学领域研究报告的平均可重复率为50%。论文作者将其归功于“提高严谨性的做法”,例如大样本量、预注册和方法透明度。作者写道,采用这些做法可以使研究更加可靠。


图片

《自然-人类行为》(Nature Human Behaviour)杂志9月刊封面。


然而,爱奇艺期刊编辑在今年9月23日撤回了这篇论文,撤稿声明中表示,他们“对研究结果和结论的可靠性不再有信心”。撤稿评论写道,“可重复性不是项目最初感兴趣的结果,并且与可重复性相关的分析没有像声称的那样进行预注册”。


“预注册”(Pre-registration)通常指在研究开始前,论文作者在专门的期刊平台上提前登记研究设计、假设、分析计划等信息。“预注册”在心理学研究中被广泛应用,这种做法可以提高研究的透明度,减少研究结果的偏倚,并有助于其他研究者更容易重复实验,验证研究结果。


在撤稿当天,该论文的六位作者发表了他们的看法。在声明中,他们承认研究中的一些分析并未进行预注册,但他们认为撤稿声明中的其他内容“不准确”,例如期刊声称作者在进行分析时已知晓数据。加州大学圣塔芭芭拉分校的心理学家乔纳森·斯库勒(Jonathan Schooler)告诉《自然》杂志,该团队正在为重新提交做一份新版手稿。


这一撤稿事件暴露了可重复性研究目前面临的挑战。“这表明做好科学研究比大多数人想象的要难得多,”新西兰奥克兰大学的视觉神经科学家萨姆·施瓦茨科普夫(Sam Schwarzkopf)说。“很多时候,预注册让人们意识到,当面对冷冰冰的数据收集现实时,他们精心设计的计划并不会如愿实现。”


多伦多大学的心理学家约埃尔·因巴(暂译,Yoel Inbar)则表示,这一事件揭示了预注册的不足之处:“我见过很多预注册方案,它们要么内容含糊,要么没有严格遵守,或者最终的论文混合了预注册和非预注册的分析结果”。


约埃尔·因巴认为比“预注册”更好的方案是“注册报告”:在这种模式中,研究者在收集数据之前,需要向期刊提交他们的研究方案,包括研究的理由和方法,进行同行评审。编辑根据研究问题的重要性和方法的严谨性决定是否接受该研究,并承诺如果研究按描述进行,将发表其结果。


另一些学者认为,期刊也需要承担一部分责任,同行评审人员并不总是检查预注册的流程。期刊发言人表示,他们正在调查研究“如何改进社会和行为科学中预注册的透明度、标准化和报告要求,这将加强对预注册合规性的监控工作”。


参考资料:

(1)‘Doing good science is hard’: retraction of high-profile reproducibility study prompts soul-searching

https://www.nature.com/articles/d41586-024-03178-8


注:封面图片来自《自然》杂志。


编译/李永博

编辑/罗东

校对/柳宝庆