没有原始数据，就没有科学:这是可重复性危机的另一个可能来源

再现性危机是指许多科学研究无法再现的情况。不恰当的科学实践，如HARKing、p-hacking和选择性报告阳性结果，已被认为是不可重复性的原因。在这篇社论中，我提出缺乏原始数据或数据伪造是不可重复性的另一个可能原因。

作为总编辑分子的大脑自2017年初以来，我已经处理了180篇稿件，并做出了41个编辑决定，分类为“先修改后审查”，要求作者提供原始数据。令人惊讶的是，在这41篇稿件中，有21篇稿件在没有提供原始数据的情况下被撤回，这表明要求原始数据的要求赶走了一半以上的稿件。由于原始资料不足，我在剩下的20篇稿件中拒绝了19篇。因此，当编辑要求时，41篇手稿中超过97%的手稿没有提供支持其结果的原始数据，这表明原始数据从一开始就不存在的可能性，至少在这些案例的某些部分是这样的。

考虑到任何科学研究都应以原始数据为基础，数据存储空间不应再成为挑战，原则上，期刊应尝试让其作者在论文发表时在公共数据库或期刊网站上公布原始数据，以提高已发表结果的可重复性，并增加公众对科学的信任。

可重复性或可复制性危机是一个严重的问题，许多科学研究难以再现或复制。据报道，在癌症研究领域，只有约20-25% [1]或11% [2]的已发表研究可以被验证或复制，而在心理学领域，只有约36%的研究被复制[3.］．不适当的科学实践，例如HARKing(在得知结果后进行假设)[4]， p-hacking [5]、积极结果的选择性报告和糟糕的研究设计[6，7，8]，被认为是这种不可重复性的原因。在这里，我认为缺乏原始数据是另一个可能导致不可重复性的严重原因，通过展示我在过去2年里处理的手稿分析结果分子的大脑．分析表明，许多研究人员没有提供原始数据，这表明原始数据在某些情况下可能不存在，数据的缺乏可能是造成可重复性危机的不可忽视的部分原因[9］．在这篇社论中，我认为公开原始数据不仅对重用和数据挖掘很重要，而且对简单地确认论文中提出的结果是真正基于实际数据也很重要。基于这样的理念，分子大脑的数据共享政策已经改变，我介绍这次更新。

作为主编，从2017年初到2019年9月，我处理了180篇稿件，做出了41个编辑决定，分类为“先修改后审稿”，评论要求作者提供原始数据(图2)。1；参见附加文件2:详见表S1)。

以下是我向作者提出的要求的一个例子:

“在继续之前，请做以下工作:

1. 1.

   附原始数据(带尺寸标记的western blotting全膜和染色的所有图像，用于统计分析的每个样品的量化数值数据等)作为补充材料。

2. 2.

   提供绝对p-values，而不是像p结果< 0.05。

3. 3.

   必要时对多个测试进行修正。

谢谢。”

当我觉得所显示的数据“太漂亮而不真实”时，当错误条太短时，尽管分析的样本数量很少，和/或当实验操作的效应量很大时(有时伴随着一些药物的完全挽救)，我就会发表这些评论。在41篇稿件中，有21篇稿件在没有提供原始数据的情况下被撤回，这表明仅仅需要原始数据就赶走了一半以上的稿件(附加文件2:表S1)。在剩下的20个案例中，作者重新提交了带有一些原始数据的手稿，其中19个案例的数据不充分。其中，有9例提供了部分或没有数据(例如，对一种情况只有一个样本)。在这些情况下，作者愿意提供至少部分但不是全部的数据。在7个案例中，作者提供的原始数据与结果中提供的数据不匹配。在18篇包括western blotting实验的手稿中，有11篇没有在图像中显示尺寸标记，并且/或没有提供整个膜图像。在两个案例中，我发现了图像重复和不恰当的剪切和粘贴的证据。

在41份手稿中，只有一份被送去审稿并被接受出版。因此，在41篇手稿中，超过97%的手稿没有或不能提供适当的原始数据来支持编辑要求显示的结果。的编辑政策分子的大脑声明提交手稿意味着手稿中描述的材料，包括所有相关原始数据，将免费提供给任何希望将其用于非商业目的的科学家。

在40篇被撤回或退稿的手稿中，有14篇后来发表在其他期刊上。发表这14篇论文的期刊中，有12家要求或建议作者应读者要求在其政策中提供原始数据。因此，我们向这些期刊上12篇论文的作者发送了电子邮件和打印信件，要求他们为论文中的图中的结果提供原始数据。12篇论文的作者中有10位没有回复我们的请求。回复我们的人只给我们发了每个条件一个样本的原始数据，而每个条件应该有6个样本。另一个回复的人拒绝发给我们原始数据，原因是他们最近发现原始数据中包含了一些其他新奇的信息。我们只要求了western blotting膜的图像，我想知道这些图像如何包含值得保密的新信息。我们要求原始数据的结果表明，要求或鼓励研究人员在发表后向读者提供原始数据并不是很有意义。到目前为止，主要出版商的大多数期刊都要求或鼓励作者这样做，但根据出版商的数据可用性政策，除了某些特定类型的数据外，不要求他们在发表前存入原始数据，例如施普林格Nature [伟德体育在线10]，细胞出版社[11]和公共科学图书馆[12])。

对于作者独立撤稿的稿件，在被要求提供原始资料后撤稿可能有其原因。一个可能的原因是，尽管他们实际上拥有原始数据，但作者不愿意收集所有的原始数据并上传。也有可能作者没有公开原始数据，他们可以将其作为数据挖掘的独家来源，以便以后发表更多的论文。另一个可能的原因是，他们选择了在发表时不要求披露原始数据的期刊。然而，“数据挖掘”假设对于这里考虑的案例中的许多作者来说是不太可能的，因为大多数被拒绝的手稿不包含适合数据挖掘的大数据，因为同行评审之前要求的大部分数据都是用于western blotting或组织染色的图像。请注意，我不仅要求原始数据，而且要求绝对数据p-用于多个统计测试的值和修正;因此，不能排除其中一些人不希望提供绝对p值或对多次测试进行校正的可能性，尽管我不认为这些可能是撤回的主要原因。至于我拒绝的那些，从技术上讲，原始数据和结果之间的不充分或不匹配可能是诚实和粗心的错误。

在学术界，这些通常是我们做出的官方解释。根据COPE(出版伦理委员会)关于提交的手稿中涉嫌伪造数据的流程图资源[10]，应通过联系作者来调查涉嫌伪造，必要时应通知相关机构或监管机构，以便他们启动全面调查。然而，当审稿人或编辑看到此类活动时，我们通常不会对可能的不当行为表示直接关注，也不会启动官方调查，除非存在真正确凿的不当行为证据。我们有一种强烈的倾向或习惯，认为这是无心之过，而不是怀疑这是捏造，并按照这样的程序展开正式调查。这可能是因为目前的科学出版体系是基于这样一种信念或假设，即研究人员的本质从根本上是好的。

考虑到我作为总编辑所描述的经验，怀疑论者可能会提出这样的可能性，即总结图背后的一些原始数据并不存在，图中所示的western blot或免疫染色的代表性图像来自有限的抽样，不能准确反映图图例中所示的样本量。至少在图中描述的一些情况下。1，我不禁认为这些数据从一开始就不存在(是的，我是一个怀疑论者)。对数据的懒散态度——从最坏的数据伪造到至少数据忽视——是否至少在某些情况下发生过?

我们真的不知道这些手稿中有多少百分比是捏造的。没有对所有可疑案件进行正式调查，我只能推测。与此同时，我对互联网上的研究人员如何与我推测感兴趣。因此，我使用Twitter用日语进行了一次非正式调查，询问研究人员在发表前被编辑询问时，以及在发表后被读者询问时，可能有什么原因需要保留数据。Twitter调查的翻译(附加文件)1:图S1A)在补充文本(附加文件1)．来自生命科学领域的227名受访者中，约53%的人回答说，他们怀疑超过三分之二的被撤稿或没有提供足够原始数据的手稿可能是伪造的。虽然日语科学家的这种回答是基于推测，没有具体的例子，更多的是“直觉”，让我们假设他们的估计反映了事实。如果是这样的话，在40份手稿中，有26份或更多手稿的作者存在数据造假。

那么，另外140篇被认为“美得不真实”的手稿呢?请注意，我只在觉得数据“太美而不真实”时才要求原始数据。比起那些给出“太漂亮”数字的作者，更有经验和细心的研究人员可能会根据不存在的数据做出看起来更真实的数字和结果，这样误差条和效应量看起来就像真实数据中的一样适度。在这些数据看起来真实的情况下，我没有要求作者提供原始数据，这并不理想，但实际上是不可避免的，因为该杂志目前的数据可用性政策不要求但只是鼓励数据沉积。很可能至少有一些被送去审查的手稿，尽管不是我的在线调查所建议的三分之二，会包含一些不真实的数据。我进行了另一项twitter调查，在生命科学领域的56名研究人员中，有超过60%的人接受了调查，他们认为，在我处理的180份手稿中，大约有相同或更多的人，他们的数据由于捏造而“太漂亮”，他们可能以一种人们不会从表面价值上选择数据的方式编造数据，或者结果对专家来说看起来很真实(附加文件)1:图S1B)。换句话说，超过一半的研究人员猜测，在那些行为不端的研究人员中，谨慎的研究人员的数量将等于或大于粗心的研究人员。再次，假设60%的受访者的推测是正确的，这意味着在180篇手稿中，有52篇(=26 + 26)或更多可能涉及数据伪造。研究人员在Twitter上的一个偶然猜测导致了一个粗略的估计，超过四分之一提交给我们杂志的手稿可能包含一些不当行为。

对调查数据的系统回顾和元分析估计，1.97%的作者承认至少一次捏造、伪造或修改数据或结果，在询问同事行为的调查中，伪造的承认率为14.12% [13］．在这项系统综述中，发现医学/药理学研究人员报告的不当行为比其他人更频繁[13]，这与本社论分析中未向《分子大脑》提供原始数据的40篇论文中34篇的作者属于医院或医学院的事实相一致。在另一项研究中，对1995年至2014年发表在40种科学期刊上的共计20621篇论文的图像进行视觉筛选，3.8%的已发表论文包含有问题的数字，其中至少一半显示出故意操纵的特征[14］．我处理过的手稿中有四分之一的估计可能包括数据伪造，这比以前的估计要大，尽管我的估计只是基于非科学和轶事事件的粗略和随意的推测。我们的《分子大脑》杂志不太可能比其他期刊有更高的不当行为发生率，因为我作为主编，在评审前进行了相对严格的筛选。发表被退稿或撤回稿件的14家期刊的影响因子由科睿唯安(Clarivate Analytics)发布，范围从2.219到4.658(平均值:3.37)(补充文件)2:表S1)，而那些被科学界广泛接受的标准期刊也可能存在这个严重的问题。值得注意的是，有报道称“撤稿指数”与期刊影响因子呈正相关[15]，这表明高影响力的期刊也不能幸免于这个问题。

如果提交的手稿中有很大一部分已经包含了数据疏忽或伪造，那么可再现性危机将部分归因于原始数据的缺乏。如果研究的原始数据从一开始就不存在，那么结果无法再现也就不足为奇了。在一项调查中，研究人员询问是什么导致了可重复性的问题，超过40%的受访者选择了“原始数据无法从原始实验室获得”或“欺诈”作为“总是/经常”导致不可重复性研究的因素[9］．这可能是我们这个时代研究界最严重的问题之一。

在当前的系统中，我们假设每个研究人员都是诚实的，原始数据不需要提交，结果是捏造的数据逃避了审查，被发表了。每个人都诚实的假设是不成立的，同时存在一种情况，即超过一半的研究人员猜测，超过25%的研究是基于不存在的数据。

在一篇论文(被引用超过500次)中，列出了提高心理学可复制性的建议[16]，有人指出，

作为提交过程的一部分，期刊可能会要求作者确认原始数据是可以检查的(或规定为什么数据不可用)。同样，共同作者也可能被要求确认他们看过原始数据并审阅了论文的提交版本。

贝格利和约阿尼迪斯建议，机构应规定应要求提供原始数据[17］．

这些建议也是基于这样的假设:研究人员是诚实的，至少在作者会应要求提供原始数据的程度上是诚实的。然而，我想，在这样的要求下，一些作者可能会说，“哎呀，硬盘坏了!或类似的问题。我认为，假设每个合著者都能看到并审阅一篇发表在高影响力期刊上的大型/跨学科论文中的所有原始数据是不现实的。

我认为，现在是时候基于大多数研究人员的这种现实推理，设计一个系统，不是每个人都是“诚实的”，取代基于传统理想主义假设“每个人都是好人”的“相信我”系统。

在这样的设计中需要开放科学/开放数据的思想，我建议一种习惯应该被普遍接受，公开共享原始数据是一项研究被认为是科学合理的必要条件，除非作者有可接受的理由不这样做(例如，数据包含机密的个人信息)。

在过去的印刷出版时代，由于空间的限制，在技术上不可能出版所有的原始数据。然而，由于数据存储设备和互联网的发展，这种限制实际上已经被消除了。

事实上，在2014年，美国国立卫生研究院要求研究人员共享大规模的人类或非人类基因组数据，例如大规模数据，包括全基因组关联研究(GWAS)、单核苷酸多态性(SNP)阵列、基因组序列、转录组、表观基因组和基因表达数据(https://osp.od.nih.gov/scientific-sharing/genomic-data-sharing/)．今年，美国国家精神卫生研究所(NIMH)发布了一项数据共享政策，要求NIMH资助的研究人员将涉及人类受试者的实验的所有原始和分析数据(包括但不限于临床、基因组、成像和表型数据)存入其信息学基础设施中，以使整个研究社区能够负责任地共享和使用从人类受试者收集的数据和关于人类受试者的数据(https://grants.nih.gov/grants/guide/notice-files/NOT-MH-19-033.html)．据报道，2018年，中国要求其研究人员在开放的国家数据库中共享所有科学数据(https://www.editage.com/insights/china-mandates-its-researchers-to-share-all-scientific-data-in-open-national-repositories/1523453996)．

我相信其他国家可能也想效仿。我建议，原则上，所有的期刊都应该尽量让作者和研究机构在论文发表后，在公共数据库或期刊网站上公开他们的原始数据，以提高发表结果的可重复性，并加强公众对科学的信任。目前，Molecular Brain的数据共享政策只“鼓励”尽可能以机器可读的格式(如电子表格而不是pdf)将手稿结论所依赖的所有数据集存储在公开可用的存储库中(如果可用且适当)，或在主要论文或其他支持文件中呈现。在我们现有政策的基础上，原则上我们将要求从2020年3月1日起提交手稿结论所依赖的数据集。这些数据集包括用于统计分析和图表的量化数值、组织染色图像以及所有印迹和凝胶结果的未裁剪图像。提交稿件时不必完成沉积，但稿件将被接受，条件是这些数据在发表前已沉积。我们可以允许一些例外情况，当作者由于一些道德或法律原因不能公开数据时(例如。数据包括个人机密信息，或来自第三方的专有数据)。在这种情况下，不这样做的理由应该在手稿的数据可用性部分中清楚地描述，并由处理和主编批准。

共享原始数据需要解决一些实际问题。的确，大数据，如各种组学数据和动物行为的镜头，很难处理，而且很难存储在公共数据库或存储库中，而且可能成本高昂。不同机构的不同研究人员可能没有平等的机会使用相同级别的存储库，或者没有适当共享数据的技能。此外，“原始数据”的定义可能是一个问题。例如，在鼠标行为中，我们正在运行一个数据库来共享鼠标行为的“原始数据”，但数据库只包含量化的数值文本数据。理想情况下，所有用于行为分析的镜头都应该被共享，我们希望在获得足够的资金和基础设施来实现这样一个数据库时这样做。“原始数据”的含义应该由各个科学领域的专家进行讨论，并达成一些共识，以便系统地共享数据，从而方便地对数据进行重新分析和数据挖掘。存储和共享来自人类受试者的数据的机密个人信息将是另一个需要克服的挑战。

对于这些技术问题，机构、资助机构和出版商应该合作，并基于“没有原始数据就没有科学”的理解，通过建立数据存储基础设施来确保和共享原始数据，努力支持这一举措。

我感谢《分子大脑》的其他主编Tim Bliss和Bong-Kiun Kaang，施普林格Nature的Amy Joint和研究数据团队，以及《神经科学Next》的主编Min Cho，感谢他们对手稿的批判性阅读，感谢Ryuichi Nakajim伟德体育在线a在准备手稿时的帮助，感谢Yoko Kagami的帮助，感谢她写信给论文作者要求原始数据。

作者及隶属关系

1. 藤田卫生大学综合医学科学研究所系统医学学部，爱知县丰崎，470-1192，日本

   Tsuyoshi Miyakawa

贡献

作者撰写、阅读并批准最终稿。

相应的作者

对应到Tsuyoshi Miyakawa．

相互竞争的利益

作者声明他没有竞争利益。

出版商的注意

伟德体育在线施普林格自然对出版的地图和机构从属关系中的管辖权主张保持中立。

开放获取本文根据创作共用属性4.0国际许可协议(http://creativecommons.org/licenses/by/4.0/)，允许在任何媒介上不受限制地使用、分发和复制，前提是您对原作者和来源给予适当的赞扬，提供到创作共用许可证的链接，并注明是否进行了更改。创作共用公共领域奉献弃权书(http://creativecommons.org/publicdomain/zero/1.0/)除另有说明外，适用于本条所提供的资料。

转载及权限