使用摇号分配研究经费的可接受性:对申请人的调查

背景

新西兰卫生研究委员会是第一个主要的政府资助机构，使用摇号方式为其探索者资助计划分配研究经费。这是一种有争议的方法，因为尽管文献记载了同行评议的问题，但许多研究人员认为，资金应该只通过同行评议来分配，而同行评议在世界各地的资助机构中几乎无处不在。鉴于其他资助计划的稀缺性，人们有兴趣听取第一批经历过摇号的研究人员的意见。此外，新西兰健康研究委员会希望听取申请人关于随机化过程的可接受性和申请人的匿名性。

方法

本文介绍了对2013年至2019年卫生研究理事会申请人的调查结果。该调查询问了使用摇号的可接受性，以及摇号是否意味着研究人员采用了不同的应用方法。

结果

总体回应率为39%(325个邀请中的126个)，其中30%(251个邀请中的76个)来自2013年至2018年的申请人，68%(74个邀请中的50个)来自2019年不知道资助结果的申请人。与会者一致认为随机分配是一种可接受的方法，63% (n= 79)赞成，25% (n= 32)反对;支持随机分配拨款予其他拨款类别的人数较少，只有40% (n= 50)， 37% (n= 46)。在那些获得资助的人中，对彩票的支持率更高。许多受访者表示，当不符合条件的申请被排除在外，而优秀的申请得到资助时，他们支持摇号，这样剩下的申请就真正平等了。大多数申请人报告说，摇号并没有改变他们准备申请的时间。

结论

卫生研究委员会通过探索者资助计划的经验支持进一步采用改良的彩票。

卫生和医学研究的目的是通过使用严格的实验来提供证据，为政策和实践的变化提供信息，从而改善生活。这项研究通常需要资金，每年，数十亿美元的资金是通过竞争性同行评审获得的，研究人员提交他们的项目想法，他们的同行帮助决定哪些想法最值得资助。这种同行评议制度几乎在世界范围内独家使用[1但是很少有科学证据表明这是分配稀缺研究经费的最佳方式[2]。最近一项关于资助同行评审的文献研究指出了研究经费的缺乏，该研究指出需要“公开、透明地试验和评估资助研究的不同方式”[3.]。

另一种分配拨款的方法是使用彩票或改良的彩票[4]。在修改后的抽签中，筛选短申请的资格和/或删除弱申请，然后随机资助申请，直到预算耗尽。这减轻了同行审稿人和管理者的负担，这是一个令人担忧的问题，因为资助者经常难以在紧迫的时间内找到合格的审稿人[5]。如果申请表格可以简化，而申请人认识到不能保证获得资助而缩短准备时间，这种简化的方法也有可能减轻申请人、评审人员和资助者的负担[6，7]。考虑到研究人员在应用程序上花费的大量时间，这可以将时间和资源重新用于研究[8]。

通过减少人们在决策中的作用，彩票也最大限度地减少了性别歧视、种族主义和年龄歧视的问题，这些问题影响了谁获得资助[9]。有趣的是，彩票也可能增加公平和支持更有价值的想法[10]。彩票也明确承认机会在赢得资金中的作用，这是因为评议过程在一定程度上是随机的，因为同行评议者的选择和可用性[11]。

先前的研究发现，在受资助的项目中，同行评议分数不能很好地预测随后的研究产出数量[12]。最近的相关研究发现，评论者对同一应用程序的评分一致性很低[13]。Braben认为，同行评议的标准模式永远不会准确预测研究的成功，因为它本质上是不可预测的[14]。这种固有的不可预测性为将彩票作为另一种筹资系统进行研究提供了支持。

对一些人来说，使用彩票来分配研究经费是一个有争议的想法，并且可以被视为“与管理科学的精英原则的根深蒂固的观念不一致”[15，16]。很难说服研究人员和管理人员相信抽签比深入同行评议的“黄金标准”更好。17]。

新西兰卫生研究理事会(HRC)是第一个使用改进的彩票分配研究经费的主要资助机构，从2013年开始一直持续到今天。彩票用于一个特定的HRC资助计划，称为探索者赠款项目资助计划，该计划旨在吸引和资助具有重大影响潜力的变革性研究想法。资助可用于任何卫生研究学科。该计划在早期阶段支持变革性研究，并且是为与其他HRC计划的资助不兼容的研究而设计的，这些计划的目的不是在早期阶段为探索潜在的变革性研究想法提供支持，因为通过标准资助机制申请更多投资需要明确合理的理由和支持数据。探险家补助金固定为15万新西兰元(约10万美元)，为期2年。只要新西兰是他们的主要住所和工作地点，个人或团体都可以申请。探险家奖助金占年度总经费支出的2%。每年的申请人数和获奖人数见表1．HRC认为随机资助是一种公平和透明的方法，可以在同等资格的申请人之间进行选择，并且可能特别适合探索者资助，因为在这种情况下，对结果不可预测的高风险申请进行比较和评分可能很困难，甚至不合适。

最近还采用了一种经过修改的抽签方式，为德国大众汽车基金会管理的一项计划分配资金。[18]和瑞士国家科学基金会[19]。

在本文中，我们研究了HRC对探索者资助申请人进行的调查结果。该调查询问了对研究人员使用摇号的可接受性，以及随机分配是否意味着研究人员以不同的方式处理申请。“彩票”和“随机”这两个词都用来描述资金分配。

探索者奖助金评估程序

应用程序很短(六页，管理信息有限)，并且对同行审稿人匿名，因此将评估的重点引导到项目想法上，同时也潜在地减少了偏见和应用程序成本。

探索者奖助金评估过程有两个步骤。在第一步，符合条件的申请将由四个探索者资助评估委员会小组中的一个根据收到的申请的性质进行评估。有三个广泛的小组领域:生物医学(两个小组)、临床(一个小组)和公共卫生研究(一个小组)。四个小组各有三名成员，成员的选择是基于展示的应用创新思维和方法的能力，展示的专业知识广度，并考虑到整个小组成员(例如，性别，地点，年龄，机构)的平衡。

每个申请由三位评审委员评定是否符合以下两项标准:

1. 1.

   潜在的变革性，这意味着有可能从根本上改变知识库或创造新的范式或途径，可能难以接受，可能未经测试，也不是当前研究或实践的下一步。

2. 2.

   可行的，这意味着这个想法和方法是潜在可行的，研究环境是合适的，并且在资助期限内可以取得足够的进展。

申请是匿名的，但如果小组成员认为他们认识申请人(新西兰是一个小国)，他们被要求选择退出评估，他们将被另一个没有冲突的小组成员取代。小组成员对每个申请给出“是”或“否”的评估，没有额外的外部评审员。有两个或两个以上“是”评估的申请进入可资助申请池，而那些没有被拒绝的申请。所有申请人均被告知申请结果为“拒绝”、“可获资助但未获资助”或“获资助”。

在第二步中，在Microsoft Excel中输入可资助的应用程序，并使用Rand()函数分配随机数，并按照随机数从小到大的顺序选择应用程序进行资助，直至可用预算。

在如何申请的文件中，清楚地向所有申请人解释了彩票的使用。申请人也很可能知道这个抽签计划，因为该计划受到了国际上的高度关注，包括期刊文章[1]、新闻报道和播客[20.]。

申请每年一次。无论之前的结果如何，以前的申请人都可以重新申请。

调查

在前七轮(2013年至2019年)完成融资的所有325名探索者资助申请人都收到了HRC通过电子邮件发送的邀请，请他们通过以下方式完成一项简短的匿名调查调查猴子［21］．我们向没有回复或部分回复的申请人发送了自动电子邮件提醒。提醒在2013 - 2018年调查首次邀请后第9天发出，在2019年调查首次邀请后第11天发出。该调查旨在使利益相关者能够对探索者资助计划的新方面提供反馈，作为更广泛的质量改进项目的一部分，审查投资过程的几个方面，以确保实践的效率和效果。

2013年至2018年融资轮的申请人于2018年9月通过电子邮件发送，2019年融资轮的申请人于2019年1月通过电子邮件发送，两次调查都开放两周。申请人被告知，该调查将用于改进人权理事会程序，并将在公共领域公布。

有一个开放式问题和七个封闭式问题，包括关于分配资金的随机过程和申请人匿名性的问题(见附加文件)1对于调查问题)。调查问题是由作者提出的。申请人可以在所有八个问题之后留下可选的评论。申请人在提交调查之前必须完成所有八个问题;因此，没有项目丢失数据。没有参与的动机。

2013年至2018年融资轮次的申请人与其融资结果相匹配。对于有多个申请的申请人，他们按照资助，资助和拒绝的顺序使用他们的最佳结果表示一次。所以我们接触了325名申请者，而Table1总共显示394个应用程序。2019年的调查是在资金获得之前进行的，因此，这些受访者无法获得结果数据。2018年和2019年的调查共邀请了10名申请人，其中7人完成了2018年和2019年的调查。所有的回答都是匿名收集的。

我们用频率表和柱状图来总结结果。我们包括说明性评论，同时保护匿名，选择包括积极和消极的反应。

我们检查了受访者的资助结果与他们对随机化可接受性的两个问题(问题2和3)的调查回答之间的关联。我们使用了交叉表和卡方检验。从Yes, No，和uncertainty的回答选项中，我们将No和uncertainty组合起来，与Yes进行比较。因此，我们检查了获得资助是否与对随机化使用的积极反应有关。由于表格中的细胞尺寸较小，我们使用非参数排列检验来检查资金状况的独立性以及使用1000个排列的随机化的积极反应[22]。

我们使用互联网电子调查报告结果核对表[23]。表格和图表使用R版本3.6.0 [24]。

在325份邀请中，总回复率为126份(39%)。2019年最新一组申请人和获得资助的申请人的回应率要高得多(表1)2）.所有七个封闭式问题都收到了一些额外的评论，范围从10%到41%，中位数为26%。

关于随机资助的问题

关于随机资助的四个问题的结果总结在图中。1和表3.．与会者一致认为随机分配是一种可接受的方法，63% (n= 79)积极的。支持随机分配拨款予其他拨款类别的人数较少，只有40% (n= 50)， 37% (n= 46)否定的，意见几乎完全分裂。

许多受访者提到，如果那些通过初始阶段的申请“具有同等价值”、“被认为足够有价值”或“达到了门槛要求”，那么随机分配探索者补助金是合适的。因此，对随机分配的支持取决于在创建一组类似应用程序的过程中的第一步。

一些受访者不支持随机分配，包括

“为什么不直接使用军衔呢?”还是在放映后根据潜在影响评分来评判?”

其他人则更支持，包括

“我不认为随机化过程比单个审稿人为一个伟大的项目找一些小理由而不被资助更不公平。”

10位研究人员在他们的评论中提到了类似的担忧，即更广泛地将随机分配用于其他类型的资助，因为他们都提出了“突出的应用”得到资助，而对剩余的可资助的资助使用随机分配的想法。随机分配有更大的支持(超出探索者补助金)，如果只适用于被认为具有相当质量的应用程序。

大多数申请人表示，虽然知道拨款可以随机分配，但他们对申请的态度并无改变(n= 87,69%)或他们准备申请的时间(n= 94,75%)。

一位认为他们确实改变了方法的申请人说，

“我专注于确保我清楚地概述了我提议的项目如何符合变革标准，我知道项目提案没有被排名。”

一位认为随机分配不会影响他们的时间的申请人说，

“我尽我最大的努力去做每一件事，即使是在极不可能成功的时候。”

研究人员估计准备申请所需的中位数时间为10天(中位数的95%置信区间:7至14天)。关于花费时间的回顾性问题很难准确地完成，四位申请人在他们的评论中提到了这个困难。

关于申请格式和匿名审稿人的问题

几乎所有申请人(n= 115, 91%)认为探索者基金申请的格式和长度足以传达提案的新颖性和变革性(表1)3.）.有强有力的支持(n= 112,89%)对于评审(同行评审)匿名申请人的身份。

许多受访者评论说，鉴于新西兰(NZ)的研究人员数量相对较少，很难使申请真正匿名。例如,

“对于一些拨款，在新西兰很少有人能写或在该地区。这意味着它可能不会像预期的那样匿名。”

其他人则支持匿名:

“我真的很喜欢匿名的部分，因为这让想法发光，而不是研究人员的记录。”

资助结果与调查反应之间的关系

获得资助的受访者对使用随机拨款的态度要积极得多(见表1)4）.在获得探索者基金资助的受访者中，78%的人认为随机化是可以接受的，而在申请被小组拒绝的受访者中，这一比例为44%。同样，更多获得资助的申请人支持将随机资助扩展到其他资助类型。

新西兰HRC探索者资助计划是世界上第一个为科学研究随机分配政府资金的计划[1]。自2013年以来，该公司一直采用随机融资方式，并且规模不断扩大，最近一轮的拨款是第一轮的五倍。

25%的受访者认为随机化不适合用于探索者资助(见表1)2）;因此，在这第一次经历它的队列中，有支持随机化。虽然有人支持将随机化作为探索者资助的一种可接受的方法，但对随机化其他资助类型的支持较少。这种差异可能与探索者资助的性质有关，它的预算比其他计划少，专门针对风险更大的创新项目。潜在的变革性研究的结果几乎是无法预测的，Ioannidis认为抽签是一种合乎逻辑的资助方式，可以节省时间，并更好地将资金分配给更多的研究人员[25]。对于较大的资助，可能会更多地支持“突出”的申请，并随机分配资金给“不可资助”和“优秀”之间的灰色地带的申请。

获得资助的研究人员对随机化的支持度更高，这表明很难将研究人员对资助系统的想法与他们的个人经历脱钩，特别是考虑到获得资助的压力和对研究人员职业生涯的潜在影响[26]。当成功率高时，对彩票或任何资助系统的支持可能会更高。

一个令人惊讶的结果是，大多数申请人并没有减少他们花在申请上的时间。调查中的许多评论强调了一种可能的解释，即申请必须通过初步的同行评审阶段才能进入抽签阶段;因此，研究人员仍然需要让他们的同行相信这个项目的优点。据说抽签的优点之一是可以为研究人员节省时间，因为申请时间可以大大缩短。6，7]。这种优势可能被夸大了，而且可能只适用于很少或没有同行评审的地方。澳大利亚一项有关拨款申请表格的研究发现，表格长度的减少并没有减少申请次数[27]。申请人的时间成本可能主要是在雕刻和表达他们的关键思想的过程中。正如一位申请人所评论的那样:“我对这个项目非常兴奋，所以，最终，它(随机分配)对我为准备投标所做的努力没有影响。”还有一种可能是，虽然研究人员没有减少初始申请的准备时间，但他们可以回收不成功的彩票申请，而不必花时间修改它们。

我们不知道有任何类似的研究人员调查。澳大利亚研究人员之前的一项调查确实问了一个关于资助彩票的假设性问题。研究人员被问及他们的提案是否被同行评审小组评为“可能的基金”，他们是否愿意接受在“可能的基金”提案中抽奖，43%的人同意[28]。这与本次调查中40%的人同意使用摇号方式进行其他拨款计划(表1)2）.

评审员对申请人匿名身份的支持度很高，大多数评论都认识到这减少了偏见的可能性。向评审员匿名申请人身份是尽量减少偏见影响的若干步骤之一，包括确保委员会成员的多样性，使偏见问题可见，以及支持高质量决策的其他行动[29]。

限制

这项研究有一些局限性。回复率是39%，我们从那些被资助的人那里得到了更好的回应。因此，我们的样本可能过多地代表了那些对这个系统更满意的人。

一个有趣的比较是研究人员参加彩票并得到资助或没有(资助vs可资助)。然而，Fundable小组的人数相对较少，任何统计比较都可能存在很大的不确定性。

我们无法追踪人们的看法是如何随着时间的推移而变化的，而且在2018年对2013年至2018年的申请人进行调查时，可能存在回忆偏差。此外，在此期间的资助成功率很低(14%)，这可能影响了回应，因为我们发现资助结果与对随机化的态度之间存在关联。

我们没有询问同行审稿人他们是否花了更少的时间审查应用程序，这是与标准同行审稿人系统相比，彩票节省成本的另一个潜在来源。与对每个没有联系的应用程序进行排名的标准任务相比，审稿人可能需要更少的时间将应用程序分类。澳大利亚的一项研究将线性排名系统与三个类别(应该资助，可以资助和不应该资助)进行了比较，发现两个小组“几乎完全一致”认为分类极大地改善了同行评审过程[30.]。

我们没有对申请人的评论进行正式的定性分析，而是选择了我们认为能够说明共同主题的评论。

这份调查是由新西兰健康研究委员会发给申请人的，尽管调查被明确标记为匿名，但这可能影响了申请人的回答。理想的未来研究应该是独立运行的，并可以在资助机构和计划之间进行比较。

卫生研究资助者对有可能改善健康结果的投资决策负有重大责任。卫生研究供资过程中的创新，作为更广泛的卫生研究部门的一个组成部分，可以增加该部门的价值、影响和可持续性。人权理事会通过探索者资助计划的经验支持进一步采用改良的彩票。

在当前研究期间生成和/或分析的数据集是不可公开的，因为没有获得对数据更广泛使用的同意。

人权理事会:

健康研究委员会

新西兰:

新西兰

感谢Xing Lee将作者顺序随机化。本出版物承认由英国研究战略优先基金QR分配资助的研究。

AGB从国家卫生和医学研究委员会(1117784)获得奖学金资助。

作者及单位

1. 新西兰健康研究理事会，奥克兰，新西兰

   刘梦瑶，蔡天骐，露西·波默罗伊

2. 英国牛津大学纳菲尔德人口健康系卫生经济学研究中心

   菲利普•克拉克

3. 昆士兰科技大学卫生与生物医学创新研究所及公共卫生与社会工作学院，澳大利亚昆士兰州布里斯班

   Adrian Barnett

4. 墨尔本大学人口与全球健康学院，澳大利亚维多利亚州墨尔本

   托尼•布莱克

贡献

ML, VC和LP设计调查，收集数据并对草案进行评论。AB进行了统计分析并撰写了论文的初稿。结核和PC提供了方法学上的投入并对草案作出了贡献。所有作者都阅读并批准了最终的手稿。

相应的作者

对应到露西城堡．

伦理批准并同意参与

风险可以忽略不计，因此可以免税。申请人被告知，调查结果将在公众领域公布。

发表同意书

不适用

相互竞争的利益

作者宣称他们没有竞争利益。

出版商的注意

伟德体育在线b施普林格《自然》杂志对已出版的地图和机构的管辖权要求保持中立。

开放获取本文遵循知识共享署名4.0国际许可协议(http://creativecommons.org/licenses/by/4.0/)，它允许在任何媒体上不受限制地使用、分发和复制，前提是您要适当地注明原作者和来源，提供到知识共享许可协议的链接，并注明是否进行了修改。创作共用公共领域免责声明(http://creativecommons.org/publicdomain/zero/1.0/)适用于本文中提供的数据，除非另有说明。

转载及权限