快速证据合成
虽然综合证据是创新最有力的证据基础,但传统的系统综述往往需要2年时间才能产生[1,2],而即使是快速审查也有一个可能长达一年的时间框架[3.],但方法与系统综述的不同程度差异很大[4].证据摘要或证据简报是一种快速的证据综合形式,通常在决策者需求的驱动下在较短的时间内产生[5]并被认为有助于为决策提供信息,包括国家以下各级卫生保健行政部门[6].快速证据合成(RES)已被用于为研究的委托提供信息[7]及服务[8]及为决策提供资讯[9,10].然而,还没有提出快速证据合成的标准化过程,为加快获得有益创新采用的决策提供信息,而这方面的时间尺度往往很短。我们介绍了我们开发的过程,以在这样的决策背景下实现综合证据合成。
背景和语境
长期以来,人们一直认识到,在将经过验证的创新迅速纳入系统、政策或实践方面存在挑战。在联合王国,加速准入审查提供了新的政策动力,努力开发一条更快的途径,以确定和采用英格兰国民医疗服务体系(NHS)的高价值创新[11].加速获取审查提出了通过加快获得有益的创新医疗保健方法和技术(包括数字产品)来提高NHS患者效率和结果的建议。增加获取的一个关键部分是基础设施的发展,包括学术健康科学网络(AHSNs)和NHS加速获取协作(AAC)。ahsn是负责在NHS中支持创新产品的引入和推广的机构。
在大曼彻斯特,健康创新曼彻斯特(HInM)是AHSN,其职责是在整个地区实施有益的健康创新[12,13].我们对创新的定义包括任何对大曼彻斯特地区来说是新的技术、设备、程序、行为、惯例或工作方式[14].
可能需要迅速作出关于采用创新的决定,但这并不否定需要循证决策,尽管对于某些新技术,现有证据可能有限。仍然重要的是,所使用的证据、其可靠性和与决策问题的相关性以及如果需要进一步评价的话,应具有透明度。
在大曼彻斯特快速合成证据
为了确保大曼彻斯特地区关于创新采纳和推广的决定有证据依据,我们为正在考虑实施的创新制定了一个RES生产框架。此框架已公开提供,并已注册[15],并提供了一个代表性的示例(参见补充材料).该框架基于早期在制定证据简报框架方面的工作和经验,包括那些直接为医疗保健组织的决策提供信息的框架[16,17,18].它也与以前工作中确定的其他证据简报方法有一些相似之处[19].然而,我们开发的方法在几个重要方面是独特的,这里描述了这些方面,并代表了RES的发展,结合了速度、透明度、对证据的稳健性和相关性的双重强调[20.,21以及在创新采纳决策的背景下对利益相关者的可用性。
速度和灵活性
我们生产的RES设计为在2周的时间内请求,承担和交付。与其他快速证据合成流程相比,我们使用系统但精简的流程来实现可复制、透明但始终非常快速的交付[6,7,8,9].我们的RES方法也明确设计为考虑到创新的证据可能稀少或相关性有限这一事实,并纳入了处理创新的协议,这些协议是复杂的干预措施[22,23].灵活的问题集既有对证据的类别级评估的规定,也有对创新的成分分析的规定[24].这意味着,即使创新本身的证据非常有限,使用我们方法的RES的发现仍然可以为实施决策提供信息。我们将在下面的“快速证据合成结构的灵活性”一节中探索这方面的例子”.
集成
RES的生产嵌入在大曼彻斯特创新采纳决策过程中,并且是不可或缺的,而不是代表来自独立组织的输入。这种整合意味着主要利益相关者和审查人员可以密切合作,共同制定res。HInM使用了一个高级别、广泛的框架,其中包括通过持续的“管道”流程确定和选择的创新并确定其优先级[25],从而为在整个地区推广创新提供支持,而这些创新已被利益相关方确定为优先事项[26].创新可能来自学术界或工业界,但也可能被地方或国家决策机构从地方、区域或国家的角度列为高度优先事项。我们在这里将确定或开发干预措施的组织称为“赞助商”。该过程借鉴了ARC和AHSN在实施科学、医疗保健决策和生活经验以及证据综合和评估方面的专业知识。我们进行RES的创新是那些提交给这一过程并满足潜在相关创新的初始标准的创新。
RES团队参加相关会议,讨论创新,并在个案基础上探索RES的需求。当请求RES时,评审计划在评审人员和决策者之间迭代开发。这样可以在每个阶段解决疑问,最大限度地提高RES的相关性,并支持将证据评估整合到决策中。
RES被认为是围绕创新采纳的决策过程早期阶段的必要组成部分之一,此外还有公众患者参与和参与(PPIE)的投入、商业案例评估以及与当地卫生和社会护理利益相关者的咨询。在决定是否着手制定实施计划之前,对证据及其相关性和确定性的评估已纳入考虑因素。这种对证据的考虑可能包括对类似决策问题的干预措施的影响的更广泛的证据。审议委员会不提出建议,决定也不完全由审议委员会的调查结果决定,但审议委员会确保决定是有证据依据的。在少数情况下,RES对决定至关重要,通常是作出不继续进行的决定。例如,一项RES指出,一项国家指南建议不应提供特定干预措施,以解决创新问题。然而,通常情况下,贡献更为微妙。
透明度和一致性
GRADE证据到决策框架的原则是我们处理RES方法的核心,这使得RES及其所贡献的决策过程更加透明、一致和可重复[20.,21].GRADE为对所处理的每个问题的证据基础的强度形成判断提供了一套明确的考虑因素,对于考虑相互关联的证据的确定性和相关性至关重要。自我们以前的证据简报工作以来,现有的GRADE框架已取得实质性发展[16].
相关性
RES使用GRADE方法来考虑大曼彻斯特背景下的证据的适用性及其可靠性。背景,无论是广义的还是狭义的,都是引入干预措施的影响的关键[27].特别是在复杂的或服务级干预的情况下,很难确定干预和上下文之间的边界[28].例如,心脏衰竭预后不良的检测[29]对整个治疗途径有潜在的影响[30.],强调采用“测试-治疗”方法的重要性[31].我们也注意到,许多创新可能表面上看起来很简单,但正在考虑将其引入初级保健等复杂系统[32].
虽然在第一个例子中,我们的RES考虑在英国范围内的NHS背景下的相关性,但我们也考虑当地的大曼彻斯特背景。如果一项创新已经是国家规定的优先事项,我们一般不会进行RES,因此当地环境对所有评估的创新都可能很重要。本地环境包括现有的服务模式、相关的基础设施、区域和人口特征,包括城市化、相对贫困等。GRADE有助于确保证据摘要中的相关性与确定性同等重要。在国家层面上确定的有限相关性的一个例子是,哮喘护理创新的RES仅确定了来自美国试验的证据。这与英国哮喘患者的哮喘控制没有直接关系,在人群水平上,他们有更高的基线控制和预防性药物的使用[33].在地方一级,改善医疗保健人员之间联系的创新RES包括来自一个试点项目的证据,该项目的一个地点非常偏远[34,35].来自该地点的证据被认为可能只与大曼彻斯特有间接关系。
RES的过程和阶段
中给出了一个完整的RES示例补充材料.
已填妥的研究报告的主要内容载于附表1.
时间和人员
RES旨在对证据进行“足够好的”(而不是完美的)总结,以便在短时间内对决策作出贡献。“足够好”被认为是一份最新的证据摘要,它基于现有的最相关和方法上最严格的证据,并明确表达和承认不确定性。对于具有证据合成背景的经验丰富的研究人员来说,所描述的方法使用的时间中位数为2天,分布在大约2周的时间内。更复杂的创新可能需要更多的资源用于RES生产,并可能涉及信息专家的更多投入。该框架提供了更多详细信息(参见补充信息) [15].
描述创新
第一阶段是简要描述创新的性质和目的(表2)2).这就确定了创新的类型(例如干预/测试/服务提供机制)、目标人群或系统以及应该考虑的结果。比较器通常是目前的护理标准,通常也通过这一过程确定。该阶段包括通过与HInM和/或其他相关利益相关者的接触,评估和澄清保荐人提供的信息。这包括确定创新的关键特征,这些特征将为决策问题提供信息。
发展问题
使用干预的描述,我们制定了一系列基于创新描述的问题(表3.).这些问题从最狭隘的问题开始,然后转向更广泛的基于类别的问题。它们考虑的是同一类别的创新,在创新证据有限的情况下,它们是生成有用的RES的关键。问题采用PICO(S)方法:定义人口、干预(创新)、比较对象、关键结果和设定(如相关)[36].符合条件的研究设计将始终包括现有的证据综合,或在缺乏证据的情况下,最相关的初步研究设计。
如果创新是一种干预,那么问题将是有效性和安全性;如果创新是(例如)诊断测试或筛查工具,我们会考虑准确性以及实施该技术对参与者和卫生系统的影响。对于复杂的干预措施,描述了每个核心特征,并支持几个问题的制定。在评估复杂干预的特定组成部分的证据时,我们要注意这样一个事实,即这种干预的有效性可能不仅来自组成部分的相加效应,而且来自它们彼此之间的相互作用,以及与(通常是复杂的)系统环境的相互作用[37].因此,我们会认为与单个组成部分相关的证据与整个创新间接相关。这种形式的问题可能有多个(例如,反映不同的人群或比较对象)。例如,一项旨在支持吸入器使用的干预措施要求对哮喘患者和慢性阻塞性肺病患者分别提出问题。
虽然我们首先关注被评估的特定创新的有效性证据,但在这方面有限的情况下,我们将探索(2)创新类别(“这样的创新”)的证据,然后(3)更广泛的相关创新类别(例如“具有类似目标的创新”)的证据。分类有时并不明显,尤其是在创新很复杂的情况下[22,23,24,28,38].在更广泛的类别的情况下,我们最终可能会考虑任何干预措施,其目的类似于指数创新或对所考虑的条件或问题的所有干预措施(见表1).
这些后续问题旨在确保在创新本身缺乏、有限或不直接相关的证据时能够提供有用的证据。制定这些问题需要与关键人物协商,以确保重点是相关的。例如,这种咨询确定,在评估特定的痴呆症数字护理计划时,最广泛的适当问题是“任何疾病的数字护理计划”,而不是“痴呆症护理计划”。这些附加问题仅在第一个(或多个)问题的证据被认为不充分的情况下才被讨论。执行顺序问题集,然后是灵活和敏感的性质确定的证据。当创新是测试时,还需要提出其他问题,在没有测试和治疗评估的情况下,可用治疗的证据应作为一个整体来考虑[31].
证据类型
我们的重点始终是那些最能回答我们提出的问题的研究设计。在可能的情况下,我们专注于识别现有的证据综合(系统评价);在不可能做到这一点的情况下,我们将重点放在信息量最大的主要证据上。就大多数创新而言,这都来自比较研究,优先考虑随机对照试验。在适当的问题,我们还包括诊断准确性或预后研究。也有一些问题,特别是当创新的重点是患者体验时,混合方法或定性研究将是最合适的主要证据形式。
确定的证据
我们采用务实和迭代的方法来识别证据。这使用最初狭窄的重点来最大化相关性,并在必要时发展到更广泛的证据基础。我们搜寻主要资源,包括NICE指南[39)、PubMed和Cochrane图书馆,后者包括Cochrane系统评价数据库和Cochrane对照试验中央登记处。我们也使用参考检查或前向引用检索相关的证据综合和初步研究。
在相关情况下,我们越来越鼓励那些提出创新供考虑的人提供研究证据,就像向NICE提交单一技术一样[40,我们会定期搜索商业赞助商的网站。在某些情况下,赞助者提供的证据未发表或已发表但未经同行评审。我们合并了这些材料,但对其状态是透明的。我们自己的搜索经常识别出灰色文献,它们也被以同样的方式处理。
在适当的情况下,我们使用特定学科/领域的资源,例如某一Cochrane集团的网页[41]或ORCHA健康应用程序数据库[42].如有需要,我们会咨询信息专家。我们咨询信息专家的决定是基于创新的复杂性,以及在适当的情况下,更广泛的干预类别。
关键的评价
我们使用适当的方法来批判性地评估我们识别的不同类型的证据。Cochrane综述通常被认为是可靠的证据[43,我们使用他们对证据确定性的总结和评估,而不是重新评估证据,除非围绕相关性存在问题。在可能的情况下,在其他高质量的系统综述中,我们也将使用该综述中现有的证据评估。这种方法最大限度地利用现有的高质量证据,同时提高及时性。我们考虑非cochrane系统评价的质量,使用来自ROBIS的信号问题作为指导[44].我们考虑多个证据合成之间存在证据重复的可能性[45].
如果没有现有的证据综合,或者我们担心系统评价的稳健性或相关性,我们考虑该问题的主要证据。我们也转向评估初级研究,现有的综合只部分解决了一个问题,例如,因为资格标准更窄。相反,如果综述的范围更广,我们可以查看与我们的问题相关的主要研究。在Phagenyx RES的例子中,我们观察了Cochrane中风吞咽困难干预措施综述中评估Phagenyx的rct亚组[46].
初级研究的评估同时考虑能力研究设计的回答问题和评估的偏倚的风险,在确定的研究综述中产生整体可靠性的判断。由于我们的时间范围狭窄,我们不进行全面的评估,但与ROBIS一样,我们以所使用的领域为指导。例如,对于随机对照试验,我们以Cochrane偏倚风险工具的标准和考虑为指导。47];对于其他研究设计,我们考虑由ROBINS-I、QUIPS等工具提出的问题。[48,49].
与年级的关系
在对证据的确定性作出判断时,我们受到GRADE原则的指导。21,50].GRADE通过对几个领域的评估来评估证据的确定性,以产生高、中、低或极低确定性的评估。第一个领域是证据的偏倚风险,我们如上所述考虑。这与不精确、不一致、证据的直接相关性和发表偏倚等问题一起被考虑。对于非有效性问题,GRADE有一些调整[51,52].
除了偏倚风险之外,与我们快速证据合成最相关的领域通常是不精确(因为样本量小)和间接(通常是上下文的功能):对于初始问题,通常没有足够的证据来确定研究之间的不一致性,因为通常只有少量的研究。类别级别问题的证据往往比创新本身的证据具有更高的确定性;在这里,不一致(和证据的完整性(发表偏倚))领域更可能是考虑因素。
我们要记住,在存在不一致的情况下(如在更广泛的类别层面),这可能是干预措施或评估它们的系统的差异,以及参与者或结果测量的差异的结果。虽然有些干预措施显然很复杂,但即使是表面上简单的干预措施也经常在复杂的卫生系统中实施,特别是那些代表患者管理变化的干预措施[32].因此,我们要记住,不一致的证据可能存在不明显的原因。这尤其包括诊断和预后测试,我们总是主要解决一个关键问题,即测试对相关人员及其管理的影响[31].
在我们的RES方法中,我们探索了确定不一致的可能原因,并试图将这些与大曼彻斯特的背景联系起来。例如,在一个RES中,我们发现了一项试点研究,该研究报告了干预措施对增加员工参与特定形式的心理健康评估的影响在站点之间的差异。在考虑了案例研究中的定性数据后,这种差异似乎很可能是由于其中一个遗址是大型城区的一部分,而另一个则非常农村[34].正如我们上面提到的,这导致我们报告说,来自一个地点的证据与我们的决策问题更直接相关。有时,就像这里,不一致的可能原因可以变得清晰;在其他情况下,我们可以找出几种可能的解释。在适当的情况下,我们可能会与RES最终用户协商,以建立有关实施上下文的更多细节,以告知我们对已识别的不一致的可能重要性及其与间接性的关系的评估。显然,如果不一致表明某些证据不是直接相关的,那么这可能会影响直接相关证据的准确性。
不精确通常是参与者不足的小型研究的结果;这导致了广泛的置信区间和影响估计,这很有可能随着进一步的证据而改变。对于部分或全部证据来说,间接性也经常是一个问题。这可能是因为不一致(如上所述)。然而,由于评估的创新是新颖的,因此通常也只有部分证据基础,其中的证据可能只与许多相关人员间接相关,尽管与研究中所代表的群体直接相关。
我们对相关性的考虑(GRADE认为是直接性)是我们评估的关键。除了对间接性的考虑之外,我们还考虑了证据与实施创新的环境和卫生系统的相关性——在本例中,是英国的大曼彻斯特。
综合证据
我们使用确定的证据对res中关键问题的证据进行叙述性总结。我们总是总结与创新相关的核心问题的证据,尽管我们可能发现很少或没有(有用的)证据。我们为每个问题提供单独的答案。
在可能的情况下,我们总结现有的证据综合,连同现有的GRADE评估,如果没有,则根据我们对GRADE考虑因素的评估做出判断。我们还对现有综合证据与问题的相关性进行了评估。
当我们无法确定相关的现有证据综合时,我们总结了已确定的主要研究。我们使用叙述性总结来报告效果估计(具有置信区间)及其确定性和相关性,我们很少寻求进行元分析。
我们概述了问题中每个结果的证据的确定性和相关性,适当区分与之直接相关的人群或亚群体。所以在Phagenyx人群中,证据与中风后吞咽困难的人直接相关,他们代表了吞咽困难人群的一个亚群。我们采用GRADE原则,围绕确定性对特定结果进行判断,而不是在研究水平上。在适当的情况下,我们报告干预或干预包的每个组成部分的证据(没有或非常有限的整体证据)。我们提供尽可能细致入微的证据摘要,阐明证据对不同人群、组成部分或结果具有不同程度的确定性。中提供了完整RES的示例补充信息.
生成摘要
我们提供两个级别的摘要信息,用非技术语言编写。
第一个提供了一个证据图片的简单摘要,并强调其确定性和相关性(表4).
第二部分为每个关键问题提供了证据的确定性和相关性的项目摘要,包括(例如)与证据直接相关的人群的细微差别(表2)5).这可能包括与NHS或大曼彻斯特相关的证据方面。在这两个部分中,摘要包括我们确定没有证据、非常有限的证据或非常不确定的证据的问题。摘要采用了全证据综合的方法,不向决策者提出建议。
灵活地组织快速的证据合成
如上所述,我们的问题系列有三个可能的层次:它们涉及(1)特定创新的证据,(2)创新类别的证据,以及(3)更广泛的相关创新的证据。我们的过程包括依次解决这些问题,在我们已经确定了足够确定性和相关性的证据时停止。对于Phagenyx的例子,确定了合适的创新特定(1级)证据,不需要进一步的证据[46,53].在另一个例子中,心理健康聊天机器人[54],针对创新的证据有限,因此搜索范围扩大到创新类型(第2级)问题的证据[55,56].对于不属于更广泛的创新群体的新创新,只有创新特定的证据才有意义[34].
这些问题集的使用使我们能够灵活地采用res方法。当我们考虑一个多组件或捆绑创新时,我们可以快速审查创新作为一个整体的证据,并在需要时审查创新组件的证据。这方面的一个例子是我们为RESTORE-2进行的RES,这是一个为养老院工作人员提供的工具,由三个关键部分组成:识别可能身体衰退的“软迹象”,早期预警评分和结构化的沟通计划。我们发现整体干预的证据有限[57],因此根据要求,针对不同的创新组成部分,研究了第1级和第2级问题[58,59,60].
在随后的决策过程中考虑RES中报告的证据的相关性,并在必要时透明和谨慎地推断间接数据。例如,在一项针对哮喘患者和慢性阻塞性肺疾病(COPD)患者的创新RES中,我们只发现了哮喘患者的随机证据[61,62],在缺乏其他适当证据的情况下,这一结论被推断为COPD患者,但我们也考虑了COPD患者的2级问题[63,64].这是经验表明,在随后的决策过程中,对编制RES的研究人员提供咨询是最有用的领域之一,因为这样可以详细探讨所确定的证据与当地情况之间的关系。