疟疾视觉分析工具:巴西公共疟疾数据视觉探索分析工具

后台

数据集成化和可视化技术在科学研究中广泛使用,以便利用大量数据并支持高度复杂或持久研究问题整合允许不同源数据汇总成单数据库,由不同类型研究感兴趣的变量组成可视化允许大型复杂数据集以更直觉方式操作和解释

方法论

整合和可视化技术应用到疟疾监视生态体系中,以构建综合数据库,由通知、死亡、病媒控制与气候数据组成数据库透视挖掘平台支持政府和卫生代理决策

结果

实验和验证结果证明视觉探索和交互机制允许有效监视疑似突发快速行动,并支持一套关于综合疟疾电子健康记录的不同研究问题

结论

综合数据库和视觉挖掘平台(Malia-VisAlytics)允许不同类型的用户在一个方便用户界面内探索与疟疾相关数据汇总资料和关键洞见可通过不同技巧和维度获取Manaus案例研究可作为未来在其他市复制的参考最后,数据库和视觉挖掘平台都可用新数据源和功能扩展,以适应更复杂场景(如实时数据采集分析)。

数据可视化和探索分析技术数十年来一直用于支持数据理解并可能提供证据生成新假设测试特别是分析高维数据时,数据预处理后以直觉方式显示结果对数据管理固有挑战多数据可视化工具近年出现,旨在支持视觉处理和挖掘大量数据,为适当的决策程序做出重大贡献一号..

近些年来,从监测系统获取的数据越来越多,特别是从卫生系统获取的数据(如死亡率、发病率和住院率),这些系统可以利用数据可视化技术评价健康结果趋势、接触和结果关联效果以及公共政策影响文献中特别包括Web应用建议和各种数据可视化技术,支持查询、可视化和时空分析疟疾数据

基于全球地图可视化使用户容易感知全球范围疟疾疟疾地图集项目2世界卫生组织(WHO)和伙伴机构合作开发一套交互地图量化疟疾综合症和治疗率web平台提供全球主向量布局图使用预测分布物全局地图应用突出向量复杂度的空间多变拟工具有相似功能,显示每个区域疟疾病例百分比和主要物种

Objectiveize-no-Ja3..平台建议实时分析快速识别并处理每一例新例疟疾面向寄生虫隐藏环境并基于准确可靠的数据跟踪新传播模式使用平台可视觉化并监控驱虫蚊帐、室内残留喷雾器、快速疟疾诊断测试和药物

Prettz等描述巴西观察和监测疟疾例系统[4显示监测和制定预防疾病新政策的重要性生成不同图以解析疟疾相关信息结果表明通知修改大都发生在亚马逊森林区域,而且大多数受感染者为男性。

网络可视化是发现不同数据关系的一个强势方法Rossi etal提供平台方便地探索、分析并比较图表数据,选择(或过滤)数据点(表示图、节点和边缘)跨度各种重要和基本图统计和属性[5..直觉上,此过滤选择工具突出显示所有有某些属性的节点,例如某些用户定义范围三角计数的节点交互平台产生无限多方法实时可视化和比较数据

空间自关系分析显示区与疟疾暴发的地理关联及其与邻近区报告案例的直接或间接关联[6表示区域气候和环境因素相似性与传导矢量动态关系高空间疟疾发生率和本地人迁移模式显示,疟疾控制措施需要根据本地环境与人口环境进行调整

这项工作深入研究巴西疟疾分布及其相关因素疟疾仍然是一个世界性公共卫生问题在巴西高发率,特别是在亚马逊区域,环境条件促进蚊虫扩散7..巴西疟疾监视系统记录疟疾事件并存卫生部管理的两个数据库:疟疾流行病监视系统(SIVEP)和应通知疾病信息系统(SINAN)。

这项工作从这些系统汇总数据,以及死亡率、气候和矢量控制数据,编入一个R-Shiny网络平台,为视觉分析与模式识别提供交互隐喻工具建议用简单直觉方式帮助改善巴西疟疾分布的映射和理解及其与环境和社会经济因素的关系

巴西疟疾监控系统由数据库组成,收集巴西亚马孙区域内外数据数据库SIVEP和SINAN一号.

SiveP系统存储巴西亚马逊区域卫生站和医疗站报告的疟疾病例数据8..数据库覆盖2003至2017年数据5 490 603记录和43属性SINAN系统记录亚马逊区域外20多例传染病,包括疟疾7..数据库覆盖2003至2018年期间42 670记录和79属性

数据库补充市级死亡率信息系统数据,系统定期注册国内的死亡率数据气候数据,从国家海洋和大气管理局获取九九并融入平台这些数据覆盖2003至2018年期间所有5 570个巴西市的每日温度、湿度、降水量和地面温度

连接过程分两步执行:第一,个人级数据集(SIVEPSINAN)崩溃成市级综合板数据集市级数据集重复(逐年)信息第二,市级小组数据集通过确定性方法连接到死亡率和气候数据(市级小组数据已备妥)。确定式联系基于两个独特的精确标识符:巴西地理统计学院市代码(由6个数组成)和观察年份确定式关联不允许任何假匹配,也容不下典型概率关联错误基于这些原因,它是一种综合方法,用于整合巴西不同数据源信息的研究中[10,11..

数据连接流用Fig描述2边看边看3主属性汇总到“国家疟疾事件数据库”。数据库混合原始数据(SiveP和SINAN变量)和新变量存储信息

数据清洗和统一

数据清理过程通过纠正检测出错误和遗漏提高数据质量纠正数据错误并消除不良记录可能耗时繁琐过程12,但不可忽略从数个数据库综合数据时很重要和必备性,因为每个数据库的结构不同于其他数据库

在这项工作中,所有数据库都分析误差和缺数据模式,然后通过标准化例程提高数据质量,并连通时确保准确结果所遇错误大都指算错误,如年龄、性别和种族等属性错误数据清理协调策略一般包括:(一) 替换缺失数据为999变量;(二) 日期标准化;(三) 整合不同属性,将结果归为新变量

可视数据挖掘

视觉数据挖掘是过去几年学术环境中一直受到重视的一个题目。可视化技术建议处理可视化的两个大方面:视觉探索分析(信息可视化方面之一)和数据挖掘,目的是帮助通过图形表示法获取知识过程以探索和分析大型数据库

可视化有多项定义,但在文献中最常用定义是“使用计算机支持交互数据视觉表示法增强认知度”,即认知指人感知力或简单词知识获取或使用13..这项工作探索视觉化如何支持决策并改进巴西疟疾监视生态通过不同表达方式可扩展人类认知度,目标是以图形格式绘制并提供对不同数据库数据的理解,以视觉表达方式和交互机制为基础

除建设国家疟疾事件数据库外,这项工作还集中设计疟疾-视觉分析器,这是一个图形挖掘工具,提供不同特征,以便对综合数据库进行描述性预测分析图4描述主界面

本节介绍各种可视化技术,能向数据分析师提供答案和重要考量发现决策新洞察力

图可视化技术

视觉数据挖掘部分Objective-VisaLVC是检测保健服务缺陷的重要指标,与监测感染源、护理和治疗疟疾患者相关

福格5堆栈条用表示单维定标尺分布14..必须指出疟疾复发率最高与30岁以下的人相关(FAIXA0-4至FAIXA25-29)。另一项重要统计(右上图)显示市按年龄组分类,这对于分析哪个市受复发疟疾病例影响最大很重要。

理解某些基本变量趋势时使用条形图X级轴表示年份Y轴表示相关频率通过这些简单图解,可以识别哪些人口受疟疾影响最大(女性或男性)、哪个种族和感染率类型图特别适合变量定性或量化分析,因为它突出显示Fig显示趋势在数据中的存在6,按种族(a)、性别(b)和类型等离子中文本不译

与进口疟疾例相关因素是原生疟疾传播关键决定因素,并可能成为理解疟疾模式未来变化的缺失片段检视前暴发区内原生性疟疾传播潜力有助于更好地了解关键群推介或阻塞传播:蚊子向量和宿主图7显示自定义和导入案例基于汇总数据自主疟疾案例表示疾病是在与病人同居区获取的,而导入案例相关传输发生在病人住宅区外这是一项重要指标 监控和战斗暴发

气候条件,特别是降水和温度,是影响疟疾向量生命周期和长寿的重要因素。产生这个结果的季节性疟疾 在地球数个区域因全球变暖而出现的气候变化被公认为“温室效应”,一直是一个猜想题目,因为它有可能影响遍及热带带传播疟疾的Anopheline人口增加15..基于这一考虑,通过散块分析一些重要变量,因为它们是一个强大的图形隐喻,检查数变量对对立关系[16..探索这两个变量之间的关系,气候和每个物种案例总数,见Fig8观察到一些重要模式,因为多变散块对此类探索有用

显示[17时间序列量子相同 连续数段即时间序列是定时间观察变量数的相继值控件变量时间变换顺序修改序列中的信息18号..可定期收集并分析日度、月度、季度、每年等选项举个例子 Fig九九显示不同类型疟疾寄生虫分布,指历年该疾病演化行为信息云化词大都用于识别文本中最常用词,了解强调概念并分析这些识别关键字的密度提供有吸引力图形元素 显示特征 将其与众不同文本不必结构化,有可能用简单概述理解信息19号..上下文Fig显示动词云思想10介绍哪个城市受疟疾影响最大技术使用文本大小差异突出每个市的疟疾病例量

地理定位技术的潜力更加明显,因为正在出现基于地理映射的在线接口20码..Choopleth地图可视觉化疟疾发病率的空间分布,如Fig所描述11以亚马逊区域为重点市值变化表示疟疾发病率暗影等值高疟疾病例集中区,而浅影表示低发病率区

交互可视化和探索图结构连通模式(例如节点和边缘)可解答许多研究问题其中一个问题可以是数k核心连接所研究的每个领域5公元前数位表示高度疾病传播的相邻城市

通过图网络结构, 有可能发现有价值的洞见 以更直观的方式, 而其他类型视觉化无法提供图12显示网络图查找居住市与受感染市间的交互应用一些过滤和视觉化模式后,人们注意到,例如大多数贝伦人在家里外感染仅边缘交互超过5人用红色高亮显示,指2018年

整合空间和非空间可视化

深入了解特定人口的健康状况时,有必要使用地图观察风险状况和健康问题的空间分布,并使用人口和环境数据促进不同信息数据库的整合从这个意义上讲,信息必须具有地理参比性,为构建从特定领域解释问题链提供元素,并增强指导具体行动的权力[21号..

案例研究:Manaus

空间数据和非空间数据综合用于亚马孙州首府马瑙斯的案例研究,巴西报告疟疾病例数一致最高本案例研究还汇总了关于传播向量、实验室数据、育种场和水/spa区的数据,如Fig所示13.混合地理空间和非空间可视化技术合并成多层系统,以提供及时信息并更好地管理市级防治疟疾资源

待映射数据项必须引用地理分析单元多数巴西卫生数据库都有一个市代码用于地理定位另一方面,绘图基础必须包含允许与数据库关系字段从数据库和绘图基础之间的关系中可以执行数项常见地理处理程序,如地理统计分析、图形和非图形信息管理、空间操作和结果图形表示22号..

Fig分数14表示市内不同热点分类(breed网站)(负点、正点、闭合点、无信息)对比热映射对验证疟疾例与热点之间的关系很重要图15显示更多层信息(spa/balneary点点、喷雾区和实验室)可重叠以改进马瑙斯与疟疾有关的决策信息很重要,支持暴发期间实时控制控制疟疾传播,检查特定点是否喷出,并分别确定城市哪个部分需要更多实验室设施可划分几个风险区,并使用层间关联信息快速决策

交互技术

交互技术对有效数据探索是必要的,而不是只使用可视化技术允许数据分析师根据探索需求改变可视化,直接与可视化交互,而不仅仅是看到数据在拟议工具中,多独立视觉化可通过不同交互技术合并并关联导航技术强健并易修改显示器上数据投影以更好地了解数据并有更多解答23号..

交互滤波

处理大型数据集探索时,必须集中关注那些终端用户想可视化并交互分解数据到不同段段的有趣数据子集请求专家支持,探讨如何根据预期终端用户的需要实施交互滤波过程遍历所期望小节选择(浏览)和定制属性规范评估的另一重要点是数据量:当数据集非常大时,浏览因实时分析而非常困难,查询不产生期望结果问题可以通过代码优化和支持良好的计算能力解决开发工具中交互过滤和可视化因开发交互选择技术而得到改进24码.......16.

缩放

在通过可视化检测新模式过程期间,必须考虑可视修改技术(或缩放技术),这些技术在若干应用中广泛使用。假设这项工作需要通过不同的可视化方法处理大量数据,因此允许变量显示不同分辨率数据很重要。缩放地图时,不仅需要增加显示器上数据对象的大小,而且需要自动修改数据表示方式以显示更多细节高缩放级别[24码..

加深理解Fig显示的缩放技术17可能注意到蚊虫热点位于疟疾病例最集中的地区多亏在不同尺度上应用缩放技术,有可能看到一些热点尚未处理正在造成污染,并在这种情况下,就必要行动作出知情决策以防止疾病的传播

疟疾视觉分析工具允许用户通过方便用户web接口可视化分析静态数据MVA使用户有可能交互探索并比较数据多维技术MVA的目标是方便用户快速发现关键洞见数据而少加努力,同时为研究人员分享数据、视觉化和洞识提供介质,查询特定问题并快速提高决策过程效率卫生专业人员可以从不同的视觉资源获益,从全球化叶子可视化不等,从而分析从一个区域到另一个区域给定变量变化方式面向更具体的可视化,例如网络图,显示多节点之间的关系(这里指市)。

数据可视化可帮助用户短时间从大量数据中提取可操作洞见即使是简单视觉化像条形图 几秒内可提供有价值的洞见数据可视化还简化信息,如比较条形图派图最理想说明比例或局部比法:在本项具体研究中,它用于比较导入案例和原色案例

时间线允许用户突出发生或未来可能发生的最重要事件,并使查看者更容易识别所选周期内出现的任何模式举例说,多年来监测疟疾感染或住院散块图显示两个变量数据,用点对水平轴和垂直轴绘制此类数据可视化有助于显示变量间现有关系并可用于识别数据趋势或关联性

拟工具利用所有这些数据可视化资源提供疟疾发症综合透视并附加变量促成此类发病,以及那些可大大有助于理解监视和决策的不同过程的变量

必须考虑到某些局限性,才能看到拟议工具的贡献。初始限制指可有效测试的周期,受输入数据持续时间和采样频率的限制。输入数据不容易存取-数据应卫生监控基础请求提供并限于学习年限数据还限制不易更新,从而阻碍实时分析,这对于快速决策以及改善特定区域疟疾例控制将相当宝贵和必要。

可视化平台展示的另一个限制与视觉隐喻相关联,这些隐喻划分成不同的区块而不是单屏幕上,使不同可视化无法比较,这可能导致观众偏向分析另一问题是,虽然开发应用是解释性,但其清晰解释完全取决于每个特定对象的焦点:如果受众不专注于可视化所要显示的核心信息,它可能看起来不尽人意,然后在做分析的中心目的中保持无关紧要性。

关于Manaus案例研究,意图实施自动实时病媒控制系统帮助减少该区域的疟疾病例数据收集阶段遇到若干限制:不同卫生基金会托管和管理的不同系统难于准确视觉分析并阻碍获取最新数据

没有一个自动化数据收集系统能存储单数字化系统的信息从实验室、SPA和喷洒区收集数据完全人工完成,妨碍更准确和及时地控制该疾病尽管有这些限制,疟疾视觉分析可在其他州实施,精简和帮助数据收集和决策过程

通过这项工作,演示使用探索分析传统可视化工具,以便能够评价高维数据疟疾视觉分析工具旨在帮助研究人员和保健代理人员,特别是监督队工作人员了解亚马孙区域内外的疟疾事件,包括与其直接或间接相关的其他因素(如气候数据)。未来工作可包括快速数据采集和实时更新,一旦数据输入疟疾监控系统内的任何相关数据库。这将使综合数据库保持更新,从而更加现实地监测,从而实现更准确决策还可寻找数据分享和全球信息传播方面的潜在贡献最后,拟议平台背后的结构和设计方法可成为通过视觉数据挖掘监测其他疾病的基准

程序公开发布http://ipef2020.ddns.net:3838/malaria/.元数据集可以从Sironi下载少年Juracy山坡范德森Coimbra达尼洛拉塞拉 达维德巴雷托马科斯(2022年),“马拉西亚视觉分析学”,门德利数据V1https://doi.org/10.17632/d6426h6fhn.1.

作者想感谢支持这项工作者Bill & Melinda Gates基金会使我们加入全球大挑战方案,解决关键的全球卫生问题。感谢FVS/AM和FMT-HVD深入评论、宝贵反馈和巨大帮助向参加研究的卫生工作人员和实验室技师表示极大感谢

这项工作全部或部分得到Bill & Melinda Gates基金会支持[OPP1161996]

作者和附属关系

1. AtyImoLab-计算学院,巴西萨尔瓦多巴伊亚联邦大学

   Alberto Pietro Sironi,Juracy Bertoldo,Danilo Coimbra & Marcos Ennes Barreto

2. 亚马逊州卫生监督基金会,巴西马瑙斯

   范德森三宝

3. 巴伊亚联邦大学集体卫生学院,萨尔瓦多,巴西

   Juracy Bertoldo & Davide Rasella

4. 统计系伦敦经济政治学院,英国伦敦

   马科斯Ennes Barreto

交文

APS和JB努力获取和汇总数据并设计工具VS提供矢量控制数据访问并帮助设计马瑙斯案例研究DR支持流行病学分析并解读结果DC提供数据可视化隐喻和仪表板设计支持MEB协调整个研究并提供支持数据连接和可视化所有作者阅读并批准最终手稿

对应作者

对应到阿尔贝托皮特罗西罗尼.

道德核准并同意参赛

不适用

协议发布

手稿不包含可识别个人数据,故此许可发布不适用

竞技兴趣

作者声明不竞相利益

发布器注解

伟德体育在线Springer自然对发布地图和机构附属关系中的司法请求保持中立

开放存取文章依据创用CC4.0国际许可使用,允许使用、分享、改编、分发和复制任何介质或格式,只要你适当信任原创作者和源码提供链接并显示是否修改图片或其他第三方素材均载入文章Creative公共许可中,除非素材信用栏中另有表示素材未载入文章Creative公共许可中, 法定规则不允许使用或超出许可使用范围时, 需直接从版权持有者处获取许可 。查看许可副本访问http://creativecommons.org/licenses/by/4.0/.创用公共域免责http://creativecommons.org/publicdomain/zero/1.0/)适用于本条提供的数据,除非信用线对数据另有说明。

重印权限