对于大规模开放在线课程(MOOCs)中基于多项选择题(MCQ)项目的评估质量，目前缺乏研究。生成此数据集是为了确定在MOOC评估中是否存在MCQ项目写作缺陷，如果存在，则评估其普遍性。因此，研究人员使用来自医学健康教育文献的评估方案，从MOOCs样本中评估MCQ，该文献在编写高质量MCQ项目方面有广泛的证据基础。
该数据集是从医学健康教育、生命科学和计算机科学领域的18个mooc的MCQ项目中整理出来的。两名研究人员使用基于证据的评估方案严格审查了204个问题。在提供的数据中，50%的MCQs(112)有一个或多个项目的写作缺陷，而28%的MCQs(57)有两个或两个以上的缺陷。因此，数据集中的大多数mcq都违反了项目写作准则，这反映了之前的研究结果，这些研究检查了传统正规教育背景下mcq的缺陷率。
尽管关于大规模开放在线课程(MOOCs)对获得正式认证资格的潜力的争论越来越多，但缺乏对其评估质量的研究，包括基于多项选择题(MCQ)项目的评估。这为我们对一些mooc进行探索性研究提供了动力，以确定mcq中项目写作缺陷的存在和普遍程度。完整的研究及其结果已在其他地方报道[1，2]，而不是这里提供的相关数据集。我们从医学健康教育、生命科学和计算机科学领域的mooc样本(18个)中收集了数据，两名研究人员使用来自医学健康教育文献的循证评估方案对这204个MCQ项目进行了批判性审查[3.］．项目写作缺陷已被证明会损害评估及其结果的可靠性和有效性，产生不一致和不可预测的影响[4，5，6］．例如，一项研究发现，在一系列科学考试中，有33-46%的问题存在缺陷，可能会让10-15%本应通过的考生不及格。4］．另一项研究发现了相反的情况，一些通过了包含有缺陷项目的护理考试的学生应该是不及格的。5］．因此，这里所描述的数据是为了确定这些缺陷是否存在于mooc中，以及存在的程度。
该数据集包含了人工评估人员对精选mooc中MCQ质量的评估。通过手动记录18门mooc课程的问题、作为潜在答案的选项(或干扰因素)和实际正确答案，收集了204个mcq，并将这些数据输入电子表格。然后，两名评估人员使用Tarrent等人采用的评估方案独立审查了204份mcq。[3.]，并列入工作簿“评估工具”下。我们通过谷歌表单做到了这一点。为格式为q的每个MCQ分配了唯一的id我- - - - - -j,在那里我MCQ属于哪个测试j是小测验中问题的序号。然后，我们用这些标识符的下拉菜单预先填充了谷歌表单。每个评估人员然后选择他们正在处理的问题的标识符，然后在表格中填写他们的评估，这简化了工作流程并使之同步。
这导致了电子表格的生成，它记录了每个评估者对204个mcq中的每一个的评估，考虑到15个特定项目的缺陷。例如，在工作簿“Evaluator 1 responses”中，单元格A21的值为“q11-7”，这表明它是数据中测试11中的第七个问题。在G21单元格中记录了值“no”，这告诉我们评估者1认为这个MCQ问题不包含合理的干扰因素。虽然确定什么是合理或不合理的干扰在某种程度上是主观的(尽管可能有来自统计项目分析的可量化数据支持)，但做出这一判断的评估人员是内容专家。令人难以置信的干扰物可以让学生很容易猜出正确答案，因为正确选项是唯一明显的选择。7］．在下一个工作簿“评估者2的回答”中，我们可以看到评估者2记录了相同的评估。然后评估人员比较他们的结果，讨论任何他们的结论不同的评估，然后达成一致意见的最终评估。这些结果记录在“综合评估”工作表中。
其他项目写作缺陷可以在没有人工评估人员的情况下识别出来。它们是:可能的正确选项的数量(1是最优的);是否正确的选项是最长的，因为最长的通常是正确的答案(这些是通过计算每个选项中的字符数来计算的);选项的数量(3或4被认为是最佳的[8]);是否“以上所有”或“以上所有都不是”是选项，因为这些违反了项目写作的最佳实践;最后，正确选项的位置(研究表明选项3或C通常是正确的)。每个MCQ的这些数据点记录在“量化项目”工作簿中。工作簿“表”1缺陷普遍性”给出了其他工作簿中原始结果的概要描述性统计。最后的工作手册“MOOC平台和机构”列出了每个MOOC的平台和机构。
其中包含的mooc和mcq样本相对较小。我们有特定的纳入标准，我们的数据收集有一些实际的限制。我们只考察了通过英语授课的慕课。我们将自己限制在研究人员具有专业知识的主题上，即专注于健康科学和计算机科学。我们参加mooc是为了参加测验，这是一种劳动密集型的数据收集方法。因此，我们根据方便样本，即不是真正的随机样本，对在数据收集窗口期间碰巧入学的课程进行抽样。然而，考虑到这一领域的研究缺乏，MOOC评估(包括正式学分的MOOC)的重要性日益增加，以及我们发现的大量错误，我们相信这项探索性研究的数据可能对其他人有用。
我们的大部分评估本质上是定性的。为了克服这一限制，两名评估人员独立工作进行评估，然后见面比较结果。计算了评分者之间的信度(科恩的Kappa评分为0.92)，表明在这一阶段有很高的一致性。然后，评估人员审查了不一致的项目，并创建了修订的综合分数。
我们不包括MOOC测试本身的问题数据，因为它们是MOOC平台提供商的版权。然而，我们很乐意根据要求与感兴趣的研究人员分享这些数据的进一步方面。
大型网上公开课程
多项选择题
科斯特洛，E.，布朗，M.， &霍兰德，J.(2016)。mooc在问什么问题?基于证据的调查。欧洲牛排商峰会(EMOOCS)，奥地利格拉茨，211-221。
科斯特洛E，霍兰德J，科万c。在线测试和评估的未来:mooc的质量问题。高等教育学报。2018;15(1):42。https://doi.org/10.1186/s41239-018-0124-z．
Tarrant M, Knierim A, Hayes SK, Ware J.用于高风险护理评估的多项选择题写作缺陷的频率。护理教育实践。2006;26(8):662-71。https://doi.org/10.1016/j.nedt.2006.07.006．
唐宁SM。违反标准题型编写原则对考试和学生的影响:医学教育成绩考试中使用有缺陷题型的后果。中国卫生科学与教育，2005;10(2):133-43。https://doi.org/10.1007/s10459-004-4019-5．
塔兰特M, Ware J.单项选择题写作缺陷对学生在高风险护理评估中的成绩的影响。医学教育，2008;42(2):198-206。https://doi.org/10.1111/j.1365-2923.2007.02957.x．
Pais J, Silva A, Guimarães B, Povo A, Coelho E, Silva- pereira F, Lourinho I, Ferreira MA, Severo M.题型写作缺陷会降低考试心理测量质量吗?BMC Res Notes. 2016;9(1):399。https://doi.org/10.1186/s13104-016-2202-4．
案例SM，斯旺森DB。构建基础科学和临床科学的笔试问题。费城:全国法医委员会;2002.
对于多项选择题，有三个选项是最优的:一项对80年研究的元分析。教育科学。2005;24(2):3-13。https://doi.org/10.1111/j.1745-3992.2005.00006.x．
科斯特洛E，柯文C. MOOCs mcq评估常见项目写作缺陷数据集[数据集]。Zenodo》2018。https://doi.org/10.5281/zenodo.1453420．
EC设计了这项研究。EC和JCH进行了研究文献综述。EC和CK收集数据。选举委员会和CK进行了评估。欧盟委员会进行了分析。所有作者都阅读并批准了最终的手稿。
感谢开放教育单位和都柏林城市大学国家数字学习研究所的支持。
作者宣称他们之间没有利益冲突。
本数据说明中描述的数据可以在Zenodo上自由和公开地访问https://doi.org/10.5281/zenodo.1487858［9］．
请参阅表格1有关详细信息和数据链接。
不适用。
这项研究没有人类受试者，因此根据作者一的机构审查委员会指南，不需要获得许可。
作者声明没有资金来源。
伟德体育在线施普林格自然对出版的地图和机构从属关系中的管辖权主张保持中立。
开放获取本文根据创作共用属性4.0国际许可协议(http://creativecommons.org/licenses/by/4.0/)，允许在任何媒介上不受限制地使用、分发和复制，前提是您对原作者和来源给予适当的赞扬，提供到创作共用许可证的链接，并注明是否进行了更改。创作共用公共领域奉献弃权书(http://creativecommons.org/publicdomain/zero/1.0/)除另有说明外，适用于本条所提供的资料。
Costello, E. Holland, J.C. & Kirwan, C. MOOCs中mcq对常见项目写作缺陷的评估。BMC Res Notes11， 849(2018)。https://doi.org/10.1186/s13104-018-3959-4
收到了：
接受：
发表：
DOI：https://doi.org/10.1186/s13104-018-3959-4