在线学习环境中的同伴评估是否有效？对文献的系统回顾外文翻译资料

在线学习环境中的同伴评估是否有效？对文献的系统回顾

Thyago Tenorioa 阿拉戈斯联邦大学（UFAL）

IgIbert Bittencourt 阿拉戈斯联邦大学（UFAL）计算机研究所，西蒙大学，西德阿德里亚分校

Seiji Isotani 巴西圣保罗大学（USP）数学与计算机科学研究所

摘要：在线学习环境中越来越多地使用对等评估（PA）方法来支持学生和教师的教育过程。但是，社区仍然缺乏对同伴评估在这些教育环境中的行为的全面了解，因为没有研究可以对在这种情况下进行的研究进行分析，无法分析使用同伴评估的好处和缺点。同行评估。因此，这项工作的主要目标是调查和更好地理解PA如何在学生学习中发挥作用以及如何为所涉及的老师带来好处。为了实现我们的目标，我们进行了系统的文献综述（系统文献综述）。总而言之，主要发现是：（1）有经验证据表明在工业界和学术界以及几个教育水平上使用PA的好处。 （2）PA主要用于更正在线课程的书面活动； （3）约60％的文章显示学生的PA表现有所改善； （4）大约1/3的研究表明，PA为教师带来了一些好处； （5）在某些研究中，PA的使用存在困难，尤其是与学生动机有关的问题，这会损害同行评议过程。

关键词：同伴评估；对等评估；学生动机；同伴评估有效性

1.介绍

信息和通信技术在教育中的应用日益受到重视，并成为教育过程的主动力。近年来，一些国家已经对其教学方法进行了调整，以促进和支持在课堂课程和远程学习课程中使用技术。在远程教育的背景下（一种由技术介导的教育方式，学生和教师在空间和/或时间上是分隔开的，或者在教室环境中并不物理存在），这些工具的使用变得极为重要。保持学生与老师之间的多方沟通很重要。

目前，有几种支持这种教育的技术，例如智能补习系统，虚拟学习环境，支持的协作学习和最近的大规模开放在线课程。

这些技术允许在这些环境中提供视频会议内容，实施社交论坛和监视学生进度的可扩展方式。但是，我们评估和反馈学生复杂工作的能力仍然有限，并且经常开放（书面评估），例如数学证明，问题设计和论文。

面对这样的困难，这些在线学习环境通常会为其用户提供更简单的解决方案，例如，作为多项选择题的客观性问题，对错，填空或与栏目相关的问题，因为可以纠正这种问题。由计算机自动执行。然而，在更复杂的活动的背景下，将会给老师带来很大的负担。

为了解决这个问题，社区开始使用对等评估技术。同伴评估是一个过程，学生或同伴根据老师预先确定的标准附加分数或测验。这种做法可节省老师的时间，提高学生对课程材料的理解，并提高他们的元认知能力，从而提高了工作效率。

在在线学习的情况下，系统管理学生之间的更正，即学生纠正同伴的书面活动。文献中发表了一些关于同伴评估的方法，例如形成方法，概率模型，甚至使用贝叶斯网络的模型。

同行评估提供了一种有前途的解决方案，可以扩展针对数十万甚至数十万学生的课程中的复杂活动的分类，例如，可以对写作活动进行校正。

表演不一定会因教师的过度工作而增加成本。它的使用为学生带来了许多好处，例如：责任感和自主性增加；它激发学生努力对科目，技能和过程进行更高级和更深刻的理解；它使学生在学习中发挥积极作用；它使学生参与批判性思维，并加深对自己的主观性和判断力的理解。

结果，这种技术带来了许多教育益处，例如增加了学生的学习，尤其是减轻了教师的负担。但是，社区仍然缺乏对同伴评估在这些教育环境中的行为的全面了解，因为没有研究可以对在这种情况下进行的研究进行分析，以分析使用同伴评估的好处和缺点。 。

因此，调查和更好地理解同伴评估方法如何有助于学生学习以及如何给教师带来好处是非常重要的。同样重要的是，调查是否有真正的证据表明对等评估方法对在线学习环境的改善。此外，我们还需要了解：（1）同行评议方法在哪些背景和教育水平上得到了最多的研究？ （2）使用它的目的是什么？ （3）是否有证据表明使用同伴评估方法可以提高学生的表现？ （4）是否有证据表明使用它们有助于教师的工作？（5）在在线学习环境中使用同伴评估方法有困难吗？

尽管在在线学习环境中使用对等评估的研究数量已经大大增加，但是还没有研究提供有关在在线学习环境中应用这种技术的最新分析的研究，对其实施的优点和缺点进行分析。

因此，本文提出了系统文献综述。我们的目的是更好地了解对等评估在在线学习环境中的使用方式，并确定对等评估的应用方式。通过这种方式，本文介绍了2004年1月至2014年10月发表的系统文献综述的研究结果，简而言之是：（1）有经验证据表明，在行业和学术界，以及在一些领域中，使用对等评估方法的好处。教育水平，然而，从学术角度来看，大多数研究都将其用于高等教育水平； （2）同伴评估已被用于许多不同的目标，但是大多数研究都将纠正在线课程上的书面活动作为主要目标； （3）以经验的方式表明，约60％的《同伴评估》旨在提高学生的表现； （4）大约1/3的研究表明，使用同伴评估会给教师带来一些好处；（5）在某些研究中使用同伴

评估技术存在困难，例如过程消耗的上课时间量，学生动力不足转化为无法按时完成任务，以及难以获得过程学习成果的困难。此外，学生不断报告不满意，这会损害同行评审过程。

本文的其余部分安排如下：第2节介绍了一些初始注意事项。然后，第3节显示了研究方案的主要方面。执行过程在第4节中，对结果的分析在第5节中显示。接下来，第6节显示了有关系统评价的一些讨论，例如范围和对有效性的威胁。最后，第7节介绍了论文的结论。

2.初步考虑

系统文献综述是一种识别，评估和解释与特定研究问题，主题领域或感兴趣现象有关的所有可用研究的方法，旨在合成一组现有研究，而不会对结果产生偏见。使用系统文献综述可以收集得出结论的依据。从这个意义上讲，应该根据预定的搜索策略进行系统文献综述。在系统的审查过程中，研究人员必须识别和报告与他们的研究问题相关的研究，并应识别和报告与他们的问题无关的研究。

为了执行此系统文献综述，使用了Kitchenham 和Charters提出的指南和系统的审查协议模板。根据这些准则，系统文献综述流程包括几个活动，这些活动可以分为三个主要阶段：规划系统文献综述，进行系统文献综述和报告系统文献综述。它包括以下步骤：（1）确定是否需要系统审查；（2）提出重点复习问题； （3）全面，详尽地搜索基础研究； （4）纳入研究的质量评估； （5）确定回答研究问题所需的数据； （6）数据提取； （7）研究结果的总结与综合； （8）解释结果以确定其适用性； （9）撰写报告。

系统文献综述的主要优点是其方法已得到很好的定义。主要的缺点是与传统的文献综述相比，它们需要付出更多的努力。进行此系统文献综述的主要原因是概述了文献中涉及在在线学习环境中使用对等评估技术的文献。

使用软件工具来支持数据库协议定义。该工具称为通过系统评价获得最新技术，用于为进行系统文献综述的研究人员提供支持。已经对通过系统评价获得最新技术进行了实证评估，并证明了该工具在执行系统文献综述方面取得了积极的成果。

系统的文献综述过程始于研究方案的定义。这负责定义将用于进行评审过程的研究问题和方法。因此，该协议可以被视为系统文献综述的基本目标。为了减少研究人员造成的偏见，并使系统的审查成为可复制的过程，在工作开始之前定义协议非常重要。因此，第一步是为建议的系统文献综述建立协议，第3节介绍了该方法。

3.单反协议

本节旨在介绍拟议的系统文献综述的方案。这是第一步，重要的是在定义中存在一些明显的问题，例如主要研究目标的定义，研究问题的定义，搜索字符串的创建，用于评估研究以及规划和选择研究的技术的定义搜索引擎和文章。

所有这些信息都是必不可少的，它们将定义系统文献综述的成功性和可重复性。因此，以下小节定义了所需的协议信息。 3.1小节概述了协议，目标，解决的问题和研究问题。 3.2小节定义了要使用的搜索策略，搜索字符串以及将使用哪些书目数据库作为研究来源，最后在3.3小节中介绍了研究的选择标准（包括和排除）。

3.1一般说明

进行系统文献综述的第一步是确定研究目标和要解决的问题。因此，我们提出了一系列研究问题，这些问题将在整个评论中使用。因此，系统文献综述具有以下特征：

标题：关于在线学习环境中使用同伴评估的系统文献综述。

主要目标：本系统综述的主要目的是概述文献中涉及使用对等评估技术应用于在线学习环境的论文。

高级别问题：在线学习环境中如何使用对等评估方法？1

下一步是定义特殊的研究问题。这些问题及其描述和动机在表1中进行了描述。

上面提出的这些问题是此系统文献综述的基本基础。他们为我们提供了足够的信息，以分析在这些环境中Q2（QP1和QP2）如何使用对等评估及其目标，对教师和学生的益处（QP3和QP4）以及在使用中的潜在问题（QP5）。

3.2搜索策略

在开始系统研究之前，有必要为基础研究定义搜索策略，基础研究是调查问题特定搜索的实证研究（Keele，2007）。从广义上讲，该策略包括两个阶段：第一，定义关键词和研究语义；第二，定义关键词。第二个因素决定将哪些数字图书馆，期刊和会议用作研究来源。下面讨论这两个步骤。

首先，在第一步中，它必须定义提议的修订的关键字是什么。这些关键词可以从研究问题的定义中识别出来，并为它们确定一套同义词。通过研究问题定义的关键字（及其同义词）如下：

1.同行评估（同行评审，共同评估，同行评分，自我评估）；

2.在线学习环境（大规模开放在线课程，MOOC，智能辅导系统，ITS，协作学习，计算机支持的协作学习，CSCL，在线课程）；

3.学生（学习者）；

4.老师（导师）。

之后，可以通过使用已识别同义词之间的逻辑运算符（OR），通过关键字及其同义词的组合来构建搜索字符串，而关键字之间将使用运算符（AND）。结果，生成了以下术语：

1.“同行评估”或“同行评审”或“共同评估”或

2.“同行评等”

3.“自我评估”

4.“在线学习环境”或“在线课程”

5.“大规模开放式在线课程”或“ MOOC”

6.“智能辅导系统”或“ ITS”

7.“协作学习”或“计算机支持的协作学习”或“CSCL”

8.“学生”或“学习者”

9.“老师”或“老师”

这些针对不同类型的学习环境和用户的搜索词按以下方式组合：

（（1或2）AND（3或4或5或6）AND（7或8））

下一步是定义要执行搜索的数字图书馆（DL）。此外，有必要使DL满足以下标准，以便在本次审查中予以考虑：

书目数据库中文章的可用性；关键字的搜索可用性（将由搜索字符串决定）；

书目数据库的相关性很高。

根据提出的纳入标准，本研究中选择的数字图书馆为：

ACM数字图书馆（http://portal.acm.org）

IEEE Xplore（http://ieeexplore.ieee.org）

爱思唯尔（Science Direct）（http://www.sciencedirect.com）

Elsevier Scopus（http://www.scopus.com）

Springer Link（http://link.springer.com）

Compendex（http://www.engineeringvillage.com）

ISI知识网（http://wokinfo.com）

3.3研究选择

系统文献综述协议定义的下一步旨在通过基于研究问题，字符串搜索为将要选择的文章创建一些选择标准（包括，排他和质量）来改善获得的结果以及要使用的书目数据库（Keele，2007年）。这些标准是对提取的文章进行评估的参考点，从而决定是否将此类文章纳入系统评价。

定义一套标准的目的是确定那些能够提供有关研究问题的直接证据并减少偏见的可能性的主要论文（Keele，2007）。一项研究应根据其与提出的研究问题的相关性纳入系统的文献综述。

如果研究提出了自2004年1月至2014年10月（10年）以来发表的经过同行评审的初步研究，并且对在在线学习环境中使用对等评估方法做出了某些贡献，则这些研究可以被纳入评论。 ，包括专注于在在线教育环境中使用同伴评估技术的研究，目的是：增强学生的学习体验和/或帮助教师减轻他们的工作量，以及提供有关优势/劣势/问题的一些经验证据的研究-同伴评估技术的障碍。它们还应满足最低质量阈值。

另一方面，排除标准是那些将删除系统评价研究的标准。通常，由于某种原因，这些研究与系统的文献综述没有足够的相关性。如果研究是中专或大专，短篇论文，未经同行评审，重复，非英语写作的灰色文学论文（例如，书籍，论文，论文等），相同作者身份的多余论文（如果他们重点不在在线学习环境中（超出范围）和不完整的研究中（在工作中存在缺陷和/或没有足够的理论基础或没有明确结果的研究）使用同伴评估方法。

此外，如果有几篇文章报道了同一项研究，则仅选择最新的。同样，如果一项研究包含多个研究，则将分别对其进行处理评估的。

表2列出了汇总的纳入和排除标准。

最后，我们必须定义质量标准。它有助于选择和确定有关研究质量和潜力的关键研究。所选研究的质量评估（QA）是通过一种评分技术来评估所选研究的可信度，完整性和相关性（Dermeval等人，2015）。

大多数质量评估标准是从提供文

剩余内容已隐藏，支付完成后下载完整资料

英语原文共 14 页，剩余内容已隐藏，支付完成后下载完整资料

资料编号：[272025]，资料为PDF文档或Word文档，PDF文档可免费转换为Word