英语原文共 10 页，剩余内容已隐藏，支付完成后下载完整资料

学生在大学预科院校使用手提电脑电子考试系统的经验

马修希利尔 和 纳撒尼尔·里昂

莫纳什大学, 澳大利亚, Mathew.Hillier@monash.edu

莫纳什大学, 澳大利亚, Nathaniel.Lyon@monashcollege.edu.au

摘要：这项研究调查了学生对2016年和2017年在澳大利亚大学预科学院进行的试验中使用的基于笔记本电脑的电子考试系统的看法。这个试验在两个不同的学科中，分别是地理和全球化。数据收集采用事前事后调查(人数：128)，包括定性评论和项目。收集学生是有关电子考试系统的易用性、技术可靠性、评估任务的适宜性以及考试过程的后勤方面的看法。许多打字员是第一次参加计算机监督测试。在考试之后，打字者和手写者之间关于学生未来使用意图的意见分歧变得更加突出。

关键字：电子考试系统， 评估、学生认知、接受。

导言和背景

在这项研究中，我们将电子考试作为一种“利用每个考生自己的计算机运行一个操作系统进行的计时、监督、评估”[1]。我们要补充的是，使用真正的软件应用程序作为考试环境的一部分是我们方法的一个重要因素。因此，我们将我们的考试方法与仅限于学习内容管理系统的测试或功能的“在线评估”区别开来(或者是测试软件(或测试软件)，这些软件可能或不直接受到人类的直接监督。

这项研究是一个更广泛的项目[2，3，4]的一部分，目的是调查在考试大厅和教室中进行的具有监督的适合澳大利亚高等教育的背景的高风险评估的真实方法。在这方面，我们的论文偏离了我们已经进行的其他试验，我们在这里集中讨论了电子考试在大学入学前的使用。

本文探讨了与电子考试有关的文献，包括与学生选择和接受电子考试方法有关的问题。数据是在评估前和评估后的调查中通过书面评论和选项所表达的内容的学生的印象中收集而来。

文献

在过去的十年里，计算机化的考试越来越受到重视。虽然最早报告的用于评估的计算机之一是1965年[5]，但在世界各地的高等教育或学校系统中，笔试几乎没有什么变化。ER考试发生在世界各地的高等教育或学校系统中。直到最近，人们的注意力才转移到考场。 [6和1]审查了在高等教育中进行的努力的例子和其他方面。国际信息处理技术委员会第三届教育会议制定的“都柏林宣言”为计算机评估确定了未来的方向[7] ：

“要确保电脑在教育中的有效运用，必须发展公平、可靠和弹性强的电脑评估方法。评估方法必须远远超越纸面评估方法。” 评估，以及对计算机的自动化程度超过了管理上的方便程度。在有时间、有监督的评估中使用计算机提供了根据计算思维改变课程的机会。“

特别是建议电子考试必须：

“符合现代职场实践和许多学生学习经验的真实评估”。^[7]

我们特别发现，在高风险考试中推广真实评估[8]的想法引起了共鸣。实现这种评估的一种方法是向考场的考生提供丰富的软件工具。这样做就有可能设计在监督条件下完成的复杂的已构建的评估任务。这使得评估设计人员能够推进模型[9，10]的修改和阶段，或以“高级思维”为目标，对“高级思维”进行评价。诸如“安全考试环境”和[4]中描述的工作这样的系统将真实的评估置于项目的核心位置。本研究使用的电子考试平台[4]使用了自带笔记本电脑的方法，并提供了相同的完整操作系统和应用程序套件，其中包括办公套件、多媒体工具和d可选修的特定学科应用程序(例如数学、计算机辅助设计、化学、会计)。在这个例子中，我们使用了功能齐全的字处理器作为问题表示和回答环境，从而提供了一个通常用于生成文章和报告的真实工具。

用户对易用性和有用性(适合于目的)的看法和态度被发现是人们接受新计算机技术的重要因素[12，13]。，但并不是唯一起作用的因素[14]。这尤其适用于学生，因为他们是受电子考试系统最直接影响的人，尽管他们在选择部署在电子考试系统中的软件时往往没有很强的发言权而依赖于教育机构。因此，如果我们希望顺利接受和运行高风险的电子考试系统，就必须确保他们的意见得到听取。在英国大学对学生进行的一项调查[15]中，他们在通过直觉回答问卷，包含了一系列的话题。其他研究包括在加拿大的药剂学课程中使用新的药物[16]和一项机构范围的调查[17]，以了解学生在澳大利亚大学进行电子考试之前的希望和恐惧。在后一项研究之后，进行了电子考试试验，探讨了学生在这一过程中的经验[18]。这些关于学生对电子考试过程的看法的研究为我们构建了本研究中使用的调查工具提供了参考。

另一个特点是每个系统架构师如何对待技术可靠性的概念。如果电子考试解决方案在考试期间严重依赖网络，那么对整个学生造成“单点失败”的风险就会增加，因此，更需要确保额外的冗余措施。这项研究[17]报告说，对技术失败的恐惧是阻碍学生采用和打算使用电子考试的主要障碍。最近在澳大利亚的一次全国高风险医疗委员会电子考试中发生的一例失败案例[19，20]突出表明，迫切需要确保一个健全的系统，并取消“单点故障”设计。早期的在线评估系统往往在网络退出时停止工作。web技术的进步现在意味着某些系统可以处理或减轻短时间内的网络(例如自动保存)，但是扩展后会导致更多的不受控制的会话结束。 只有少数电子考试系统不需要网络连接能够继续运行并成功地完成电子考试会话。这包括在本研究中使用的商业产品lsquo;考试软件rsquo;[21]和电子考试平台[2，4]。避免系统范围内的故障意味着任何确实发生的技术问题都可能与单个学生隔离。因此，可以根据现有的考试协议对问题进行处理，包括个人考试、中断考试和额外考试时间。

对先前工作的审查概述了几个令人关切的领域，这些领域将作为我们在本研究报告中评价的重点。这些都在表1中。

表 1：调查领域

研究内容

在澳大利亚，第一作者正在进行一个全国范围的项目，调查在考场使用便携式电脑进行的可伸缩的真实评估[2，4]。这项研究是在“基础年”课程期间在澳大利亚普莱克学院进行的。该课程的水平相当于澳大利亚12年级高中毕业证书或国际高中毕业证书。 这项研究是与第二位作者一起进行的，他是进行审判的两个单位的单位协调员和教师。 试验采用课堂监督的书面评估方法进行。它们的形式是几个小案例，包括照片、图表和数据表，每一个都有一个或几个问题，需要一个简短的文本或文章风格的回答。

方法和策略

这项研究在学院的两个独立单元进行了两次电子考试系统和方法的现场试验，涉及128名学生。选择的单元是2016年第一学期的 以及2017年第二学期的全球化。用于运行每个试验的过程如下表2所示。

表 2：电子考试试验过程

非分级实习是在课堂上进行的，所有学生都参加.学生可以自由选择打字或笔迹参加真正的考试。

选择表3至表5所示的回答性调查问题，用SPSS统计软件进行统计分析。与学生意见相关的数据被视为非参数数据[23]。另一项研究[15]在分析学生对电子评估系统经验的看法时也是如此。秩和检验[24]被用于检验各组间的主要差异。当比较配对后的项目时，采用了符合正态分布差异要求的符号等级测验[25]将被使用。卡方分布同样被用于用于测试是否遇到了技术问题，影响了输入考试的决定。

重要的是要注意参与者不是被随机分配到打字组或手写组，所以结果只是描述这个组。按照[15]，我们的立场是，统计测验是一种工具，用来表达学生的意见，而不是代表客观的真理。

发现

试验涉及128名大专生，其中女生占65%，男生占35%。我们检查了学生对他们第一次接触电子考试系统的不同意见。 我们检查了学生们对他们第一次遇到新系统的看法，他们的区别在于那些继续输入考试的人和那些使用秩和检验进行手写的人。表3显示了在考试前的调查中收集到的结果(强烈同意5项，中立3项，强烈反对1项)(在练习中完成)。最大的区别是“我想在将来的考试中使用电脑”(U=842.5，p=lt;.001)。为了清楚起见，表中列出了平均值和标准偏差。

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[19745]，资料为PDF文档或Word文档，PDF文档可免费转换为Word