过去的研究已将学生的参与程度或学生参与课堂活动的程度确定为决定教育计划质量和个别学生学习成绩的关键因素。结果，世界各地的许多教育工作者都在积极尝试设计使学生参与度最大化的课程。但是，有效而可靠地评估学生的 参与度可能会非常困难。因此，监视学生随时间推移在课堂上的参与和参与，而不会干扰或不利地影响他们的学习经验的技术将具有巨大的价值，因为它们可用于调查课程和教育策略的有效性。

德国蒂宾根大学和德国维森斯麦迪恩莱布尼兹研究所以及科罗拉多大学博尔德分校的研究人员最近研究了机器学习技术在课堂研究中评估学生参与度的潜力。更具体地说，他们设计了一种基于深度神经网络的体系结构，该体系结构可以通过分析在教室环境中收集的视频片段来估算学生的参与度。

“我们使用在课程中收集的相机数据来教授基于神经网络的模型来预测学生的参与程度，”进行这项研究的多学科团队的首席HCI研究人员Enkelejda Kasneci告诉TechXplore。“我们根据真实的数据(例如，基于教室录制的视频对学生的参与程度进行专家评分)对模型进行了训练。经过这次训练，该模型能够预测例如从特定时间的特定学生表示参与程度高或低。”

Kasneci和她的同事设计的模型可以扫描教室环境中拍摄的大型视频数据集，并确定学生参与度高低的实例。团队中领先的认知心理学家Peter Gerjets认为，这种方法可以帮助识别与学生高度关注相关的课堂教学策略，也可以用于教师培训计划中。

Gerjets解释说：“对于作为研究团队的我们来说，非常重要的一点是要强调，目标不是密切监视特定的学生，而是制定智能的交往策略以进行更有效的指导。” “它可以用来提高教学效果，但绝不能用于教师评估。实际上，当涉及到这些技术的应用目标时，使用机器学习来支持教学情景不仅是一个问题，而且也是一个问题。在研究的所有步骤中，我们都会密切关注需要讨论的有关隐私，透明性，公平性，问责制和预期用途的道德问题。”

在教室环境中拍摄的视频已经用于进行与教育相关的研究已有多年了。但是，到目前为止，这些视频通常是由人工评估者进行人工分析并加上注释的，他们被要求确定与他们所使用的特定项目相关的模式或细节。但是，计算机视觉和机器学习领域的最新进展使能够自动分析大量视频并识别其中特定模式的技术得以发展，其中包括图宾根和UC Boulder研究人员开发的一种模式。

Enkelejda Kasneci和Sidney D'Mello告诉TechXplore：“以前基于面部分析的大多数作品都是基于小型视频数据，并且依赖于良好的面部对齐和手工制作的功能。” “但是，深度学习为我们提供了从大数据中学习有用表示方法的机会，并提高了参与度分类器的性能。我们的研究旨在使参与度的自动估计尽可能无缝，而无需任何昂贵的手动评级或侵入式传感器。 ”

深度神经模型主要在视觉数据上训练。主要可以通过观察学生的注意力和他/她的情绪反应(即注意力和情感暗示)来衡量学生的参与水平。研究人员因此训练了两个残差神经网络，第一个(Attention-Net)被训练以估计学生的头指向的方向，第二个(Affect-Net)被训练通过分析他们的面部表情来确定他们的情绪。

卡斯涅奇说：“随后，我们基于这两种功能对读数分类器进行了训练，将参与度分为三类：低，中和高。” 这些分类器基于支持向量机，随机森林，多层感知器以及长期和短期记忆方法。”

研究人员没有在原始图像上训练算法，而是在深度嵌入(即这些图像的低维表示)上训练了它们。这使得它们可以使用非常有限的新数据(60秒的短视频序列)轻松地进行重新训练或个性化设置。

“总的来说，我们的研究表明深度学习可以有效地捕获课堂研究中的参与。广义的参与模式以及相应的教学内容可以用于设计更有效的教育策略，” Kasneci说。“通过这种方式，可以更有效地进行课堂研究，从而有助于提高教学效果。但是，除了道德考虑之外，还存在与深度学习有关的开放研究问题，例如与数据集和算法公平性，可解释性和健壮性有关的问题。 。”

在接下来的研究中，研究人员计划测试其技术的有效性和有效性，以评估不同群体学生的参与度。他们还将进一步发展其方法，以确保其可靠性，公平性和可解释性。

由于它是专门为研究目的而设计的，因此该模型可确保在录像中捕获学生的匿名性。此外，系统在提取原始视频素材后立即删除原始视频素材，并且仅存储与整个学生群体(而不是单个学生)相关的数据。从理论上讲，它可以随着时间的推移绘制每个学生的参与度，但可以轻松避免这种情况。

参与这项研究的教育心理学家乌尔里希·特拉乌特温(Ulrich Trautwein)告诉TechXplore：“我们计划在下一次研究中解决许多有趣的问题，它们涵盖了我们研究中更多与计算和内容相关的方面。” 。“我们的目标是更好地了解教室中不同程度的参与的前因，以及如何通过高质量的教学质量对其产生积极影响。在这一点上，我们还强调了参与是复杂的，并且当前技术主要关注公开的行为参与基于可见的行为，要衡量更隐蔽的参与状态(例如细化处理和思维游荡)，还有很多工作要做，但我要重申：我们强烈反对在现实世界的课堂中使用此类解决方案 出于道德原因以及这种安排可能对学生的动机和学习以及对教师权利的负面影响，对学生和教师进行监督。”