原文地址
这篇文章是非侵入式课堂追踪系统的工作后续,本研究的重点是了解如何使用眼球追踪数据和脑电信号数据来测量学生的注意力,研究眼部数据与脑波信号之间是否具有相关性
注意力是学习过程的第一步,是有选择性地集中在一个特定的信息上,而忽略其他可感知的因素的行为和认知过程LearningAssessmentUsingBrain-ComputerInterfaces:AreYouPay-ingAttention?本文将探讨学生注意力和理解的不同方面,以了解如何将这些输入聚合起来,训练一个机器学习模型,以预测学习者的注意力模式。
用于注意力量化的BCI设备
在NiCATS中有提过,NiCATS是基于面部表情、眼睛注视和共同感兴趣的区域来测量注意力,眼动仪如下的TobiiEyeTracker4c。中的另外两款设备是NeuroSky神念科技的Mindwavemobile2脑立方2代和Mindset意念耳机,都是非侵入式脑电设备,当使用者戴上时,可以捕抓其脑电波并输出脑电功率谱,两款耳机都使用了神念科技的ThinkGear通信驱动程序库,ThinkGear是一种单一的干式传感器技术,可以对用户大脑产生的脑电信号进行测量、放大和过滤。结合NeuroSky的专利eSense™算法,它允许使用者量化各种EEG信号成分的强度。
数据收集
首先将网络摄像头和眼动仪装在每个学生端计算机的屏幕上,如,眼动仪进行个人校准,并部署好客户端的软件。然后每个学生都戴着一个单通道无线MindSetBCI设备。ThinkGear软件在COM端口上通过蓝牙发送数据,而BCIEEG客户端则从设备中获取流数据。NiCATS收集网络摄像头拍下的面部表情,眼部数据以及屏幕截,意念耳机则发送脑电波信号
面部表情片:网络摄像头每隔5秒捕捉学生的像眼部数据:眼动仪检测扫视和注视,连续注视点被分为0.5s到15s之间不同时长的块屏幕截:当学生使用键鼠设备使得显示器内容发生显著变化时截,若没有干预则每15s截一次EEG信号:Mindset收集脑电功率值,并且根据算法解释这些脑电频带功率值的单位、振幅和意义,除了可以输出几个波段的脑波外,Mindset以及Mindwave还可以输出神念自家定义的专注度、放松度、眨眼强度等:
下是非侵入式注意力追踪系统+脑机接口系统的工作流程:
实验环节
每位来自计算机学院的参与者的PC里安装了NiCATS客户端软件和Tobii眼动跟踪软件,Tobii眼动追踪软件针对个人进行校准以确保准确性。再安装好ThinkGear软件,参与者佩戴好MindSet耳机。参与者会收到四个包含各种隐藏错误的Java源代码示例。代码示例与全屏像同时显示,以便在参与者之间比较提取的眼睛数据模式。每个代码示例都包含三个到七个语法或逻辑错误,每个错误都代表了参与者在课程中会遇到的常见错误,如下:NiCATS客户端软件采集用户面部像、眼球注视点和屏幕截。BCI客户端收集脑电功率谱、专注度、放松度和眨眼强度,所有数据都存储在数据库中。参与者被指示在测试结束时关闭NiCATS程序。
数据分析和结果解释
文章为作者独立观点,不代表 股票程序化软件自动交易接口观点