一种智能录播模型的构建方法、装置及教学智能录播方法 - 专利探索者 - 佰腾专利检索

摘要:

本发明提供一种智能录播模型的构建方法及装置,其是运用opencv视觉库分别处理事先采集的包含不同的手部、头部、脸部动作的图像,将其转换成单通道灰度图像,然后将图片集制作成keras能识别的数据集;在预先构建的通用卷积神经网络中创建三个分支,分别用于识别手部、头部和脸部动作,这三个分支全连接层末端分别添加softmax层,得到初始卷积的神经网络;分别将处理后的图像的数据输入所述初始神经网络进行训练,最终得到一个训练好的神经网络模型。本发明还将该神经网络模型应用于教学中形成教学智能录播方法,用于识别课堂上学生的手部动作、头部动作和脸部动作是否为不认真听讲,并发送给教师机,便于教师根据该信息决定是否提问或者改变教学策略。 - 专利探索者 - 佰腾专利检索

申请号: CN201711403587.0 专利名称: 一种智能录播模型的构建方法、装置及教学智能录播方法 申请(专利权)人: [福州瑞芯微电子股份有限公司] 发明人: [陈时钦, 吴丽] 其他信息:
1.一种智能录播模型的构建方法,其特征在于:包括: 步骤S1、运用opencv视觉库分别处理事先采集的包含不同的手部、头部、脸部动作的图 像,将其转换成格式固定的单通道灰度图像,然后将图片集制作成keras能识别的数据集; 步骤S2、在预先构建的通用卷积神经网络中创建上中下三个分支,分别用于识别手部 动作、头部动作和脸部动作,在这三个分支全连接层末端分别添加一个softmax层,由此得 到初始卷积的神经网络; 步骤S3、分别将步骤S1中处理后的图像的数据输入所述初始神经网络进行训练,通过 输入的手、头、脸三个特征向量,以及预设的三个分支的权重,根据梯度下降算法计算,最终 得到一个训练好的神经网络模型。 2.根据权利要求1所述的一种智能录播模型的构建方法,其特征在于:所述步骤S3中, 在训练的过程中根据实际情况增加或减少对应分支的权重进行计算。 3.根据权利要求1所述的一种智能录播模型的构建方法,其特征在于:还包括: 步骤S4、当一轮训练结束后,输入新的图像进行测试,如果低于预定的成功率,就进行 新一轮的训练,直到达到或者超过该概率为止。 4.一种智能录播模型的构建装置,该装置为嵌入式设备或计算机设备,包括存储器、处 理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于:所述处理器执行 所述程序时实现以下步骤: 步骤S1、运用opencv视觉库分别处理事先采集的包含不同的手部、头部、脸部动作的图 像,将其转换成格式固定的单通道灰度图像,然后将图片集制作成keras能识别的数据集; 步骤S2、在预先构建的通用卷积神经网络中创建上中下三个分支,分别用于识别手部 动作、头部动作和脸部动作,在这三个分支全连接层末端分别添加一个softmax层,由此得 到初始卷积的神经网络; 步骤S3、分别将步骤S1中处理后的图像的数据输入所述初始神经网络进行训练,通过 输入的手、头、脸三个特征向量,以及预设的三个分支的权重,根据梯度下降算法计算,最终 得到一个训练好的神经网络模型。 5.根据权利要求4所述的一种智能录播模型的构建装置,其特征在于:所述步骤S3中, 在训练的过程中根据实际情况增加或减少对应分支的权重进行计算。 6.根据权利要求4所述的一种智能录播模型的构建装置,其特征在于:还包括: 步骤S4、当一轮训练结束后,输入新的图像进行测试,如果低于预定的成功率,就进行 新一轮的训练,直到达到或者超过该概率为止。 7.一种教学智能录播方法,其特征在于:包括: 步骤10、事先通过摄像头采集不认真听讲学生的手部、头部、脸部动作的图像,然后利 用如权利要求1至3任一项智能录播模型的构建方法构建教学智能录播模型; 步骤20、课堂教学时,通过摄像头在课堂上采集学生的姿态和手势动作的图像,并导入 到所述教学智能录播模型; 步骤30、由所述教学智能录播模型将各个学生图像导入训练好的卷积神经网络模型进 行识别进行识别,如果发现有不认真听讲的学生,则实时通知课堂教师主机。 8.根据权利要求7所述的一种教学智能录播方法,其特征在于:所述步骤20中,采集图 像前先通过人脸识别技术,确定学生个数以及相应的位置,并对各个学生做好标记,建立对 应的数据库。 9.根据权利要求7所述的一种教学智能录播方法,其特征在于:所述步骤20中,采集图 像的方式是:通过调整摄像头的位置,对每个学生进行特写,每隔两分钟拍摄各个学生连续 300张照片。 10.根据权利要求7所述的一种教学智能录播方法,其特征在于:所述步骤30中,如果连 续五个两分钟,该学生均被判定为不认真听讲,在通知课堂教师主机之前或同时,先对该学 生进行标记,并将中间的摄像头对准该学生进行警示。 11.根据权利要求7或10所述的一种教学智能录播方法,其特征在于:所述步骤30中,所 述通知的方式是调整位于教室中间的摄像头的位置,将其对准该学生拍摄,并将拍摄的照 片发给教师主机。
< p > 一种智能录播模型的构建方法、装置及教学智能录播方法 < /p > < p > 技术领域 < /p > < p > 本发明涉及一种录播方法,特别涉及一种基于卷积神经网络的智能录播方法。 < /p > < p > 背景技术 < /p > < p > 目前市面上的录播主机各式各样,但几乎不存在在课堂上实时地将学生的行为与 教师的教学智能化联系在一起,在教学上的应用也只是记录相关数据作为事后教学的参 考。 < /p > < p > 2014-04-30公开的,公开号为103761983A的中国发明揭示了一种在教育系统中实 现实时录播的方法及系统,所述系统包括:学生电脑桌,实时录播学生的学习状况;教师讲 台实时录播教师的教学状况;多个位置识别器,用于识别用户身份信息和位置信息令;控制 服务器,用于在多个位置识别器识别用户身份和位置信息后,触发学生电脑桌或者教师讲 台完成实时录播,以及存储学生电脑桌发送的实时录播学生的学习状况信息,以及教师讲 台发送的实时录播教室的教学状况信息。通过本发明实施例,通过位置识别器存储所匹配 的用户信息,能够相对应的实时录播学习状况信息和教师状况信息,并能根据相应的关系 存储在控制服务器中,并由控制服务器提供相应的访问接口,能够满足授权用户的访问。该 主要实现由控制服务器统一控制触发教师与学生端实时录播,并供授权用户访问,并没有 将学生的状态实时传送给授课中的教师,不能实时地将学生的行为与教师的教学智能化联 系在一起。 < /p > < p > 发明内容 < /p > < p > 本发明要解决的技术问题,在于提供一种智能录播模型的构建方法及装置,用于 构建智能录播的神经网络模型,可以用于识别人体的手部动作、头部动作和脸部动作。 < /p > < p > 本发明方法是这样实现的:一种智能录播模型的构建方法,包括: < /p > < p > 步骤S1、运用opencv视觉库分别处理事先采集的包含不同的手部、头部、脸部动作 的图像,将其转换成格式固定的单通道灰度图像,然后将图片集制作成keras能识别的数据 集; < /p > < p > 步骤S2、在预先构建的通用卷积神经网络中创建上中下三个分支,分别用于识别 手部动作、头部动作和脸部动作,在这三个分支全连接层末端分别添加一个softmax层,由 此得到初始卷积的神经网络; < !-- SIPO < DP n="1" > -- > < /p > < p > 步骤S3、分别将步骤S1中处理后的图像的数据输入所述初始神经网络进行训练, 通过输入的手、头、脸三个特征向量,以及预设的三个分支的权重,根据梯度下降算法计算, 最终得到一个训练好的神经网络模型。 < /p > < p > 本发明装置是这样实现的:一种智能录播模型的构建装置,该装置为嵌入式设备 或计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序, 所述处理器执行所述程序时实现以下步骤: < /p > < p > 步骤S1、运用opencv视觉库分别处理事先采集的包含不同的手部、头部、脸部动作 的图像,将其转换成格式固定的单通道灰度图像,然后将图片集制作成keras能识别的数据 集; < /p > < p > 步骤S2、在预先构建的通用卷积神经网络中创建上中下三个分支,分别用于识别 手部动作、头部动作和脸部动作,在这三个分支全连接层末端分别添加一个softmax层,由 此得到初始卷积的神经网络; < /p > < p > 步骤S3、分别将步骤S1中处理后的图像的数据输入所述初始神经网络进行训练, 通过输入的手、头、脸三个特征向量,以及预设的三个分支的权重,根据梯度下降算法计算, 最终得到一个训练好的神经网络模型。 < /p > < p > 进一步的,所述步骤S3中,在训练的过程中根据实际情况增加或减少对应分支的 权重进行计算。 < /p > < p > 进一步的,步骤S4、当一轮训练结束后,输入新的图像进行测试,如果低于预定的 成功率,就进行新一轮的训练,直到达到或者超过该概率为止。 < /p > < p > 本发明要解决的技术问题,还在于提供一种教学智能录播方法,能自动识别学生 是否认真听讲,并将信息主动上报教师,教师可以根据实际情况调整教学。 < /p > < p > 本发明的教学智能录播方法是这样实现的:一种教学智能录播方法,包括: < /p > < p > 步骤10、事先通过摄像头采集不认真听讲学生的手部、头部、脸部动作的图像,然 后利用上述本发明智能录播模型的构建方法构建教学智能录播模型; < !-- SIPO < DP n="2" > -- > < /p > < p > 步骤20、课堂教学时,通过摄像头在课堂上采集学生的姿态和手势动作的图像,并 导入到所述教学智能录播模型; < /p > < p > 步骤30、由所述教学智能录播模型将各个学生图像导入训练好的卷积神经网络模 型进行识别进行识别,如果发现有不认真听讲的学生,则实时通知课堂教师主机。 < /p > < p > 进一步的,所述步骤20中,采集图像前先通过人脸识别技术,确定学生个数以及相 应的位置,并对各个学生做好标记,建立对应的数据库。 < /p > < p > 进一步的,所述步骤20中,采集图像的方式是:通过调整摄像头的位置,对每个学 生进行特写,每隔两分钟拍摄各个学生连续300张照片。 < /p > < p > 进一步的,所述步骤30中,如果连续五个两分钟,该学生均被判定为不认真听讲, 在通知课堂教师主机之前或同时,先对该学生进行标记,并将中间的摄像头对准该学生进 行警示。 < /p > < p > 进一步的,所述步骤30中,所述通知的方式是调整位于教室中间的摄像头的位置, 将其对准该学生拍摄,并将拍摄的照片发给教师主机。 < /p > < p > 本发明具有如下优点:通过本发明的智能录播模型的构建方法及装置,可以构建 智能录播的神经网络模型,神经网络模型可以用于识别人体的手部动作、头部动作和脸部 动作。将神经网络模型应用于教学时,可以通过本发明的教学智能录播方法,能自动识别学 生是否认真听讲,并将信息主动上报教师,教师可以根据实际情况实时调整教学方法。 < /p > < p > 附图说明 < /p > < p > 下面参照附图结合实施例对本发明作进一步的说明。 < /p > < p > 图1为本发明教学智能录播方法的执行流程图。 < !-- SIPO < DP n="3" > -- > < /p > < p > 具体实施方式 < /p > < p > 本发明的智能录播模型的构建方法的一较佳的实施例中,包括下述步骤: < /p > < p > 步骤S1、运用opencv视觉库分别处理事先采集的包含不同的手部、头部、脸部动作 的图像,将其转换成格式固定的单通道灰度图像,然后将图片集制作成keras能识别的数据 集; < /p > < p > 步骤S2、在预先通过keras构建的通用卷积神经网络(CNN)中创建上中下三个分 支,第一个分支识别手部动作,第二个分支识别头部动作,第三个分支识别脸部动作,在这 三个分支全连接层末端分别添加一个softmax层,由此得到初始卷积的神经网络;当该智能 录播模型用于教学时,以上三个softmax层分别输出对应部位被判定为学生不认真听讲的 概率向量,最终根据三层输出的情况,当有一个分支或者一个分支以上输出向量表示不认 真听讲时,就判定该学生不认真听讲。 < /p > < p > 步骤S3、分别将步骤S1中处理后的图像的数据输入所述初始神经网络进行训练, 在训练的过程中根据实际情况增加或减少对应分支的权重进行计算,如对应分支图像少的 增加权重,反之减少对应权重;通过输入的三个特征向量(头、脸、手),以及预设的权重,通 过输入的手、头、脸三个特征向量,以及预设的三个分支的权重,根据梯度下降算法计算,最 终得到一个训练好的神经网络模型。所述梯度下降算法是为了算出卷积神经网络模型 (CNN)里未知网络参数。 < /p > < p > 步骤S4、当一轮训练结束后,输入新的图像进行测试,如果低于预定的成功率,就 进行新一轮的训练,直到达到或者超过该概率为止。 < /p > < p > 根据上述本发明的构建方法,本发明还提供一种智能录播模型的构建装置,该装 置为嵌入式设备或计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运 行的计算机程序,在一具体的实施例中,所述处理器执行所述程序时实现上述步骤S1至步 骤S4。 < /p > < p > 上述本发明的构建方法或装置所构建的智能录播模型可用于教学,得到本发明的 教学智能录播方法,本发明的教学智能录播方法能自动识别学生是否认真听讲,并将信息 主动上报教师,教师可以根据实际情况调整教学。 < /p > < p > 如图1所示,本发明的教学智能录播方法,包括: < /p > < p > 步骤10、事先通过摄像头采集不认真听讲学生的手部、头部、脸部动作的图像,然 后利用上述本发明智能录播模型的构建方法构建教学智能录播模型; < /p > < p > 步骤20、课堂教学时,通过摄像头在课堂上采集学生的姿态和手势动作的图像,并 导入到所述教学智能录播模型;采集图像前先通过人脸识别技术,确定学生个数以及相应 的位置,并对各个学生做好标记,建立对应的数据库;采集图像的方式是:通过调整摄像头 的位置,对每个学生进行特写,每隔两分钟拍摄各个学生连续300张照片; < /p > < p > 步骤30、由所述教学智能录播模型将各个学生图像导入训练好的卷积神经网络模 型进行识别进行识别,如果发现有不认真听讲的学生,则实时通知课堂教师主机,所述通知 的方式是调整位于教室中间的摄像头的位置,将其对准该学生拍摄不认真听讲的照片,并 将拍摄的照片发给教师主机,教师即可根据信息决定是否提问该学生或者改变教学策略。 其中,如果连续五个两分钟,该学生均被判定为不认真听讲;在通知课堂教师主机之前或同 时,可以先对该学生进行标记,再将中间的摄像头对准该学生进行警示。 < /p > < p > 虽然以上描述了本发明的具体实施方式,但是熟悉本技术领域的技术人员应当理 解,我们所描述的具体的实施例只是说明性的,而不是用于对本发明的范围的限定,熟悉本 领域的技术人员在依照本发明的精神所作的等效的修饰以及变化,都应当涵盖在本发明的 权利要求所保护的范围内。 < !-- SIPO < DP n="4" > -- > < /p >
< p > 目前市面上的录播主机各式各样,但几乎不存在在课堂上实时地将学生的行为与 教师的教学智能化联系在一起,在教学上的应用也只是记录相关数据作为事后教学的参 考。 < /p > < p > 2014-04-30公开的,公开号为103761983A的中国发明揭示了一种在教育系统中实 现实时录播的方法及系统,所述系统包括:学生电脑桌,实时录播学生的学习状况;教师讲 台实时录播教师的教学状况;多个位置识别器,用于识别用户身份信息和位置信息令;控制 服务器,用于在多个位置识别器识别用户身份和位置信息后,触发学生电脑桌或者教师讲 台完成实时录播,以及存储学生电脑桌发送的实时录播学生的学习状况信息,以及教师讲 台发送的实时录播教室的教学状况信息。通过本发明实施例,通过位置识别器存储所匹配 的用户信息,能够相对应的实时录播学习状况信息和教师状况信息,并能根据相应的关系 存储在控制服务器中,并由控制服务器提供相应的访问接口,能够满足授权用户的访问。该 主要实现由控制服务器统一控制触发教师与学生端实时录播,并供授权用户访问,并没有 将学生的状态实时传送给授课中的教师,不能实时地将学生的行为与教师的教学智能化联 系在一起。 < /p >
个性化你的检索平台
使用键盘键 进行切换

© Copyright  2017  江苏佰腾科技有限公司  版权所有  |

苏ICP备09077504号  

专利探索者

 苏公网安备 32041202001279号

系统日志

数据更新

 建议使用Chrome、360浏览器

联系我们
专利探索者
群号:580132322
专利探索者
客服-小倩
3326349102
专利探索者
客服-柠檬味の草
190306821
意见反馈