申请/专利权人：珠海翔翼航空技术有限公司

申请日：2022-08-22

公开（公告）日：2022-09-20

公开（公告）号：CN115083229A

主分类号：G09B9/08

分类号：G09B9/08;G06V40/20;G06F40/58;G06V10/74;G06V10/764;G06V10/82

优先权：

专利状态码：有效-授权

法律状态：2022.11.08#授权;2022.10.11#实质审查的生效;2022.09.20#公开

摘要：本发明属于飞行训练设备、计算机视觉识别技术领域，具体涉及一种基于AI视觉识别的飞行训练设备智能识别与警示系统，旨在解决飞行训练设备智能识别与警示系统数据来源单一、不能实现本地部署的AI算法、导致人体行为、设备运行状态识别精度差、效率低的问题。本系统包括：视频采集设备，配置为采集影像数据；数据分类单元，配置为将影像数据分类；异常行为识别单元，配置为判断人体的行为是否异常；设备异常感知单元，配置为判断设备的运行是否异常；场景翻译与人机交互单元，配置为基于场景翻译模型，实现机器对当前模拟舱内场景的基本状态描述，并采用语音的形式输出结果。本发明提升了人体行为、设备运行状态识别精度以及效率。

主权项：1.一种基于AI视觉识别的飞行训练设备智能识别与警示系统，其特征在于，该系统包括：视频采集设备、远程服务器；所述视频采集设备与所述远程服务器通信连接；所述远程服务器包括数据分类单元、异常行为识别单元、设备异常感知单元、场景翻译与人机交互单元；所述视频采集设备，配置为采集飞行训练设备各设定监测点的影像数据；所述影像数据包括二维影像数据、三维影像数据；所述数据分类单元，配置为将各设定监测点采集的影像数据按照目标对象不同进行分类，得到包含人体的影像数据和包含设备的影像数据；所述异常行为识别单元，配置为通过预构建的前景特征提取模型提取所述包含人体的影像数据中人体对应的前景特征集合；并基于摘要算法对所述前景特征数据集合中特征数据进行处理得到S条比对摘要数据，构建比对摘要数据集；通过预设的匹配方法将所述比对摘要数据集与预构建的人体信息数据库进行匹配，得到人体身份信息；S为正整数；基于所述包含人体的影像数据，提取人体的多模态特征，并通过行为识别模型获取人体的行为识别结果；所述多模态特征包括时空特征、外观与运动特征、运动轨迹特征、深度信息特征、人体骨骼信息特征；基于人体身份信息及其对应的人体的行为识别结果，与预构建的行为数据库进行匹配，判断人体的行为是否异常；所述设备异常感知单元，配置为基于所述包含设备的影像数据，判断设备的运行是否异常；所述场景翻译与人机交互单元，配置为基于预构建的场景翻译模型，获取当前飞行训练设备模拟舱内场景的基本状态描述，并采用语音的形式输出结果，反馈给处在飞行训练中的飞行员；还配置为当存在异常的行为或设备运行异常时，进行警报提示；其中，所述人体信息数据库包含人体前景特征对应的多个标准摘要数据；所述标准摘要数据为基于包含人体的影像数据获取人体对应的前景特征，并通过摘要算法处理后得到的摘要数据；所述行为数据库包含预设的人体身份信息与预设的行为的映射关系；所述前景特征提取模型基于卷积神经网络、行分类器构建；所述行为识别模型基于特征提取模型、分类器构建；所述特征提取模型包括三维卷积神经网络、双流卷积神经网络、深度卷积神经网络；所述场景翻译模型基于依次连接的多层感知机、基于注意力机制的长短期记忆人工神经网络构建。

全文数据：

权利要求：

百度查询： 珠海翔翼航空技术有限公司 基于AI视觉识别的飞行训练设备智能识别与警示系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD