申请/专利权人：华东师范大学

申请日：2021-12-06

公开（公告）日：2024-05-17

公开（公告）号：CN114152253B

主分类号：G01C21/00

分类号：G01C21/00;G01S19/48;G02B27/01

优先权：

专利状态码：有效-授权

法律状态：2024.05.17#授权;2022.03.25#实质审查的生效;2022.03.08#公开

摘要：本发明提供一种基于深度学习和大数据的全天候徒步旅行辅助系统，包括：中心服务器、智能眼镜和远程智能设备；其中，所述中心服务器用于分配管理智能眼镜和远程智能设备的匹配连接，以及实时比对和更新完整的三维地图模型；所述中心服务器将景区完整的三维地图模型提供给智能眼镜，作为GPS定位导航的补充以及危险预测的依据；所述智能眼镜用于采集图像和视频数据，进行实时图像增强处理，构建局部三维地图模型，在三维地图上标记危险所在的位置，并对当前用户可能遇到的危险进行预警；所述远程智能设备通过中心服务器与所需远程监控的智能眼镜匹配连接，以便通过远程智能设备查看来自智能眼镜的图像数据，确保特殊的智能眼镜佩戴群体的出行安全。

主权项：1.一种基于深度学习和大数据的全天候徒步旅行辅助系统，其特征在于，包括：中心服务器、智能眼镜和远程智能设备；其中，所述中心服务器用于分配管理智能眼镜和远程智能设备的匹配连接，以及实时比对和更新完整的三维地图模型；所述中心服务器将景区完整的三维地图模型提供给智能眼镜，作为GPS定位导航的补充以及危险预测的依据；所述三维地图模型包含用户标记的危险信息；所述智能眼镜用于采集图像和视频数据，进行实时图像增强处理，构建局部三维地图模型；所述智能眼镜并从所述中心服务器下载景区完整的三维地图模型，并在三维地图上显示危险信息标记，对当前用户可能遇到的危险进行预警；所述危险信息标记为其他用户标记的危险信息；所述远程智能设备通过中心服务器与所需远程监控的智能眼镜匹配连接，以便通过远程智能设备查看来自智能眼镜的图像数据，确保特殊的智能眼镜佩戴群体的出行安全；所述智能眼镜集成有中央处理器、GPS定位模块、耳骨传导耳机、无线通信模块、双目摄像头、AR显示镜片、内存模块、电源模块、标记与示警模块；所述中央处理器设置有双目SLAM处理单元；所述双目摄像头设在智能眼镜本体前端两侧，实时采集图像和视频数据；所述标记与示警模块供用户通过按键选择遇到的危险类型，结合用户当前的GPS定位信息，在三维地图上标记危险所在的位置，即用户标记的危险信息；所述标记与示警模块根据其他用户标记的危险信息，通过耳骨传导耳机播放语音提示；所述AR显示镜片上显示三维地图模型与危险信息标记，对当前用户可能遇到的危险进行预警；所述智能眼镜通过无线通信模块与中心服务器通信，将构建的局部三维地图模型与用户标记的危险信息一起上传至所述中心服务器；所述智能眼镜在构建三维地图模型前，中央处理器先将采集的影像进行图像增强处理，包括：黑夜增强和去雨去雪去雾；图像增强处理算法框架基于超StarGAN网络，所述超StarGAN网络由2个ResNext判断网络和1个StarGAN网络构成；经图像增强处理后的图像提供给所述双目SLAM处理单元构建局部三维地图模型；2个所述ResNext判断网络包括：ResNext-2判断网络和ResNext-4判断网络；ResNext-2判断网络将输入图像数据分类成包括：黑夜、白天；ResNext-4判断网络将输入图像数据分类成包括：雨天、雾天、雪天和晴天；训练2个所述ResNext判断网络所使用的全天候景区图像数据集由智能眼镜采集并进行人工标注获得；所述StarGAN网络的端口包括：黑夜、雨天、雪天、雾天、白天，将黑夜图像从黑夜端口输入、从白天端口输出，将黑夜图像处理为相应的白天图像；将雨天、雪天、雾天图像从对应的雨天、雪天、雾天端口输入，从白天端口输出，实现对图像相应的去雨、去雪、去雾处理，所述StarGAN网络使用智能眼镜采集并人工标注获得的全天候景区图像数据集进行训练；在图像增强处理的过程中，首先在ResNext-2网络中判断图像是否处于黑夜情况，如果是黑夜图像，则输入到StarGAN网络的黑夜端口，从白天端口输出，输出再进入ResNext-4网络；如果不是黑夜图像，则图像直接进入ResNext-4网络；然后ResNext-4网络对图像所处天气情况进行判断，如果是雨天、雪天、雾天这3种图像中的任一种，则输入到StarGAN网络对应的雨天、雪天、雾天端口，并得到从白天端口输出的图像，输出结果传输到双目SLAM处理单元；如果是晴天图像，则传输到双目SLAM处理单元；晴天的白天图像不做任何图像增强处理；其他图像则根据条件判断进行不同的图像增强处理，所述其他图像包括白天雨天图像、白天雪天图像、白天雾天图像、黑夜晴天图像、黑夜雨天图像、黑夜雪天图像、黑夜雾天图像；根据平均每日人流量x来划分危险等级：累计标记人数＝1人，小于x的5％，规定为Ⅰ级危险；累计标记人数在x的5％～20％，规定为Ⅱ级危险；累计标记人数在x的20％～35％，规定为Ⅲ级危险；累计标记人数在x的35％～50％，规定为Ⅳ级危险；累计标记人数在x的50％以上，规定为Ⅴ级危险；不同级别预警在提示手段的震动频率上，等级越高，频率越高；或通过耳骨传导耳机、AR显示镜片对危险等级进行直接的播报与显示。

全文数据：

权利要求：

百度查询： 华东师范大学 基于深度学习和大数据的全天候徒步旅行辅助系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD