申请/专利权人：浪潮软件股份有限公司

申请日：2023-09-04

公开（公告）日：2024-04-12

公开（公告）号：CN116861058B

主分类号：G06F16/951

分类号：G06F16/951;G06F16/9535

优先权：

专利状态码：有效-授权

法律状态：2024.04.12#授权;2023.10.27#实质审查的生效;2023.10.10#公开

摘要：本发明公开了应用于政务领域的舆情监测系统及方法，属于政务系统技术领域，要解决的技术问题为如何高效全面的实现舆情监测。包括：数据抓取模块，用于通过调度器调度抓取进程，通过抓取进程解析网页的DOM元素，得到元素信息；数据清洗模块，用于对元素信息进行数据过滤，并设置情感标签，得到预处理后数据，预处理后数据为带有情感标签的过滤后数据；数据输出模块，用于将预处理后数据存储至数据仓库，对预处理后数据进行增量发布，并在数据仓库中配置实时索引服务，实时索引服务提供索引API，用户通过索引API访问实时索引服务，实时索引服务用于基于指定的搜索条件返回检索结果。

主权项：1.一种应用于政务领域的舆情监测系统，其特征在于，包括：数据抓取模块，所述数据抓取模块用于通过调度器调度抓取进程，通过抓取进程解析网页的DOM元素，得到元素信息；数据清洗模块，所述数据清洗模块用于对元素信息进行数据过滤，并设置情感标签，得到预处理后数据，预处理后数据为带有情感标签的过滤后数据；数据输出模块，所述数据输出模块用于将预处理后数据存储至数据仓库，对预处理后数据进行增量发布，并在数据仓库中配置实时索引服务，所述实时索引服务提供索引API，用户通过索引API访问实时索引服务，所述实时索引服务用于基于指定的搜索条件返回检索结果，其中搜索条件包括返回条目、时间窗口、产品线、数据源、情感、标签和关键字；对于所有待抓取的页面，所述数据抓取模块用于基于页面的链接地址形成链接列表；调度器用于将一个IP地址下的抓取进程分配至链接列表，对于链接列表中每个页面，抓取进程通过预配置的正则表达式从页面中解析的DOM元素，得到元素信息并返回调度器；如果抓取进程在预定时间内未返回或者返回失败，调度器重新分配一个新的IP地址的抓取进程继续进行数据抓取，直至返回元素信息，如果预定次数后均未返回元素信息，通过人工干预的方式对抓取失败的页面进行数据抓取；对于更新的网页，配置新的正则表达式，抓取进程通过新的正则表达式从更新的页面中解析的DOM元素，得到元素信息并返回调度器；所述数据清洗模块用于执行如下对元素信息进行数据过滤：对与营销文案相关的元素信息进行过滤；对过滤后的元素信息进行相关性过滤。

全文数据：

权利要求：

百度查询： 浪潮软件股份有限公司 应用于政务领域的舆情监测系统及方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD