申请/专利权人：杭州城市大数据运营有限公司;湖州市大数据运营有限公司;杭州中云数据科技有限公司

申请日：2019-07-23

公开（公告）日：2022-11-25

公开（公告）号：CN110413972B

主分类号：G06F40/18

分类号：G06F40/18;G06F40/242;G06F40/284;G06F40/58

优先权：

专利状态码：有效-授权

法律状态：2022.11.25#授权;2019.11.29#实质审查的生效;2019.11.05#公开

摘要：本发明公开了一种基于NLP技术的表名字段名智能补全方法，包括以下步骤；S1：预处理；S2：原始拆分；S3：查字典；S4：语言识别；S5：高级拆分；S6：补全推断；S7：输出翻译。本发明通过NLP技术和双重拆分验证将原始表的表名或字段名识别匹配，输出可能性结果，方便数据处理人快速判断了解表名或字段名含义，且输出结果可用于后续原始表内数据处理，增加数据处理人的工作速度，降低数据处理难度。

主权项：1.一种基于NLP技术的表名字段名智能补全方法，其特征在于，包括以下步骤：S1：预处理：首先将表名或字段名中的英文或汉语拼音的大小写字母全部转换成小写字母，然后去掉数字等特殊字符，最后去掉只有一个字符的单词；S2：原始拆分：对预处理后的表名或字段名进行分割，英文单词和英文缩写根据标点符号和空格进行分割，汉语拼音则作为一个单词不做处理；S3：查字典：对英文查询字典，即根据英文词库中的英文单词和缩略语进行比对，判断查询的英文是否在字典中保存，若存在则取出，若不存在则继续后续步骤；S4：语言识别：对步骤3处理后的结果进行识别，判断其为英文还是汉语拼音；S5：高级拆分：对英文单词、英文缩写和汉语拼音连在一起的较长表名或字段名进行空格推断；S6：补全推断：对缺损的表名或字段名进行预测推断补全，还原表名或字段名的含义；S7：输出翻译：对预测补全后的表名或字段名进行输出整理，整理后可对英文表名或字段名进行翻译，输出为汉字形式。

全文数据：一种基于NLP技术的表名字段名智能补全方法技术领域本发明涉及商务智能领域，尤其涉及一种基于NLP技术的表名字段名智能补全方法。背景技术自然语言处理NLP，NaturalLanguageProcessing是研究人与计算机交互的语言问题的一门学科，分成简单匹配式、模糊匹配式和段落理解式三种类型，商务智能是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助企业做出明智的业务经营决策，其中会涉及到对存储在数据仓库中的数据进行分析和识别环节。传统的做法是数据开发人员自己去根据业务场景或描述信息对数据先进行梳理识别，再进行分析，由于数据表在创建使用过程中可能由于各种原因导致表的描述或字段描述丢失或存储在其他表中，并且公司内业务往往比较繁杂，这样就给数据开发人员带来了非常庞大及复杂的梳理识别过程，可以看出，数据开发人员的大部分精力都会耗费在对业务的理解以及对数据表的理解梳理上，非常的耗费人力和财力。因此，我们根据NLP技术提出了一种基于NLP技术的表名字段名智能补全方法来解决上述问题。发明内容本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于NLP技术的表名字段名智能补全方法。为了实现上述目的，本发明采用了如下技术方案：一种基于NLP技术的表名字段名智能补全方法，包括以下步骤：S1：预处理；首先将表名或字段名中的英文或汉语拼音的大小写字母全部转换成小写字母，然后去掉数字等特殊字符，最后去掉只有一个字符的单词。S2：原始拆分；对预处理后的表名或字段名进行分割，英文单词和英文缩写根据标点符号和空格进行分割，汉语拼音则作为一个单词不做处理。S3：查字典；对英文查询字典，即根据英文词库中的英文单词和缩略语进行比对，判断查询的英文是否在字典中保存，若存在则取出，若不存在则继续后续步骤。S4：语言识别；对步骤3处理后的结果进行识别，判断其为英文还是汉语拼音。S5：高级拆分；对英文单词、英文缩写和汉语拼音连在一起的较长表名或字段名进行空格推断。S6：补全推断；对缺损的表名或字段名进行预测推断补全，还原表名或字段名的含义。S7：输出翻译；对预测补全后的表名或字段名进行输出整理，整理后可对英文表名或字段名进行翻译，输出为汉字形式。优选地，在步骤S2中，将表名或字段名的字符串进行符号分割，即通过标点符号和空格将字符串分割成多个组成字符串，然后将多个组成字符串输出到步骤S3。优选地，在步骤S3中，将步骤S2中的多个字符串与所编辑存储的字典内的单词和缩略语进行逐个比较，若组成字符串的英文字母组成与字典内的其中一个英文单词或英文缩略语的英文字母组成完全一致，则此多个组成字符串的其中一个单词确定，将所有组成字符串逐一进行比对，查字典确定的单词输出到步骤S7，未确定部分的组成字符串进入步骤S4。优选地，在步骤S4中，通过汉语拼音声母韵母的书写规范来判断未确定部分的组成字符串是否含有汉语拼音，如果符合汉语拼音书写规范，输出为一个汉语拼音，若不符合汉语拼音书写规范则不含有拼音，全为英文单词或英文缩略语。优选地，在步骤S5中，英文单词、英文缩略语和汉语拼音连在一起的组成字符串，将其分割为多个单独的字符串，然后对多个单独的字符串进行顺序排列组合，形成多种组合结果，将多种组合结果放入步骤S4中继续判断输出，将组合后判断出的结果输出到步骤S6。优选地，在步骤S6中，对步骤S5输出的多种组合结果进行补全推断，即根据词库将不完整的英文单词、英文缩略语进行补充，输出一种或多种结果到步骤S7中。本发明具有以下有益效果：1、通过本方法将原始表的表名或字段名信息梳理成一种或多种组合可能性的结果，方便数据处理人能够快速判断了解原始表的表名或字段名所代表的含义，增加数据处理人对原始表了解的速度。2、本方法输出的一种或多种可能性结果可用于统计、识别、预测等原始表内数据，方便数据处理人展开后续数据处理任务，增加数据处理人的工作效率。综上所述，本发明通过NLP技术和双重拆分验证将原始表的表名或字段名识别匹配，输出可能性结果，方便数据处理人快速判断了解表名或字段名含义，且输出结果可用于后续原始表内数据处理，增加数据处理人的工作速度，降低数据处理难度。附图说明图1为本发明提出的一种基于NLP技术的表名字段名智能补全方法的结构示意图；图2为实施例一的图例；图3为实施例二的图例；图4为实施例三的图例。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。实施例一：参照图1和图2，一种基于NLP技术的表名字段名智能补全方法，包括以下步骤：S1：预处理；首先将CheLiangXinXi或CLXX中的英文或汉语拼音的大小写字母全部转换成小写字母，即换写成cheliangxinxi或clxx，然后去掉数字等特殊字符，最后去掉只有一个字符的单词，即最终形成：cheliangxinxi或clxx。S2：原始拆分；对预处理后的cheliangxinxi或clxx进行分割，英文单词和英文缩写根据标点符号和空格进行分割，汉语拼音则作为一个单词不做处理，将cheliangxinxi或clxx中的字符串进行符号分割，即通过标点符号和空格将字符串分割成多个组成字符串，然后将多个组成字符串输出到步骤S3，因不存在标点符号，则结果仍为cheliangxinxi或clxx。S3：查字典；对英文查询字典，即根据英文词库中的英文单词和缩略语进行比对，判断查询的英文是否在字典中保存，若存在则取出，若不存在则继续后续步骤，即将步骤S2中的cheliangxinxi或clxx与所编辑存储的字典内的单词和缩略语进行逐个比较，则发现字典词库内不存在与cheliangxinxi或clxx完全相同的单词，则不作处理，然后进入下一步。S4：语言识别；对cheliangxinxi或clxx进行识别，判断其为英文还是汉语拼音，通过汉语拼音声母韵母的书写规范以及使用大量语料训练的统计语言模型来判断cheliangxinxi或clxx为汉语拼音还是英文，通过检测，cheliangxinxi或clxx符合汉语拼音或简拼的书写规范，均为汉语拼音，则进行下一步。S5：高级拆分；对英文单词、英文缩写和汉语拼音连在一起的较长表名或字段名进行空格推断，英文单词、英文缩略语和汉语拼音连在一起的组成字符串，将其分割为多个单独的字符串，然后对多个单独的字符串进行顺序排列组合，形成多种组合结果，结果为cheliangxinxi或clxx。S6：补全推断；对缺损的表名或字段名进行预测推断补全，还原表名或字段名的含义，根据汉语拼音书写规范显示cheliangxinxi书写正确，clxx为正确的汉语简拼，因此推断为“车辆信息”。S7：输出翻译；将补全步骤S6中推断输出的结果输出，用户根据自身需要选择中文拼音翻译推断结果，则输出结果为“车辆信息”。实施例二：参照图1和图3，一种基于NLP技术的表名字段名智能补全方法，包括以下步骤：S1：预处理；首先将Drivinglicense中的英文或汉语拼音的大小写字母全部转换成小写字母，即换写成drivinglicense然后去掉数字等特殊字符，最后去掉只有一个字符的单词，即最终形成：drivinglicense。S2：原始拆分；对预处理后的drivinglicense进行分割，英文单词和英文缩写根据标点符号和空格进行分割，汉语拼音则作为一个单词不做处理，将drivinglicense中的字符串进行符号分割，即通过标点符号和空格将字符串分割成多个组成字符串，然后将多个组成字符串输出到步骤S3，即分割成driving、license。S3：查字典；对英文查询字典，即根据英文词库中的英文单词和缩略语进行比对，判断查询的英文是否在字典中保存，若存在则取出，若不存在则继续后续步骤，即将步骤S2中的driving、license与所编辑存储的字典内的单词和缩略语进行逐个比较，则字典内存在与drivinglicence完全相同的词组，直接输出到步骤S7中。S4：语言识别；S5：高级拆分；S6：补全推断；由于在步骤S3中drivinglicence在字典中查询到，因此，无需进行步骤S4、S5、S6，直接进入步骤S7。S7：输出翻译；由于字典中存在drivinglicence为“驾照”的词组，则直接输出翻译结果“驾照”。实施例三：参照图1和图4，一种基于NLP技术的表名字段名智能补全方法，包括以下步骤：S1：预处理；首先将toalarmcar_next_devc_warn_rt中的英文或汉语拼音的大小写字母全部转换成小写字母，即换写成toalarmcar_next_devc_warn_rt。S2：原始拆分；对预处理后的toalarmcar_next_devc_warn_rt进行分割，英文单词和英文缩写根据标点符号和空格进行分割，汉语拼音则作为一个单词不做处理，将toalarmcar_next_devc_warn_rt中的字符串进行符号分割，即通过标点符号和空格将字符串分割成多个组成字符串，然后将多个组成字符串输出到步骤S3，即分割成toalarmcarnextdevcwarnrt。S3：查字典；对英文查询字典，即根据英文词库中的英文单词和缩略语进行比对，判断查询的英文是否在字典中保存，若存在则取出，若不存在则继续后续步骤，即将步骤S2中的toalarmcarnextdevcwarnrt与所编辑存储的字典内的单词和缩略语进行逐个比较，则发现字典词库内存在与toalarmcar、next、devc、warn、rt相同的单词，则初步判断属于英文单词，将其输出至步骤S7，然后进入下一步。S4：语言识别；对toalarmcar、next、devc、warn、rt进行识别，判断其为英文还是汉语拼音，通过汉语拼音声母韵母的书写规范来判断toalarmcar、next、devc、warn、rt是否含有汉语拼音，通过检测，toalarmcar、next、devc、warn、rt不符合汉语拼音的书写规范，则均为英文单词或缩略语，进行下一步。S5：高级拆分；对英文单词、英文缩写和汉语拼音连在一起的较长表名或字段名进行空格推断，英文单词、英文缩略语和汉语拼音连在一起的组成字符串，将其分割为多个单独的字符串，然后对多个单独的字符串进行顺序排列组合，形成多种组合结果，由于上一步检测均为英文单词，则拆分后为to、alarm、car、next、devc、warn、rt。S6：补全推断；对缺损的表名或字段名进行预测推断补全，还原表名或字段名的含义，根据英文单词的词库内容，devc和rt为缩写单词，对这两个单词进行预测推断，devc推断为device，rt推断为realtime，因此输出为“toalarmcarnextdevicewarnrealtime”。S7：输出翻译；将补全步骤S6中推断输出的结果翻译输出，由用户选择是否需要进行翻译处理，若选择翻译，则将其翻译成中文，若不需要翻译，则直接输出为“toalarmcarnextdevicewarnrealtime”。由实施例一、实施例二和实施例三可知，此方法可快速将表名或字段名进行处理翻译输出，增加输出处理人对原始表的理解与判断，且输出的结果可用于其余数据处理任务。值得注意的是，在步骤S7输出翻译过程中，每一个拼音或简拼或英文缩写都可能会预测出几个候选项，输出翻译可选择这些候选项组合到一起概率最高的预测项作为输出，例如：rtdevc可能会预测出rightdevice和realtimedevice，输出翻译会选择realtimedevice这个预测项，因为这一项根据前文语意判断的概率较大以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

权利要求：1.一种基于NLP技术的表名字段名智能补全方法，其特征在于，包括以下步骤：S1：预处理；首先将表名或字段名中的英文或汉语拼音的大小写字母全部转换成小写字母，然后去掉数字等特殊字符，最后去掉只有一个字符的单词。S2：原始拆分；对预处理后的表名或字段名进行分割，英文单词和英文缩写根据标点符号和空格进行分割，汉语拼音则作为一个单词不做处理。S3：查字典；对英文查询字典，即根据英文词库中的英文单词和缩略语进行比对，判断查询的英文是否在字典中保存，若存在则取出，若不存在则继续后续步骤。S4：语言识别；对步骤3处理后的结果进行识别，判断其为英文还是汉语拼音。S5：高级拆分；对英文单词、英文缩写和汉语拼音连在一起的较长表名或字段名进行空格推断。S6：补全推断；对缺损的表名或字段名进行预测推断补全，还原表名或字段名的含义。S7：输出翻译；对预测补全后的表名或字段名进行输出整理，整理后可对英文表名或字段名进行翻译，输出为汉字形式。2.根据权利要求1所述的一种基于NLP技术的表名字段名智能补全方法，其特征在于：在步骤S2中，将表名或字段名的字符串进行符号分割，即通过标点符号和空格将字符串分割成多个组成字符串，然后将多个组成字符串输出到步骤S3。3.根据权利要求2所述的一种基于NLP技术的表名字段名智能补全方法，其特征在于：在步骤S3中，将步骤S2中的多个字符串与所编辑存储的字典内的单词和缩略语进行逐个比较，若组成字符串的英文字母组成与字典内的其中一个英文单词或英文缩略语的英文字母组成完全一致，则此多个组成字符串的其中一个单词确定，将所有组成字符串逐一进行比对，查字典确定的单词输出到步骤S7，未确定部分的组成字符串进入步骤S4。4.根据权利要求3所述的一种基于NLP技术的表名字段名智能补全方法，其特征在于：在步骤S4中，通过汉语拼音声母韵母的书写规范来判断未确定部分的组成字符串是否含有汉语拼音，如果符合汉语拼音书写规范，输出为一个汉语拼音，若不符合汉语拼音书写规范则不含有拼音，全为英文单词或英文缩略语。5.根据权利要求4所述的一种基于NLP技术的表名字段名智能补全方法，其特征在于：在步骤S5中，英文单词、英文缩略语和汉语拼音连在一起的组成字符串，将其分割为多个单独的字符串，然后对多个单独的字符串进行顺序排列组合，形成多种组合结果，将多种组合结果放入步骤S4中继续判断输出，将组合后判断出的结果输出到步骤S6。6.根据权利要求5所述的一种基于NLP技术的表名字段名智能补全方法，其特征在于：在步骤S6中，对步骤S5输出的多种组合结果进行补全推断，即根据词库将不完整的英文单词、英文缩略语进行补充，输出一种或多种结果到步骤S7中。

百度查询： 杭州城市大数据运营有限公司;湖州市大数据运营有限公司;杭州中云数据科技有限公司 一种基于NLP技术的表名字段名智能补全方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD