申请/专利权人：沈阳航空航天大学

申请日：2023-12-20

公开（公告）日：2024-03-22

公开（公告）号：CN117743578A

主分类号：G06F16/35

分类号：G06F16/35;G06F18/214;G06N3/0464;G06N3/09;G16H50/50

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.04.09#实质审查的生效;2024.03.22#公开

摘要：本发明提供一种基于Bert模型的急性肾损伤的早期预测方法。该方法包括：获取患者急性肾损伤的临床文本记录，并随机将临床文本记录划分为训练集、验证集、测试集；对临床文本记录进行预处理；创建急性肾损伤的早期预测的预训练语料库；搭建Bert模型；基于预训练语料库预训练Bert模型；结合Bert模型设计文本分类模型；文本分类模型为Bert‑TextCNN模型架构；基于训练集对文本分类模型进行训练；在训练过程中通过分层批次采样方式将训练集输入到文本分类模型；基于验证集对文本分类模型进行优化，保存最优模型；将测试集输入最优模型，输出急性肾损伤早期预测结果。本发明自行预训练了急性肾损伤的早期预测的Bert模型，这一过程在很大程度上提高了文本分类模型的预测性能。

主权项：1.一种基于Bert模型的急性肾损伤的早期预测方法，其特征在于，包括：步骤S1：获取患者急性肾损伤的临床文本记录，并随机将所述临床文本记录划分为训练集、验证集、测试集；其中，所述临床文本记录包含有标签的数据集；步骤S2：对所述临床文本记录进行预处理，以剔除掉所述临床文本记录中的非文本内容；步骤S3：基于预处理后的临床文本记录，创建急性肾损伤的早期预测的预训练语料库；步骤S4：搭建Bert模型；其中，所述Bert模型的骨干网络为Transformer编码器；步骤S5：基于所述预训练语料库预训练Bert模型；所述Transformer编码器以所述预训练语料库为输入，分别进行MLM预训练和NSP预训练；步骤S6：结合Bert模型设计文本分类模型；所述文本分类模型为Bert-TextCNN模型架构，所述文本分类模型包括依次连接的Bert模型、卷积层、池化层、全连接层；步骤S7：基于所述训练集对所述文本分类模型进行训练；其中，在训练过程中通过分层批次采样的方式将所述训练集输入到所述文本分类模型；步骤S8：基于所述验证集对所述文本分类模型进行优化，保存最优模型；步骤S9：将所述测试集输入最优模型，输出急性肾损伤的早期预测结果；步骤S7，具体包括：将所述分层批次采样的每一批次对应的训练集输入到完成所述MLM预训练和NSP预训练后的Bert模型，所述Bert模型在经过位置嵌入、段嵌入之后得出各个位置的字向量、文本向量和位置向量，所述Bert模型将所述字向量、文本向量和位置向量融合全文语义信息后输出文本表示矩阵T；所述文本表示矩阵T在所述卷积层中与所有卷积核w进行卷积运算，得出特征图C；所述特征图C经过所述池化层进行池化运算，以对所述特征图C的每个特征选取最大值实现压缩特征信息；所述特征图C经过所述池化层联合所有卷积核w的池化结果得出新的特征；将该新的特征输入到全连接层，通过Softmax激活函数输出分类结果。

全文数据：

权利要求：

百度查询： 沈阳航空航天大学 基于Bert模型的急性肾损伤的早期预测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD