申请/专利权人：大连理工大学

申请日：2020-02-17

公开（公告）日：2022-09-20

公开（公告）号：CN111341386B

主分类号：G16B40/20

分类号：G16B40/20;G06N3/04;G06N3/08

优先权：

专利状态码：有效-授权

法律状态：2022.09.20#授权;2020.08.04#实质审查的生效;2020.06.26#公开

摘要：本发明公开一种引入注意力的多尺度CNN‑BiLSTM非编码RNA互作关系预测方法，属于生物信息学和深度学习领域。包括：1提出一种适用于基因序列的编码方式k‑mers；2使用多尺度卷积核代替单一尺度卷积核，从而捕获序列间不同长度主题特征，丰富特征多样性，提高模型预测性能；再对每个卷积出来的特征映射使用多个不同尺度的池化窗口进行下采样，避免忽略潜在的有效信息；3在CNN基础上融合BiLSTM模型，使其能更好处理序列间长距离信息依赖，从而充分学习特征信息；4引入注意力机制，利用其可给文本向量中不同词分配不同权重，来区分信息重要性大小，使其更多地关注关键信息，达到加强学习的目的。

主权项：1.一种引入注意力的多尺度CNN-BiLSTM非编码RNA互作关系预测方法，其特征在于，步骤如下：1对互作对数据进行分词处理，再进行k-mers编码将每条序列分割为多个子序列，子序列即生物单词，即每k个连续的核苷酸看作一个单词，单词间不重叠；对所有样本数据经分词处理后，统计得出一个大小为4k的单词表，根据单词出现频率，从大到小对每个单词进行编码，则将每条序列嵌入到一个n维向量中；2使用嵌入层将编码序列映射成卷积操作易处理的形式将编码序列中每一个数字映射成一个m×1维的向量M，则输入序列即被映射成m×l的矩阵形式，其中m为嵌入向量维度，l为序列长度；对于一个编码序列SC＝[w1,w2,…,wi-1,wi]，其中，wi∈[1,m],i∈[1,l]，则SC经嵌入层作用后输出矩阵X表示为： 其中，表示m×l矩阵形式的向量；3使用多尺度卷积池化层提取嵌入层输出的向量使用三个并联的不同尺度的卷积层对嵌入层的输出X分别进行卷积多池化操作：每一尺度的卷积层操作捕捉序列不同位置的局部特征featuremap，然后再使用三个不同尺度的并联池化对featuremap进行最大池化采样，接着将三个池化采样结果进行串联作为该层的输出，最后将三个并联卷积层的结果再进行串联作为多卷积池化层的最终输出结果；具体步骤为：1对嵌入层的输出矩阵X进行卷积操作每种尺度的卷积层均选用卷积核大小为进行卷积操作，其中m代表卷积核宽度，大小等于嵌入维度，f为卷积核尺度；则卷积操作表示为：ci＝T[xi:xi+f-1]*Ki+bi3C＝[c1,c2,...,cl-f+1]4其中，ci为第i个经卷积后的特征映射，C为卷积后特征映射矩阵；[xi:xi+f-1]为句子中第i个i+f-1个词组成的矩阵向量；Ki表示第i个卷积核；bi表示第i个特征映射的偏置向量；*表示卷积操作；T为非线性函数Tanh或修正流线型函数ReLU，用于解决梯度消失；2对卷积后特征映射矩阵C进行多池化操作选用三个不同大小的池化窗口对特征映射C使用最大池化max-pooling进行下采样，提取局部区域重要的特征信息MP，再将经不同尺度池化的采样结果进行串联；令max-pooling的大小为l-p，其中l为序列的长度，p取值为[f-1,f,f+1]，f为卷积核尺度，尺度为f的卷积层经池化大小为l-p的max-pooling操作后输出MPip如下：MPip＝maxci,ci+1,...,ci+l-p-153对池化结果进行串联操作，并得出多尺度卷积池化层的终结果将三个经尺度为f-1、f和f+1的池化操作后的采样结果进行串联后，则尺度为f的卷积层的输出结果为：MVf＝MPf-1,MPf,MPf+16故多尺度卷积池化层的最终输出结果V为： 其中，f1，f2和f3即为所设置的卷积核尺度；4利用BiLSTM层处理信息长期依赖缺失的问题在多尺度卷积层之后连接一个BiLSTM层，公式如下：前向LSTM层的计算公式为： 反向LSTM层的计算公式为： 正反两层结果叠加后输出为： 其中，t表示时间序列；和表示时刻t时反向层隐层向量和前向层隐层向量，上标f和r为前向层和反向层的标记；vt表示时刻t的输入；yt表示时刻t的输出；Wvh表示输入层-隐层权重矩阵；Why表示隐层-输出层权重矩阵；Whh表示隐层-隐层权重矩阵；b为偏置向量；σ为隐层激活函数；5引入注意力机制，获取关键信息，进一步优化模型引入注意力机制为BiLSTM网络的输出向量y分配不同权重来突出关键信息，提高预测性能，其公式如下： 其中，A是经注意力机制作用后得到的特征向量；yi是BiLSTM网络输出的特征向量；αi是yi对特征贡献的注意力权重；评分函数fattyi是衡量yi对整个文本的重要程度，其中，评分函数fattyi包括加性注意力机制和点积注意力机制：加性注意力机制的公式为： 点积注意力机制的公式为： 其中，s表示BiLSTM前向和后向扫描的最终隐藏状态连接，表示句子语义信息；，va,Wa表示为模型中可学习的权重矩阵，为va的转置；ba为对应的偏置向量；6经全连接层作用后，即可得出预测标签使用Flatten层平铺通过注意力机制获得的文本语义特征，来连接参数为1的Dense层，并利用激活函数sigmoid将特征向量映射到[0,1]之间，从而获得预测标签o，公式如下：po|A＝sigmoidW·A+b16 其中，o是预测标签；W是参数权重矩阵，b是偏移矢量；模型的损失函数是对数损失函数，而优化器是Adam，通过更新W和b，达到优化模型的目的。

全文数据：

权利要求：

百度查询： 大连理工大学 引入注意力的多尺度CNN-BiLSTM非编码RNA互作关系预测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD