申请/专利权人：电子科技大学

申请日：2024-03-04

公开（公告）日：2024-04-19

公开（公告）号：CN117911264A

主分类号：G06T5/50

分类号：G06T5/50;G06V10/80;G06T5/80;G06T7/80;G06T5/70;G16H20/40;G06F17/18;G06T7/11;G06V10/774;G06V10/764;G06F17/16;G06N3/042;G06N3/08;G06T17/00

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.05.07#实质审查的生效;2024.04.19#公开

摘要：本发明实施例公开了一种基于图像融合和注意力机制的手部穴位检测方法，提高了针灸过程中穴位定位的效率和准确度；将深度学习中的关键点检测方法运用在穴位检测定位上，并采用神经网络，提高了检测速度和实时性；提出了深度图像和彩色图像融合的方法，提高了输入数据信息完整度，提高了定位精度的同时还提高了模型的泛化拟合能力；提出了基于注意力机制的图神经网络，在对输入图像进行处理时能针对图像重点部分进行分析计算，具有较高的环境适应性；提出了结合传统中医理论的骨寸定位法和指度定位法融合的分寸理论校正穴位，增强了定位精度的同时也增强了技术专业说服力。

主权项：1.一种基于图像融合和注意力机制的手部穴位检测方法，该方法包括：步骤1：数据集获取并校正；步骤1.1：通过带有彩色相机和深度传感器的深度相机Kinect获得多位性别、年龄、身高、体重都不同的病人手部及手臂的完整图像：步骤1.2：摄像机矫正；为了精确定位穴位，需要对Kinect深度相机进行校准，以确定它们之间的几何关系和参数，确保其能够准确地捕捉和测量手部结构关键点和手部穴位，通过估算Kinect的分辨率来快速准确地校准Kinect投影参数，同时也矫正彩色相机和深度相机之间的相对姿态，将Kinect视差单位转换为公制深度的功能；步骤1.3：校准彩色图像摄像头和深度传感器；步骤2：对齐彩色图像与深度图像：将获取到的数据集图片根据下方的重投影矩阵将彩色图像的坐标与深度图像坐标对齐： X＝a1x+a2y+a3-a7xX-a8yXY＝a4x+a5y+a6-a7xY-a8yY其中，表示彩色图像中将相机坐标系下的深度值归一化时的彩色图像像素，X、Y分别表示横坐标、纵坐标的深度值，表示深度图像中将相机坐标系下的深度值归一化时的深度图像像素，其中x、y表示深度图像的横坐标、纵坐标值，表示彩色图像像素到深度图像像素值的变换矩阵。步骤3：去除深度图信息中的噪声信息；步骤4：数据集制作；步骤4.1：根据骨度分寸法确定“寸1”：骨度分寸法是按照比例进行穴位定位方法，具体而言手臂腕横纹至肘横纹记为十二寸；通过检测到的两条线段计算出肘横纹到腕横纹之间的距离并进行骨度分寸计算，得到一寸的长度，记作0cun1，0表示第0号患者；步骤4.1.1：基于颜色空间割出手臂区域；将相机获得的彩色图片转换到YCbCr空间，YCbCr空间色度和亮度可分离，所有首先在该颜色空间中提取亮度，留下CbCr分量，此时肤色聚类较好；于是在二维CbCr颜色空间中，采用人工阈值法对肤色区域进行分离，并且进行二值化操作，然后采用开运算和闭运算图像进行处理，消除部分噪声、平滑边界，最后利用最大连通区域分割出手臂区域；步骤4.1.2：根据手臂区域确定手腕和肘部拐点；基于改进弯曲度的拐点检测方法获取手腕和肘部的拐点；步骤4.1.3：确定外接矩阵；根据拐点和提取出的手臂区域对手腕至肘部拐点的手臂部分进行矩形拟合，找到最小外接矩阵，确定前臂范围；步骤4.1.4：确定寸1的长度；根据外接矩阵进行边缘检测，其中矩形上下两条线即为肘横纹和腕横纹的位置，并通过霍夫变换剔除无关范围，确定肘横纹到腕横纹的长度，然后将该长度除以12得到寸1的长度；步骤4.2：根据指度分寸法确定“寸2”的长度；测量患者手指中指第二小节的长度和患者的拇指指关节的宽度，并且将这两者取平均得到寸2，记作0cun2，0表示第0号患者；步骤4.3：将寸1、寸2取平均得到最后用于确定穴位的长度单位“寸”，结合上述所得的每位患者“寸”的长度，由专业人员确定手部各个穴位；步骤5：提取手部区域；步骤6：根据手部几何结构和解剖结构定义手部结构关键点；步骤7：将深度图和彩色图进行融合获取融合后的图像，并由此获取融合图像的点云分布：步骤7.1：首先，将融合图像中点云中的点表达为P＝{[p1,a1],[p1,a2],...,[pN,aN]}∈R6，其中pi＝[x,y,z]表示该点位置，ai＝[r,g,b]表示该点像素，从给定点的融合点云P根据其空间邻居计算一个有向图G＝V,E，其中V＝{1,2,...,N},分别表示顶点的集合和有向边的集合，N表示点云中点的数量；步骤7.2：将有向图G＝V,E构造为几何空间中P的k近邻图，自循环被添加到图中，这意味着每个顶点都有自己的边，设Ni＝{j:i,j∈E}∪{i}是顶点i的邻居集；设H＝{h1,h2,....,hN}为输入特征集，如下方公式所展示： 其中，表示t时刻位置i,j的边缘特征，表示顶点特征，ft·表示计算顶点之间的边缘特征的函数，ρt·表示聚集了边缘特征，gt·用聚合的边缘特征更新顶点；步骤8：基于注意力建立图神经网络，提取边缘特征；具体公式如下： 其中，||表示连接操作，表示多层感知机，pj表示彩色点云中该点的位置，aj表示彩色点云中该点的图像像素值，ci表示对应点的pi特征权值；步骤9：然后，使用softmax函数对所有j的选择进行归一化，表示将各节点和边的注意力值归一化到0到1之间,其结果表示相对重要性；具体公式如下： 其中，Ni表示pi的邻域集合；步骤10：上述注意力图神经网络得到的输出进一步输入到全连接层提取更抽象特征；步骤11：使用多层感知器MLP来建模，经过多层感知机得到基于注意力的图神经网络的最终输出为： 步骤12：训练基于注意力的图神经网络得到训练好的基于注意力的图神经网络模型；步骤13：推理过程中，使用训练得到的基于注意力的图神经网络进行手部结构关键点和穴位检测；推理过程也是由特征向量到最终的预测手部结构关键点和手部穴位映射的过程，将基于注意力的图神经网络提取到的手部图像特征向量分别输入到两个并行的MLP分支，这两个MLP分支分别进行旋转和平移两个分支的预测，最后融合这两个分支，得到手部结构关键点和穴位检测；步骤13.1：在平移分支部分，采用投票方案获得预测输出，首先根据MLP得到特征点p到中心点c的向量，其中v表示点到中心的单位向量，如下式： 然后使用随机抽样一致性算法进行投票得到中心坐标；步骤13.2：在旋转分支部分，采用回归方案获得预测输出，预测在旋转锚点上的偏差为ΔRi，然后得到最终旋转为其中ΔRi被限制在附近，回归损失为： 其中，qi和是对应Ri和的四元数表达，步骤13.3：最终手部结构关键点和穴位的不确定分数如下： 其中,di为归一化后的损失，在最终检测过程中，选择最小的不确定性分数作为最终输出，即选择最有可能是手部结构关键点和穴位的位置作为输出，分别表示为“Coor_Key”和“Coor_Acu1”。步骤14：手部大陵穴在腕横纹向上5寸、中指关元穴在腕横纹向上7寸、中指阳池穴在腕横纹向上8寸，此处腕横纹即为手掌根结点所指示的平行线处；根据步骤12.3中获取的手掌根结点，结合步骤4.3中的寸，重新确定大陵穴、中指关元穴等穴位的位置，重新确定的穴位表示为“Coor_Acu2”，并与步骤12.3中得到的穴位位置“Coor_Acu1”取平均，最终获得手部穴位的准确输出，最终输出表示为“Coor_Acu”。

全文数据：

权利要求：

百度查询： 电子科技大学 一种基于图像融合和注意力机制的手部穴位检测方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD