申请/专利权人：赛诺菲-安万特德国有限公司

申请日：2015-10-15

公开（公告）日：2020-07-24

公开（公告）号：CN107073226B

主分类号：A61M5/315(20060101)

分类号：A61M5/315(20060101);G16H20/17(20180101);G06K9/32(20060101);G06T7/12(20170101);G06T7/136(20170101);G06T7/73(20170101);G16H30/20(20180101);G16H40/63(20180101)

优先权：["20141021 EP 14189706.6"]

专利状态码：有效-授权

法律状态：2020.07.24#授权;2017.09.12#实质审查的生效;2017.08.18#公开

摘要：一种使用数据收集装置记录药剂剂量的方法，该方法包括：用数据收集装置的摄像机捕捉显示药剂输送装置的药剂剂量指示器的视频；调整视频中的药剂剂量指示器的图像的比例；针对视频中药剂输送装置的部件上显示的一个以上字符的偏斜，调整图像；确定图像中一个以上字符中的至少一个字符的位置；使用光学字符识别技术识别至少一个字符；基于光学字符识别的结果，确定由药剂剂量指示器指示的药剂剂量。该方法可以包括：确定视频中是否记录了多于一次的药剂输送；如果是，多于一次输送是否包括一次以上初始注射，于是，可以基于多个确定的药剂剂量来确定输送给用户的总剂量。可以使用包括摄像机的可穿戴式电子装置来获取和分析视频，例如使用“app”中提供的软件。可穿戴式电子装置可以被配置为戴在用户的头部，以从用户的视角捕捉视频。

主权项：1.一种使用可穿戴的电子数据收集装置来记录药剂剂量的方法，所述方法包括：用所述数据收集装置的摄像机捕捉示出药剂输送装置的药剂剂量指示器的视频；取决于所述药剂输送装置与所述摄像机之间的距离，调整所述视频中的图像的比例；针对所述视频中所述药剂输送装置的部件上显示的一个以上字符的偏斜，调整所述图像；确定所述图像中所述一个以上字符中的至少一个字符的位置；使用光学字符识别技术识别所述至少一个字符；基于所述光学字符识别的结果，确定由所述药剂剂量指示器指示的药剂剂量。

全文数据：使用光学字符识别技术OCR记录来自药剂注射装置的剂量数据技术领域[0001]本发明涉及从药剂输送装置收集数据。特别是，本发明涉及一种用于记录药剂剂量的方法和一种数据收集系统。背景技术[0002]存在需要通过注射药剂进行定期治疗的各种疾病。这种注射可以由医疗人员或患者自己通过使用注射装置来进行。例如，1型和2型糖尿病可以由患者自己通过注射胰岛素剂量来治疗，例如每天一次或多次。例如，预先填充的一次性胰岛素笔可以用作注射装置。作为替代，可以使用可重复使用的笔。可重复使用的笔允许用新药筒来更换空药筒。任何一支笔可能都会附带一套每次使用前都需要更换的一次性针。然后可以例如通过转动剂量旋钮并且从胰岛素笔的剂量窗口或显示器观察实际剂量，在胰岛素笔上手动选择要注射的胰岛素剂量。然后通过将针插入合适的皮肤部分并且按压胰岛素笔的注射按钮来注射剂量。[0003]为了能够监测胰岛素注射，例如为了防止胰岛素笔的错误处理或跟踪已经施加的剂量，期望以可靠且准确的方式测量与注射装置的状况和或使用有关的信息，例如，注射的胰岛素类型、剂量和注射的定时中的一种以上。[0004]数据收集技术也可以用于监测除胰岛素注射以外的目的。例如，可以收集数据以监测其他药剂的注射、其他医疗活动，例如患者服用片剂药剂或输液，或用于非医疗目的，例如出于安全原因对家庭或工业环境的设备和或其操作的监测。发明内容[0005]根据一个方面，提供了一种使用数据收集装置来记录药剂剂量的方法，所述方法包括:用所述数据收集装置的摄像机捕捉示出药剂输送装置的药剂剂量指示器的视频;调整所述视频中的图像的比例;针对所述视频中所述药剂输送装置的部件上显示的一个以上字符的偏斜，调整所述图像;确定所述图像中所述一个以上字符中的至少一个字符的位置；使用光学字符识别技术识别所述至少一个字符;基于所述光学字符识别的结果，确定由所述药剂剂量指示器指示的药剂剂量。[0006]从视频记录获得药剂输送信息，可以对向患者给送药剂提供可靠的记录和或监视，因为它不依赖于患者的具体输入，因此可以避免用户错误和或用户没有重新收集注射的细节。[0007]数据收集装置可以是便携式电子装置。特别是，数据收集装置可以是可穿戴的电子装置。在数据收集装置是通常可得到的装置的情况下，不需要专门的或专用的数据收集装置就可以可靠地记录和监视药剂输送。此外，由于用户可以利用他们熟悉的装置进行数据收集，所以用户可以不用先熟悉并且学习使用新的装置就开始记录剂量。[0008]在数据收集装置是戴在用户头上的穿戴式装置的情况下，所捕捉的视频可以大致对应于用户的视角，增加了药剂剂量指示器会显示在所捕捉的视频中的可能性。[0009]该方法可以包括确定所述视频中是否记录了多于一次的药剂输送。响应于确定所述视频中记录了多于一次的药剂输送，基于使用光学字符识别技术在所述视频中所述药剂剂量指示器的至少一个第二图像上识别出来的至少一个字符，可以确定至少一个第二药剂剂量，然后，基于所确定的药剂剂量和所确定的第二药剂剂量，确定由用户接收的总药剂剂量。作为替代或作为补充，该方法可以确定所述多于一次的药剂输送是否包括一次以上初始注射，使得可以忽略与初始注射相关联的任何确定的药剂剂量。[0010]该方法可以包括从所述图像获得颜色信息，并且基于所述颜色信息识别待分配的药剂的类型。获得颜色信息可以包括基于在药剂输送装置上提供的基准颜色信息来获得颜色平衡测量。[0011]药剂输送装置可以是注射器笔，其包括用于选择待分配的药剂数量的可移动部件。[0012]该方面还提供了一种包括计算机可读指令的计算机程序，所述计算机可读指令在被处理器执行时导致执行上述一种以上方法。这样的计算机程序可以以用于可穿戴电子装置或其他便携式电子装置的“app”形式提供。[0013]本方面还提供了一种用于记录药剂剂量的数据收集装置，包括摄像机和被配置为:使用所述摄像机捕捉视频的处理装置，所述视频包括药剂输送装置的药剂剂量指示器的至少一个图像;调整所述图像的比例;针对在所述药剂输送装置的部件上显示的一个以上字符的偏斜，调整所述图像;确定所述图像中的所述一个以上字符中的至少一个字符的位置;使用光学字符识别技术识别所述至少一个字符;基于所述光学字符识别的结果，确定由所述药剂剂量指示器指示的剂量。[0014]该方面还提供了一种包括这种数据收集装置和药剂输送装置的药剂输送系统。[0015]数据收集装置可以包括包含所述摄像机的可穿戴电子装置。这种可穿戴的电子装置可以被配置为戴在用户的头部，使得所捕捉的视频对应于用户的视角。例如，可穿戴式电子装置可以以与眼镜或太阳镜相似的方式由用户佩戴的形式提供。[0016]该装置可以被配置为使得摄像机和处理装置被包括在相同的装置中，例如所述的可穿戴装置。然而，在一些实施例中，摄像机可以设置在被配置为将所捕捉的视频经由诸如无线局域网、个人区域网、蜂窝通信网络或因特网等网络发送到计算机的装置中，其中计算机包括所述处理装置。[0017]处理装置可以被配置为确定所述视频中是否记录了多于一次的药剂输送。处理装置可以被配置为通过基于使用光学字符识别技术在所述视频中所述药剂剂量指示器的至少一个第二图像上识别出来的至少一个字符确定至少一个第二药剂剂量，并基于所确定的药剂剂量和所确定的第二药剂剂量确定由用户接收的总药剂剂量，对确定所述视频中记录了多于一次药剂输送进行响应。作为替代或作为补充，处理装置可以被配置为通过确定所述多于一次的药剂输送是否包括一次以上初始注射，对确定所述视频中记录了多于一次药剂输送进行响应，使得与所述一次以上初始注射相关联的任何确定的药剂剂量可以被忽略。[0018]处理装置可以被配置为识别药剂输送装置的至少一个部件的颜色，并且基于所述颜色来确定所述药剂的类型。在一些实施例中，处理装置可以被配置为基于显示在药剂输送装置上提供的基准颜色信息的图像来获得颜色平衡测量。附图说明[0019]现在将参考附图描述本发明的示例性实施例，其中：[0020]图Ia示出了一种药剂输送装置的分解图；[0021]图Ib示出了图Ia药剂输送装置一部分的透视图；[0022]图2是根据本发明一个实施例的数据收集装置的方框图；[0023]图3是根据本发明一个实施例的数据收集方法的流程图；[0024]图4和图5各自示出了图Ia药剂输送装置的剂量窗口的一部分，显示了可以显示的数字的示例；[0025]图6示出了与剂量窗口中显示的数字对应的二进制数字的示例；[0026]图7和图8示意性地示出了可在剂量窗口中显示的数字的另外的示例；[0027]图9示出了可在剂量窗口中显示的数字的另一示例，其中主数字行包含两个数字；[0028]图10是根据本发明另一实施例的数据收集方法的流程图。具体实施方式[0029]在下文中，将参照胰岛素注射装置对本发明的实施例进行说明。然而，本发明不限于这样的应用，并且如上所述，可以同样好地与注射其他药剂的注射装置或与其它类型的药剂输送装置一起部署。[0030]图Ia是注射装置1的分解图，在该特定示例中，注射装置1代表赛诺菲的SolostarR胰岛素注射笔。[0031]图Ia的注射装置1是预填充的一次性注射笔，其包括壳体10并且包含胰岛素容器14,针15可以固定到胰岛素容器14。针由内针帽16和外针帽17保护，外针帽17又可以被帽18覆盖。可以通过转动剂量旋钮12来选择要从注射装置1注射的胰岛素剂量，然后所选择的剂量经由剂量窗口13显示，例如以所谓的国际单位（IU的倍数显示，其中一个IU是约45.5微克纯结晶胰岛素的生物当量l22mg。在剂量窗口13中显示的所选剂量的示例可以例如是30IU，如图Ia所示。应当注意，所选剂量可以以不同方式同样好地显示。[0032]剂量窗口13可以是壳体10中的孔口的形式，其允许用户观看被配置为当剂量旋钮12转动时移动的数码套筒70的有限部分。为了便于获取在剂量窗口13中显示的数码的图像，数码套筒70可以具有无光泽的表面。[0033]标签19设置在壳体10上。标签19包括关于在注射装置内所包括的药剂的信息，包括识别药剂的信息。识别药剂的信息可以是文本的形式。识别药剂的信息也可以是颜色的形式。例如，标签19可以具有背景，或者包括阴影元素，例如具有对应于在注射装置中提供的特定类型的药剂的颜色的边框。作为替代，或者作为补充，标签可以包括存储这种信息的RFID标签或类似的装置。[0034]注射装置的一个以上部分，例如注射按钮11或剂量旋钮12,可以由具有与药剂对应的颜色的材料形成。任选的是，注射装置1内的胰岛素容器未示出）的一部分可以包括指示药剂类型的颜色编码部分，并且可以通过剂量窗口13看见。识别药剂的信息作为替代或者作为补充可以被编码成条形码、QR码等。识别药剂的信息也可以是黑白图案、彩色图案或阴影的形式。[0035]转动剂量旋钮12产生用以向用户提供声学反馈的机械咔嗒声。带数码的套筒70与胰岛素容器14中的活塞以机械方式相互作用。当针15被插入患者的皮肤部分中，然后推动注射按钮11时，在剂量窗口13中显示的胰岛素剂量将从注射装置1排出。当注射装置1的针15在按下注射按钮11之后在皮肤部分中保持一定时间时，实际上很大比例的剂量注射到了患者体内。胰岛素剂量的注射还引起机械咔嗒声，然而该咔嗒声与当使用剂量旋钮12时产生的声音不同。[0036]注射装置1可以用于几个注射过程，直到胰岛素容器14为空或注射装置1的有效期满例如，在第一次使用后28天为止。[0037]此外，在首次使用注射装置1之前，可能需要进行用以从胰岛素容器14和针15除去空气的所谓“初始注射primeshot”，例如通过选择2IU的胰岛素，然后在保持注射装置1向上的同时，按压注射按钮11。为了简化陈述，在下文中，将示例性地假定排出的剂量基本上等于注射的剂量，这样，例如当提出下一次要注射的剂量的建议时，该剂量等于要由注射装置排出的剂量。然而，当然可以考虑排出剂量和注射剂量之间的差异例如，损失），特别是就“初始注射”而言。[0038]图Ib是注射装置1的端部的特写。在图1所示的特定示例中，定位肋71位于观察窗13和剂量旋钮12之间。[0039]图2是根据本发明一个实施例的数据收集装置20的框图，数据收集装置20可以用于从图1的注射装置1收集诸如胰岛素类型、剂量和注射定时的数据。[0040]数据收集装置20是装备有内置摄像机21和处理装置22的电子装置，处理装置22包括一个以上处理器，诸如微处理器、数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA，等等。在该特定示例中，数据收集装置20是可穿戴的电子装置，诸如可由用户穿戴的用于从其视角记录图像的摄像机装置或安装在眼镜或以其他方式穿戴在用户头部或身体上的计算装置。[0041]数据收集装置20还包括存储单元23、24,存储单元23、24包括只读存储器23和随机存取存储器24,其可存储由处理装置22执行的软件。数据收集装置20还包括通信装置25、26,诸如天线25和收发器26,以允许与蜂窝电话网络、个人区域网络、本地无线网络或WLAN以及互联网中的一个以上进行双向通信。数据收集装置20还包括诸如小键盘27和或麦克风28等的输入装置27、28和诸如扬声器29和或显示器30等的输出装置29、30。在一些实施例中，该输入装置可以包括以触敏元件或“触控板”的形式提供的小键盘27,或者作为使用显示器31的一些或全部的触摸屏的一部分。作为替代或者作为补充，输入装置可以包括运动传感器装置31，诸如一个以上加速度计，用于检测数据收集装置20的移动。数据收集装置20还包括通信总线32,通信总线32允许在摄像机21、处理装置22、存储器单元23、24、通信装置25、26、输入装置27、28、31和输出装置29、30之间进行通信。[0042]存储在数据收集装置20的存储器单元23、24中的软件包括计算机可读指令，该计算机可读指令当由处理装置22执行时，使数据收集装置20记录视频，然后处理视频，以获得关于注射装置1中的药剂类型、由注射装置1输送的剂量的数据，任选的是还有关于药剂输送时间的数据。该软件可以以软件应用程序或“app”的形式提供，可以通过因特网从图书馆或商店下载。[0043]现在将参考图3至图9描述根据本发明一个实施例的示例性方法。[0044]从图3步骤s3.0开始，控制摄像机21开始记录包括剂量窗口13在内的至少一部分注射装置1的图像步骤s3.1，。在一些实施例中，app被配置成在记录视频时使处理装置22通过基于摄像机21视场的“实时取景”提供关于注射装置1相对于摄像机21定位的指令向用户提供指导。例如，app可以被配置为指导用户将摄像机21定位在摄像机21可以在剂量窗口13上获得良好聚焦的距离处。在某些实施例中，当摄像机和注射装置1之间的距离约为30cm时可以实现这样的聚焦。[0045]此外，如果仅在注射装置1的另一部分储如，标签19中包括药剂信息，则app可以使处理装置22通过在显示器29上提供消息和或通过扬声器30提供通知，指示数据收集装置20、33的用户包括注射装置1的那个部分。[0046]在该实施例中，处理装置22然后执行预处理（步骤S3.2，以评估并且如果需要的话，通过执行以下步骤来改善视频数据质量：[0047]•缺陷和坏像素校正[0048]•光校正[0049]•失真[0050]•抖动[0051]例如，曝光控制算法可以调整摄像机21的操作，以通过控制摄像机21的曝光参数和或控制附加照明（在提供的情况下，例如在数据收集装置20包括闪光单元未示出）的实施例中）来校正太亮或太暗的图像。注意，预处理是可选的特征。app可被设计为执行所需的标准，而无需对图像进行预处理。[0052]注射装置1和摄像机21之间的距离不是固定的，因此剂量窗口13以及标签19若提供）相对于摄像机21的方位也可以改变。鉴于此，处理装置22调整图像在视频记录中的比例，使得在剂量窗口13内显示的字符的大小在预定范围内（步骤s3.3。[0053]处理装置22可以通过基于注射装置1相对于摄像机的方位和或剂量窗口13中显示的字符的任何倾斜对剂量窗口13中显示的字符的偏斜进行校正，来进一步调整视频记录内的图像步骤s3.4。例如，剂量窗口13中的数码为了便于用户识别和定位可能是倾斜的，但是如果消除倾斜，则可能更容易由数据收集装置20解码。[0054]比例和偏斜调整可以基于对具有预定形状和或尺寸的注射装置1的特征进行的分析。例如，处理装置22可以在图像中识别出剂量窗口13、标签19、注射装置1上的标志（未示出）和或注射装置1的其它特征，然后基于有关这些特征期望形状和或大小的信息，调整由摄像机21捕捉的图像的比例和对准，并且校正图像中包括的文本和数码的偏斜。[0055]在一些实施例中，app还可以控制处理装置22以确定剂量窗口13和注射装置1中包括药剂信息的特定部分例如标签19是否被包括在视频图像中（步骤s3.5。该确定可以基于注射装置1在图像中的比例和注射装置1的一个以上部分在图像内的位置。任选的是，app可以为用户提供指导，以调整注射装置1相对于摄像机21的定位，使得注射装置1的相关部分在摄像机21的视场内。[0056]处理装置22然后使用app中所包含的光学字符识别（OCR软件来尝试根据视频记录从剂量窗口的至少一个图像中识别字符步骤s3.6，以为了确定在剂量窗口13中显示的数码或其他剂量指示步骤s3.7。[0057]图4和图5描绘了剂量窗口13的一部分，示出了可能显示的数字的示例。在图4中，已经将剂量拨选到注射装置1中，使得在剂量窗口13中央显示出一个数字34,在本情况中，为指示6IU的数码6。在图5中，7IU的剂量已经拨选到注射装置1中，使得分别表示数码6和8的数字35、36都显示在剂量窗口13中，并且这些数码之间的空格占据了剂量窗口13的中心区域。在这个特定的实施例中，处理装置22被配置为执行允许图4和图5中所描述的两种情况被精确解码的算法。[0058]OCR过程包括以下步骤：[0059]•二值化[0060]•分割[0061]•模式匹配[0062]•位置计算[0063]由于传感器装置2的可靠性要求高，在一些实施例中可以是并行操作的两个OCR算法。两个OCR算法具有相同的输入（图像），并且意图提供相同的输出。他们都执行类似的步骤，但是在每个步骤中使用的各自方法可能会有所不同。这两种OCR算法在二值化、分割、模式匹配和位置计算步骤之一中或在这些步骤的多于一个以上的步骤中可能不同。使用不同的方法提供相同结果的两个OCR部分，提高了整个算法的可靠性，因为数据用两种独立的方式进行了处理。[0064]在OCR过程中，将从摄像机21获得的并且经上述调整的彩色或灰度图像通过二值化处理转换成纯黑白图像37,如图6所示的图像。在剂量窗口中的明亮背景上呈现黑数码的一个示例中，黑白图像将指示具有黑色像素的数字38、39的存在，以及不存在具有白色像素的数字，如图6中的示例所示。在一些实施例中，使用固定阈值来分离黑色和白色像素。在二值化图片中，值等于或高于阈值的像素变为白色，低于阈值的像素变为黑色。高阈值将导致伪影（白色区域的黑色部分），而低阈值的风险是，在某些情况下部分数字丢失。在一些实施例中，选择阈值使得在任何情况下都不会丢失数字的部分，因为该算法对于伪像通常是鲁棒的（即，可以在存在某些伪影的情况下执行准确的OCR过程）。在使用256个灰度值分析图像的测试中，127的阈值显示出良好的结果。[0065]在例如预处理中已经执行了光校正的情况下，使用固定阈值是可能的。光校正和固定阈值的结合类似于窗口平均二值化。窗口平均二值化将像素值与其所在区域的像素的平均值进行比较。在失真和倾斜校正步骤之前执行光校正步骤意味着更多的信息可用于OCR过程，这已被证明在图片的边缘和角上产生更好的结果。[0066]作为替代，Otsu阈值方法可以应用于所捕捉的灰度图像以产生类似于图6所示二值化图像37的二进制图像。在一些替代实施例中，可以省略二值化，可以在所捕捉的彩色或灰度图像上执行算法的OCR部分。[0067]然后进行分割。该部分算法的目标是确定图像中每个可见或部分可见数码的确切位置。为了实现这一点，算法通过查找数字的边缘来定义可视数字的边界。这通常以两个步骤完成，这两个步骤可以以任何顺序执行。再次参考图4和图5,处理装置22可以执行对构成二值化图像37的像素列进行分析的“竖向投影”。单独分析每个像素列，并且计算每列中的黑色像素数之和。在一些实施例中，只有具有零个黑色像素的像素列限定数码的边缘。作为替代，考虑到污垢、划痕和其它干扰，可以为黑色像素数量设置低的阈值。计算相邻列的差值，差值最大的边界表示数码的边缘。另外，可以计算重叠的列组例如，三个相邻列）的像素内容，以帮助确定数码的横向边缘。[0068]然后，处理装置执行对构成二值化图像37的像素行进行分析的“横向投影”。这以与上面针对竖向投影描述的方式类似的方式进行。[0069]横向投影的预期结果被加到竖向投影的预期结果，于是，识别出可见数码的边缘。处理装置22可以用完整数码的预期高度（以像素行计进行预编程，因此能够识别部分可见数码的存在。[0070]在另一个实施例中，“横向投影”和“竖向投影”可以基于计算白色像素之和的分析，条件是每行和列中的白色像素的预期数量是已知的。[0071]了解精确位置允许针对OCR过程的后续步骤仅使用图像中代表一个以上可见数码的部分。由此，该数码之外的其他对象，例如，污垢、划痕或其他干扰，所造成的任何影响就可以减少了。此外，在后续步骤中（例如，在图案匹配步骤中）要处理的像素的总数也减少了。这有助于降低对资源的要求。这也有助于提高性能。此外，知道确切位置还支持确定相对于图像中心的竖向位置。[0072]OCR过程中下一步是选择要解码和识别的可见数码之一。通过将其中一个数码指定为“主数字行”来完成选择。主数字行是基于哪个可见数码具有最大高度来选择。这是因为印制在套筒70上的所有数字都具有大致相同的高度，因此可以认为高度最大的数码将完全可见，因此容易以高度确定性进行解码。在图7所示的示例中，数码“6”的高度高于上方和下方的部分可视数码，因此被选为主数字行。在图8所示的示例中，数码“6”和“8”都是完全可见的，并且具有相同的高度。在这种情况下，选择最上面的数码作为主数字行。主数字行是随后用于确定拨入注射装置1中的剂量的数码。[0073]用于自行给送胰岛素的标准注射装置1可以注射1至80IU的任何数量的单位的药剂。因此，为了正确解码被识别为主数字行的数码，必须确定该数码是由一位数字还是两位数字组成的。因此，为了确定每个数码是由一位数字还是两位数字组成，处理装置22执行一系列步骤，在数码由两位数字组成的情况下，将数字彼此分开。处理装置22可以使用先前为此目的而计算出来的列像素信息。在图9所示的示例中，已经将9IU的药剂拨选到注射装置1中。图9示出了横向和竖向投影的预期结果。数码“10”的高度比数码“8”高，因此被选为主数字行。[0074]此后，处理装置22确定所选择的主数字行是否比预定义的“最大数字宽度”值宽。处理装置22可以用与所捕捉的图像中的数码的预期大小相关的信息进行预编程，于是，可以定义单个数字的最大预期宽度。为了提高可靠性，最大宽度可以被设置为比最宽数目多少量的像素列。如果主数字行的宽度是最大数字宽度或小于最大数字宽度，则假定该行包含单个数字。如果主数字行太宽，不可能为单个数字，则在主数字行上而不是整个图像上）执行第二次竖向投影。此外，每个单独数字的预期宽度可以用于预测分离应发生的位置。[0075]图9所示的示例性视场900是数码间隔很好的示意图。在其他布置中，由于可用空间有限和需要数码对用户来说可读取，在剂量窗口中显示的数码可能相当紧密地靠在一起。因此，在二值化之后，组成该数码的两个数字可能不会被干净地分离，即，在两个数字之间可能不存在没有黑色像素的列。这就是图6所示示例性二值化图像中的情况，其中上方的数字37中的“7”和“4”之间不具有不包含黑色像素的像素列。在这种情况下，再次使用每个单独数字的预期宽度预测应该进行分离的位置。如果预测列包含黑色像素，则计算该列与相邻列的偏差，以确定最佳分离位置。在这种情况下，由于不清楚所选分离列中的黑色像素属于左侧数字还是右侧数字，因此将它们忽略。这样做已被证明对OCR过程正确识别数字的可靠性影响很小。[0076]然后执行图案匹配过程以识别主数字行中的数字。可以通过app对每个数码的模板进行预编程，然后将识别的数字与这些模板进行比较。在一种直截了当的方法中，可以逐个像素地执行图案匹配。然而，这可能要求计算能力高，并且图像和模板之间可能容易发生位置变化。在使用模板的情况下，app可以被配置为使处理装置22对图像数码执行其他类型的操作，例如通过改变一个以上数字的大小，将该数码裁剪为限定的像素区域，并且将以斜体字体印制的数码剪切成直立状态。这些操作可以在与存储的模板进行图案匹配比较之前执行。作为替代，这些操作可以在二值化处理之前的预处理中执行。还可以执行附加的阴影、失真和曝光校正。[0077]在一些其他实施例中，执行特征识别过程。特征可以是横线、竖线或斜线、曲线、圆或闭环，等等。这些特征可以在所选数码的图像中识别出来，然后与模板进行比较。[0078]在另外的实施例中，图案匹配算法可以基于向量比较过程。例如，模板可以是描述每条黑色像素线连续延续）的位置和长度的向量形式。在一个示例中，位置和长度与在各线中的绝对位置有关。在另一示例中，位置和长度涉及延伸穿过模板中心的竖线。所捕捉的每个数字的二进制图像可以类似地被转换成向量，并且依次与每个存储的模板进行比较以找到最佳匹配。当将所捕捉的图像的向量与特定的数字模板进行比较时，任何偏差都导致对图像和该模板之间匹配可能性施加减分penalty。减分的大小可取决于与模板相比图像中丢失的或增加的黑色像素的数量。在将数字图像与每个模板都进行比较并且已经应用了所有的减分之后，做出存在哪个数字的决定。在良好的光学条件下，正确的模板将具有非常低的减分，而所有其他模板将具有很高的减分。如果主数字行由两个数字组成，则该过程在两个数字上执行，然后处理装置22可以组合结果以产生该数码的最终结果。[0079]某些数字可能存在特殊措施。例如，“Γ在宽度上明显偏离所有其他数字，导致常见的漏检。为了解决这个问题，如果一个数字的二进制图像比“Γ的预期宽度宽，那么当与所存储的“Γ的矢量模板进行比较时，它会接收额外的检测减分。[0080]在一些特殊情况下，如果主数字行的图案匹配结果的置信水平低于某个阈值例如99%，则处理器可以对一个以上其他可见或部分可见的数码执行第二次图案匹配过程。由于数码的顺序是已知的，所以该第二次图案匹配可以用作第一次图案匹配返回正确结果的检查。[0081]如果结果的置信水平仍然不够高，则可以针对从摄像机21记录的视频得到的第二图像重复步骤s3.1至S3.6。作为替代，可以显示错误消息，并且任选的是，可以通过输出装置29、30向用户发出指令，继续捕捉剂量窗口13的视频图像，或者经由输入装置27、28手动输入剂量信息。[0082]如果成功识别出主数字行中的该一个数字或该多个数字，则应用加权函数，以确定在剂量窗口13中显示的剂量步骤s3.7。为了制定加权函数，可以确定主数字行相对于剂量窗口13中心的竖向位置。这可以通过计算包括主数字行的中间像素行相对于表示图像中剂量窗口13中心线的像素行的偏移来完成。[0083]例如，在一些实施例中，光学传感器包括矩形的64X48光敏元件阵列。所得到的二进制图像是具有这些相同尺寸的像素阵列。第24和或第25像素行可以被指定为图像的中心行。确定包括主数字行的中间像素行的位置。然后计算包括主数字行的中间像素行与图像的（一个以上）中央行之间按像素行计的偏移。取决于偏移的方向，该偏移可以为正或负。用偏移除以连续数码之间的距离（以像素行计），将偏移量转换为分数，之后，将偏移应用于相应确定的数码。因此，偏移允许确定该数码相对于传感器的旋转位置。如果主数字行的中心像素行与图像的中心像素行相同，则偏移为零，并且位置等于主数字行的编号。然而，在大多数情况下可能会有一些偏移。[0084]印制在数字套筒70上的连续数码之间的距离是恒定的，因为这些数码表示与注射装置机构的离散机械运动有关的剂量。因此，所捕捉的图像中连续数码之间的距离（以像素行计也应该是恒定的。数码的预期高度和数码之间间距的预期高度可以预编程到app中。作为一个示例，每个数码的预期高度可以是22个像素，并且数字之间间距的预期高度可以是6个像素。因此，连续数码的中心像素行之间的距离将是28个像素。[0085]继续该示例，如果像素行从图像的顶部到底部依次编号，则加权函数的应用在数学上可以定义为：[0086]位置=主数字行编号+[2X偏移数码预期高度+间距预期高度][0087]其中，偏移=与剂量窗口中心对应的图像行编号-主位数行中央行编号[0088]因此，如果主数字行位于图像的上半部分中，则偏移为正，如果主数字行位于图像的下半部分中，则偏移为负。例如，如果主数字列中显示的数码为“6”并且偏移为零，则计算出的位置为：[0089]位置=6+[2\0八28]=6[0090]因此，将按预期返回结果“6”。[0091]在75IU被拨选到注射装置1中的另一个示例中，如果上部的数码“74”被选择为主数字行，并且根据上述方程存在11个像素行的正偏移，再次假设组合的数码间距高度为28个像素，则计算出的位置将为：[0092]位置=74+[2X11八28]=74.79[0093]然后，将该结果四舍五入为最接近的整数，按照预期给出位置确定“75”。[0094]本领域技术人员将理解，上述加权函数和位置确定仅表示一个示例，并且可以使用许多其它计算方法来获得相同的结果。本领域技术人员还将理解，可以修改和改进上述数学计算以减少计算时间。因此，加权函数的确切形式对于本发明的定义不是必需的。[0095]在一些注射装置中，由于空间限制和需要数码达到一定的尺寸，所以在剂量窗口13中仅显示偶数。在一些其它注射装置中，可以只显示奇数。然而，可以将任意数量的药剂单元拨选到注射装置1中。在其它注射装置中，可以同时呈现偶数和奇数，并且可以将半个单位的剂量拨选到注射装置中。注射装置可以限制为80IU的最大拨选剂量。作为替代，可以仅显示每第3、第4或第5个数码，并且可以用刻度线标示这些数码之间的剂量。鉴于此，app可以包括用于控制处理装置22识别注射装置1中使用的编号顺序的指令。例如，可以提示用户经由小键盘27或触摸屏33来输入关于注射装置1的信息，或可以使用从图像获得的信息，例如从标签19上的文本或条形码获得的信息。app可以包括查找表或指示用于各种注射装置1的编号顺序的其他信息。然后，处理装置22可以基于OCR数据和针对注射装置1的适当编号顺序来确定所选择的剂量。作为替代，或作为补充，可以使用加权函数的修改形式，因为数码高度和数码间距的大小也可以被修改。[0096]任选的是，该方法可以包括后处理，例如执行合理性检查和滞后计算。作为替代，OCR过程的结果可以在不进行后处理的情况下完成。[0097]然后，为了确定所拨选的剂量是否已改变，对从视频获得至少一个后续图像重复进行上文在步骤s3.6至s3.7中所描述的OCR过程（步骤s3.8。该步骤的意图是确定步骤s3.7中识别出来的剂量是否表示要由注射装置1输送的剂量，或用户是否使用旋钮12继续调整了所拨选的剂量。在一些实施例中，处理装置22被配置为将视频中最后确定的剂量识别为输送给用户的实际剂量。在其他示例实施例中，处理装置22可以基于在步骤s3.6到s3.7中在预定数量的连续或基本上连续的视频帧序列中检测出相同的拨选剂量，来识别由注射装置1输送的实际剂量。[0098]关于药剂类型的信息可以通过下列项中的一项以上来获得:使用OCR图像中包括标签19的那部分获得，从图像中包括标签19的那部分中提取和解释条形码获得，或者通过从图像识别注射装置1的某个部分指示药剂类型的颜色获得步骤s3.9。[0099]在使用颜色检测的实施例中，注射装置1的数码套筒70可以被配置为提供基准颜色信息，以允许正确地识别图像中的一种或多种颜色。例如，印制的数字的背景可以用于提供校准图像中所示注射装置1诸部件的颜色用的白平衡等级。[0100]关于注射装置1输送药剂的时间的信息，从与视频记录相关联的时间戳数据获得步骤s3.10。[0101]从视频获得的信息然后可以被存储在数据收集装置20的随机存取存储器24中（步骤s3.11，并且或者使用通信装置25、26步骤3.12经诸如手机网络、个人区域网络、WLAN之类的网络发送到另一装置或因特网。以这种方式，可以记录和或监测向患者给送药剂。该过程在步骤s3.13中结束。[0102]图10中示出了可以使用数据收集装置从注射装置1收集信息的方法的另一实施例。[0103]从步骤10.0开始，步骤10.1至10.10分别对应于步骤3.1至3.10。[0104]图10所示方法包括的额外步骤为，分析视频记录以确定注射装置1是否被启动以输送多于一个剂量的药剂。如上所述，注射装置1可以具有在一次注射中可以输送的药剂的量的上限，例如80IU。实际上，为了使用户能够接收其所需剂量的药剂，可能需要多于一次实际注射。如果用户需要高于注射装置1的最大剂量的剂量，例如在上述示例中高于80IU，则可以快速连续地施用两次注射。[0105]作为替代，或作为补充，视频可以包括用户执行一次以上从注射器笔排除空气的“初始注射”的图像，在确定输送给用户的剂量时应该忽略“初始注射”。[0106]在步骤s10.10中，通过对来自由摄像机21捕捉的视频的一个以上后续图像重复进行针对步骤SlO.6和SlO.7所描述的OCR过程，处理装置22确定视频是否包括另一剂量被拨选到注射器笔1中的图像。例如，当使用上述SoloSTAR®笔用于执行注射时，随着药剂的输送，在剂量窗口13中显示的数字减小到零。因此，在步骤slO.7中已经识别出所拨选的剂量之后，在剂量窗口13中显示变化中的数码的视频序列，或剂量窗口13中随后检测到非零字符，可以被视为用户正在执行药剂进一步输送的指示。[0107]如果指示进一步药剂输送，则处理装置22接着确定先前的药剂输送对应于药剂的“初始注射”还是实际注射步骤SlO.12。可以基于确定的剂量来检测“初始注射”。例如，在步骤s10.8或s10.9中，检测到2IU或更小的拨选剂量，可以被认为对应于“初始注射”，而不是由用户接收的注射。作为替代，或作为补充，在步骤slO.10中获得的时间戳，以及与步骤S10.11中所基于的上面检测到新剂量正被拨选到注射装置1中的图像相关联的时间戳，或在步骤slO.11中检测其它剂量之间的时间，可以用来指示是否已经执行了“初始注射”。在特定的胰岛素注射中，向用户执行注射可能需要针头在用户体内保留数秒钟，例如10秒钟。此外，在要执行第二次注射的情况下，预期用户将在第一次注射之后更换针15,从而增加在步骤slO.6至slO.7和步骤slO.11中由OCR过程若干次检测到拨选剂量之间的时间间隔。在该时间间隔超过预定限值例如10秒）的情况下，可以指示第二次注射。如果时间间隔小于预定限值，则处理装置22可以确定注射装置1的先前启动是“初始注射”。[0108]在摄像机21捕捉视频的同时执行OCR过程的实施例中，数据收集装置20可以经由显示器29和或扬声器30向用户输出请求指示是否正在进行第二次注射，以及或者是否已经进行了“初始注射”。用户可以经由输入装置27、28、31响应该请求。[0109]如果在步骤sll.11确定仅输送一次注射，则确定由用户接收的总剂量与在步骤sl07中检测到的剂量一样。[0110]如果确定已经输送了第二次注射（步骤sl〇.11，并且两次注射都不是“初始注射”，则将在步骤slO.7和slO.11中确定的剂量加在一起以确定用户接收的总剂量（步骤slO.13。然而，如果确定在步骤slO.7和10.11中检测到的一个以上剂量与“初始注射”相关步骤slO.12，那么该相应确定的剂量不包括在总的确定剂量中（步骤slO.14，并且进行进一步注射检查步骤slO.11。[0111]在一个替代实施例中，可以省略步骤SlO.12至SlO.14,并且在检测到另外的剂量的情况下步骤slO.11，可以存储和或发送与检测到的剂量相关的数据用于后续分析。[0112]关于药剂类型的信息和时间戳信息可以如上面针对图3的步骤3.11至3.12所描述的那样被存储和或发送步骤slO.15、10.16。然后该过程结束步骤slO.17。[0113]如上所讨论的实施例所示，提供app或类似的软件产品以获得与注射、其他医疗处理或其他设备的操作相关的信息，可以允许使用用户通常可得到且熟悉的诸如可穿戴电子装置此类的装置，更准确地和或可靠地记录这种信息。由于上述实施例不需要制造和分配专门的数据收集装置，所以它们可能潜在地降低对治疗或操作进行记录和或监视的成本和复杂性。[0114]在上述实施例中，由一个数据收集装置20捕捉、处理和分析视频。然而，在其他实施例中，数据收集装置20可以被配置为使用其摄像机21捕捉视频，然后将所捕捉的视频经由诸如无线局域网、个人区域网、蜂窝通信网络或因特网等的网络发送到计算机，其中计算机包括被配置成处理和分析视频以确定剂量窗口13中显示的剂量的处理装置。[0115]虽然针对从胰岛素注射器笔收集数据描述了上述实施例，但是应当注意，本发明的实施例可以用于其他目的，例如监测其他药剂的注射或其他医疗过程。实施例也可以用于非医疗目的，例如出于安全原因监视其他类型的设备的操作。

权利要求：1.一种使用数据收集装置来记录药剂剂量的方法，所述方法包括：用所述数据收集装置的摄像机捕捉示出药剂输送装置的药剂剂量指示器的视频；调整所述视频中的图像的比例；针对所述视频中所述药剂输送装置的部件上显示的一个以上字符的偏斜，调整所述图像；确定所述图像中所述一个以上字符中的至少一个字符的位置；使用光学字符识别技术识别所述至少一个字符；基于所述光学字符识别的结果，确定由所述药剂剂量指示器指示的药剂剂量。2.根据权利要求1所述的方法，其中，所述数据收集装置是可穿戴的电子装置。3.根据权利要求1或2所述的方法，包括确定所述视频中是否记录了多于一次的药剂输送。4.根据权利要求3所述的方法，包括:响应于确定所述视频中记录了多于一次的药剂输送，基于使用光学字符识别技术在所述视频中所述药剂剂量指示器的至少一个第二图像上识别出来的至少一个字符，确定至少一个第二药剂剂量，然后，基于所确定的药剂剂量和所确定的第二药剂剂量，确定由用户接收的总药剂剂量。5.根据权利要求3或4所述的方法，包括：响应于确定在所述视频中记录了多于一次的药剂输送，确定所述多于一次的药剂输送是否包括一次以上初始注射。6.根据前述权利要求中任一项所述的方法，包括从所述图像获得颜色信息，并且基于所述颜色信息识别要分配的药剂的类型。7.根据前述权利要求中任一项所述的方法，其中，所述药剂输送装置是注射器笔，其包括用于选择待分配药剂数量的可移动部件。8.—种计算机程序，包括计算机可读指令，所述计算机可读指令在被处理器执行时导致执行根据前述权利要求中任一项所述的方法。9.一种用于可穿戴电子装置的应用，其中，所述应用包括根据权利要求8的计算机程序。10.—种用于记录药剂剂量的数据收集装置，所述数据收集装置包括：摄像机；处理装置，其被配置为：使用所述摄像机捕捉视频，所述视频包括药剂输送装置的药剂剂量指示器的至少一个图像；调整所述图像的比例；针对在所述药剂输送装置的部件上显示的一个以上字符的偏斜，调整所述图像；确定所述图像中的所述一个以上字符中的至少一个字符的位置；使用光学字符识别技术识别所述至少一个字符；基于所述光学字符识别的结果，确定由所述药剂剂量指示器指示的剂量。11.根据权利要求10所述的数据收集装置，包括包含所述摄像机的可穿戴电子装置。12.根据权利要求11所述的数据收集装置，其中，所述可穿戴电子装置被配置为戴在用户的头部上。13.根据权利要求10、11或12所述的数据收集装置，其中，所述处理装置被配置为确定所述视频中是否记录了多于一次的药剂输送。14.根据权利要求13所述的数据收集装置，其中，所述处理装置被配置为通过基于使用光学字符识别技术在所述视频中所述药剂剂量指示器的至少一个第二图像上识别出来的至少一个字符确定至少一个第二药剂剂量，并基于所确定的药剂剂量和所确定的第二药剂剂量确定由用户接收的总药剂剂量，对确定所述视频中记录了多于一次药剂输送进行响应。15.根据权利要求13或14所述的数据收集装置，其中，所述处理装置被配置为通过确定所述多于一次药剂输送是否包括一次以上初始注射，对确定所述视频中记录了多于一次的药剂输送进行响应。16.—种药剂输送系统，包括：药剂输送装置；根据权利要求10至15中任一项所述的数据收集装置。

百度查询： 赛诺菲-安万特德国有限公司 使用光学字符识别技术记录来自药剂注射装置的剂量数据

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD