申请/专利权人：原相科技股份有限公司

申请日：2013-02-06

公开（公告）日：2021-01-05

公开（公告）号：CN107992198B

主分类号：G06F3/01(20060101)

分类号：G06F3/01(20060101);G06F3/03(20060101)

优先权：

专利状态码：有效-授权

法律状态：2021.01.05#授权;2018.06.01#实质审查的生效;2018.05.04#公开

摘要：一种光学式指向系统，包含图像传感器、储存单元、处理单元以及至少一个参考光源。所述图像传感器用以获取包含与所述至少一个参考光源相关的参考光源图像的图像帧。所述储存单元用以储存所述图像帧中至少一个物体图像的图像数据。所述处理单元用以依次处理所述图像帧的每一个像素以判断所述物体图像，并即时移除或合并所述储存单元所储存的所述图像帧的像素范围内的两个物体图像相关的图像数据，以节省储存空间。

主权项：1.一种光学式指向系统，该光学式指向系统包含：图像传感器，用以获取包含与至少一个参考光源相关的参考光源图像的图像帧；储存单元，用以储存所述图像帧中至少一个物体图像的图像数据；以及处理单元，用以在扫描期间依次处理所述图像帧的每一个像素以判断所述至少一个物体图像，在所述扫描期间内，当所述图像帧的净空范围内同时出现彼此不相邻接的两个物体图像时，移除所述储存单元中所述净空范围内所述两个物体图像相关的图像数据，及当所述图像帧内出现的两个物体图像的图像距离大于所述净空范围时，执行物体追踪。

全文数据：光学式指向系统[0001]本申请是申请号为201310048439.7、申请日为2013年02月06日、名称为“光学式指向系统”的中国发明专利申请的分案申请。技术领域[0002]本发明是关于一种人机互动系统，特别是关于一种光学式指向系统。背景技术[0003]已知遥控器包含多个按键，使用者透过按压至少一个按键来发出控制信号以相对控制家电装置。然而，按键所能控制的功能有限，因此业界发展出了利用图像传感器所传感的图像来控制家电装置的指向系统。[0004]指向系统中，通常包含多个系统参考点以供所述图像传感器获取其图像，处理单元则根据所获取的图像计算所述参考点图像的位置变化以作为位移量，所述位移量则可用以相对控制光标动作。[0005]所述处理单元接收到图像帧时，则依次侦测所述图像帧中的每一个像素以判定是否存在物体图像，并将与物体图像相关的像素信息储存于暂存器中。参照图1所示，例如图像帧90中包含三个物体图像91-93;其中，物体图像91和92表示系统参考点而物体图像93表示环境噪声。所述处理单元会先将所有物体图像91-93的数据储存至暂存器后再进行后续处理，例如判定91-93何者为环境噪声。[0006]上述方法中，由于一张图像帧中的所有物体图像数据都先会被储存，因此会占用较大的储存空间而有可能需要使用具有较大储存空间的暂存器，否则于某些操作环境下，例如存在较多环境光源时，则可能会出现储存空间不足的问题。[0007]有鉴于此，本发明提出一种可即时释放暂存器被占用的储存空间的光学式指向装置。发明内容t〇〇〇8]本发明的目的在提供一种光学式指向系统，其可降低暂存器被占用的存储空间。[0009]本发明提供一种光学式指向系统，包含图像传感器、储存单元以及处理单元。所述图像传感器用以获取包含至少一个参考光源相关的参考光源图像的图像帧。所述储存单元用以储存所述图像帧中至少一个物体图像的图像数据。所述处理单元用以在扫描期间依次处理所述图像帧每一个像素以判断所述至少一个物体图像，在所述扫描期间内，当所述图像帧的净空范围内同时出现彼此不相邻接的两个物体图像时，移除所述储存单元中所述净空范围内所述两个物体图像相关的图像数据，及当所述图像帧内出现的两个物体图像的图像距离大于所述净空范围时，执行物体追踪。[0010]本发明还提供一种光学式指向系统，包含图像传感器、储存单元以及处理单元。所述图像传感器用以获取包含至少一个参考光源相关的参考光源图像的图像帧。所述储存单元用以储存所述图像帧中至少一个物体图像的图像数据。所述处理单元用以在扫描期间依次处理所述图像帧每一个像素以判断所述至少一个物体图像，在所述扫描期间内，当所述图像帧的可合并范围内同时出现多个彼此不相邻接的物体图像时，合并所述储存单元中所述可合并范围内的所述多个物体图像相关的图像数据，及当所述图像帧内出现的两个物体图像的图像距离大于净空范围时，执行物体追踪，其中所述净空范围大于所述合并范围。[0011]一实施例中，当像素区域的每一像素的亮度大于等于亮度阈值、累积像素面积大于等于面积阈值和或符合预设特征时，所述处理单元判断所述像素区域为物体图像;其中，所述物体图像可包含参考光源图像和环境光图像且所述像素区域是由相邻接的多个像素所构成。[0012]一实施例中，所述净空范围和所述可合并范围是从物体图像的中心、重心或边界向外延伸。[0013]一实施例中，所述净空范围和所述可合并范围可为固定的预设像素范围或根据两参考光源的设置间距、图像传感器的取像角度和遥控器的可操作距离等系统参数求得。[0014]本发明实施例的光学式指向装置中，由于所述处理单元可于扫描期间内即时地将预设像素范围内的物体图像数据移除或合并，故可释放所述储存单元的部分存储空间以节省系统资源。附图说明[0015]图1显示指向系统的图像传感器所获取的图像帧的示意图；[0016]图2显示本发明实施例的光学式指向系统的示意图；[0017]图3显示图2的光学式指向系统的图像传感器所获取的图像帧的示意图；[0018]图4A和4B显示本发明实施例的光学式指向系统的储存单元中所储存的图像数据变化的示意图；[0019]图5A显示本发明另一实施例的光学式指向系统的示意图；[0020]图5B显示图5A的光学式指向系统的图像传感器所获取的图像帧的示意图；[0021]图6显示本发明实施例的光学式指向系统的运作方法的流程图。[0022]附图标记说明[0023]1〇遥控器11图像传感器[0024]12处理单元13储存单元[0025]2、2参考光源8显示装置[0026]81光标IRi净空范围[0027]IR2可合并范围图像距离[0028]物体图像IF、IF’图像巾贞[0029]d设置间距D可操作距离[0030]90图像巾贞91-93物体图像。具体实施方式[0031]为了让本发明的上述和其他目的、特征、和优点能更明显，下文将配合所附图示，作详细说明如下。于本发明的说明中，相同的构件是以相同的符号表示，于此提前说明。[0032]请参照图2所示，其显示本发明实施例光学式指向系统的示意图，其包含遥控器丄〇和至少一个参考光源此处显示为一个参考光源2。本实施例中，所述参考光源2例如可为发光二极体、雷射二极体、一个主动点光源或多个主动点光源排列而成，其较佳发出可识别光谱，例如红外光。所述遥控器10例如可为家电遥控器，其上可另外设置有多个按键以供使用者按压;使用者可透过所述遥控器10操控家电设备的动作，例如启闭及输出参数等。例如一实施例中，使用者可透过所述遥控器10获取图像帧，其包含所述参考光源2相关的参考光源图像，并根据所述图像帧中所述参考光源图像的变化操控显示装置8显示的光标81的动作。其他实施例中，所述遥控器10可为可携式电子装置。[0033]所述遥控器10包含图像传感器11、处理单元12以及储存单元13。所述图像传感器11较佳为主动式图像传感器，例如CMOS图像传感器，用以获取包含所述至少一个参考光源相关的参考光源图像的图像帧IF。例如参照图3所示，其显示所述图像传感器11所获取的图像帧IF，其中所述图像帧IF包含参考光源图像12。[0034]所述储存单元13例如可为暂存器buffer，用以储存所述图像帧IF中至少一个物体图像的图像数据;其中，所述图像数据例如包含物体图像的亮度、位置、大小等参数。一实施例中，所述储存单元13可具有多个储存区块，不同物体图像相关的图像数据可分别储存于不同的储存区块。[0035]所述处理单元12例如可为数位处理器DSP，用以于扫描期间依次处理所述图像帧IF每一个像素以判断所述至少一个物体图像，其中所述扫描期间是指依次侦测所述图像帧IF每一个像素的期间；例如图3中，扫描期间中，左上方第一个像素Pi,1先被侦测，而后依次侦测第一列的其他像素?1,2、？1,3-?1#，接着依次侦测第二列的像素152，1-内心最后侦测最后一列的像素Pn,i-Pn,m;其中，n、m为正整数，其数值例如可由所述图像传感器11的传感阵列的尺寸所确定。此外，所述扫描期间也可以先扫描第一行的各像素后再依次扫描其他行的各像素。本实施例中，所述至少一物体图像可包含所述参考光源图像12以及环境光图像例如〇1和〇2;其中，所述环境光图像是指环境中的其他主动光源但非所述参考光源或反射所述参考光源所发出的光的反射光源。因此，当像素区域的每一像素的亮度大于等于亮度阈值、累积像素面积例如于所述扫瞄期间所累积大于等于所述亮度阈值的累积像素个数）大于等于面积阈值和或符合预设特征时，所述处理单元12则判断所述像素区域为物体图像;其中，所述像素区域是由一个或多个相邻接的像素所构成。所述预设特征是指调变频率、形状等可用以区别出参考点图像的特征。可以了解的是，一般图像帧11?中会存在噪声，因此即使像素区域的亮度大于等于亮度阈值，仍有可能为噪声所造成，因此较佳像素区域的累积像素面积同时大于面积阈值时才判定为物体图像;例如图3中，像素P4,l的亮度大于亮度阈值，然而其面积太小此处显示为一个像素范围），因此像素P44将不会被判定为一个物体图像。[0036]本实施例中，当所述处理单元12识别出物体图像时，即先将所述物体图像相关的图像数据暂存于所述储存单元13中。接着，所述处理单元12判断一次扫描期间是否出现两物体图像，当识别出两物体图像时则计算所述两物体图像的图像距离以确定是否移除或合并所述储存单元13中所述两物体图像相关的图像数据。例如参照图3所示，当所述处理单元12于一次扫描期间内判断出目前物体图像〇2或12且所述图像帧IF中存在先前物体图像〇i或〇2时，计算所述目前物体图像〇2或12与所述先前物体图像〇i或〇2的图像距离山或d2并据此释放部分所述至少一个物体图像相关的图像数据。可以了解的是，图3所示物体图像的形状和大小仅为例示性，并非用以限定本发明。[0037]本发明中，所述处理单元12可将预设像素范围内的物体图像予以排除或合并，以降低存储空间。[0038]请参照图2、3和4A所示，接着说明移除所述储存单元13中物体图像相关的图像数据的实施方式。此时，假设光学式指向系统包含单一参考光源2,而所述图像传感器11所获取的图像帧IF中包含环境光图像0jP02。所述处理单元12用以于扫描期间依次处理所述图像帧IF每一个像素以判断所述至少一个物体图像，当所述扫描期间内所述图像帧IF的净空范围IRi内同时出现两物体图像时例如0i及02，移除所述储存单元13中所述净空范围IRi内所述两物体图像相关的图像数据。[0039]本发明的光学式指向系统于出厂前，即设定了所述遥控器的可操作范围D，例如1-10公尺，但不以此为限；并可假设所述参考光源2周围的空间范围心（图2内不会存在其他参考光源图像。因此，根据所述可操作范围D和所述空间范围心则可推算出所述图像传感器11于所述可操作范围D内获取的图像帧IF中的净空范围IRi;也即，所述净空范围IRi可为预先所设定固定的预设像素范围，其映射mapping自所述空间范围Ri。[0040]当所述处理单元12接收到所述图像帧IF时，依次处理每一个像素Pu-P^。当识别出物体图像^时，将所述物体图像相关的图像数据暂存于所述储存单元13中，如图4A的数据⑴;接着，继续处理其他像素，当所述处理单元12识别出目前物体图像〇2时，将所述目前物体图像02相关的图像数据暂存于所述储存单元13中，如图4A的数据02。由于所述图像帧IF中存在先前物体图像Ox，所述处理单元12则计算所述目前物体图像02与所述先前物体图像h的图像距离ch，且当所述图像距离ch小于等于所述净空范围1心时，移除所述储存单元13中所述目前物体图像〇2和所述先前物体图像^相关的图像数据如图4A。本实施例中，所述图像距离di为所述目前物体图像〇2与所述先前物体图像的中心、重心或边界间的距离。[0041]另一实施例中，所述处理单元12可在每识别出物体图像时（例如图3的物体图像〇2，即于所述物体图像周围确定所述净空范围I心，且当识别出所述净空范围1¾内包含另一个物体图像时例如图3的物体图像，则移除所述储存单元13中所述净空范围化:内所述两物体图像（S卩〇lS〇2相关的图像数据。本实施例中，所述净空范围1以是从所述至少一个物体图像的中心、重心、边界或可代表物体图像位置处向外延伸的像素范围；例如，图3显示从所述物体图像〇2的中心向外延伸形成所述净空范围Ifo。[0042]请参照图2、3和4B所示，接着说明合并所述储存单元13中物体图像相关的图像数据的实施方式。此时，假设光学式指向系统包含单一参考光源2,而所述图像传感器11所获取的图像帧IF中包含参考光源图像12和环境光图像〇2;所述处理单元12用以于扫描期间依次处理所述图像帧IF每一个像素以判断所述至少一个物体图像，当所述扫描期间内所述图像帧的可合并范围IR2内同时出现多个物体图像时例如02及12，合并所述储存单元13中所述可合并范围IR2内所述物体图像相关的图像数据。[0043]本发明的光学式指向系统于出厂前，即设定了所述可合并范围IR2。于操作时，可将所述可合并范围IR2内的物体图像合并视为同一个物体图像。[0044]当所述处理单元12接收到所述图像帧IF时，则依次处理每一个像素Pi,i-Pn,m，当识别出物体图像〇2时，则将所述物体图像02相关的图像数据暂存于所述储存单元13中，如图4B的数据〇2;接着，继续处理其他像素，当所述处理单元12识别出目前物体图像12时，则将所述目前物体图像相关的图像数据暂存于所述储存单元13中，如图4B的数据12。由于所述图像帧IF中存在先前物体图像〇2,所述处理单元12则计算所述目前物体图像12与所述先前物体图像〇2的图像距离cb，且当所述图像距离cb小于等于所述可合并范围IR2时，合并所述储存单元13中所述目前物体图像I2和所述先前物体图像02相关的图像数据如图4B显示将数据〇2和数据〗2合并为数据〇。本实施例中，所述图像距离出为所述目前物体图像12与所述先前物体图像〇2的中心、重心或边界间的距离。[0045]另一实施例中，所述处理单元I2可在每识别出物体图像时（例如图3的物体图像12，即于所述物体图像周围确定所述可合并范围IR2，且当识别出所述可合并范围IR2内包含另一个物体图像时（例如图3的物体图像02，则合并所述储存单元13中所述可合并范围IR2内所述两物体图像相关的图像数据。必须说明的是，虽然图3仅以可合并范围IR2内包含两物体图像为例进行说明，然而当所述可合并范围IR2内包含两个以上物体图像时，所述物体图像可均合并成为一个物体图像。所述可合并范围IR2是从所述至少一个物体图像的中心、重心、边界或可代表物体图像位置处向外延伸的像素范围；例如，图3显示从所述物体图像12的中心向外延伸形成所述可合并范围IR2。[0046]另一实施例中，假设光学式指向系统包含两参考光源，所述处理单元12则可根据系统参数确定所述净空范围IRi和所述可合并范围IR2。例如参照图5A和5B所示，其中图5B显示图像传感器11所获取图像帧IF7的示意图。两参考光源2、2相距设置间距d，所述遥控器10的可操作距离为D，则所述图像传感器11所获取的图像帧IF中会包含两参考光源图像I2、I2，此外图5B另绘示物体图像％、〇4以及Os、〇6以方便说明。所述两参考光源图像l2、〗〆的图像距离假设为d、可假设所述图像距离为d的范围内不会存在其他物体图像，故可将本发明的净空范围IRi设为所述图像距离d或略小于所述图像距离为d'。然而，由于所述图像距离f会随着所述设置间距d、所述可操作距离D例如1-10公尺）、所述图像传感器11的取像角度e等系统参数改变，因此所述处理单元12可根据所述系统参数计算所述净空范围IR1;而所述可合并范围IR2可设定为所述净空范围Ifo的比例而为变动值。另一实施例中，所述净空范围IRi和所述可合并范围IR2也可为预先设定的固定的预设像素范围。此外，除了确定所述净空范围IRi和所述可合并范围IR2的方式外，其他实施方式则类似于图3及其相关说明，故于此不再赘述。[0047]换句话说，本发明实施例的净空范围1心和可合并范围〇?2可为固定的预设像素范围或根据系纟j参数求得;其中，系统参数可包括参考光源的设置间距、图像传感器的取像角度和操作距离。例如，假设可操作距离为1-1〇公尺，在所述可操作距离内以不同取像角度e获取的图像帧中两参考光源图像的距离例如dO均可事先量测而得;而所述取像角度e也可于运作时动态的计算而得。借此，所述处理单元12根据图像帧求得参考光源图像的距离和图像传感器的取像角度e后即可利用查表或演算法求得所述遥控器1〇与参考光源2、2的实际距离，并据此确定所述净空范围IRi和所述可合并范围IR2。[0048]请参照图6所示，其显示本发明实施例的光学式指向系统的运作方法的流程图，包含下列步骤:获取图像帧（步骤S31;识别所述图像帧中的物体图像步骤S32;比较图像距离与距离阈值步骤S33;当所述图像距离大于所述距离阈值时，执行物体追踪步骤S34;以及当所述图像距离小于等于所述距离阈值时，即时合并或移除两物体图像相关的图像数据步骤S35;其中，所述距离阈值例如包含前述净空范围（第一阈值和或可合并范围（第二阈值）。参照图2-5B，接着说明本实施例的运作方法。[0049]步骤S31:所述图像传感器11获取图像帧例如图3或5B并传送至所述处理单元12。[0050]步骤S32:所述处理单元I2根据邻接像素的像素区域的像素亮度、累积像素面积和预设特征进行物体图像识别，例如可识别出图3的物体图像0^0^12或者图5的I2、〗〆、〇3-〇6;其中，物体图像的识别方式己为已知，本发明的精神在于针对已识别出的物体图像进行合并或删除。[0051]步骤S33:所述处理单元12则比较图3中所述物体图像^与出间（假设仅包含物体图像102或所述物体图像02与12间（假设仅包含物体图像02、12的图像距离，其中所述图像距离di、d2可为两物体图像的中心、重心、边界或可代表物体图像的位置间的距离。[0052]步骤S34:当所述处理单元12判定所述图像距离大于第一阈值（如所述净空范围IR0时如图5B的物体图像Isl〆），则视为两不同物体。所述处理单元12则针对所述两物体进行物体追踪，例如根据所述张图像帧计算物体坐标或根据所述张图像帧和其前一张图像帧计算物体位移量;其中，计算物体坐标和物体位移量的方式已为已知，故于此不再赘述。[0053]步骤S35:当所述处理单元12判定所述图像距离小于等于第一阈值并大于第二阈值例如所述可合并范围IR2时（如图5B的物体图像〇3、〇4，则移除所述储存单元13中所述两物体图像相关的图像数据；当所述处理单元12判定所述图像距离小于等于所述第二阈值时如图5B的物体图像05、06，则合并所述储存单元13中所述两物体图像相关的图像数据，借此降低被占用的存储空间。当预设像素范围内的物体图像被移除或合并后，所述处理单元12则根据剩下的物体图像和或合并后的物体图像进行物体追踪。本实施例中，所述第二阈值系小于所述第一阈值。[0054]本发明中，所述移除物体数据步骤与所述合并物体数据步骤可单独实施或合并实施。[0055]必须说明的是，虽然本发明实施例中仅以一个和两个参考光源来说明，本发明并不以此为限，参考光源的数目是根据计算位移量和坐标所使用的演算法而定，并无特定限制。本发明的精神在于当所述遥控器10识别出净空范围或可合并范围内出现多个物体图像时，即将至少一部分所述物体图像相关的存储空间释放，以降低被占用的存储空间。[0056]此外，虽然图4A和图4B中显示图像数据是连续储存，但其仅用以说明并非限定图像数据于所述储存单元13中的储存方式。[0057]综上所述，己知指向装置会先将所识别出的全部物体图像进行暂存后，再于扫描结束后判定其是否属于系统参考点，因而于操作时会占用较大的存储空间。本发明另提出一种光学式指向装置图2、5A，其可于扫描图像帧的同时即时释放纪录环境光数据的存储空间，借此降低被占用的储存空间。[0058]虽然本发明己被前述实施例披露，但是其并非用以限定本发明，任何本发明所属技术领域中具有通常知识的技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与修改。因此本发明的保护范围当视后附的权利要求所界定的范围为准。

权利要求：1.一种光学式指向系统，该光学式指向系统包含：图像传感器，用以获取包含与至少一个参考光源相关的参考光源图像的图像帧；储存单元，用以储存所述图像帧中至少一个物体图像的图像数据;以及处理单元，用以在扫描期间依次处理所述图像帧的每一个像素以判断所述至少一个物体图像，在所述扫描期间内，当所述图像帧的净空范围内同时出现彼此不相邻接的两个物体图像时，移除所述储存单元中所述净空范围内所述两个物体图像相关的图像数据，及当所述图像帧内出现的两个物体图像的图像距离大于所述净空范围时，执行物体追踪。2.根据权利要求1所述的光学式指向系统，其中所述至少一个物体图像包含所述参考光源图像和环境光图像。3.根据权利要求1所述的光学式指向系统，其中当像素区域的每一像素的亮度大于等于亮度阈值、累积像素面积大于等于面积阈值和或符合预设特征时，所述处理单元判断所述像素区域为所述至少一个物体图像。4.根据权利要求1所述的光学式指向系统，其中所述光学式指向系统还包含单一参考光源，所述净空范围为固定的预设像素范围。5.根据权利要求1所述的光学式指向系统，其中所述光学式指向系统还包含两个参考光源，所述处理单元根据所述两个参考光源的设置间距、所述图像传感器的取像角度和可操作距离计算所述净空范围。6.根据权利要求1所述的光学式指向系统，其中当所述处理单元在所述扫描期间识别出所述至少一个物体图像时，在所述至少一个物体图像周围确定所述净空范围。7.根据权利要求1-6中任一项权利要求所述的光学式指向系统，其中所述净空范围从所述至少一个物体图像的中心、重心或边界向外延伸。8.—种光学式指向系统，该光学式指向系统包含：图像传感器，用以获取包含与至少一个参考光源相关的参考光源图像的图像帧；储存单元，用以储存所述图像帧中至少一个物体图像的图像数据;以及处理单元，用以在扫描期间依次处理所述图像帧的每一个像素以判断所述至少一个物体图像，在所述扫描期间内，当所述图像帧的可合并范围内同时出现多个彼此不相邻接的物体图像时，合并所述储存单元中所述可合并范围内的所述多个物体图像相关的图像数据，及当所述图像帧内出现的两个物体图像的图像距离大于净空范围时，执行物体追踪，其中所述净空范围大于所述合并范围。9.根据权利要求8所述的光学式指向系统，其中当像素区域的每一像素的亮度大于等于亮度阈值、累积像素面积大于等于面积阈值和或符合预设特征时，所述处理单元判断所述像素区域为所述至少一个物体图像。10.根据权利要求8所述的光学式指向系统，其中当所述处理单元在所述扫描期间识别出所述至少一个物体图像时，在所述至少一个物体图像周围确定所述可合并范围及所述净空范围。11.根据权利要求8所述的光学式指向系统，其中所述可合并范围为固定的预设像素范围或根据系统参数求得。12.根据权利要求8-11中任一项权利要求所述的光学式指向系统，其中所述可合并范围及所述净空范围从所述至少一个物体图像的中心、重心或边界向外延伸。

百度查询： 原相科技股份有限公司 光学式指向系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD