申请/专利权人：东南大学

申请日：2023-10-14

公开（公告）日：2024-01-02

公开（公告）号：CN117336209A

主分类号：H04L43/0876

分类号：H04L43/0876;H04L43/028

优先权：

专利状态码：在审-实质审查的生效

法律状态：2024.01.19#实质审查的生效;2024.01.02#公开

摘要：本发明涉及一种基于通用略图的高速网络逐流基数和分布函数估算方法。该方法利用层次化的略图结构设计，在利用略图方法存储逐流基数指标的同时，为大基数的超点流分配独占的有状态流表空间，存储其对应的流标识与基数值，改善了逐流基数估算精度。在该层次化结构中，每层的子略图组合了一个确切数据结构和一个略图结构，引入了一套基于最小堆的在两者之间的换入、换出机制，并通过快照记录移入时刻的噪声大小，缓解了哈希碰撞。同时，该方法能够计算逐流基数的任意阶矩，并以此重构出逐流基数的分布函数。本发明在未使算法时间复杂度有较明显提升的前提下，实现了高速网络流量中的逐流基数值、流基数高阶矩和分布函数等相关统计指标的准确估计。

主权项：1.基于通用略图的高速网络逐流基数和分布函数的估算方法，其特征在于，包括如下步骤：步骤1，当一个流元组flowid,elementid进入可编程交换设备，首先计算flowid的哈希值，并将其转换为二进制格式，通过计算采样层索引j*，确定该元组将交由层次化结构中的哪一层进行操作；计算方式如下： 其中ones是flowid二进制哈希值中连续前导1的个数加1；ps是可设置的超参数，其表示渐进采样的采样率；l也是一个可设置的超参数，其为该通用略图的最大层数；步骤2，将该元组交由j*层的Sub-Sketch进行基数值估算，包括如下子步骤：步骤2.1，流元组首先进入预过滤器；每个预过滤器包括堆式索引部分和存储部分，其中堆式索引部分包含一个键数组K，一个索引位置数组X和一个基数估算缓存数组V，并以最小堆的顺序存储；其中存储部分包含一个寄存器矩阵W，一个增量更新单元数组Φ和一个全局噪声快照数组η；步骤2.2，如果步骤1.1中该key不存在，则流元组key,value进入支持在线基数估算的略图进行处理；略图包括一个寄存器矩阵M，一个增量更新单元数组Q和一个全局增量更新单元N；步骤2.3，如果预过滤器已满，则将更新后的基数值与预过滤器中最小的基数值进行比较；如果更新后的基数值小于预过滤器中最小的基数值，则直接返回该更新后的基数值；如果该平均数大于预过滤器中最小的基数值，则代表当前处于根节点位置的键已经不属于Top-k范围内，需要被移出预过滤器、移入略图；而该更新后的基数值所对应的键需要被移出略图、移入预过滤器；步骤2.4，如果预过滤器未满，则直接将key加入键数组K中空的一列；步骤2.5，将略图中key所对应的寄存器矩阵M的列合并到预过滤器中key对应的寄存器矩阵W的列中，并根据增量更新单元数组Q和全局增量更新单元N的值，相应地更新增量更新单元数组Φ和全局噪声快照数组η；步骤2.6，调整键数组K，索引位置数组X和基数估算缓存数组V内保存的值的位置，使得基数估算缓存数组V满足最小堆的性质，返回更新后的基数值；步骤3，根据上述更新至j*层的元组，及其后经该层Sub-Sketch估计的基数值，将其flowid与测量的基数数组作为新的元组，从j*层至0层进行逐层更新：步骤3.1，对于任意j∈{j*,…,0},若j层的小顶堆结构仍有空位，则直接更新；步骤3.2，对于没有空位的情况，首先比较当前待更新的元组与小顶堆顶部的元组；若当前元组的基数值小于顶部元组，则停止整个逐层更新步骤，并丢弃该元组；否则将该元组取代当前顶部元组，并继续执行逐层更新步骤；步骤4，采用迭代计算方式估算出整条数据流对应的k-阶矩，对于所有存储在各层的元组，抽取每对元组中的基数值，执行下述迭代基数矩计算操作： 最终得到作为该数据流的k-阶矩估算结果，其中gx＝xk为自定义的单调函数，Ql为第l层的Sub-Sketch数据结构，为f的逐流基数估算值，Hj为第j层的Min-Heap数据结构，hj+1f为用以判断f是否被采样至j+1层的指示函数，ps为渐进采样概率，f为一个数据流中的一个子流；步骤5，按照步骤4所述方法，计算数据流的0-阶、1-阶直至高阶矩；步骤6，据此采用矩方法以及最大熵原则来重构逐流基数分布函数。

全文数据：

权利要求：

百度查询： 东南大学 基于通用略图的高速网络逐流基数和分布函数的估算方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。

阅读全文 双屏查看 官方信息 专利公告 收藏专利 下载PDF 下载WORD