(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210951672.5 (22)申请日 2022.08.09 (71)申请人 邵长征 地址 210000 江苏省南京市秦淮区丰富路 652号 (72)发明人 邵长征　 (51)Int.Cl. G06F 16/22(2019.01) G06F 16/2455(2019.01) G06F 16/25(2019.01) (54)发明名称 一种基于大数据的网络信息数据采集系统 (57)摘要 本发明公开了一种基于大数据的网络信息 数据采集系统， 包括数据采集模块和数据存储模 块， 所述数据采集模块用于分析所采集数据属 性， 所述数据存储模块用于将采集数据按指定规 则进行优化存放， 所述数据采集模块与数据存储 模块之间数据连接， 该系统为了设计数据采集精 确和存放更为合理的结构， 因此在数据中设置标 志位， 然后放置于缓存空间中进行数据信息判断 其数据价值， 当其价值到达一定程度即需要进入 固定结构中供算法调用， 而数据自身价值由被访 问次数决定， 所以将访问程度较高的数据放置于 关键节点， 这样初次调用就能快速寻找到， 加快 系统运行速度， 本发明， 具有数据采集合理和存 放精确的特点。 权利要求书2页 说明书5页 附图1页 CN 115454996 A 2022.12.09 CN 115454996 A 1.一种基于大数据的网络信息数据采集系统， 包括数据采集模块和数据存储模块， 其 特征在于： 所述数据采集模块用于分析所采集数据属 性， 所述数据存储模块用于将采集数 据按指定规则进行优化存放， 所述数据采集模块与数据存 储模块之间数据连接 。 2.根据权利要求1所述的一种基于大数据的网络信 息数据采集系统， 其特征在于： 所述 数据采集模块包括标志 位设定模块、 被引率统计模块、 数据判断模块和缓存空间栈， 所述标 志位设定模块用于数据被使用次数的数学 统计操作， 所述被引率统计模块用于统计某数据 的被使用次数， 所述数据判断模块用于根据上述数据判断数据的属 性， 所述缓存空间栈用 于临时存放生成数据信息， 所述标志位设定模块与被引率统计模块之间数据连接， 所述被 引率统计模块与数据判断模块之间数据连接， 所述标志 位设定模块与缓存空间栈之 间数据 连接， 所述被引率统计模块与缓存空间栈之间数据连接； 所述数据存储模块包括存储节点建立模块、 算法优选模块和节点寻找模块， 所述存储 节点建立模块用于根据数据判断结果建立数据节 点， 所述算法优选模块用于根据对节点数 据选择的算法进 行优化分类操作， 所述节点寻找法用于获取位置优化后的位置进 行数据存 储， 所述存储节点建立模块与算法优选模块之间数据连接， 所述算法优选模块与节点寻找 模块之间数据连接 。 3.根据权利要求2所述的一种基于大数据的网络信 息数据采集系统， 其特征在于： 所述 网络信息数据采集系统的运行 方法主要包括以下步骤： 步骤S1： 采集模块接收到某计算而出数据后将其放于缓存空间栈中， 并设置第一标志 位； 步骤S2： 当其余程序或用户访 问数据时， 从缓存空间栈中调取参与运算时将其标志位 数进行增 加， 每次运 算， 标志位增 加一； 步骤S3： 将其 参加运算次数与标志位 程度求解其被引率， 判断其存 储优先级； 步骤S4： 当标志位数值超过阈值Q 时， 将其从缓存空间栈中取出按其存储结构类型放入 对应模块， 若无该数据类型存储单元则作为头元素进行创建， 若存在该类型存储单元则将 其存放并使用异步辅助算法对其进行存 储优化。 4.根据权利要求3所述的一种基于大数据的网络信 息数据采集系统， 其特征在于： 所述 步骤S1进一 步包括以下步骤： 步骤S11： 系统计算出某数据后， 将其至 于缓存空间栈中； 步骤S12： 将该 数据置第一标志位， 并时刻监测该 数据的调用次数； 步骤S13： 每次调用增 加其标志位缓存空间， 当该 数据参与计算时， 其标志位进一。 5.根据权利要求4所述的一种基于大数据的网络信 息数据采集系统， 其特征在于： 所述 步骤S2进一 步包括以下步骤： 步骤S21： 缓存空间栈中设置判断限位， 求每 个数据的被引率数据； 步骤S22： 设其标志位缓存空间大小为W， 此时该数据的标志位为第n标志位， 计算其被 引率R， 步骤S23： 由被引率判断数据需要快速访问程度， 当被引率R超过判断限位时， 判定其需 要进入固定存 储结构。 6.根据权利要求5所述的一种基于大数据的网络信 息数据采集系统， 其特征在于： 所述权　利　要　求　书 1/2 页 2 CN 115454996 A 2步骤S23进一 步包括以下步骤： 步骤S231： 若需要存储于固定结构中的数据类型存在， 则将其作为后续节点存储于已 有结构中， 否则创建该新类型节点类型 结构； 步骤S232： 每次创建新型节点的数据量为Y的固定结构， 记为Y1， 当数据量超过第一段Y 时， 创建第二段Y数据量大小的空间， 记为Y2， 依次类推最新数据段为Yn。 7.根据权利要求6所述的一种基于大数据的网络信 息数据采集系统， 其特征在于： 所述 步骤S4进一 步包括以下步骤： 步骤S41： 当数据进入固定区域时， 首 先设其为F(a)并将其归类于某数据段中； 步骤S42： 其次选择hash函数法， 计算初始关键位， 第U位置， U＝F(a)MOD  Y； 步骤S43： 将其与第U位置信息做比较， 确定最后存 储位置。 8.根据权利要求7所述的一种基于大数据的网络信 息数据采集系统， 其特征在于： 所述 步骤S41进一 步包括一下步骤： 步骤S411： 当固定结构部分中， 前Y段 数据若都被完整 使用， 则创建新数据段Yn+1； 步骤S412： 若Yn数据段中仍有空余存储位置， 那么在Yn数据段中使用异步辅助算法进行 数据存储。 9.根据权利要求8所述的一种基于大数据的网络信 息数据采集系统， 其特征在于： 所述 步骤S43进一 步包括以下步骤： 步骤S431： 查看该数据的访问程度， 若其访问程度大于该关键位数据的数值， 那么使用 异步辅助算法， 将该 段数据整体后移一 位， 并存入最新数据； 步骤S432： 若该关键位置不存在数据， 则将其 放入； 步骤S433： 若该关键位所存数据被访问程度高于带存放数据， 那么使用顺序存储法， 将 其依次向后查找出空余存 储位置中第一个空余空间， 将其 放入。权　利　要　求　书 2/2 页 3 CN 115454996 A 3