ICS 35.020 CCS L 70 巴 DB1508 彦 淖 尔 市 地 方 标 准 DB 1508/T 135—2021 水利信息数据质量控制规范 Water Conservancy Information Data Quality Control Standard 2021 - 04 - 16 发布 巴彦淖尔市市场监督管理局 2021 - 05 - 16 实施 发 布 DB1508/T 135—2021 目 次 前言 ................................................................................ II 1 范围 ............................................................................... 1 2 规范性引用文件 ..................................................................... 1 3 术语和定义 ......................................................................... 1 4 数据处理流程 ....................................................................... 1 4.1 人工采集整编数据处理流程 ....................................................... 1 4.2 自动监测数据处理流程 ........................................................... 2 4.3 外单位共享数据处理流程 ......................................................... 3 5 数据处理各个环节要求 ............................................................... 3 5.1 人工采集整编数据处理环节要求 ................................................... 3 5.2 自动监测数据处理环节要求 ....................................................... 5 5.3 外单位共享数据处理环节要求 ..................................................... 6 6 数据处理基础环境要求 ............................................................... 7 6.1 计算机要求 ..................................................................... 7 6.2 网络要求 ....................................................................... 7 6.3 系统要求 ....................................................................... 8 I DB1508/T 135—2021 前 言 本文件按照GB/T 1.1—2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定 起草。 本文件由内蒙古河套灌区水利发展中心提出。 本文件由巴彦淖尔市水利局归口。 本文件起草单位：内蒙古河套灌区水利发展中心。 本文件主要起草人：李占强、李根东、徐宏伟、闫晋阳、裴文武、张利军、姜杰、曹立奇、关丽罡、 刘建国、董向义、李延林、贾宏伟、梁勇。 II DB1508/T 135—2021 水利信息数据质量控制规范 1 范围 本文件规定了水利信息数据质量控制中数据处理流程、数据处理各环节要求和数据处理基础环境要 求。 本文件适用于巴彦淖尔市水利信息化水利信息数据质量控制。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T 20271 信息安全技术信息系统安全通用技术要求。 3 术语和定义 GB/T 20271 界定的以及下列术语和定义适用于本文件。 3.1 数据采集 data collection 数字化、电子扫描系统的记录过程以及内容和属性的编码过程。 3.2 人机交互 human-computer interaction 人与计算机之间使用某种对话语言，以一定的交互方式，为完成确定任务的人与计算机之间的信息 交换过程。 3.3 召测 data acquisition 由中心站呼叫某个遥测站，发出取数指令后，收集该遥测站送来的数据。 4 数据处理流程 4.1 人工采集整编数据处理流程 4.1.1 巴彦淖尔市水利信息化中心人工采集整编数据来源于、河灌总局、市水务局、旗县水务局等， 数据量大，涉及的单位多。为了保证人工采集整编数据的质量，需对各产生数据单位进行充分调研，然 1 DB1508/T 135—2021 后结合各单位数据处理流程形成统一的数据采集整编处理流程，在具体实施的过程中根据各单位的具体 情况从统一流程中可以适当减少一些不必要的环节。 4.1.2 巴彦淖尔市水利信息化中心人工采集整编处理主要包括如下过程： ——数据整编：数据采集整编单位按照资料整编及录入格式规范的要求将待处理数据进行整编形成 相应的数据表格； ——数据录入（导入）：数据采集整编单位将整编好的数据通过人工录入界面或批量导入功能将数 据保存到数据中心的数据库中； ——数据校核：数据采集整编单位将保存到数据库中的数据与原始整编数据进行比对，判断原始整 编数据与录入数据是否一致，如果不一致则重新进行数据录入（导入）； ——内部审核：数据采集整编单位对自己负责整编的数据进行内部审核，以保证从本单位出去的数 据的质量。内部审核可以根据需要定义多个审核层级，审核不通过则退回前一审核层级，内部 审核第一级审核不通过的数据需返回到数据整编环节； ——数据上报：数据采集整编单位相关负责人员将审核通过的整编数据上报相关责任处室； ——接收上报审核数据：相关处室接收已上报待处理的整编数据； ——中心数据审核：市水务局相关处室对上报待审数据进行人工审核或根据定义的审核规则自动审 核。审核不通过的数据将被返回到数据采集整编单位的内部审核环节。数据审核通过，审核通 过则此整编数据成为最终可用数据， 可以被建立在数据中心之上的应用系统、 数据服务等使用； ——数据汇编：中心（数据审核汇编单位）相关责任人员对不同数据采集单位上报的采集整编数据 进行汇编形成汇编业务数据； ——汇编数据审核：中心的汇编数据审核人员对通过汇编得到的汇编数据进行审核，审核不通过则 回到数据汇编环节，审核通过则此整编数据成为最终可用数据，可以被建立在数据中心之上的 应用系统、数据服务等使用； ——数据共享：通过中心审核的上报数据和汇编数据，如果数据被定义为共享数据则可以通过共享 交换平台进行数据共享与同步。 4.2 自动监测数据处理流程 4.2.1 自动监测数据主要包括全市所有自动监测站点实时监测数据，如雨水情、水质、水量、大坝安 全（位移、渗压）等的实时监测数据，这类数据一般由自动采集设备进行实时采集或人工不定时召测获 得。经由采集设备前段数据库传输到市水利数据中心和各相关数据负责单位，通过共享设置可共享交换 到其他使用单位（其他数据分中心）。 对于实时监测数据应尽量避免人工干预以保证数据的准确性，每个站点根据其数据的实际情况确定 数据值的有效范围和预警范围，便于自动判断数据的有效性及进行数据预警。 4.2.2 巴彦淖尔市水利信息化中心自动监测数据处理流程主要包括以下环节： ——自动采集或人工召测：根据数据自动监测设备的设置进行数据自动采集，根据数据负责单位分 中心或区水利数据中心发出的召测指令临时采集数据； ——采集端数据保存：将自动采集数据和临时召测数据保存到采集端的数据库中； ——采集端数据传输：通过数据传输系统（共享交换平台）将采集数据及时传输到负责单位分中心 和市水利数据中心； ——实时监测数据接收：负责单位分中心和市水利数据中心对传输过来的实时监测数据进行接收处 理； ——有效性判断：根据预先设置好的监测数据有效性范围进行数据有效性判断； 2 DB1508/T 135—2021 ——实时监测数据入库：根据数据有效性判断结果对数据进行入库保存，有效数据保存到实时监测 数据库中，无效数据保存到实时监测异常库中。有效数据可根据预警阀值设置进一步增加实时 监测数据预警信息； ——记录日志：对数据接收处理及有效性判断，入库结果等记录相应的日志信息，便于过程查询和 问题排除； ——数据共享：如果实时监测数据被定义为共享数据则可以通过共享交换平台进行数据共享与同 步。 4.3 外单位共享数据处理流程 4.3.1 外单位共享数据需根据外单位的具体情况，确定数据传输共享方式。这里只对外单位数据进入 数据中心后的处理流程进行说明。 4.3.2 外单位共享数据处理流程主要包括以下环节： ——数据接收入库：按照与外单位确定好的数据获取方式获得数据，将数据保存到区水利数据中心 相关数据库中； ——记录日志：对数据 获取及入库过程记录相应的日志信息，便于过程查询和问题排除； ——数据共享：如果外单位共享数据被定义为共享数据则可以通过共享交换平台进行数据共享与同 步。 5 数据处理各个环节要求 5.1 人工采集整编数据处理环节要求 5.1.1 数据整编 按照《巴彦淖尔市水利信息化中心资料整编和数据录入格式规范》文档中定义的数据整编内容、流 程及整编格式要求进行。具体要求参见《巴彦淖尔市水利信息化中心资料整编和数据录入格式规范》的 规定。这里补充以下要求： ——对各类整编数据中的关键属性需进行重点校核，包括必填、类型、长度、精度、范围等方面的 要求需事先进行规定，保证关键属性的质量； ——做好整编、一校、二校、配合整编单位、审查、复审、汇编等各个环节的人员信息的记录，做 到每个环节都能够责任到人，提高解决数据问题的效率，更好的保证人工采集整编数据的质量； ——在进行整编数据格式定义的时候要充分考虑数据的存储