DB32/T 5059—2025 江苏省市场监督管理局 中 国 标 准 出 版 社　发　 布　 　出　 版　ICS 35.240.01 CCS L 70 企业物流管理数据仓库建设指南 Data warehouse guide for the of construction of enterprise logistics management 江 苏 省 地 方 标 准 2025 -02-21·¢²¼ 2025 ‑03‑21实施Ⅰ目　　次 前言…………………………………………………………………………………………………………… Ⅲ 1　范围………………………………………………………………………………………………………… 1 2　规范性引用文件 …………………………………………………………………………………………… 1 3　术语和定义 ………………………………………………………………………………………………… 1 4　缩略语 ……………………………………………………………………………………………………… 2 5　建设原则 …………………………………………………………………………………………………… 2 6　设计指标要求 ……………………………………………………………………………………………… 3 7　数据仓库分层 ……………………………………………………………………………………………… 3 8　数据构成 …………………………………………………………………………………………………… 4 9　数据存储 …………………………………………………………………………………………………… 5 10　数据建模 …………………………………………………………………………………………………… 6 11　数据模型 …………………………………………………………………………………………………… 7 12　数据采集 …………………………………………………………………………………………………… 8 13　网络安全 …………………………………………………………………………………………………… 8 14　数据备份与恢复 …………………………………………………………………………………………… 8 15　运行系统的结构 …………………………………………………………………………………………… 8 参考文献 ……………………………………………………………………………………………………… 10DB32/T 5059—2025前　　言 本文件按照 GB/T 1.1—2020《文件化工作导则　第 1部分：标准化文件的结构和起草规则 》的规定 起草。 请注意本文件的某些内容可能涉及专利 。本文件的发布机构不承担识别专利的责任 。 本文件由江苏省软件和信息技术服务标准化技术委员会提出并归口 。 本文件起草单位 ：江苏斯诺物联科技有限公司 、诺得网络科技股份有限公司 、上海大学 。 本文件主要起草人 ：赵国荣、赵惠丹、武星、孙驰、吕斌、赵飓。 ⅢDB32/T 5059—20251DB32/T 5059—2025 企业物流管理数据仓库建设指南 1　范围 本文件提供了企业物流管理数据仓库 （下文简称 “数据仓库 ” ）设计的基本原则、设计指标 、分层、数据 构成、数据存储 、数据建模 、数据模型 、数据采集 、网络安全 、数据备份与恢复 、运行系统构成的内容 ，适用 于企业物流管理数据仓库的规划 、设计、开发和应用 ，支持物流行业与其他信息系统的互联互通 。 本文件适用于企业物流管理数据仓库建设的过程 。 2　规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款 。其中，注日期的引用文 件，仅该日期对应的版本适用于本文件 ；不注日期的引用文件 ，其最新版本 （包括所有的修改单 ）适用于本 文件。 GB/T 5271 .1—2000　信息技术　词汇　第 1部分：基本术语 GB/T 5271 .17—2010　信息技术　词汇　第 17部分：数据库 GB/T 11457 —2006　信息技术　软件工程术语 GB/T 18768 —2002　数码仓库应用系统规范 GB/T 20270 —2006　信息安全技术　网络基础安全技术要求 GB/T 20271 —2006　信息安全技术　信息系统通用安全技术要求 GB/T 20988 —2007　信息安全技术　信息系统灾难恢复规范 GB/T 28452 —2012　信息安全技术　应用软件系统通用安全技术要求 GB/T 29765 —2021　信息安全技术　数据备份与恢复产品技术要求与测试评价方法 GB/T 33745 —2017　物联网　术语 GB/T 35295 —2017　信息技术　大数据　术语 GB/T 38667 —2020　信息技术　大数据　数据分类指南 3　术语和定义 GB/T 5271 .1—2000、GB/T 18768 —2002、GB/T 11457 —2006、GB/T 20270 —2006、GB/T 20271 — 2006、GB/T 20988 —2007、GB/T 5271 .17—2010、GB/T 33745 —2017、GB/T 35295 —2017、GB/T 38667 —2020界定的以及下列术语和定义适用于本文件 。 3.1 数据仓库　 data warehouse ；DW 在数据准备之后用于永久性存储数据的数据库 。 3.2 结构化数据　 structural data 按次种形式 ，由数据元素汇集而成的每个记录的机构都是一致的并且可以使用关系模型予以有效描 述的一种数据表示形式 。2DB32/T 5059—2025 3.3 非结构化数据　 unstructured data 不具有预定模型或以定义方式组织的数据 。 3.4 元数据　 metadata 关于数据或数据元素的数据 （可能包括其数据描述 ） ，以及关于数据用有权 、存取路径 、访问权和数据 易变性数据 。 3.5 数据库　 database 支持一个或多个应用领域 ，按概念结构组织的数据集合 ，其概念结构描述这些数据的特征及其对应 实体间的联系 。 4　缩略语 下列缩略语适用于本文件 。 ADS：数据应用层 （Application Data Store ） DIM：公共维表 （Dimension Table ） DWD：基础数据层 （Data Warehouse Detail ） DWER模型：实体联系模型 （Entity‑Relationship Model ） DWHS：基础标签层 （Data Ware House Servce ） DWS：公共汇总粒度事实层 （Data Warehouse Service ） ODS：数据接入层 （Operational Data Store ） OLAP：联机分析处理 （Online Analytical Processing ） RAID：磁盘阵列 （Redundant Arrays of Independent Disks ） 5　建设原则 5.1　开放性原则 应基于业界开放文件 ，以确保系统能够与不同的数据源和工具兼容 ，便于未来的扩展和维护 。 5.2　数据完整性原则 数据在生成 、存储、传输和处理过程中保持其准确性 、一致性和完整性 5.3　可扩展性原则 可支持体系结构的扩展 ，适应未来的业务发展和技术升级 ，通过添加新功能或修改现有功能来满足 不断变化的需求 。 5.4　灵活性原则 能适应多样化的源数据 ，以及不断变化的需求和业务环境的能力 ，并向目标系统提供多样化的数据 支持。3DB32/T 5059—2025 5.5　安全性原则 建设过程中应采取一定的措施保护数据仓库中的数据不被非法访问 、修改或删除 。 5.6　兼容性原则 可支持多种数据源和数据库系统 ，包括关系型数据库和非关系型数据库 。 6　设计指标要求 6.1　性能指标 6.1.1　响应时间 ：每一百并发数 <3 s。 6.1.2　吞吐量 ：100 TPS。 6.1.3　并发数 ：数百并发是基本要求 ，且需要具备扩展到数千的能力 。 6.1.4　存储容量 ：约6 TB。 6.1.5　数据量的大小 ：每年的数据量在 100 MB~ 1 GB之间。 6.1.6　数据的类型和结构 ：结构化数据 （如客户关系数据 、订单数据等 ），可以使用关系型数据库 ，在 10 GB~ 20 GB的硬盘容量即可存储数年的数据 ；非结构化数据需要使用对象存储或分布式文件系统 ，存 储方式通常需要较大的硬盘容量 。 6.1.7　实时同步 ：实时同步是将数据仓库与源数据库实时保持一致 ，确保数据的即时更新 ，能够 7×24 h运行高负载业务 。 6.1.8　批量同步 ：批量同步是定期将源数据库的数据批量导入到数据仓库中 。 6.2　可扩展性 6.2.1　采用分布式架构 ：通过将数据仓库部署在多个节点上 ，实现数据的分布式存储和处理 ，提高系统 的处理能力和扩展性 。 6.2.2　引入云计算技术 ：利用云计算资源 ，实现数据仓库的弹性伸缩 ，根据业务需求动态调整存储和计 算资源，降低企业的研发成本 。 6.2.3　优化数据模型 ：通过对数据进行建模和优化 ，减少冗余数据 ，提高数据的存储效率和查询速度 。 6.2.4　引入大数据处理技术 ：利用 Hadoop、Spark等大数据处理框架 ，实现数据的并行处理和高效分析 ， 提高数据仓库的处理能力 。 6.2.5　采用列式存储技术 ：通过采用列式存储技术 ，减少数据冗余 ，提高数据的压缩率和查询速度