中华人民共和国 广播电视和网络视听 行业标准 广播电视和网络视听收视大数据清洗规范 Specification for big data cleaning of radio & TV and network audi ovisual viewership GY/T 418—2024 2024 - XX - XX发布 2024 - XX - XX实施 国家广播电视总局 发布 GY GY/T 418—2024 I 目 次 前言 ................................ ................................ ................. III 1 范围 ................................ ................................ ................ 1 2 规范性引用文件 ................................ ................................ ......1 3 术语和定义 ................................ ................................ .......... 1 4 缩略语 ................................ ................................ .............. 1 5 清洗流程 ................................ ................................ ............ 1 6 清洗规则 ................................ ................................ ............ 2 规范性清洗规则 ................................ ................................ ..2 有效性清洗规则 ................................ ................................ ..3 完整性清洗规则 ................................ ................................ ..3 唯一性清洗规则 ................................ ................................ ..3 合理性清洗规则 ................................ ................................ ..4 附录A（规范性） 频道编号 ................................ .............................. 5 A.1 电视频道编号（不含付费电视频道） ................................ ................ 5 A.2 付费电视频道编号 ................................ ................................ 5 参考文献 ................................ ................................ ............... 7 GY/T 418—2024 III 前 言 本文件按照 GB/T 1.1 —2020《标准化工作导则 第1部分：标准化文件的结构和起草规则》的规定 起草。 请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。 本文件由全国广播 电视和网络视听 标准化技术委员会（ SAC/TC 239 ）归口。 本文件起草单位：国家广播电视总局广播电视规划院、国家广播电视总局广播影视信息网络中心、 中央广播电视总台、央视国际网络有限公司、央视频融媒体发展有限公司、北京广播电视台、上海 广播 电视台、湖南广播电视台、浙江广播电视集团、江苏省广播电视总台、广东广播电视台、辽宁广播电视 集团（辽宁广播电视台）、广西广播电视台、四川广播电视台、山西广播电视台、黑龙江广播电视台、 中国传媒大学、中移（杭州）信息技术有限公司、咪咕文化科技有限公司、爱上电视传媒有限公司、未 来电视有限公司、北京快手科技有限公司、北京歌华有线电视网络股份有限公司、东方有线网络有限公 司、华数数字电视传媒集团有限公司、广东有线广播电视网络股份有限公司、广东南方新媒体股份有限 公司、百视通网络电视技术发展有限责任公司、深圳广播电影电视 集团、中国广电重庆网络股份有限公 司、贵州多彩新媒体股份有限公司、陕西广信新媒体有限责任公司、陕西广电网络传媒（集团）股份有 限公司、湖南快乐阳光互动娱乐传媒有限公司、优酷信息技术（北京）有限公司、北京爱奇艺科技有限 公司、秒针信息技术有限公司、上海成思信息科技有限公司 。 本文件主要起草人：郑冠雯、李忠炤、谢垚、王幸、王志豪、苏畅、黄卓伟、杨质祺、李义彪、展 祎萌、李凯东、陈珊珊、高謞、徐展、孙鹏飞、袁航宇、张冰、董哲颖、周玲、陈文浩、杨罡、芦磊、 张丽、李婧雯、张莉、林春昭、刘玲、孙婧、许慧芬、段瑞忠、韩宇、肖红江 、陈勇华、李鸣扬、钱江 奇、吴兴荣、潘红梅、肖勇峰、王峰、李鸣、肖云、高明青、高海漩、靳国卫、董原、顾荣宁、于涛、 张玮、诸葛海标、汪昊辰、方辉、杨磊、冉大为、王庆宝、李正文、陈卫、郑炜、陆堃、董强强、李新、 刘超、廖玮、赵士原、杨敖、魏雪平、张沈阳、刘彦鹏、范斐、田方、梁琦、冯艳玲、田魁、佘一夫、 黄立超、王金龙、刘杰、张国栋、葛承志、刘沛、张丽、刘向东、胡春磊、高燕肖、李百峰 。 GY/T 418—2024 1 广播电视和网络视听收视大数据清洗规范 1 范围 本文件规定了广播电视 和网络视听收视大数据的清洗流程和清洗规则。 本文件适用于有线电视、卫星直播、 IPTV、OTT TV、互联网视听等收视数据的清洗。 2 规范性引用文件 下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。 其中， 注日期的引用文件， 仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本 文件。 GB/T 2260 —2007 中华人民共和国行政区划代码 3 术语和定义 下列术语和定义适用于本文件。 大数据清洗 big data cleaning 对原始数据进行处理和转换，以去除无效、不完整、重复或不一致的数据，提高数据的质量和准确 性。 行为记录 behavior record 描述用户收视行为的相关信息，包含与该行为相关的所有数据。 字段 field 描述用户收视行为记录中某一特征的数据项。 单次播放标识 single play identifier 标识用户单次启动播放器后，一个内容对应所有收视行为的唯一性编码。 该标识在播放器初始化时设定，播放过程中切换码率、暂停等交互操作不会令该标识发生变化 。 4 缩略语 下列缩略语适用于本文件。 ID 用户终端的唯一编码（ Identifier ） IPTV 互联网协议电视（ Internet Protocol Television ） OTT TV 互联网电视（ Over The Top TV ） UTF-8 8位Unicode字符集转换格式（ Unicode Transformation Format -8bit Unicode ） 5 清洗流程 收视大数据清洗流程包含规范性清洗、有效性清洗、完整性清洗、唯一性清洗、合理性清洗 5个规 则，见图 1。其中，规范性清洗用于规范数据格式，有效性清洗用于检验并剔除无效数据， 完整性清洗GY/T 418—2024 2 用于对行为记录进行合并和补全，唯一性清洗用于处理重复和重叠行为记录，合理性清洗用于处理异常 流入行为记录。各步骤清洗规则见第 6章。 应加载当次清洗处理时所需的全量数据进行收视大数据的清洗，并按图 1依次执行各清洗步骤。前 序步骤剔除的行为记录或字段，不再参与后续步骤的清洗。对于清洗过程中剔除的行为记录或字段，宜 标记为异常后保存并记录剔除原因。 图1 清洗流程 6 清洗规则 规范性清洗规则 6.1.1 转码 对于非UTF-8格式的数据，应统一转码为 UTF-8格式。 应对转码失败的字段进行剔除。 6.1.2 特殊字符转义 应对后续数据处理会造成影响的特殊字符进行转义。 6.1.3 行为记录和字段分隔 应使用行为记录分隔符和字段分隔符将数据分隔为行为记录和字段。 应对分隔失败的行为记录或字段进行剔除。 6.1.4 字段错位转换 应对字段错位的记录进行转换，使其字段顺序满足处理要求。 转换失败的行为记录应剔除。 6.1.5 关键字段缺失记录剔除 对于行为主体（如终端 ID）、行为时间（如播放时间）、行为对象（如