(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211137315.1 (22)申请日 2022.09.19 (71)申请人 哈尔滨工业大 学(深圳) 地址 518055 广东省深圳市南 山区桃源街 道深圳大 学城哈尔滨工业大 学校区 (72)发明人 曾国坤　林芳莹　覃天　 (74)专利代理 机构 北京卓胜佰达知识产权代理 有限公司 16 026 专利代理师 杨洋 (51)Int.Cl. G06F 21/62(2013.01) G06F 21/71(2013.01) G06F 21/64(2013.01) G06Q 40/04(2012.01) G06F 16/27(2019.01) (54)发明名称 一种基于联邦学习的区块链人脸识别系统 (57)摘要 本发明提供一种基于联邦学习的区块链人 脸识别系统， 包括由分布式服务器集群组成的、 进行模型训练的、 基于联邦学习的区块链， 以及 提供用户人脸图像数据的用户终端。 通过本人脸 识别系统， 用户可在保证隐私安全的情况下， 使 用自己的人脸图像数据参与模型的训练， 使训练 出的模型 具有更好的精度。 权利要求书1页 说明书5页 附图1页 CN 115544557 A 2022.12.30 CN 115544557 A 1.一种基于联邦学习的区块链人脸识别系统， 其特 征在于， 包括由分布式服务器集群组成的、 进行模型训练的、 基于联邦学习的区块链， 以及提供 用户人脸图像数据的用户终端。 2.根据权利要求1所述的系统， 其特 征在于， 所述由分布式服务器集群组成的、 进行模型训练的、 基于联邦学习的区块链， 包括一台 主服务器、 和次要服 务器。 3.根据权利要求2所述的系统， 其特 征在于， 在进行所述模型训练前， 所述主服务器通过选举算法在服务器集群中选举出， 通常是 所有服务器中性能最 好的服务器。 4.根据权利要求2或3所述的系统， 其特征在于， 所述主服务器对全局模型进行统一处 理， 包括： (1)获取次要服务器对权值的更新： 主服务器处于 “监听”状态， 等待次要服务器发送的 模型权值更新数据； (2)模型的聚合： 当主服务器接收到次要服务器返回的模型权值数据达到一定阈值 时， 它将用这些阈值的平均值 来更新全局模型； (3)更新次要服务器模型的权值： 主服务器更新全局模型后， 将模型更新后的参数通过 广播的形式发送给次要服 务器。 5.根据权利要求2所述的系统， 其特 征在于， 所述次要服 务器负责： (1)在本地训练模型： 次要服务器使用用户通过用户终端上传的人脸图像数据在本地 训练模型； (2)从主服务器获取当前轮次模型参数： 在无模型训练任务的空闲时期， 次要服务器处 于“监听”状态， 等待主服务器发送的模型参数更新数据； 当接收到主服务器发送的模型参 数更新数据后， 次要服务器将根据接 收到的参数数据来更新本地模型参数， 并使用更新后 的模型来进行新 一轮模型的训练； (3)向主服务器发送训练好的权值： 当次要服务器在本地训练好模型后， 其将通过互联 网向主服务器发送训练好的模型权值数据， 而不发送用户人脸图像数据， 以达到保护用户 隐私的要求； (4)与用户进行交 互。 6.根据权利要求5所述的系统， 其特 征在于， 所述次要服 务器负责的功能中的与用户进行交 互， 包括： (1)认证用户登录： 次要服务器上共享着用户的登录数据； 当用户欲参与模型的训练 时， 服务器集群将选出一台空 闲的次要服 务器供用户登录， 并在其上训练数据； (2)接收用户提供的人脸图片训练数据： 用户在次要服务器上登录后， 便可以向该次要 服务器上传用于模型训练的人脸图像数据， 并向该次要服务器发送模 型训练指 令； 此后， 该 次要服务器将对 模型进行训练并将训练好的权值发送给主服 务器。 7.根据权利要求1或2所述的系统， 其特 征在于， 所述分布式服务器集群中维护着一条区块链——该区块链记录着所有轮次中所有次 要服务器提供的权值更新数据及主服 务器对模型的聚合结果。权　利　要　求　书 1/1 页 2 CN 115544557 A 2一种基于联邦学习的区块链人脸识别系统 技术领域 [0001]本发明属于深度学习 、 图像处理领域， 具体涉及一种人脸识别系统。 背景技术 [0002]联邦学习是由谷歌研究院在20 16年率先提出的概念。 该技术可在数据不共享的情 况下完成联合建模。 具体地说， 各个数据拥有者(个人/企业/机构)的自有数据不会离开本 地， 通过联邦系统中加密机制下的参数 交换方式(即在不违反数据隐私法规的情况下)联合 建立一个全局的共享模型， 建好的模型在各自的区域只为本地的目标服 务。 [0003]当前， 联邦学习面临着一些挑战。 [0004]首先是参与用户的互信问题。 由于联邦学习的参与方来自不同的组织或机构， 彼 此之间缺少信任。 如何在缺 乏互信的场景下建立安全可靠的协作机制， 是实际应用中亟待 解决的问题。 [0005]其次是联邦学习需要一个中心服务器来聚合局部模型， 如果这个中心服务器发生 故障， 将直接严重影响全局模型的训练。 传统的联邦学习模型是 “中心化的 ”——由一台主 服务器统筹规划模型的训练与更新， 次要服务器只 负责模型的本地训练。 这导致： 如果主服 务器发生故障， 那么该 联邦学习训练系统将无法正常运 转。 [0006]此外， 联邦学习也面临一些安全风险。 一方面， 参与方所提供的参数缺乏相应的质 量验证机制 。 恶意的参与用户可能会提供虚假的模型参数来破坏学习过程。 如果这些虚假 参数未经验证便聚合到整体模型中， 会直接影响整体模型 的质量， 甚至会导致整个联邦学 习过程失效。 另一方面， 参数在 传输以及存 储过程中的隐私性需要 进一步保护加强。 [0007]2008年， 中本聪第一次提出了区块链的概念。 区块链， 就是一个又一个区块组成的 链条。 每一个区块中保存了一定的信息， 它们按照各自产生的时间顺序连接成链条。 这个链 条被保存在所有的服务器中， 只要整个系统中有一台服务器可以工作， 整条区块链就是安 全的。 这些服务器在区块链系统中被称为节点， 它们为整个区块链系统提供存储空间和算 力支持。 如果要修改区块链中的信息， 必须征得半数以上节点的同意并修改所有节点中的 信息， 而这些节点通常掌握在不同的主体手中， 因此篡改区块链中的信息是一件极其困难 的事。 相比于传统的网络， 区块链具有两大核心特点： 一是数据难以篡改、 二是去中心 化。 基 于这两个特点， 区块链所记录的信息更加真实可靠， 可以帮助解决人们互不信任的问题。 [0008]当前， 区块链技术仍面临一些挑战——计算和认证的效率问题。 为了达成各个分 布式参与方之间的记录一致， 区块链需要消 耗大量额外的计算资源。 传统的共识认证机制 如工作量证明(PoW)等， 虽然提升了区块链的安全性， 但高昂的计算开销也成为了制约区块 链出块速度的瓶颈 。 如何提高区块链交易认证的效率， 是提升区块链计算效率的关键 。 [0009]人脸识别系统的研究始于20世 纪60年代， 80年代后随着计算机技术和光学成像技 术的发展 得到提高， 而真正进入初 级的应用阶段则 在90年后 期， 并且以美国、 德国和日本的 技术实现为主； 人脸识别系统成功的关键在于是否拥有尖端的核心算法， 并使识别结果具 有实用化的识别率和识别速度； “人脸识别系统 ”集成了人工智能、 机器识别、 机器学习、 模说　明　书 1/5 页 3 CN 115544557 A 3