(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211452305.7 (22)申请日 2022.11.21 (71)申请人 中国科学技术大学 地址 230026 安徽省合肥市包河区金寨路 96号 (72)发明人 张越一　彭岩松　孙晓艳　 (74)专利代理 机构 北京凯特来知识产权代理有 限公司 1 1260 专利代理师 郑立明　韩珂 (51)Int.Cl. G06V 10/50(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) (54)发明名称 基于事件相机的自适应目标检测方法、 系统 与设备 (57)摘要 本发明公开了一种基于事件相机的自适应 目标检测方法、 系统与设备， 通过根据事件流的 疏密程度 将其转换为自适应通道数的超直方图， 一方面， 由于自适应通道数的超直方图能充分保 留事件的极性和时空信息， 因此， 可以检测到更 多的物体， 并准确探测各物体的位置； 另一方面， 事件流转化效率较高， 可以实现高效的基于事件 相机的目标检测， 并降低硬件性能的要求。 权利要求书2页 说明书8页 附图5页 CN 115496920 A 2022.12.20 CN 115496920 A 1.一种基于事 件相机的自适应目标检测方法， 其特 征在于， 包括： 步骤S1、 在当前时刻， 读取设定时间范围内的事件流， 将事件流中的所有事件数据通过 多维倒排索引的方法转换为四通道的超直方图构建块， 作为当前时刻的四通道的超直方图 构建块， 并根据事件流的疏密程度更新自适应队列， 获得总缓存时间范围T内的自适应通道 数的超直方图； 其中， 事 件数据为事 件相机采集到的数据； 步骤S2、 对所述自适应通道数的超直方图进行加权与降维， 获得加权超直方图； 步骤S3、 利用所述加权超直方图进行目标检测， 获得目标检测结果。 2.根据权利要求1所述的一种基于事件相机的自适应目标检测方法， 其特征在于， 所述 步骤S1与步骤S2构成一个自适应的事件转换模块， 通过加权超直方图对执行步骤S 3的目标 检测网络进行训练， 训练完毕后， 通过步骤S1~步骤S3的流 程实现目标检测； 训练过程中， 对给定的原始事件流集合进行数据增强， 再通过所述自适应的事件转换 模块获得对应的加权超直方图， 训练所述 目标检测模型； 将数据增强方法称为基于事件相 机的Shadow  Mosaic数据增强方法， 基于事件相机的Sha dow Mosaic数据增强方法的流程包 括： 对于当前原始事件流， 从所述原始事件流集合中随机选取S个原始事件流， 利用S+1个原 始事件流模拟出S+1个不同疏密程度的事件流， 称为Shadow事件流， 其中， S为正整数； 将S+1 个Shadow事件流合并成一个事件流， 称为Mosaic事件流， 合并时S+1个Shadow事件流在空间 域互不重叠， 仅相交于一点； 在保留相交坐标的情况下， 对 所述Mosaic事件流进 行随机缩放 和裁剪。 3.根据权利要求1所述的一种基于事件相机的自适应目标检测方法， 其特征在于， 所述 根据当前时刻读取设定时间范围内的事 件流包括： 将当前时刻记为t0时刻， 给定一个设定值ts， 计算设定时间范围： （t0‑ts,t0） ； 读取设定时间范围 （t0‑ts,t0） 内的事件流。 4.根据权利要求1所述的一种基于事件相机的自适应目标检测方法， 其特征在于， 所述 四通道的超直方图构建块包括： 正时间直方图、 正数量直方图、 负时间直方图与负数量直方 图。 5.根据权利要求1所述的一种基于事件相机的自适应目标检测方法， 其特征在于， 所述 根据事件流的疏密程度更新所述自适应队列包括： 若当前时刻事件流的总事件数量小于设定的第一阈值， 则为稀疏事件流， 将当前时刻 的四通道的超直方图构建块与上一时刻的四通道的超直方图构建块在所述自适应队列中 相加； 若当前时刻事件流的总 事件数量不小于设定的第 一阈值， 或者当前时刻前连续读取的 多段稀疏事件流中的总事件数量不小于 设定的第一阈值， 则将当前时刻的四通道的超直方 图构建块置 于所述自适应队列的队首位置 。 6.根据权利要求1所述的一种基于事件相机的自适应目标检测方法， 其特征在于， 所述 获得总缓存时间范围T内的自适应通道数的超直方图包括： 将总缓存时间范围T内的， 更新得到的所述自适应队列中的所有四通道的超直方图构 建块在通道维度拼接， 获得自适应通道数的超直方图， 所述自适应通道数为 ， 为一 个自适应 变换的值。权　利　要　求　书 1/2 页 2 CN 115496920 A 27.根据权利要求1所述的一种基于事件相机的自适应目标检测方法， 其特征在于， 所述 对所述自适应通道数的超直方图进行加权与降维包括： 通过压缩和激励网络进行加权， 再通过 卷积操作进行加权与降维。 8.一种基于事件相机的自适应目标检测系统， 其特征在于， 基于权利要求1~7任一项所 述的方法实现， 该系统包括： 自适应事件转换模块， 用于执行步骤S1， 所述步骤S1包括： 在当前时刻， 读取设定时间 范围内的事件流， 将事件流中的所有事件数据通过多维倒排索引的方法转换为四通道的超 直方图构建块， 作为当前时刻的四通道的超直方图构建块， 并根据事件流的疏密程度更新 自适应队列， 获得总缓存时间范围T内的自适应通道数的超直方图； 其中， 事件数据为事件 相机采集到的数据； 加权降维模块， 用于执行步骤S2， 所述步骤S2包括： 对所述自适应通道数的超直方图进 行加权与降维， 获得加权超直方图； 目标检测网络， 用于执行步骤S3， 所述步骤S3包括： 利用所述加权超直方图进行目标检 测， 获得目标检测结果。 9.一种处理设备， 其特征在于， 包括： 一个或多个处理器； 存储器， 用于存储一个或多个 程序； 其中， 当所述一个或多个程序被所述一个或多个处理器执行时， 使得所述一个或多个 处理器实现如权利要求1~7任一项所述的方法。 10.一种可读存储介质， 存储有计算机程序， 其特征在于， 当计算机程序被处理器执行 时实现如权利要求1~7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115496920 A 3