(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211050709.3 (22)申请日 2022.08.30 (71)申请人 青岛云天励飞科技有限公司 地址 266100 山东省青岛市崂山区科 苑纬 一路1号青岛国际创新园二期D2座 2601室 申请人 深圳云天励飞技 术股份有限公司 (72)发明人 程冰　钟斌　吴金勇　李海龙　 (74)专利代理 机构 深圳市力道知识产权代理事 务所(普通 合伙) 44507 专利代理师 何姣 (51)Int.Cl. G06V 20/52(2022.01) G06V 40/20(2022.01) G06V 10/40(2022.01)G06V 10/82(2022.01) (54)发明名称 药品监管方法、 装置、 电子设备及存 储介质 (57)摘要 本发明实施例提供一种药品监管方法、 装 置、 电子设备及存储介质， 属于数据处理领域。 该 方法包括： 在检测到有目标对象进入目标区域 时， 获取拍摄装置采集到的多帧图像； 将每一帧 图像输入预设目标检测模型进行处理， 得到每一 帧图像各自对应的目标检测结果， 根据目标检测 结果， 对目标对象进行跟踪； 在跟踪到目标对象 离开目标区域时， 根据目标检测结果， 确定目标 对象在目标区域的行为是否为取药行为； 在确定 目标对象在目标区域的行为是取药行为时， 在预 设时长内查询是否有新的药品登记记录生成， 在 预设时长内未查询到有新的药品登记记录生成 时， 输出违规提示信息。 本发明实施例的技术方 案极大地提高了店员 是否违规销售药品的检测 效率和准确性。 权利要求书3页 说明书13页 附图5页 CN 115424206 A 2022.12.02 CN 115424206 A 1.一种药品监管 方法， 其特 征在于， 包括： 在检测到有目标对象进入目标区域时， 获取拍摄装置采集到的多帧图像， 所述目标区 域包括待监管 药品的存放区域； 将每一帧所述图像输入预设目标检测模型进行处理， 得到每一帧所述图像各自对应的 目标检测结果， 根据所述目标检测结果， 对所述目标对象进行跟踪； 在跟踪到所述目标对象离开所述目标区域时， 根据所述目标检测结果， 确定所述目标 对象在所述目标区域的行为是否为取 药行为； 在确定所述目标对象在所述目标区域的行为是取药行为 时， 在预设时长内查询是否有 新的药品登记记录生成， 在预设时长内未查询 到有新的药品登记记录生成时， 输出违规提 示信息， 所述违规 提示信息用于提 示销售药品的店员存在违规。 2.根据权利要求1所述的药品监管方法， 其特征在于， 所述多帧图像包括第 一图像以及 与所述第一图像相 邻的第二图像， 所述根据所述目标检测结果， 对所述目标对象进 行跟踪， 包括： 计算所述第一图像中的所述目标对象的头肩检测框与所述第二图像中的各待检测对 象的头肩检测框之间的交并比； 将多个所述交并比中最大的交并比确定为目标交并比， 并确定所述目标交并比是否大 于或等于预设的交并比阈值； 在所述目标交并比大于或等于预设的交并比阈值 时， 将所述第 二图像中的所述目标交 并比对应的待检测对象标记为所述目标对象。 3.根据权利要求1所述的药品监管方法， 其特征在于， 所述目标检测结果包括所述目标 对象的手部状态标签， 所述根据所述 目标检测结果， 确定所述 目标对象在所述目标区域的 行为是否为取 药行为， 包括： 统计所述手部状态标签为置药状态标签所对应图像的数量， 得到第一图像数量， 所述 置药状态标签描述所述目标对象的手部处于 置药状态； 确定所述第一图像数量占所述多帧图像的总数量的百分比； 在所述百分比大于或等于预设的百分比阈值 时， 确定所述目标对象在所述目标区域的 行为是取药行为。 4.根据权利要求1所述的药品监管方法， 其特征在于， 所述目标检测结果包括所述目标 对象的手部状态标签， 所述根据所述 目标检测结果， 确定所述 目标对象在所述目标区域的 行为是否为取 药行为， 包括： 确定第一目标图像， 所述第 一目标图像为所述多帧图像中首次检测到的所述手部状态 标签为置药状态 标签所对应的图像， 所述置药状态标签描述所述目标对象的手部处于置药 状态； 统计所述手部状态标签为所述置药状态标签所对应的第 二目标图像的数量， 所述第 二 目标图像为所述多帧图像中的位于所述第一目标图像之后的图像； 将所述第二目标图像的数量加1， 得到第二图像数量； 在所述第二图像数量大于或等于预设的图像数量阈值 时， 确定所述目标对象在所述目 标区域的行为是 取药行为。 5.根据权利要求1 ‑4中任一项所述的药品监管方法， 其特征在于， 所述根据所述目标检权　利　要　求　书 1/3 页 2 CN 115424206 A 2测结果， 对所述目标对象进行跟踪之前， 还 包括： 获取所述多帧图像中的首帧所述图像所对应的目标检测结果； 在首帧所述图像所对应的目标检测结果中的手部状态标签为空闲状态标签的情况下， 根据所述 目标检测结果， 对所述 目标对象进行跟踪， 所述空闲状态标签描述所述 目标对象 的手部处于空 闲状态。 6.根据权利要求1 ‑4中任一项所述的药品监管方法， 其特征在于， 所述预设目标检测模 型包括轻量级主干网络、 瓶颈网络和检测头网络， 所述瓶颈网络包括转置卷积层和路径 聚 合网络， 所述将每一帧所述图像输入预设目标检测模型进行处理， 得到每一帧所述图像各 自对应的目标检测结果， 包括： 对所述图像进行归一化处理， 通过所述轻量级主干网络对归一化处理后的图像进行特 征提取， 得到多个第一特 征图， 所述多个第一特 征图的尺寸 不同； 通过所述转置卷积层和所述路径聚合网络对所述多个第 一特征图进行处理， 得到多个 第二特征图； 通过所述检测头网络对所述多个第二特 征图进行处 理， 得到多个目标 特征图； 根据所述多个目标 特征图， 确定所述目标对象的目标检测结果。 7.根据权利要求6所述的药品监管方法， 其特征在于， 所述轻量级主干网络包括卷积网 络和跨阶段局部网络， 或者， 所述轻量级主干网络包括ShuffleNetV2， 所述通过所述轻量级 主干网络对 归一化处理后的图像进行 特征提取， 得到多个第一特 征图， 包括： 通过所述卷积网络对归一化处理后的图像进行卷积， 得到卷积图像， 并通过所述跨阶 段局部网络对所述卷积图像进行 特征提取， 得到多个第一特 征图； 或者， 通过所述ShuffleNetV2对归一化处理后的图像进行特征提取， 得到多个第一特 征图。 8.一种药品监管装置， 其特 征在于， 所述药品监管装置包括： 获取模块， 用于在检测到有目标对象进入目标区域时， 获取拍摄装置采集到的多帧图 像， 所述目标区域包括待监管 药品的存放区域； 图像处理模块， 用于将每一帧所述图像输入预设目标检测模型进行处理， 得到每一帧 所述图像各自对应的目标检测结果； 跟踪模块， 用于根据所述目标检测结果， 对所述目标对象进行跟踪； 确定模块， 用于在跟踪到所述目标对象离开所述目标区域时， 根据 所述目标检测结果， 确定所述目标对象在所述目标区域的行为是否为取 药行为； 查询模块， 用于在确定所述目标对象在所述目标区域的行为是取药行为时， 在预设时 长内查询是否有新的药品登记 记录生成； 输出模块， 用于在预设时长内未查询到有新的药品登记记录生成时， 输出违规提示信 息， 所述违规 提示信息用于提 示销售药品的店员存在违规。 9.一种电子设备， 其特征在于， 所述电子设备包括处理器、 存储器、 存储在所述存储器 上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连 接通信的数据总线， 其中所述计算机程序被所述处理器执行时， 实现如权利要求1至7中任 一项所述的药品监管 方法。 10.一种存储介质， 用于计算机可读存储， 其特征在于， 所述存储介质存储有一个或者权　利　要　求　书 2/3 页 3 CN 115424206 A 3