(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210870598.4 (22)申请日 2022.07.22 (71)申请人 浙江树人 学院 地址 312030 浙江省绍兴 市柯桥区杨汛桥 镇江夏路2016号 (72)发明人 吕晓雯　陈友荣　赵克华　缪克雷　 张旭东　刘半藤　 (74)专利代理 机构 浙江侨悦专利代理有限公司 33470 专利代理师 林燕 (51)Int.Cl. G06V 20/52(2022.01) G06V 20/40(2022.01) (54)发明名称 一种基于视频的涌潮危险区域人员的危机 状态预测方法 (57)摘要 本发明公开了一种基于视频的涌潮危险区 域人员的危机状态预测方法， 属于公共安全技术 领域， 方法包括： 通过摄像头实时采集涌潮危险 区域的视频数据； 对视频数据进行分帧处理， 获 取潮头数据集、 岸边人员数据集和落水人员数据 集； 搭建危机状态预测模型； 采用归一化方法对 潮头数据集、 岸边人员数据集和落水人员数据集 中的图像进行预处理； 将预处理后的图像输入至 危机状态预测模型， 检查涌潮危险区域的潮头、 岸边人员和落水人员； 在检测到涌潮危险区域中 存在落水人员的情况下， 直接向救援人员发出报 警； 在检测到岸边人员的危险系数超 过阈值的情 况下， 通过部署在岸边的喇叭， 发出预 警， 通知周 围人员注意 安全。 权利要求书3页 说明书5页 附图1页 CN 115272964 A 2022.11.01 CN 115272964 A 1.一种基于 视频的涌潮危险区域人员的危机状态预测方法， 其特 征在于， 包括： S101： 在涌潮危险区域部署摄像头， 通过所述摄像头实时采集涌潮危 险区域的视频数 据； S102： 对所述视频数据进行分帧处理， 获取潮头数据集、 岸边人员数据集和落水人员数 据集； S103： 搭建危机状态预测模型， 所述危机状态预测模型包括潮头检测子模型、 岸边人员 检测子模块和落水 人员检测子模型； S104： 采用归一化方法对所述潮头数据集、 所述岸边人员数据集和所述落水人员数据 集中的图像进 行预处理， 得到图像格式相同、 命名有序的图像， 并将图像归一化为4 16×416 大小； S105： 将预处理后的图像输入至所述危机状态预测模型， 检查涌潮危险区域的潮头、 岸 边人员和落水 人员； S106： 在检测到涌潮危险区域中存在落水 人员的情况 下， 直接向救援人员发出报警； S107： 计算涌潮危 险区域中的岸边人员的危 险系数， 在检测到岸边人员的危险系数超 过阈值的情况 下， 通过部署在岸边的喇叭， 发出 预警， 通知周围人员注意 安全。 2.根据权利要求1所述的危机状态预测方法， 其特征在于， 所述危机状态预测模型采用 YOLO V4网络模型。 3.根据权利要求1所述的危机状态预测方法， 其特 征在于， 所述S10 3之后， 还 包括： S108： 采用归一化方法对所述潮头数据集、 所述岸边人员数据集和所述落水人员数据 集中的图像进 行预处理， 得到图像格式相同、 命名有序的图像， 并将图像归一化为4 16×416 大小， 以得到潮头训练集、 岸边人员训练集和落水 人员训练集； 其中， 所述潮头训练集包括潮头标注tide， 所述岸边人员训练集包括岸边人员标注 abperson， 所述落水人员训练集包括 落水人员标注szperso n； S109： 将所述潮头训练集、 所述岸边人员训练集和所述落水人员训练集输入至所述危 机状态预测模型， 以进行模型训练。 4.根据权利要求3所述的危机状态预测方法， 其特 征在于， 所述S109具体包括： S1091： 经过4 ×t+1×t+g×t个1×1的卷积核输出经过卷积后的预测结果， 其中， g表示 预测目标的类别 数为， t表示预设边界框的数量， 4 ×t表示预测目标边界框的偏移量， 1 ×t 表示预测目标边界框内包含目标的概率， g ×t表示预测这t个预设边界框对应g个目标类别 的概率； S1092： 将潮头、 岸边人员和落水人员的目标检测结果与真实数据标注相比较， 计算出 综合定位损失、 置信度损失、 分类损失的损失函数； S1093： 在损失函数值达到或者小于阈值的情况下， 结束训练； 否则， 更新模型参数后继 续训练。 5.根据权利要求1所述的危机状态预测方法， 其特 征在于， 所述S107 具体包括： S1071： 在涌潮危险区域放置一根标尺， 通过摄像头获取视频图像， 从中找到目标标尺， 通过图像分析处 理计算出图像中标尺的高度Sh， 进 而获得比例尺a： 权　利　要　求　书 1/3 页 2 CN 115272964 A 2其中， Th为实际标尺高度， Sh为图像视频中的标尺高度； S1072： 获取图像中岸边人员高度和潮头高度， 并计算岸边人员实际高度和潮头实际高 度； Pt＝a×Pd公式2 其中， Pt为目标的实际高度， Pd表示图像中目标的高度； S1073： 根据岸边人员的实际高度设置身高系数h； 若身高小于1.2m， 则认为该岸边人员 为幼儿， 抵御危险的能力最低， 设置其身高系数h为2； 若身高大于等于1.2m且小于1.5m， 则 认为该岸边人员为儿童， 抵御危险的能力较弱， 设置其身高系数h为1.5； 若身高大于等于 1.5m， 则认为该岸边人员为成年人， 抵御风险的能力较强， 设置其身高系数h为1： S1074： 采用预测框中心点的坐标作为涌头的坐标以及岸边人员的坐标， 根据摄像头所 在的位置和像素尺寸， 利用单目视觉测距获得当前潮水到岸边的距离以及获取岸边人员到 岸边的距离； S1075： 获取预设距离范围内的所有岸边人员， 根据岸边人员的身高系数h， 岸边人员的 高度Hr， 岸边人员离潮水的距离Hl、 潮头到岸时间Tc和岸边人员离岸距离HMR， 通过公式4计 算预设距离范围内所有岸边人员的危险系数： W＝h×(Hr×Hl×Tc×HMR)公式4 其中， W表示岸边人员的危险系数。 6.根据权利要求5所述的危机状态预测方法， 其特 征在于， 所述S1074具体包括： S1074A： 选取目标识别框 的中心点为参考点， 其坐标记为(x,y)， 获得潮头和岸边人员 在视频图像上的预测框， 预测框左上角坐标信息为(xmin,ymin)、 预测框右下角坐标信息为 (xmax,ymax)， 计算目标识别框的中心点 坐标： x＝(xmin+xmax)/2,y＝(ymin+ymax)/2公式5 S1074B： 通过halcon的标定助手获取摄像头参数： 摄像头的高度H； 目标坐标中心对应 的实际坐 标点与摄像头在纵轴上的距离O3M； 镜头中心点的图像坐 标O1为(Ucenter,Vcenter)； 测 量像素点的图像 坐标P1为(U,0)、 测量像素点的图像 坐标Q1为(U,V)； 像素点的实际长度Xpix， 实际宽度Ypix； 摄像头的焦距f； 根据上方的水平线与地面平行、 两直线平行内错角 相等原则， 通过公式6计算α角， 通过 公式7计算γ角： 其中， O1P1表示镜头中心点到测量像素点的图像坐标P1的距离； S1074C： 根据两条平行线， 内错角相等， 进一 步推导出： ∠β ＝∠α ‑∠γ公式8权　利　要　求　书 2/3 页 3 CN 115272964 A 3