(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210972061.9 (22)申请日 2022.08.12 (71)申请人 中国银联股份有限公司 地址 200135 上海市浦东 新区含笑路36号 (72)发明人 丁亚丹　于文海　周雍恺　陈成钱　 高鹏飞　孙权　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 彭燕 (51)Int.Cl. G06V 40/20(2022.01) G06Q 40/00(2012.01) G06V 10/40(2022.01) G06V 10/762(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 20/52(2022.01) (54)发明名称 一种操作行为识别方法及装置 (57)摘要 本申请实施例提供一种操作行为识别方法 及装置， 应用在人工智能技术领域， 包括： 获取目 标对象的当前操作行为的文本描述信息， 并将文 本描述信息据转化为待识别图像； 通过已训练的 异常行为识别模型， 对待识别图像进行识别， 获 得当前操作行为在多个维度的初步风险评分； 基 于多个维度的初步风险评分， 获得当前操作行为 的风险判决结果。 将商户操作行为的文本描述信 息转化为图像信息， 使 得数据更直观且 更加贴近 监控场景， 既便于后续采用异常行为识别模型对 操作行为进行自监督识别， 确定操作行为是否为 风险行为， 同时提高了操作行为识别的准确性。 其次， 不需要预设风险操作行为策略来识别商户 操作行为， 避免存储资源浪费， 提高了操作行为 识别的效率。 权利要求书2页 说明书12页 附图4页 CN 115439928 A 2022.12.06 CN 115439928 A 1.一种操作行为识别方法， 其特 征在于， 包括： 获取目标对象的当前操作 行为的文本描述信 息， 并将所述文本描述信 息据转化为待识 别图像； 通过已训练的异常行为识别模型， 对所述待识别图像进行识别， 获得所述当前操作行 为在多个维度的初步 风险评分； 基于所述多个维度的初步 风险评分， 获得 所述当前操作行为的风险判决结果。 2.如权利要求1所述的方法， 其特征在于， 所述当前操作 行为的文本描述信 息是所述终 端设备通过系统应用框架层采集获得的。 3.如权利要求1所述的方法， 其特征在于， 所述文本描述信 息包括所述当前操作行为的 发生时间信息和位置信息； 所述将所述文本描述信息据转 化为待识别图像， 包括： 将所述位置信息映射至二维空间中， 获得操作轨 迹； 基于所述发生时间信息， 确定所述操作轨 迹中每个轨迹点的颜色属性； 基于所述操作轨 迹和所述每 个轨迹点的颜色属性， 获得 所述待识别图像。 4.如权利要求3所述的方法， 其特 征在于， 所述文本描述信息还 包括压力 信息； 所述将所述 位置信息映射至二维空间中， 获得操作轨 迹之后， 还 包括： 基于所述压力 信息， 确定所述操作轨 迹中每个轨迹点的大小； 所述基于所述操作轨 迹、 所述每 个轨迹点的颜色属性， 确定所述待识别图像， 包括： 基于所述操作轨迹、 所述每个轨迹点的颜色属性和所述每个轨迹点的大小， 确定所述 待识别图像。 5.如权利要求1所述的方法， 其特征在于， 所述已训练的异常行为识别模型包括已训练 的特征提取器和已训练的线性判决模型； 通过已训练的异常行为识别模型， 对所述待识别图像进行识别， 获得所述多个维度的 初步风险评分， 包括： 通过所述已训练的特 征提取器， 对所述待识别图像进行 特征提取， 获得目标图像特 征； 通过所述已训练的线性判决模型， 对所述目标图像特征进行判决， 获得所述多个维度 的初步风险评分。 6.如权利要求5所述的方法， 其特征在于， 所述已训练的异常行为识别模型是采用以下 方式训练获得的： 采用神经网络和无监督聚类相结合的方式， 对待训练的特征提取器进行训练， 获得中 间特征提取器； 对所述中间特征提取器和待训练的线性判决模型进行联合微调训练， 获得所述已训练 的特征提取器和所述已训练的线性判决模型。 7.如权利要求6所述的方法， 其特征在于， 所述采用神经网络和无监督 聚类相结合的方 式， 对待训练的特 征提取器进行训练， 获得中间特 征提取器， 包括： 采用神经网络和无监督 聚类相结合的方式， 基于样本图像集合对待训练 的特征提取器 进行迭代训练， 获得中间特 征提取器， 其中， 每次迭代训练过程， 包括以下步骤： 采用待训练的特 征提取器， 对样本图像进行 特征提取， 获得样本图像特 征集合； 对所述样本图像特征集合进行聚类， 获得多类样本图像特征以及每类样本图像特征对权　利　要　求　书 1/2 页 2 CN 115439928 A 2应的伪标签； 基于获得的多类样本图像特征以及每类样本图像特征对应的伪标签， 确定分布损失 值， 并采用所述分布损失值， 通过反向传播对所述待训练的特 征提取器进行参数调整。 8.如权利要求1至7任一所述的方法， 其特征在于， 所述多个维度的初步风险评分包括 第一风险评分和第二风险评分， 其中， 第一风险评分用于表征所述当前操作行为的异常程 度； 所述第二风险评分用于表征所述当前操作行为与所述目标对象的历史操作行为的目标 相似度。 9.如权利要求8所述的方法， 其特征在于， 所述基于所述多个维度的初步风险评分， 获 得所述当前操作行为的风险判决结果， 包括： 对所述第一风险评分和所述第 二风险评分进行加权求和， 获得所述当前操作 行为的目 标风险评分； 若所述目标风险评分大于预设阈值， 则确定所述当前操作行为 为风险行为； 若所述目标风险评分小于等于预设阈值， 则确定所述当前操作行为 为安全行为。 10.如权利要求9所述的方法， 其特征在于， 若在判定周期内， 所述目标对象的操作 行为 被判定为 风险行为的次数 大于风险阈值， 则触发针对所述目标对象的告警和风险标记。 11.一种操作行为识别装置， 其特 征在于， 包括： 获取模块， 用于获取目标对象的当前操作行为的文本描述信息， 并将所述文本描述信 息据转化为待识别图像； 处理模块， 用于通过已训练的异常行为识别 模型， 对所述待识别图像进行识别， 获得所 述当前操作行为在多个维度的初步 风险评分； 所述处理模块， 还用于基于所述多个维度的初步风险评分， 获得所述当前操作行为的 风险判决结果。 12.一种计算机设备， 包括存储器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述程序时实现权利要求1～9任一权利要求所述 方法的步骤。 13.一种计算机可读存储介质， 其特征在于， 其存储有可由计算机设备执行的计算机程 序， 当所述程序在计算机设备上运行时， 使得所述计算机设备执行权利要求1～9任一所述 方法的步骤。权　利　要　求　书 2/2 页 3 CN 115439928 A 3