一种针对视频直播中背景音乐侵权行为的监测方法

摘要

本发明提出一种针对视频直播中背景音乐侵权行为的监测方法，采用多线程机制无阻塞地实现直播拉流、视频切分和音频检测并行计算，能够应对网络直播数据量大、时间长的典型特征，有效解决因网络直播数据量大而导致的数据计算复杂、数据体量大的技术问题；采用动态滑动窗口切分机制，按不同颗粒度实现对视频的粗切和细切，能够灵活应对侵权规则动态多变的局面，有效解决因网络直播时间长而导致的数据体量大、证据回溯难的技术问题；采用动态滑动窗口切分机制能够有针对性地只保存含有侵权行为的视频分片文件，节约空间和数据管理成本，有效规避因网络直播数据量大而导致文件数多，进而导致磁盘空间成本和数据维护成本迅速增长的技术问题。

说明书

技术领域

本发明属于声像监测技术领域，具体涉及一种针对视频直播中背景音乐侵权行为的监测方法。

背景技术

数字音乐随着数字网络技术的应用呈现出快速发展局面，但由于我国版权法律制度不完善、音乐版权意识薄弱，致使侵权现象时常出现。因此，加强数字音乐版权的法律保护已成为当务之急。网络直播作为一种数字化音视频合成的多媒体产业在当前互联网时代越来越受到欢迎，各种直播平台、各类直播博主大量出现。然而，由于版权保护意识薄弱，加之网络直播背景音乐版权监测方法匮乏，网络直播过程中音乐侵权行为逐渐沦为侵权重灾区，网络直播版权音乐的保护逐渐走进人们的视野。

音频侵权行为监测作为数字音乐版权的法律保护辅助工具，在强调知识产权保护的今天，越来越受到人们的重视，涌现出不同的音频侵权行为监测手段，这些监测手段大都依据监测对象特征不同而采取不同监测方式和监测策略，包括针对短视频背景音乐侵权行为监测，针对音乐电台音乐侵权行为监测，针对首发单曲、原创音乐侵权行为监测，针对有声小说音频侵权行为监测等。现有侵权行为监测方法的监测对象有其明显特征，即监测对象数据量小、时间短，其侵权行为监测手段有其明显的局限性，即局限于数据量小、时间短的监测对象和时效低的监测任务。以监测短视频背景音乐侵权行为例，短视频是近几年出现的一种新型产业形态，针对短视频的背景音乐侵权行为监测方法越来越多，短视频监测方法典型的特征，一是监测对象数据量小，绝大部分视频大小在5MB到50MB之间；二是监测对象时间短，绝大部分视频时长在15秒到60秒之间；三是监测任务时效性要求低，可以离线处理，侵权证据可以线下回溯。

然而，针对网络直播背景音乐侵权行为监测所具有数据量大、时间长和实时性高等特点的监测对象和监测任务，现有侵权行为监测方法表现出其局限性在于：一是对于网络直播数据量大的对象，监测速度慢、监测效率低；二是对于网络直播时间长的对象，监测精度低、证据回溯难；三是对于网络直播实时性高的任务，监测不及时，不能满足实时性需求。

一个完整的网络直播，其数据量大小可以达到1.5GB到2GB，持续时间可以达到2小时甚至更长，网络直播本身的最大特征是实时性要求高。网络直播背景音乐盗版现象猖獗的一个非常重要的原因即是监测对象数据量大、时间长和监测任务实时性高，对大数据并发计算、大数据高效检索和快速响应、实时反馈提出较高的要求。因此，侵权行为监测技术难度大，目前业界仍然缺少对网络直播背景音乐侵权行为监测方法，亟需一套针对大数据量、长时间监测对象和高时效性监测任务的视频直播中背景音乐侵权行为监测方法。

发明内容

(一)要解决的技术问题

本发明提出一种针对视频直播中背景音乐侵权行为的监测方法，以突破因网络直播数据量大、时间长和时效性高等特征而导致的数据计算复杂、数据体量大、证据回溯难、检索速度慢和反馈时效高的技术难点，解决监管网络直播中出现的背景音频侵权行为的技术问题。

(二)技术方案

为了解决上述技术问题，本发明提出一种针对视频直播中背景音乐侵权行为的监测方法，该监测方法包括直播拉流、视频切分和音频检测三个步骤；

直播拉流程序执行直播拉流作业的流程包括如下步骤：

S1-1.创建帧抓取器并传入直播流地址，初始化帧抓取器文件地址属性、像素格式化属性和样本格式化属性的值，实例化帧抓取器对象；

S1-2.调用帧抓取器对象的启动函数，初始化视频参数，开启帧抓取器工作；

S1-3.调用帧抓取器对象的帧抓取函数，获取帧数据；

S1-4.创建并初始化帧录制器，传入预定的视频文件存储地址、图像宽度、图像高度和音频通道数，实例化帧录制器对象；

S1-5.调用帧录制器对象的启动函数，初始化图片缓存属性、音频输出缓存属性和视频输出缓存属性的值，开启帧录制器工作；

S1-6.判定S1-3获取的帧数据是否为空，如果为空，则执行S1-11；如果不为空，则进入循环体并执行S1-7；

S1-7.在循环体内，调用帧录制器对象的录制函数，并将S1-3获取的帧数据作为输入参数；

S1-8.在循环体内，调用帧抓取器对象的帧抓取函数获取帧数据；

S1-9.在循环体内，判定S1-8获取的帧数据是否为空，如果不为空，则进入下一轮循环，重复执行S1-7和S1-8；如果为空，则跳出循环并执行S1-10；

S1-10.通过消息队列推送含有视频文件存储地址的消息到视频切分程序；

S1-11.调用帧录制器对象和帧抓取器对象的停止函数，停止帧录制器和帧抓取器工作；

视频切分程序通过消息队列接收到含有视频文件存储地址的消息后，通过执行视频切分作业和远程调用音频检测方法切分视频，流程包括如下步骤：

S2-1.创建帧抓取器并传入视频文件存储地址，初始化帧抓取器文件地址属性、像素格式化属性和样本格式化属性的值，实例化帧抓取器对象；

S2-2.调用帧抓取器对象的启动函数，初始化视频参数，开启帧抓取器工作；

S2-3.创建并初始化帧录制器，传入预定的视频分片文件存储地址、图像宽度、图像高度和音频通道数，实例化帧录制器对象；

S2-4.调用帧录制器对象的启动函数，初始化图片缓存属性、音频输出缓存属性和视频输出缓存属性的值，开启帧录制器工作；

S2-5.调用Java开发工具包的链表创建函数实例化链表对象，创建动态滑动窗口，窗口大小以时间为单位；

S2-6.创建用于记录窗口移动的时间步长；

S2-7.创建帧探针器并实例化探针对象，调用探针对象的探测函数并传入视频文件存储地址，解析视频参数并返回视频帧率fps；

S2-8.判定时间步长是否小于视频时长，如果不是，则执行S2-23；如果是，则进入循环体执行S2-9；

S2-9.在循环体内，根据公式ET＝ST+DT计算动态滑动窗口起止位置对应的时间，其中ET表示结束位置对应的时间，ST表示起始位置对应的时间，DT表示窗口大小对应的时间跨度；

S2-10.在循环体内，结合S2-7获取的fps，根据公式fp＝fps×t计算动态滑动窗口起始位置对应的帧数、结束位置对应的帧数和窗口大小对应的帧数跨度，其中fp表示帧数，t表示时间；

S2-11.在循环体内，创建用于记录帧数的计数器fc并初始化为0；

S2-12.在循环体内，判断计数器是否小于窗口大小对应的帧数跨度，如果是，则进入内循环体执行S2-13；如果不是，则执行S2-17；

S2-13.在内循环体内，调用帧抓取器对象的帧抓取函数，获取帧数据；

S2-14.在内循环体内，调用帧录制器对象的录制函数并传入帧数据，将帧数据写入视频分片数据流；

S2-15.在内循环体内，更新计数器的值，计算公式为：fc＝fc+1；

S2-16.在内循环体内，判断计数器是否小于窗口对应的帧数跨度，如果是，则重复执行S2-13～S2-15；如果不是，则跳出内循环体，执行S2-17；

S2-17.在循环体内，把含有视频分片数据流的消息通过消息队列发送给音频检测程序；

S2-18.音频检测程序通过消息队列接收到含有视频分片数据流的消息后，执行音频检测作业，并将检测结果返回给视频切分程序；

S2-19.在循环体内，判定S2-18检测结果是否疑似侵权，如果是，则通过调用帧录制器对象的文件写入函数将视频分片数据流保存为视频分片文件；

S2-20.在循环体内，移动滑动窗口；

S2-21.在循环体内，判定时间步长是否小于视频时长，如果是，则重复执行S2-9～S2-20；如果不是，则跳出循环体；

S2-22.调用帧录制器对象和帧抓取器对象的停止函数，停止帧录制器和帧抓取器工作，完成视频切分和音频检测工作。

进一步地，步骤S1-2、S2-2中，视频参数包括视频采样率、音频声道、视频帧率和图像大小。

进一步地，步骤S2-5中，窗口大小的默认值为30秒。

进一步地，步骤S2-6中，时间步长，默认值为0秒。

进一步地，步骤S2-20中，以秒为单位移动滑动窗口，默认值10秒。

进一步地，直播拉流、视频切分和音频检测均以多线程方式并行计算。

进一步地，直播拉流程序、视频切分程序和音频检测程序均有各自的线程池，不同程序之间线程通信先通过队列，程序订阅队列后将收到队列消息，此时从线程池寻找空闲线程，将作业赋予空闲线程执行；若找不到空闲线程，则程序不消费队列消息，若队列已满，则以先进先出的原则将队列中等待时间最长的消息丢弃。

进一步地，多线程并行计算包括如下步骤：

(1)定义程序作业，作业包括直播拉流作业、视频切分作业和音频检测作业；

(2)创建直播拉流类函数、视频切分类函数和音频检测类函数；

(3)导入多线程组件执行器服务包和执行器工具包；

(4)在(2)创建的类函数函数体内创建线程池，通过调用执行器工具类静态函数新建线程池，并将线程数作为输入参数，其中新建线程池静态函数表示以固定线程数的方式实例化执行器对象；

(5)调用实例化执行器对象的提交函数，提交直播拉流作业、视频切分作业和音频检测作业；

(6)调用Java开发工具包原生套接字函数，创建套接字对象，套接字函数接收地址族或协议族、套接字类型、传输协议；

(7)调用套接字对象的绑定函数，绑定ip地址、端口，以及直播拉流、视频切分和音频检测类函数；

(8)调用套接字对象的监听函数，将一个套接字处于监听连接请求的状态。

(三)有益效果

本发明提出一种针对视频直播中背景音乐侵权行为的监测方法，采用多线程机制无阻塞地实现直播拉流、视频切分和音频检测并行计算，能够应对网络直播数据量大、时间长的典型特征，有效解决因网络直播数据量大而导致的数据计算复杂、数据体量大的技术问题；采用动态滑动窗口切分机制，按不同颗粒度实现对视频的粗切和细切，能够灵活应对侵权规则动态多变的局面，有效解决因网络直播时间长而导致的数据体量大、证据回溯难的技术问题；采用动态滑动窗口切分机制能够有针对性地只保存含有侵权行为的视频分片文件，节约空间和数据管理成本，有效规避因网络直播数据量大而导致文件数多，进而导致磁盘空间成本和数据维护成本迅速增长的技术问题。

附图说明

图1为本发明实施例的背景音乐侵权行为监测方法主要流程；

图2为本发明实施例中直播拉流作业主要流程；

图3为本发明实施例中视频切分作业和音频检测调用主要流程；

图4为本发明实施例中多线程机制工作原理。

具体实施方式

为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。

本实施例提出一种针对视频直播中背景音乐侵权行为的监测方法，其主要流程如图1所示，包括直播拉流、视频切分和音频检测三个主要步骤。

直播拉流、视频切分和音频检测均以多线程方式并行计算，采用实时逐帧拉流、视频异步切分的技术方案，以解决网络直播数据量大、时间长的特征导致的数据计算复杂、数据体量大的问题；采用边拉流边切分边检测的异步执行路线，以满足网络直播时效性要求高的需求。直播拉流、视频切分和音频检测各程序不同线程间作业的推进采用多线程通信方式实现交互。

直播拉流程序、视频切分程序和音频检测程序均有各自的线程池，不同程序之间线程通信先通过队列，程序订阅队列后将收到队列消息，此时从线程池寻找空闲线程，将作业赋予空闲线程执行；若找不到空闲线程，则程序不消费队列消息，若队列已满，则以先进先出的原则将队列中等待时间最长的消息丢弃，采用线程池和队列机制既能通过并发计算应对网络直播数据大、时间长和时效性高的问题，又能保证程序无阻塞运行。另外，以服务形式监听独立端口。

如图2所示，直播拉流程序执行直播拉流作业的流程主要包括如下步骤：

S1-1.创建帧抓取器并传入直播流地址，初始化帧抓取器文件地址属性、像素格式化属性和样本格式化属性的值，实例化帧抓取器对象。

S1-2.调用帧抓取器对象的启动函数，初始化视频采样率、音频声道、视频帧率和图像大小等视频参数，开启帧抓取器工作。

S1-3.调用帧抓取器对象的帧抓取函数，获取帧数据。

S1-4.创建并初始化帧录制器，传入预定的视频文件存储地址、图像宽度、图像高度和音频通道数等参数，实例化帧录制器对象。

S1-5.调用帧录制器对象的启动函数，初始化图片缓存属性、音频输出缓存属性和视频输出缓存属性的值，开启帧录制器工作。

S1-6.判定S1-3获取的帧数据是否为空，如果为空，则执行S1-11；如果不为空，则进入循环体并执行S1-7。

S1-7.在循环体内，调用帧录制器对象的录制函数，并将S1-3获取的帧数据作为输入参数。

S1-8.在循环体内，调用帧抓取器对象的帧抓取函数获取帧数据。

S1-9.在循环体内，判定S1-8获取的帧数据是否为空，如果不为空，则进入下一轮循环，重复执行S1-7和S1-8；如果为空，则跳出循环并执行S1-10。

S1-10.通过消息队列推送含有视频文件存储地址的消息到视频切分程序。

S1-11.调用帧录制器对象和帧抓取器对象的停止函数，停止帧录制器和帧抓取器工作。

视频切分程序通过消息队列接收到含有视频文件存储地址的消息后，通过执行视频切分作业和远程调用音频检测方法切分视频，如图3所示，流程主要包括如下步骤：

S2-1.创建帧抓取器并传入视频文件存储地址，初始化帧抓取器文件地址属性、像素格式化属性和样本格式化属性的值，实例化帧抓取器对象。

S2-2.调用帧抓取器对象的启动函数，初始化视频采样率、音频声道、视频帧率和图像大小等视频参数，开启帧抓取器工作。

S2-3.创建并初始化帧录制器，传入预定的视频分片文件存储地址、图像宽度、图像高度和音频通道数等参数，实例化帧录制器对象。

S2-4.调用帧录制器对象的启动函数，初始化图片缓存属性、音频输出缓存属性和视频输出缓存属性的值，开启帧录制器工作。

S2-5.调用Java开发工具包的链表创建函数实例化链表对象，即创建动态滑动窗口，窗口大小以时间为单位，默认值为30秒。

S2-6.创建用于记录窗口移动的时间步长，默认值为0秒。

S2-7.创建帧探针器并实例化探针对象，调用探针对象的探测函数并传入视频文件存储地址，解析视频参数并返回视频帧率fps。

S2-8.判定时间步长是否小于视频时长，如果不是，则执行S2-23；如果是，则进入循环体执行S2-9。

S2-9.在循环体内，根据公式ET＝ST+DT计算动态滑动窗口起止位置对应的时间，其中ET表示结束位置对应的时间，ST表示起始位置对应的时间，DT表示窗口大小对应的时间跨度。

S2-10.在循环体内，结合S2-7获取的fps，根据公式fp＝fps×t计算动态滑动窗口起始位置对应的帧数、结束位置对应的帧数和窗口大小对应的帧数跨度，其中fp表示帧数，t表示时间。

S2-11.在循环体内，创建用于记录帧数的计数器fc并初始化为0。

S2-12.在循环体内，判断计数器是否小于窗口大小对应的帧数跨度，如果是，则进入内循环体执行S2-13；如果不是，则执行S2-17。

S2-13.在内循环体内，调用帧抓取器对象的帧抓取函数，获取帧数据。

S2-14.在内循环体内，调用帧录制器对象的录制函数并传入帧数据，将帧数据写入视频分片数据流。

S2-15.在内循环体内，更新计数器的值，计算公式为：fc＝fc+1。

S2-16.在内循环体内，判断计数器是否小于窗口对应的帧数跨度，如果是，则重复执行S2-13～S2-15；如果不是，则跳出内循环体，执行S2-17。

S2-17.在循环体内，把含有视频分片数据流的消息通过消息队列发送给音频检测程序。

S2-18.音频检测程序通过消息队列接收到含有视频分片数据流的消息后，执行音频检测作业，通过调用第三方现有的音频检测方法，完成音频检测，并将检测结果返回给视频切分程序。

S2-19.在循环体内，判定S2-18检测结果是否疑似侵权，如果是，则通过调用帧录制器对象的文件写入函数将视频分片数据流保存为视频分片文件。

S2-20.在循环体内，以秒为单位移动滑动窗口，默认值10秒。

S2-21.在循环体内，判定时间步长是否小于视频时长，如果是，则重复执行S2-9～S2-20；如果不是，则跳出循环体。

S2-22.调用帧录制器对象和帧抓取器对象的停止函数，停止帧录制器和帧抓取器工作，完成视频切分和音频检测工作。

本发明中，直播拉流作业、视频切分作业和音频检测作业均以多线程方式并行执行，多线程工作原理如图4所示，包括如下步骤：。

(1)定义程序作业，作业包括直播拉流作业、视频切分作业和音频检测作业。

(2)创建直播拉流类函数、视频切分类函数和音频检测类函数。

(3)导入多线程组件执行器服务包和执行器工具包。

(4)在(2)创建的类函数函数体内创建线程池，通过调用执行器工具类静态函数新建线程池，并将线程数作为输入参数，其中新建线程池静态函数表示以固定线程数的方式实例化执行器对象。

(5)调用实例化执行器对象的提交函数，提交直播拉流作业、视频切分作业和音频检测作业。

(6)调用Java开发工具包原生套接字函数，创建套接字对象，套接字函数接收地址族或协议族、套接字类型、传输协议。

(7)调用套接字对象的绑定函数，绑定ip地址、端口，以及直播拉流、视频切分和音频检测类函数。

(8)调用套接字对象的监听函数，将一个套接字处于监听连接请求的状态。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。