基于Android移动终端的视频监控系统

摘要

一种基于Android移动终端的视频监控，由设备端、服务器端和Android移动终端组成，它们之间用Internet相连接，其中Android移动终端通过3G网络接入Internet，设备端负责采集视频数据、H.264图像压缩和RTP(Real Time Protocol)分片打包；服务器端包括SIP(Session Initiation Protocol)信令服务器和视频转发服务器，SIP信令服务器主要通过SIP协议对用户与设备进行管理、操控，视频转发服务器是在用户邀请视频时与设备端和Android终端同时建立起RTP连接，负责将视频数据从设备端转发至Android移动终端；在Android移动终端上为用户提供最直观的视频监控界面。本发明通过移动通信网络，使用Android移动终端来进行实时视频监控。

说明书

技术领域

本发明涉及移动视频监控领域，是一种在3G网络下基于Android 移动终端的远程视频监控系统。

背景技术

视频监控业务具有悠久的历史，在传统上广泛应用于安防、交通 事故处理等行业应用领域。随着人们对信息技术的深入研究，图像处 理、视频压缩等技术得到了迅速发展，视频编码压缩逐渐向高压缩率、 高质量、低传输率发展，例如MPEG-4、JVT、H.264等，以这些技术 为基础的视频监控技术不断成熟。2009年中国工信部发放3G牌照， 中国移动网络正式进入3G时代。这引起了传统互联网应用向移动互 联网应用的转变，原有移动网络的局限性对移动视频监控发展的束缚 逐渐减弱。同时，随着手机功能的增强、性能的提升，由视频监控技 术和移动网络技术融合而来的移动视频监控正逐渐成为视频监控的 新趋势。

近年来，由Google于2007年11月5日宣布的基于Linux平台的开源 手机操作系统Android在移动终端市场上迅速扩张，其中HTC、三星 等主流移动终端生产商都相继采用Android系统作为新一代智能手机 的操作系统。如今，Android手机已经占据了市场半壁江山，各种应 用程序也层出不穷，因此开发基于Android系统的视频监控应用程序 十分有利于移动视频监控的推广与普及，有着非常宽广的市场前景。

经对现有专利进行检索，与移动视频监控相关的专利或产品已经 有出现，但在已公布的专利文献和产品中尚未有涉及在基于Android 系统的移动终端上的视频监控实现。

发明内容

为了克服现有视频监控系统无法适用于Android系统的不足，本 发明提供一种在基于Android系统的移动终端上实现视频监控系统， 以达到通过移动通信网络，使用Android移动终端来进行实时视频监 控。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于Android移动终端的视频监控，由设备端、服务器端和 Android移动终端组成，它们之间用3G网络相连接，其中设备端负 责采集视频数据、H.264图像压缩和RTP(Real Time Protocol)分片 打包；服务器端包括SIP(Session Initiation Protocol)信令服务器和 视频转发服务器，SIP信令服务器主要通过SIP协议对用户与设备进 行管理、操控，视频转发服务器是在用户邀请视频时与设备端和 Android终端同时建立起RTP连接，负责将视频数据从设备端转发至 Android移动终端；在Android移动终端上为用户提供最直观的视频 监控界面，(1)Android移动客户端与SIP信令服务器之间采用SIP 协议进行交互，用户发起会话请求后，使用用户名与密码进行注册登 录，登录成功后用户可进行设备列表请求、视频邀请操作；(2)Android 移动客户端与视频转发服务器采用RTP协议传输视频数据，鉴于3G 网络可能会出现数据包丢包和乱序而导致画面丢帧的现象，客户端在 接收到RTP数据包时并不马上处理，而是采用了缓存机制；(3) Android移动客户端同步了读写两个线程，分别进行NAL(Network  Abstraction Layer)的组包与解码。

进一步，采用SIP协议作为控制信令：采用MjSip库来实现 RFC3261协议中定义的标准的SIP协议栈架构，SIP会话由用户发起 注册登录开始，SIP服务器成功认证SHA1加密的用户密码后，根据 用户请求设备的SIP消息头中的用户ID回复相应权限下的设备列表； 移动客户端与设备端只进行间接交互，用户可通过服务器向在线设备 发送视频请求，设备端接受请求后回复给用户建立媒体流所需的信 息。在用户登录期间，移动客户端需定时发送SIP心跳包进行会话保 活。

再进一步，所述缓存机制中，采用RTP协议传输视频数据：设备 端采集的视频数据通过视频服务器转发至移动客户端，针对3G网络 中的RTP包乱序与丢包现象，客户端对收到的RTP先进行缓存排序， 缓存队列采用java链表形式，每个RTP包根据SequenceNumber 从小到大插入到缓存队列中。

更进一步，读写线程同步进行NAL的组包与解码：开辟了一定 大小的NAL缓存区，写线程从RTP缓存中依次提取数据进行NAL组 帧，并将完整的NAL放入可写的NAL缓存单元中，并为此缓存单元 加上只读锁；读线程依次从可读的NAL缓存单元中读取数据送入解 码器中进行解码，解码完成后，为该缓存单元加上只写锁。读写线程 对NAL缓存进行循环操作，线程间通过上述的锁机制与 synchronized实现同步。

本发明的有益效果为：通过移动通信网络，使用Android移动终 端来进行实时视频监控。

附图说明

图1为本发明的视频监控系统框架图。

图2为本发明的SIP会话流程图。

图3为本发明的用户登录SIP交互示意图。

图4为本发明的请求设备列表SIP交互示意图。

图5为本发明的请求视频SIP交互示意图。

图6为本发明的缓存以及读写线程示意图。

图7为本发明的NAL组包流程图。

具体实施方式

下面结合附图对本发明做进一步描述。

参照图1～与7，一种基于Android移动终端的视频监控，由设备 端、服务器端和Android移动终端组成，它们之间通过Internet相连 接，其中Android移动终端通过3G网络接入Internet。设备端负责采 集视频数据、H.264图像压缩和RTP(Real Time Protocol)分片打包； 服务器端包括SIP(Session Initiation Protocol)信令服务器和视频转 发服务器，SIP信令服务器主要通过SIP协议对用户与设备进行管理、 操控，视频转发服务器是在用户邀请视频时与设备端和Android终端 同时建立起RTP连接，负责将视频数据从设备端转发至Android移动 终端；在Android移动终端上为用户提供最直观的视频监控界面，(1) Android移动客户端与SIP信令服务器之间采用SIP协议进行交互， 用户发起会话请求后，使用用户名与密码进行注册登录，登录成功后 用户可进行设备列表请求、视频邀请操作；(2)Android移动客户端 与视频转发服务器采用RTP协议传输视频数据，鉴于3G网络可能会 出现数据包丢包和乱序而导致画面丢帧的现象，客户端在接收到RTP 数据包时并不马上处理，而是采用了缓存机制；(3)Android移动客 户端同步了读写两个线程，分别进行NAL(Network Abstraction Layer) 的组包与解码。

整个视频监控系统的框架如附图1所示，系统中主要存在两种数 据流：媒体流和控制信息流(信令)。控制信息流采用SIP协议，用 户和设备端必须向SIP服务器注册登录，它们之间的信令交互需要经 过SIP信令服务器转发，主要解决私网的穿透问题。媒体流由设备端 向视频服务器发送，经视频转发服务器转发后到达Android移动客户 端，主要解决一个设备多个用户同时观看的问题。

SIP是类似于HTTP的基于文本的应用层协议，本发明采用MjSip 库来实现Android移动客户端上的SIP协议，MjSip是采用Java语言 的协议栈，它实现了RFC3261协议中定义的标准的层次化的协议栈 架构。整个SIP会话流程如附图2所示，SIP信令交互主要产生在这 几次用户动作：

(a)注册登录。如附图3所示，用户登录协商时，REGISTER消息 中的From头域先采用公共ID发起第一步注册，在SIP信令服务器 回复对应用户名的ID号和加密用的种子SEED后，程序采用SHA1 (Secure Hash Algorithm)算法进行处理：SHA1(SEED+SHA1(用户名 密码))，并将得到的消息摘要作为PASSWORD发回SIP信令服务器 进行第二步注册，服务器若验证通过则登录成功；

(b)设备列表请求。如附图4所示，每个用户权限下有一定数量的 网络摄像机设备，用户在登录成功后，客户端会发送SUBSCRIBE消 息请求设备列表，SIP信令服务器接收到请求后回复200OK以及包含 设备列表的NOTIFY消息；

(c)请求视频。如附图5所示，用户点击在线设备时，客户端即向 SIP信令服务器发送INVITE消息邀请视频，服务器再将此消息转发 至设备端，设备端回复200OK消息，消息内容包含了视频转发服务 器的IP与端口号以及魔数magic值，回调函数提取magic值并处理 后得到视频激活包的内容；用户若停止观看视频，客户端则会向设备 端发送BYE消息，通知设备端结束视频数据传输。

MjSip库中的Provider package是SIP协议栈传输层相关的类包， 其中SipProvider类实现了SIP的传输层，用于发送和接收SIP消息。 我们新建了SipProvider类的一个派生类，并在此派生类中构建了SIP 消息生成函数CreateMessage()，并重写了TransportListener接口类中的 processReceivedMessage()函数。当终端需要向SIP服务器发送SIP消 息时，程序先调用CreateMessage()函数，函数根据传入的消息类型等 参数生成相应的SIP消息，再调用SipProvider类中的SendMessage() 函数进行发送。当收到SIP消息时，程序回调processReceivedMessage() 函数来处理SIP消息的内容，Android移动客户端与SIP信令服务器 交互的消息体是采用XML格式，鉴于移动终端的内存资源比较有限， 解析时我们使用基于事件驱动的SAX方式来获取所需的XML节点 内容。

Android移动客户端与视频转发服务器之间的视频传输基于RTP 协议。为了纠正RTP包的乱序，本发明在接收时设立了缓存机制， 另外，为保证视频监控拥有良好的实时性，开辟了读写两个线程同时 进行NAL组包与解码，如附图6所示：

(1)本发明中的RTP包缓存队列采用Java链表形式，根据 SequenceNumber将收到的RTP包不断插入到缓存队列中，使RTP缓 存队列中的RTP包都按照SequenceNumber从小到大排序，纠正了网 络中的乱序。本发明中创建了StreamBuf和StreamBufNode两个类： StreamBufNode类定义了RTP缓存链表节点的数据结构和操作方法； StreamBuf类定义了RTP缓存链表的数据结构和操作方法，并实现了 按SequenceNumber从小到大插入链表节点的方法AddToBufBySeq()。

(2)由于网络存在丢包，为了防止出现NAL缺损造成解码出错 的现象，写线程在对从RTP缓存中提取出来的NAL数据进行重新组 帧时，采取了一定的规则，如附图7所示，如果发现有丢包现象则进 行如下处理：如果丢失的为I帧的RTP包，则丢弃该帧以及该帧之后 的所有帧，直到下一个I帧出现为止；如果丢失的为B帧或P帧的 RTP包，则直接丢弃该帧。本发明中创建了Nalbuffer类，该类定义 了NAL缓存单位的数据结构和操作方法，其数据结构中包含了读写 标志变量，读写方法加入synchronized关键字来声明为同步方法，一 旦一个线程进入一个实例的任何同步方法，其他线程将不能进入同一 实例的任何其他同步方法，由此保证了读写线程不会发生冲突。另外， 读写线程对NAL缓存进行循环操作，通过wait()与notify()方法实现 两线程间的通信。写线程从RTP缓存中依次提取数据进行NAL组帧， 并检测下一NAL缓存单位是否可写：若不可写，则调用wait()函数 进入睡眠状态，等待读线程完成解码后调用notify()函数来唤醒；若 可写，则将完整的NAL放入该NAL缓存单元中，并将此缓存单元置 为只读状态；同样，读线程依次从NAL缓存单元进行操作时也需检 测缓存单元是否可读：若不可读，则调用wait()函数进入睡眠状态， 等待写线程完成组帧后调用notify()函数来唤醒；若可读，则读取其 中数据送入解码器中进行解码，并将该缓存单元置为只写状态。

本发明在Android移动终端上很好地实现了私网对私网的视频传 输和一对多的视频监控。平台控制信令采用SIP协议，达到了良好的 用户管理和设备操控机制；媒体视频流采用RTP协议，并建立了缓 存机制，同时开辟读写线程进行NAL组包与解码，在一定程度上保 证了视频画面的流畅度与实时性。