一种用于数字媒体分发的点对点通信方法

摘要

本发明提供一种用于数字媒体分发的点对点通信方法，在文件分发系统中引入一调度服务器、同时将终端本身纳入分发系统中，既用于下载文件，同时也给其他终端提供文件，成为一个分发节点，由调度服务器完成终端与终端，终端与文件服务器之间的连接与穿透，使得终端之间文件能直接分享。本发明方法为多点多对多的分发，满足海量媒体的分发需求，大大降低服务器的分发压力。

说明书

【技术领域】

本发明涉及一种用于数字媒体分发的点对点通信方法。

【背景技术】

数字标牌系统是具有时效保证通讯系统，通讯系统具有明确的文件源, 且需在指定时间内要保证系统内所有节点都下载到指定的文件内容的文件 分发环境。现有的数字标牌广泛使用FTP作为文件服务器系统，作为单点 的服务器系统，优点是部署简单，可控性比较好；但缺点也很明显，如分发 效率比较低、并发连接数量有限，为此需要引入二级甚至多级FTP来适应 大规模部署的网络需求等。原有终端由于性能较低，无法在播放文件的同时， 为其他终端提供文件服务，而新的终端在性能上有很大提高，已经完全可以 在播放的同时进行高速的下载与文件分发。

【发明内容】

本发明要解决的技术问题，在于提供一种用于数字媒体分发的点对点通 信方法，将文件从单点一对多分发，改变成为多点多对多的分发，简化的分 发协议，满足海量媒体的分发需求，同时也将终端本身纳入分发体系中，成 为一个分发节点，大大降低服务器的分发压力。

本发明是这样实现的：一种用于数字媒体分发的点对点通信方法，在文 件分发系统中引入一调度服务器、同时将终端本身纳入分发系统中，既用于 下载文件，同时也给其他终端提供文件，成为一个分发节点，由调度服务器 完成终端与终端，终端与文件服务器之间的连接与穿透，使得终端之间文件 能直接分享。

本发明进一步可以是：所述方法包括系统运行主流程、终端日常运行流 程、终端发起文件服务器的主流程以及终端与终端文件分发流程；所述系统 运行主流程：由用户在管理平台发起素材添加任务，文件服务器下载任务； 所述终端日常运行流程：包括定时与调度服务器连接，上报所拥有的文件内 容；所述终端发起文件服务器的主流程：a.请求终端在内部进行文件查询， 如果其他终端拥有该文件，可以直接响应，并发送文件，如果系统是内网运 行模式，文件服务器响应文件查询请求；b.请求终端在内网没有找到文件 的情况下，发送下载请求到调度服务器，请求内容包含文件MD5值和文件 路径，如果查找到另一组网的某终端拥有该文件，同时处于可服务状态，则 该终端为一目标终端，发送该目标终端的连结信息；c．没有可服务的终端 情况下，由文件服务器提供服务；所述终端与终端文件分发流程：基于所述 终端发起文件服务器的主流程中的第b点，如果找到拥有文件的目标终端， 而且目标终端处于可服务情况，由文件服务器发起请求终端与目标终端同时 向对方发送穿透报文，穿透成功之后，目标终端向请求终端发送文件。

本发明进一步可以是：所述系统使用UDP报文进行控制报文和数据报 文的传输，同时引入可靠UDP协议，确保数据的完整性；该系统的文件队 列与终端队列在内存中进行管理；所述系统采用最小缓存技术，将所述文件 服务器分为一主文件服务器和至少一分支文件服务器，所述主文件服务器保 留所有素材文件，所述分支文件服务器只保留最新的文件，即一定时效内的 文件，如果终端请求的文件不存在，该分支文件服务器会与主文件服务器同 步获取该文件。

本发明进一步可以是：所述系统中的调度服务器负责终端管理、文件列 表管理以及检索功能，调度服务器保存所有终端的文件信息，文件信息只用 该文件内容MD5值来唯一表示，所有终端的文件查询都基于该MD5值进 行，文件的文件名与文件大小由提供文件的文件服务器或者终端提供，调度 服务器不保存该信息。

本发明进一步可以是：所述调度服务器提供webservice接口，调用该接 口获取调度服务器运行状态、连接的终端数量与服务终端数量信息。

本发明所述系统运行主流程具体包括:

步骤11、用户通过HTTP方式上传素材；

步骤12、管理平台分发下载任务；

步骤13、终端接受下载任务，向调度服务器发起查询请求；

步骤14、调动服务器检索文件链接队列，发送拥有该文件的前5个目 标终端地址给请求终端，如果没有目标终端可服务，发送文件服务器地址给 请求终端。

本发明所述终端日常运行流程具体包括：

步骤21，登陆调度服务器，回报终端内网地址，调度服务器反馈终端 的外网地址和内网地址，同时要求终端回报拥有的文件内容；

步骤22，终端汇报所拥有的所有文件内容，该文件内容为GUID值；

步骤23，终端开启监听进程和心跳时间，如果有文件请求，发送文件 给请求终端；

步骤24，心跳时间到，发送心跳报文给服务器。

本发明所述终端与终端文件分发流程具体包括:

步骤31、请求终端发起连接到目标终端的外网地址，如果连接成功,开 始文件下载，如果连接失败，启动穿透机制,无法成功穿透之后,更换下一个 目标终端，如果都失败，向主FTP地址发起请求；

步骤32、请求终端连接成功后，发送文件片断下载请求；

步骤33、接收目标终端报文，解析并校验通过后存入缓存；

步骤34、将接受的片段组合成完整的文件，再次进行全文校验，若校 验成功更名文件，若校验失败，则重新下载；

步骤35、下载完成，上报新增的文件的GUID值。

本发明所述终端对文件服务器下载流程具体包括:

步骤41、请求终端发起连接到文件服务器的外网地址，如果连接成功， 开始文件下载，如果连接失败,向主FTP地址发起请求；

步骤42、请求终端连接成功后，发送文件查询请求，包含文件全路径 和GUID值；

步骤43、文件服务器接收该请求，查找本地文件队列，如果文件存在 并且出于可服务状态返回可下载，否则返回等待，文件服务会根据接收到的 文件地址去FTP服务器下载该文件，下载完成后，将成为可服务文件；

步骤44、请求终端连接成功后，发送文件片断下载请求；

步骤45、接收文件服务器报文，解析并校验通过后存入缓存；

步骤46、将接受的片段组合成完整的文件，再次进行全文校验，若校 验成功更名文件，若校验失败，重新下载；

步骤47、下载完成，上报新增的文件的GUID值。此时文件服务器相 当于一个服务能力较佳的目标终端。

本发明具有如下优点：本发明方法将文件从单点一对多分发，改变成为 多点多对多的分发，简化的分发协议，满足海量媒体的分发需求，同时也将 终端本身纳入分发体系中，成为一个分发节点，大大降低服务器的分发压力。 本发明方法由调度服务器完成终端与终端，终端与文件服务器之间的连接与 穿透，使得终端之间文件直接分享成为可能，主文件服务器只需要有限次数 的下载，就能通过终端间分享，完成所有终端的下载过程，从而大大降低主 文件服务器的下载压力；通过UDP无连接方式，调度服务器可以提供远远 高于TCP方式的并发连接，理论上可以支持系统允许的最大连接数，同时 也可以很方便的进行防火墙穿透，扩大使用范围；使用MD5值代表文件， 能够使用最小的内存空间保存所有终端的文件信息，以一台终端拥有1000 个文件为例，一次完成汇报，只需要32000个字节，按一个UDP报文传输 8K来计算，只需要4个报文就能完成传输，同时服务器只保留终端与文件 的映射，即UID（8）-〉GUID（32）个，检索效率非常高；P2P文件服务 器是主文件服务器的备份，在系统中与终端处于相同的位置，因此该服务器 的部署很灵活，而且具备集群功能，可以单台部署，也可以多台部署，可广 泛应用于象数字标牌等具有时效保证通讯系统中。

【附图说明】

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明方法的文件分发系统结构示意图。

【具体实施方式】

如图1所示，本发明的用于数字媒体分发的点对点通信方法，设立一文 件分发系统，该系统包括调度服务器、文件服务器以及终端，所述调度服务 器负责终端管理、文件列表管理以及检索功能；所述文件服务器负责初始文 件分发，可以使用原有的FTP服务器；所述终端用于下载文件，同时也给 其他终端提供文件。

本发明所述系统使用UDP报文进行控制报文和数据报文的传输，同时 引入可靠UDP协议，确保数据的完整性；该系统的文件队列与终端队列在 内存中进行管理，通过同步协议确保信息的实时性和实效性，避免数据库访 问带来的死锁之类的问题，可以快速部署；所述系统采用最小缓存技术，将 所述文件服务器分为一主文件服务器和至少一分支文件服务器，所述主文件 服务器保留所有素材文件，所述分支文件服务器只保留最新的文件，即一定 时效内的文件，如果终端请求的文件不存在，该分支文件服务器会与主文件 服务器同步获取该文件，这样可以确保文件服务器的高效服务，同时也能节 约空间。

本发明所述系统中，调度服务器起最核心的作用，负责终端管理、文件 列表管理以及检索功能，调度服务器保存所有终端的文件信息，文件信息只 用该文件内容MD5值来唯一表示，所有终端的文件查询都基于该MD5值 进行，文件的文件名与文件大小由提供文件的文件服务器或者终端提供，调 度服务器不保存该信息。

所述调度服务器提供webservice接口，调用该接口获取调度服务器运行 状态、连接的终端数量与服务终端数量信息。

本发明方法是在文件分发系统中引入一调度服务器、同时将终端本身纳 入分发系统中，既用于下载文件，同时也给其他终端提供文件，成为一个分 发节点，由调度服务器完成终端与终端，终端与文件服务器之间的连接与穿 透，使得终端之间文件能直接分享。本发明方法包括系统运行主流程、终端 日常运行流程、终端发起文件服务器的主流程以及终端与终端文件分发流 程。

所述系统运行主流程：由用户在管理平台发起素材添加任务，文件服务 器下载任务；具体步骤如下：

步骤11、用户通过HTTP方式上传素材；

步骤12、管理平台分发下载任务；

步骤13、终端接受下载任务，向调度服务器发起查询请求；

步骤14、调动服务器检索文件链接队列，发送拥有该文件的前5个目 标终端地址给请求终端，如果没有目标终端可服务，发送文件服务器地址给 请求终端。

所述终端日常运行流程：包括定时与调度服务器连接，上报所拥有的文 件内容；具体步骤如下：

步骤21，登陆调度服务器，回报终端内网地址，服务器反馈终端的外 网地址和内网地址，同时要求终端回报拥有的文件内容；

步骤22，终端汇报所拥有的所有文件内容，该文件内容为GUID值；

步骤23，终端开启监听进程和心跳时间，如果有文件请求，发送文件 给请求终端；

步骤24，心跳时间到，发送心跳报文给服务器。

所述终端发起文件服务器的主流程：假设有A、B两组内网的终端，A 组内网具有终端AA、终端AB、终端AC等；B组内网具有终端BA、终端 BB、终端BC等；

a.终端AA作为请求终端在A网内部进行文件查询，如果其他终端， 如终端AC拥有该文件，终端AC即作为目标终端，可以直接响应，并发送 文件，如果系统是内网运行模式，文件服务器响应文件查询请求；

b.若终端AA在A网内部没有找到文件的情况下，发送下载请求到调 度服务器，请求内容包含文件MD5值和文件路径，如果查找到另一组网B 的某终端BA拥有该文件，同时处于可服务状态，终端BA即作为目标终端， 发送该终端BA的连结信息；

c．若没有可服务的终端情况下，由文件服务器提供服务；

d:如果文件服务器无法找到该文件，会根据终端请求去主FTP下载， 同时反馈给终端，告诉终端延后下载该文件或者选择从主FTP下载。

所述终端发起文件服务器的主流程的具体步骤如下：

步骤31、请求终端发起连接到目标终端的外网地址，如果连接成功,开 始文件下载，如果连接失败，启动穿透机制,无法成功穿透之后,更换下一个 目标终端，如果都失败，向主FTP地址发起请求；

步骤32、请求终端连接成功后，发送文件片断下载请求；

步骤33、接收目标终端报文，解析并校验通过后存入缓存；

步骤34、将接受的片段组合成完整的文件，再次进行全文校验，若校 验成功更名文件，若校验失败，则重新下载；

步骤35、下载完成，上报新增的文件的GUID值。

所述终端与终端文件分发流程：基于所述终端发起文件服务器的主流程 中的第b点，如果找到拥有文件的终端BA，而且终端BA处于可服务情况， 由文件服务器发起终端AA与终端BA同时向对方发送穿透报文，穿透成功 之后，终端BA向终端AA发送文件。

所述终端对文件服务器下载流程可以具体包括:

步骤41、请求终端发起连接到文件服务器的外网地址，如果连接成功， 开始文件下载，如果连接失败,向主FTP地址发起请求；

步骤42、请求终端连接成功后，发送文件查询请求，包含文件全路径 和GUID值；

步骤43、文件服务器接收该请求，查找本地文件队列，如果文件存在 并且出于可服务状态返回可下载，否则返回等待，文件服务会根据接收到的 文件地址去FTP服务器下载该文件，下载完成后，将成为可服务文件；

步骤44、请求终端连接成功后，发送文件片断下载请求；

步骤45、接收文件服务器报文，解析并校验通过后存入缓存；

步骤46、将接受的片段组合成完整的文件，再次进行全文校验，若校 验成功更名文件，若校验失败，重新下载；

步骤47、下载完成，上报新增的文件的GUID值。

本发明方法将文件从单点一对多分发，改变成为多点多对多的分发，简 化的分发协议，满足海量媒体的分发需求，同时也将终端本身纳入分发体系 中，成为一个分发节点，大大降低服务器的分发压力。

本发明方法由调度服务器完成终端与终端，终端与文件服务器之间的连 接与穿透，使得终端之间文件直接分享成为可能，主文件服务器只需要有限 次数的下载，就能通过终端间分享，完成所有终端的下载过程，从而大大降 低主文件服务器的下载压力；通过UDP无连接方式，调度服务器可以提供 远远高于TCP方式的并发连接，理论上可以支持系统允许的最大连接数， 同时也可以很方便的进行防火墙穿透，扩大使用范围；使用MD5值代表文 件，能够使用最小的内存空间保存所有终端的文件信息，以一台终端拥有 1000个文件为例，一次完成汇报，只需要32000个字节，按一个UDP报文 传输8K来计算，只需要4个报文就能完成传输，同时服务器只保留终端与 文件的映射，即UID（8）-〉GUID（32）个，检索效率非常高；P2P文件 服务器是主文件服务器的备份，在系统中与终端处于相同的位置，因此该服 务器的部署很灵活，而且具备集群功能，可以单台部署，也可以多台部署。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人 员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发 明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的 修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。