用于在多媒体系统中传输数据的方法以及软件产品和用于控制多媒体系统中的数据传输的装置

摘要

本发明涉及多媒体系统，所述多媒体系统包括一组参与者终端设备（100、200、300），其中由在组中所包含的参与者终端设备所生成的多媒体数据被传输给一个或多个在组中所包含的参与者终端设备并且在那里被再现。中央同步单元（ZTU）（500）生成包含时间信息的同步标记并将所述同步标记发送给在组中所包含的参与者终端设备（100、200、300）。每个在组中所包含的参与者终端设备接收同步标记并且给在该参与者终端设备中所生成的多媒体数据配备所接收的同步标记并且将配备有所接收的同步标记的多媒体数据发送给中央同步单元（500）。中央同步单元接收配备有同步标记的多媒体数据并且根据由参与者终端设备所发送的多媒体数据的时间情境修改在同步标记中所包含的时间信息并且将其发送给参与者终端设备（100、200、300）用于再现。配备有被修改的同步标记的多媒体数据在所述参与者终端设备处被接收并且在与在同步标记中所包含的、被修改的时间信息对应的时间情境中被再现。

说明书

技术领域

本发明涉及用于在多媒体系统中传输数据的方法以及软件产品和用于控制多媒体系统中的数据传输的装置。

背景技术

至今将音频和/或视频称为同步通信。此外，电子邮件（E-Mail）、聊天、即时通讯（IM）等（一般来说：文本通信）作为异步通信已知。同步通信在过去仅由音频、视频或音频连同视频构成。此外或者与此并行地，存在例如文本形式的异步通信，所述异步通信与同步通信具有语义关系。最近，使用了多各种各的新的通信形式，诸如电子邮件、短消息服务（SMS）、即时通讯、聊天、推特（Twitter）、YouTube、传感、QR标签、数字标识等等。所有这些通信形式共同构成用于刚好正在进行中的同步通信的动态的情境（Kontext）。至今，这些不同的通信形式并不是同步的，而是必须由用户手动地或经由网络方法静态地解析（例如在被管理的视频会议的情况下）。甚至在视频会议的情况下常常发生：由于移动参与者的参与，音频会议与视频会议并行地被执行，其中嘴唇同步可能丢失。至今，只有昂贵的视频空间系统（Video-Raumsystem）才能够在会议室内在本地解决所述问题。

DE 60203779 T2描述对SDPng（ng：next generation（下一代））的扩展，以便即使当移动终端设备参与时，也借助于所谓的端对端协商协议（E2ENP）来确保端对端服务质量（QoS）。移动终端设备的传输条件在时间上是可变的并且被动态地适配。为此，借助于SDPng事先定义能力、质量和适配机制的集合，以便在应用层上定义协议。

根据US 2002154210 A1，分布式多媒体协作系统允许对同步（音频、视频）通信和异步通信（文本、图形、电子邮件、控制）的传送。

至今，尽管同步和异步通信被并行地使用并且构成共同的、动态的情境，但同步和异步通信没有被相互同步或者仅手动地被相互同步。这特别涉及所谓的“decomposed devices（分离的设备）”，在所述分离的设备的情况下诸如对音频和视频的传输之类的功能被分布到分开的设备上。

发明内容

本发明的任务在于，说明用于在多媒体系统中传输数据的改进方法以及软件产品和用于控制多媒体系统中的数据传输的装置。所述方法、软件产品和装置应当尤其能够至少部分地克服现有技术中的上述缺点。

该任务根据本发明至少在部分方面中通过独立权利要求的特征来解决，所述独立权利要求涉及用于在多媒体系统中传输数据的方法以及软件产品和用于控制多媒体系统中的数据传输的装置。本发明的有利的实施方式和改进方案在从属权利要求中被说明。

本发明的优点在于，提供用于在多媒体系统中传输数据的方法以及软件产品和用于控制多媒体系统中的数据传输的装置，其实现：由发送方侧的参与者终端设备在确定的时间情境中所发送的多媒体数据当在一个或多个接收方侧的参与者终端设备处被接收到时根据所述确定的时间情境进行再现。有利地，实现同步和异步通信的同步。

本发明的第一方面涉及用于在多媒体系统中传输数据的方法，所述多媒体系统包括一组参与者终端设备，其中由在所述组中所包含的参与者终端设备所生成的多媒体数据被传输给一个或多个在所述组中所包含的参与者终端设备并且在那里被再现，其中中央同步单元生成包含时间信息的同步标记并且发送给在所述组中所包含的参与者终端设备，每个在所述组中所包含的参与者终端设备接收同步标记并且给在该参与者终端设备中所生成的多媒体数据配备所接收的同步标记并且将配备有所接收的同步标记的多媒体数据发送给中央同步单元，所述中央同步单元接收配备有同步标记的多媒体数据并且根据由参与者终端设备所发送的多媒体数据的时间情境修改在同步标记中所包含的时间信息并且发送给参与者终端设备用于再现，并且配备有被修改的同步标记的多媒体数据在参与者终端设备处被接收并且在与同步标记中所包含的、被修改的时间信息对应的时间情境中被再现。

根据一种实施方式规定，中央同步单元接收配备有同步标记的多媒体数据并且根据控制信息修改在同步标记中所包含的时间信息，所述控制信息顾及发送和接收多媒体数据的参与者终端设备的特性和传输路径的特性。

在所述实施方式中可以规定，控制信息被包含在控制表中，所述控制表被存放在中央同步单元处，所述控制表被用于生成同步标记，其中所述同步标记至少包含情境标签、会话标签和媒体标签，其中所述情境标签描述媒体在会话中的使用方式，所述会话标签表示所有由中央同步单元ZTU所管理的会话的顺序单元（Ordnungseinheit），所述媒体标签描述媒体的类型。

根据一种实施方式规定，控制信息被动态地适配，根据所述控制信息修改在同步标记中所包含的时间信息。

多媒体数据可以以数据分组的形式被传输并且相应的同步标记被分配给所述数据分组。

根据所述实施方式可以规定，数据分组被传输，所述数据分组具有不同的时长，其中所述同步标记根据周期性的时间顺序被生成，其中所述周期性的时间顺序的周期持续时间等于或短于具有最短周期持续时间的数据分组的时长。

根据一种实施方式规定，同步标记包含时间戳。

根据另一种实施方式规定，同步标记包含相应的、与约定的起始时间点有关的、与相应时间对应的计数值。

本发明的第二方面涉及软件产品，所述软件产品被存储在通过计算机可读的介质上并且所述软件产品优选地可以直接被加载到计算机的内部存储器、尤其是中央同步单元（ZTU）中并且所述软件产品具有计算机程序的程序代码，当所述计算机程序在所述计算机上被实施时，所述计算机程序使计算机能够执行按照上述实施例之一所述的方法的方法步骤。

本发明的另一方面涉及用于控制多媒体系统中的数据传输的装置，所述多媒体系统包括一组参与者终端设备，其中由在所述组中所包含的参与者终端设备所生成的多媒体数据被传输给一个或多个在所述组中所包含的参与者终端设备并且在那里被再现，其中所述装置包括中央同步单元（ZTU），所述中央同步单元被设置用于生成包含时间信息的同步标记并且用于将所述同步标记发送给在所述组中所包含的参与者终端设备中的每个，其中所述参与者终端设备接收同步标记并且给在参与者终端设备中所生成的多媒体数据配备所接收的同步标记并且将配备有所接收的同步标记的多媒体数据发送给中央同步单元，并且中央同步单元被设置用于从参与者终端设备接收配备有同步标记的多媒体数据并且用于根据由参与者终端设备所发送的多媒体数据的时间情境修改在同步标记中所包含的时间信息并且用于发送给参与者终端设备，其中配备有被修改的同步标记的多媒体数据被设置用于在参与者终端设备处接收并且用于在与在同步标记中所包含的、被修改的时间信息对应的时间情境中再现。

附图说明

在下面，根据图进一步描述本发明的实施例。其中：

图1 示出多媒体系统的一部分的示意性表示，在所述多媒体系统中按照根据本发明的方法的一个实施例在终端设备处由中央同步单元（ZTU）同步多媒体数据，所述终端设备由用于不同媒体类型的多个输入和输出实例（Ein- und Ausgabeinstanzen）构成，所述终端设备例如是具有一个大银幕和多个更小的屏幕以及不同的在空间内所布置的麦克风和多个在所述空间内所布置的扬声器的大空间视频系统；

图2 示出本发明的一个实施例的框图，其中中央同步单元（ZTU）经由同步标记（标签）在所述情境下同步利用不同媒体的包含多媒体数据的会话。

所述图是示意性的并且不是按正确比例的。图形表示和描述仅仅打算用于示例性地图解并且决不应该被理解为限制性的。专业人员根据现有技术能够理解并应用的术语和方案在下文中不详细地进行解释。

具体实施方式

在图1中以示意性表示示出了多媒体系统的一部分，所述多媒体系统由一组用于不同媒体类型的终端设备100、200、300的形式的多个输入和输出实例构成。在图1中仅表示出终端设备100、200、300中的一个。

如稍后根据图2所描述的，多媒体系统包括一组参与者终端设备100、200、300，使得由在所述组中所包含的参与者终端设备所生成的多媒体数据被传输给在所述组中所包含的一个或多个参与者终端设备并且在那里被再现。这可以例如是具有一个大银幕和多个更小的屏幕以及不同的在所述空间中所布置的麦克风和多个在所述空间中所布置的扬声器的大空间视频系统。但是，所述终端设备100、200、300或者所述终端设备中的几个也可以包括移动电话、摄像机或个人计算机（PC）摄像头等。

在所示出的实施例中，如在图1中所说明的，所述终端设备100、200、300分别包含音频输入单元、视频记录单元、文本发送单元和文件发送单元以及音频输出单元、视频显示单元、文本输出单元和文件显示单元。

为了同步多媒体数据的目的，中央同步单元（也缩写为“ZTU”）500被设置用于生成包含时间信息的同步标记并且发送给为了接收多媒体数据所设置的、在所述组中所包含的参与者终端设备100、200、300或者至少发送给所述参与者终端设备100、200、300。

同步标记在这里所描述的实施例中由三个逻辑段构成，所述逻辑段在这里应该被称为“情境标签”、“会话标签”和“媒体标签”，其中所述同步标记在下面被称为“同步标签”或者尤其是在程序集中被简称为“标签”（来自英文“tag”=标签）。情境标签描述媒体在会话中的使用方式（例如实时通信、静态通信、流式数据流（Streaming-dataflow）等等）。会话标签表示所有由ZTU 500所管理的会话的顺序单元（例如ZTUxxx-nnnnn）。媒体标签描述媒体的类型（例如动态视频、流式视频、音频、播客、文本、文件、图像等）。在发送和接收方向上分别针对每个媒体类型设置有一个标签。

视通信环境的类型而定，同步标签要么手动地要么自动地被生成并且被存放在数据库中。会话标签可以相应地作为被分配给ZTU 500的名称和连续的编号的级联（Konkatenation），例如ZTU001-0027。

如现在根据图2所描述的，中央同步单元（ZTU）500将包含时间信息的同步标签发送给在所述组中所包含的参与者终端设备，在图2中为了更好的一目了然的目的而仅表示出所述参与者终端设备中的、在图1中所示出的类型的三个参与者终端设备100、200、300。

如已经在开头解释的，在多媒体系统中由在所述组中所包含的参与者终端设备100、200、300中的一个或多个所生成的多媒体数据应该被传输给所述参与者终端设备100、200、300中的一个或多个在所述组中所包含的其他参与者终端设备并且在那里被再现。

如在图1和2中借助实线示意性表示的，中央同步单元500将同步标签发送给在所述组中所包含的参与者终端设备100、200、300中的每个（或者至少被设置用于发送多媒体数据的）参与者终端设备，并且这些参与者终端设备100、200、300中的每个参与者终端设备接收同步标签并且给在相应的参与者终端设备100、200、300中所生成的多媒体数据配备所接收的标签并且然后将配备有所接收的同步标签的多媒体数据发送给中央同步单元500。

中央同步单元500接收配备有同步标签的多媒体数据并且根据由参与者终端设备所发送的多媒体数据的时间情境修改在所述同步标签中所包含的时间信息并且然后将配备有被修改的同步标签的多媒体数据至少发送给在所述一组参与者终端设备100、200、300中的参与者终端设备，在所述参与者终端设备中应该再现所述多媒体数据。在图1和2中示意性地借助虚线表示出将被修改的接收标签传输给参与者终端设备100、200、300。

在所述一组参与者终端设备100、200、300中的参与者终端设备中，配备有被修改的同步标签的多媒体数据被接收并且在与被修改的时间信息相应的时间情境中被再现，其中用于再现的多媒体数据被确定用于所述参与者终端设备。换言之，中央同步单元500控制媒体流，使得具有在同步标签中所包含的相同的被修改的时间信息的数据分组在相应的时间情境中被再现，即，以同步的或同时发生的方式被提供给输出单元。“以同步的或同时发生的方式”应被理解为在满足相应的时间情境的意义上的再现，不一定在严格地“同时”的意义上的再现。

通过缓冲来确保，由于不同的传输时长或处理时长而在不同时间或者延迟到达的媒体分组在相同时间段内被联合，以便然后被同时提供用于输出。这可以在不同单元中发生，例如为了文件存储，在客户端中、在会议单元中发生。

在这里所描述的实施例中以时间戳的形式被设置的时间信息被选择，使得时间戳与最短时间间隔同步地被录入，这与所使用的媒体通道相关。在视频的情况下，例如30ms的时间戳是有意义的。同步单元500将被修改的集中的时间戳录入到异步地到达的媒体分组的时间戳中。为此可以利用标准化的协议元素，诸如在SIP和WebRTC的情况下使用的RTC-P协议。

多媒体数据可以以数据分组的形式被传输并且相应的同步标记被分配给所述数据分组。

数据分组可以被传输，所述数据分组具有不同的时长，其中根据周期性的时间顺序生成同步标签，所述周期性的时间顺序的周期持续时间等于或短于具有最短的周期持续时间、例如上面与视频关联地所提及的30ms的数据分组的时长。

替代于同步标记包含时间戳，可以规定：同步标签像准同步定时（plesiochrone Taktung）包含相应的、与约定的起始时间点有关的、与相应时间对应的计数值。

中央同步单元500接收配备有同步标签的多媒体数据并且根据控制信息修改在同步标签中所包含的时间信息，所述控制信息顾及发送和接收多媒体数据的参与者终端设备100、200、300的特性和传输路径的特性，所述传输路径在图2中利用附图标记400来表示。

在这里所描述的实施例中，控制信息被包含在控制表510中，所述控制表被存放在中央同步单元处。所述控制信息被用于生成同步标签。如已经在上面所解释的，所述同步标签可以包含情境标签、会话标签和媒体标签，其中所述情境标签描述媒体在会话中的使用方式，所述会话标签表示所有由中央同步单元ZTU所管理的会话的顺序单元，所述媒体标签描述媒体的类型。控制信息优选地被动态地适配，其中在同步标签中所包含的时间信息根据所述控制信息被修改。

视通信环境的类型而定，标签要么手动地要么自动地被生成并且被存放在像数据库的控制表中。会话标签可以相应地被表示为ZTU 500的名称和连续的编码的级联，例如ZTU001-0027。

在图2中在传输路径400上属于确定的会话的媒体数据、即处于共同的时间情境中的媒体数据利用相同的数字被标记。因此利用数字1…8表示出八个会话。所述数字的边框的形状、即矩形、圆形或三角形意味着媒体类型以及关于其传输的时间要求和优先级排列。因此，圆形的边框意味着“音频”，所述音频具有参数：实时、高灵敏度的、小分组、没有分组丢失、优先级=1。三角形的边框意味着“视频”，所述视频具有参数：实时、高灵敏度的、大分组、没有分组丢失、优先级=1，并且矩形的边框意味着“文本”，所述文本具有参数：大分组、少量分组丢失、优先级=2。优先级=1意味着相对于优先级=2的优先地位。

在多媒体系统中的数据传输的流程可以如下被图解：在第一步骤中，中央同步单元（ZTU）500从在组中所包含的终端设备100、200、300的所有单元询问媒体流的相应简档。ZTU 500由此创建发送标签（S-Tag），所述发送标签由上面所解释的组成部分、即情境标签、会话标签和媒体标签组成。由ZTU 500周期性地将S-Tag发送给终端设备100、200、300的（输入）单元，所述单元然后在其侧给其媒体流配备相同标签并且发送所述媒体流。从ZTU 500到终端设备的运行时间是能够忽略的。周期与媒体的最短周期对应，例如30ms。为了将消息量最小化，如上面已经提到的，也可以将起始时间点、周期持续时间和周期的数量递交给终端设备100、200、300。

中央同步单元500控制媒体流，使得分组（数据、音频、视频、流、IM、聊天…）在发送的终端设备100、200、300中在生成时利用标签被标记，并且分组和标签作为扩展的分组被发送。ZTU 500是一种工作流引擎，所述工作流引擎以受表控制的方式工作。在所述控制表510中存放：相应的接收标签（E-Tags）以哪个次序被寄送到所述终端设备100、200、300中的被设置用于接收的终端设备。由此，属于确定的通信情境的媒体类型的时间顺序被实现，使得例如在系统中不出现赶超过程。同步单元500因此控制媒体流，使得例如具有相同时间戳的分组同时被提供给被设置用于接收的终端设备100、200、300的输出单元。

在不同的要同步的终端设备100、200、300（例如视频和移动电话）处的不同处理时间在控制表中被顾及并且必要时可以被动态地适配。

通过以下方式来顾及终端设备（例如视频和移动电话）没有共同的或者一致的时间基础（也即每个终端设备有其自己的“时钟”，但是所述时钟没有被同步）：终端设备复制从中央同步单元500获得的标签。ZTU 500因此是中央同步实例，所述中央同步实例将多个部分地线性不相关的媒体流合并为一个情境。

终端设备100、200、300的输入单元将其具有相应的标签的数据分组发送给ZTU 500。如果所有属于一个标签的数据分组抵达了，ZTU 500则生成E-Tag（接收标签），因此代替数据分组中的S-Tag并且将数据分组发送给终端设备100、200、300形式的一个/多个接收方。以这种方式，来自一个端点的不同的、物理上彼此不相关的数据源的媒体数据流被同步，使得也在摄像机的视频数据流和电话的与该视频数据流无关的音频数据流之间实现嘴唇同步。

替代地，代替或附加于中央同步单元（ZTU）500，可以使用本地同步单元（LTU），所述本地同步单元负责唯一的端点的数据流的同步。“decomposed device(分离的设备)”连同其这种LTU如物理上统一的终端设备那样显现。