采用画中画的手语窗口

摘要

本发明涉及采用画中画的手语窗口。采用内容置换和/或画中画提供手语窗口，所述窗口将在主要节目音频/视频内容中提供对音频内容的手语翻译。不希望观看手语窗口的用户可以有选择地禁用手语窗口。而且，在一些实施方式中，用户可以将手语窗口移动到显示器上的预期位置。所述预期位置可以是多个预定义显示位置之一。不应将这一摘要视为构成限制，因为其他实施例可能与这一摘要中描述的特征存在偏差。

说明书

技术领域

本申请涉及采用画中画的手语窗口。本申请涉及美国专利No. 7319753、7765567、7823174、7882517、7992167、8051443、8041190、 8392942、8435172、8453172、8645988、8667525，所有这些专利均授 予Candelore等，并且完全或部分地转让给本申请的受让人。本申请 还涉及美国专利申请No.14/503,548和14/503,514，它们的发明名称分 别为“SELECTIVESIGNLANGUAGELOCATION”和“SELECTIVE ENABLEMENTOFSIGNLANGUAGEDISPLAY”，两者均归于 Shintani和Candelore，并且与本申请是在同一日期提交的。这里通过 引用将这些专利和申请中的每个并入本文。

本专利文档的公开内容的一部分包含受到版权保护的资料。由于本 专利文档或本专利公开内容出现在专利与商标局专利文件或记录中， 因此版权所有人不反对任何人对本专利文档或本专利公开内容的复 制，但会以其他方式保留任何形式的所有版权权利。商标是其相应的 所有者的财产。

背景技术

在模拟和数字电视系统中均采用隐藏字幕使听力损害者能够阅 读电视对白的字幕，从而更容易地了解电视节目。正在开发高级电视 系统委员会(ATSC)标准3.0，使之包含更加高级的规定，从而为具 有各种感知障碍的用户提供便利。

附图说明

通过参考详细说明书并且结合附图，可以最佳地来理解示出操作 的组合和方法的特定示范性实施例以及目标和优点，其中：

图1示出了具有手语窗口的视频显示器。

图2是按照与本发明的某些示范性实施例一致的方式具有多个手 语窗口位置的显示的示范性图示。

由图3A至图3F组成的图3，是按照与本发明的某些示范性实施 例一致的方式在多个手语窗口位置之间进行循环以及开启和关闭手语 窗口的机制的示范性图示。

图4示出了与本发明的某些示范性实施例一致的具有手语控制键 的示范性遥控器。

图5是与本发明的某些示范性实施例一致的在多个手语窗口位置 之间进行循环以及开启和关闭控制的示范性过程。

图6是与本发明的某些示范性实施例一致的在所显示的主要图像 的左上角附近具有手语窗口的显示的图示。

图7以举例的方式示出了与本发明的某些示范性实施例一致的所 显示图像的手语窗口的四个位置以及宏块(microblock)的示范性视 频切片。

图8是与本发明的某些示范性实施例一致的具有示范性宏块和视 频切片的手语窗口的例子。

图9是按照与本发明的某些示范性实施例一致的方式对主要节目 内容加以处理以包含手语窗口位置和手语内容的方法的示范性过程 200的流程图。

图10是描绘按照与本发明的某些实施例一致的方式对手语窗口 内的主要信道内容重新编码的示范性过程的流程图。

图11是描绘按照与本发明的某些实施例一致的方式对手语窗口 内的主要节目内容重新编码的示范性过程的流程图。

图12是描绘按照与本发明的某些实施例一致的方式对手语窗口 外的主要信道内容重新编码的示范性过程的流程图。

图13是与本发明的某些示范性实施例一致的在手语窗口位置具 有手语内容和重新编码主要节目内容的主要节目内容的示范性包 (package)。

图14是按照与本发明的某些示范性实施例一致的方式对手语内 容连同重新编码的主要节目内容进行编码的编码器装置的示范性例子 的方框图。

图15是按照与本发明的某些示范性实施例一致的方式对手语内 容和主要节目内容解码的接收机装置的示范性例子的方框图。

图16是与本发明的某些示范性实施例一致的手语内容置换 (substitution)的示范性过程的流程图。

图17是与本发明的某些示范性实施例一致的手语内容置换的 示范性过程的流程图。

图18是描绘与本发明的某些示范性实施例一致的数据布置的图 示。

图19是与本发明的某些示范性实施例一致的示范性状态机的示 范性状态图。

图20是与本发明的某些示范性实施例一致的接收机装置的示范 性方框图。

图21是描绘与本发明的某些示范性实施例一致的示范性解码过 程的流程图。

图22是描绘与本发明的某些示范性实施例一致的示范性数据布 置的图示。

图23是描绘与本发明的某些示范性实施例一致的示范性解码过 程的流程图。

图24是与本发明的某些示范性实施例一致的示范性系统方框图。

图25是与本发明的某些示范性实施例一致的示范性实施过程的 流程图。

图26示出了按照与本发明的某些示范性实施例一致的方式采用 与主要节目内容分离的IP包传达手语的示范性实现的包布置。

图27示出了按照与本发明的某些示范性实施例一致的方式采用 与主要节目内容相同的IP包传达手语的示范性实现的包布置。

图28示出了按照与本发明的某些示范性实施例一致的方式执行 的包置换。

具体实施方式

本文通篇提到的“一个实施例”、“某些示范性实施例”、“例 子”、“实施例”、“一个例子”、“实施方式”或类似用语是指联 系所述实施例、例子或实施方式描述的具体特征、结构或特点包含在 在本发明的至少一个实施例、例子或实施方式当中。因而，在本说明 书从头到尾的各处出现的这样的短语未必全都是指同一实施例、例子 或实施方式。此外，可以不受限制地在一个或更多实施例、例子或实 施方式中通过任何适当的方式结合所述特定特征、结构或特点。

文中采用的词语“或”将被解释为逻辑“或”，其指任何一个或 任何组合。因此，“A、B或C”是指下述的任何选项：A；B；C；A 和B；A和C；B和C；A、B和C。只有在元件、功能、步骤或动作 的组合通过某种方式发生内在的相互排斥时才会出现这一定义的例外 情况。

文中采用的单数冠词被定义为一个或不只一个。文中采用的词语 “多个”被定义为两个或超过两个。文中采用的词语“另一个”被定 义为至少第二个或更多。文中采用的词语“包括”和/或“具有”被定 义为含有(即开放性用语)。

文中采用的词语“耦合”被定义为连接，但是其未必是直接的， 也未必是机械的。

文中采用的词语“程序”或“计算机程序”或类似词语被定义为 经设计供计算机系统运行的指令序列。“程序”或“计算机程序”可 以包括子例程、函数、过程、目标方法、目标实现、可执行应用、app、 窗口小部件、小应用程序、小服务程序、源代码目标代码、草案、共 享库/动载荷库和/或其他被设计为在计算机系统上运行的指令序列。 文中采用的词语“处理器”、“控制器”、“CPU”、“计算机”等 既包含硬编程装置、专用装置、通用装置、可编程装置，又可以不受 限制地按照分布式或集中式配置包含多个这样的装置或单个装置。

文中采用的词语“非暂态”意在描述将信号和传播媒介排除在外 的存储介质。例子包括磁盘存储器、光存储器、只读存储器、闪速存 储器和随机存取存储器。非暂态一词仅意在排除传播波，而不排除能 够重写的存储器或者在掉电时失去其存储信息的存储器。

文中采用的“程序”一词也可以用于第二种语境下(上述定义是 针对第一种语境的)。在第二种语境下，该词的使用具有“电视节目” 或“节目”的意义。可在不考虑提供方法(例如，广播、有线、卫星、 Internet等)的情况下应用该词。在这一语境下，采用该词表示任何 音频视频内容的连贯序列，例如，那些将被解释为或者在电子节目导 播(EPG)中被报告为单个电视节目的内容，而不考虑所述内容是电 影、体育赛事、多集连续剧的一集，还是新闻广播等。该词也可以被 解释为包含商业插播广告以及其他在电子节目导视中未报告为节目但 类似于节目的统一内容。也可以按照一般的常规意义解释词语“节目”、 “电视节目”和“节目内容”以及类似词语，以及使其具有这样的含 义，即所述词语是指任何能够在电视显示器或类似监视器装置上显示 的A/V内容的任何片段。

词语“机顶盒”或“STB”与词语“机顶终端”同义，并且其使 用方式就是有线电视行业的常规方式，即用作为通过有线电视基础设 施接收的电视信息提供解调和解码的电视部件。所述词语可以扩展至 实现类似目的的卫星、Internet和广播电视装置。

文中采用的“接收机装置”被用作充当接收器、解码器等的装置 (用于电视节目播放或类似的音频/视频内容)的通用术语，所述装置 包括但不限于电视机、电视接收机、有线或卫星机顶盒或机顶终端、 电视接收机模块、Internet协议电视接收机/解码器装置、具有调谐器 或者可以访问电视音频/视频内容的数字视频记录器等。

文中采用的“视频”一词不仅包括真正的可视信息，而且具有会 话的意思(例如，视频磁带记录器)，其不仅包括纯粹的视频信号， 还包括与相关音频、控制和其他数据打包到一起视频信号。

词语“视频帧”或“帧”是指数据的单个视频帧，其将占据渐次 编码显示器，从而实现一次完整传送的呈现，例如，所述呈现是从左 上到右下。

词语“视频子帧”或“子帧”是指视频帧内的完整独立图像，例 如，如本文所讨论的含有手语视频的手语窗口的呈现。

文中采用的词语“打包介质”和类似词语意在包含记录介质，例 如，数字通用盘(DVD)、紧致盘(CD)以及其他磁、光或其他记 录介质，它们一般被商品化为含有电子存储介质的打包，并且作为零 售商品出售，其与可电子下载的数据流形成对照。

“手语”一词是指所谓的“聋哑手语”，包括乡村和社区手语。 手语是手势(统称为手和臂的姿势)的语言，它们一般用作替代或者 加强话音和唇读的交流语言，从而为听力损害者提供便利。手语意在 表现姿势，所述姿势用于与听力损害者进行非口头的交流或者改善交 流。例子包括但不限于标准美国手语及其各种速记扩展，而不管从地 区变化以及以语言、地点和其他促成了各种手语差异的因素为基础的 差异的角度来看所述手势是不是标准化的以及为人们普遍识得的。

词语“手语窗口”(SLW)是指所显示的图像内的窗口状显示， 其含有或者被指定为含有手语视频内容。

采用词语“宏块”表示由用于生成视频画面的一个或多个数据块 的集合形成的目标。这一术语与各种MPEG(运动图像专家组)视频 标准以及AVC(高级视频编码)中对该词语的使用一致，但是又不限 于此，因为也可以将该词语解读为其他标准中的等价结构。

词语“内容置换”或“内容替换”是指至少对显示器的一部分采 用其他内容置换显示器上显示的视频内容。

词语“包标识符”或“PID”的使用方式与MPEG程序和系统协 议(PSIP)中的常规使用一致，但是其能够等同地表示使用方式与PSIP PID相同的数据构造。

词语“I帧”是指与各种MPEG标准中的使用一致的帧间编码视 频帧。I帧是独立的并且不依赖于来自相邻的或者附近的视频帧的视 频数据的视频帧。

词语“P帧”是指在MPEG以及其他视频压缩技术中用于通过 参考在先帧并且通过预测遗漏数据而建立完整视频帧的帧内编码预测 性视频帧。

词语“B帧”是指在MPEG以及其他视频压缩技术中用于通过 参考所述B帧的在先视频帧和随后视频帧而建立完整视频帧的帧内编 码双向视频帧。

文中采用的“I包”一词是指传送I帧的至少一部分的包。

词语“I宏块”意在表示要么仅含有I包，要么是不依赖存在于 宏块外部的视频数据的视频宏块。也就是说，所述宏块可以包括处于 宏块内的P数据或B数据，但是不依赖于其他处于宏块外部的数据。

词语“P宏块”和“B宏块”是指采用来自其他宏块的数据进行 帧内编码的宏块。

文中采用的词语“I编码位置”或“帧间编码”位置等是指视频 帧中的一个区域，该区域被编码为使得所述位置的每个切片(slice) 都开始并且结束于I宏块，或者被编码为使所述位置是自持的，并且 对存在于所述位置之外的数据不存在空间或时间依赖性。

尽管本发明容许存在很多不同形式的实施例，但是附图中示出 了并且在本发明的具体实施例内进行了详细说明，应当理解，应当对 这样的实施例的公开看作是对原理的举例说明，而不是旨在使本发明 局限于所示出和描述的具体实施例。在下述描述当中，采用类似的附 图标记描述几幅附图的图示当中的相同、类似或对应部分。

上文描述的具有共同所有者的专利所描述的发明涉及一般被称 为内容置换的方法的各个方面以及用于所述方法的设备。

一些具有听力损害的人可能喜欢手语更胜于隐藏字幕。在一些情 况下，可能无法选择隐藏字幕。在普通的电视节目播放中显示手语窗 口的一个问题是，与隐藏字幕一样，一些人可能认为它们非常分散注 意力，如果这些人不是需要它们的观众的话。而且，手语窗口还占据 着显示屏的一部分，可能覆盖主要内容或者使其模糊。

参考图1，一些电视节目播放(例如，紧急记者招待会或演讲) 是采用处于显示器100上所呈现的主要内容之内的窗口进行广播的， 所述窗口包括将讲话内容翻译成手语的解译人员。通过图1的例子对 此进行举例说明。在显示器100的主要观看区域内提供主要内容104。 手语解译人员出现在手语窗口(SLW)108内，从而将会话转化成手 语，例如，美国手语。但是，对于那些不需要手语翻译的人来讲，其 可能分散人的注意力。因而，这一内容通常是一开始就嵌入的，观众 不能禁用手语或者将手语移到喜欢的位置。能够根据需要或预期打开 或关闭手语窗口将是可取的。这样，那些需要手语的人能够看到手语， 而在听力没有被损害的观众正在观看所述主要内容时，其他人可以在 不需要时将其关闭。

为了对两种或更多种类型的数字电视内容信号进行区分，即，对 主要射频内容和含有用于提供音频的手语解释的图像的辅助内容进行 区分，可以利用多个包标识符(例如，顺应MPEG的PID)。一般而 言，采用单组的包标识符来识别特定的电视节目。于是，电视接收机 装置将所有的适当视频内容重新映射至单个PID或者单个PID集合， 以供重放。

与本发明一致的某些实施例利用与内容的可置换宏块相关的多 个PID作为提供内容置换的机制，其使得手语窗口(SLW)能够连同 主要内容一道显示。可以对手语窗口进行启用、禁用，或者将其指定 为存在于显示器上的多个标示位置之一上。可以在不需要带宽的显著 增加的情况下以合理的硬件成本采用本教导实现这一目的。

就与本教导一致的一个方面而言，在上文引用的专利中描述 的帧内“包交换”适于在需要时实现手语内容对主要内容的一部分的 置换，或者在不想要或不需要手语内容的可用性时关闭手语内容。就 这一方面而言，内容创建者创建主要内容和用于置换到显示屏的一个 或多个预定义区域内的手语内容。所述主要内容和手语内容被交织 (interwoven)到合并内容流内。

在另一个将在本文中首先讨论的方面当中，受到替换的主要内容 并未固定至屏幕上的单个特定点。主要内容包和手语内容“替换”包 将不再是交织的，而是将替换数据在它们将要替换的帧当中的数据之 前进行发送。这样的替换包在编码时与一个或多个可能位置“帧同步”。 在其他实施例中，将所述位置固定到单个位置上，但是在任一种情况 下都能够开启或关闭手语窗口。

如上所述，能够将视频创建为具有嵌入到视频内的插图画面，该 插图画面显示以手语进行交流的人。但是，不存在允许显示或者忽略 手语的用户控制，因为其被处理为主要节目内容的部分。根据本教导， 提供了一种用于在用户控制之下向视频提供针对手语支持的有效率的 方案。只有在用户希望看到手语窗口时，手语窗口才是可见的；否则 所述窗口不可见，并且所述图像含有普通的主要视频节目内容。其有 效率地使得用户能够启用具有手语的节目版本(针对听力损害者)和 不具有手语的版本(针对非听力损害者)。在某些实施例中，用户能 够改变手语窗口的位置。

参考图2，采用包置换技术提供在显示器100上显示的主要视频 内容104的一个或多个区域，所述一个或多个区域对应于可以采用包 含同步手语内容的手语窗口(SLW)替换主要内容的可选择位置。在 这个范例中，提供了位于位置120、122、124和126处的四个可能位 置作为手语窗口位置#1、2、3和4。在一个范例中，观众可以从处于 屏幕的多个规定位置中的任何位置上的替换主要视频内容的预定义位 置当中选择位置。将不必发送两个完整的视频流，即，一个面向常规 观众，另一个面向需要手语的观众。只替换视频帧中的某些主要内容 宏块或其他数据片段。因此，将不必发送两个完整的视频流，由此使 带宽消耗降至最低。

在采用包/内容置换方案的情况下，只是在主要视频内容之外发送 用于表示手语的视频的数据。这一数据只表示主要节目视频内容的全 帧数据的一部分。在用户打开手语时，启用包交换，并采用手语区域 的包替换对应于原始视频的手语位置的包。由于这一手语视频可能只 占所显示的视频图像的大约10-15％，因而用于支持这一手语窗口的 额外数据的量相对较小。

在与本教导一致的某些实施方式中，所述窗口位置中的一个或多 个还可以与窗口128重叠，如虚线所示，其允许观众选择更大的窗口 位置来显示手语。在图2中，位置127是较大窗口，其与窗户位置126 的全部或部分重叠，并且是所显示的唯一较大窗口。但是，在不背离 本教导的情况下可以提供具有相同的或者多个尺寸及位置的一个或多 个窗口。如果设置了多个窗口尺寸，那么可以在播放器装置上对手语 视频放大或缩小，以配合更大或更小的窗口尺寸。

如图2所示，描绘了五个可能的能够充当手语窗口位置的位置(为 了便于说明在后面的附图中只示出并讨论了其中的四个)。在选择启 用手语窗口时，可以将所述位置中的任何位置或者屏幕上最后一次播 放手语窗口的位置或者默认位置替换为手语窗口。可以在主要内容正 在演什么的基础上移动手语的位置。在一些情况下，观众可能希望使 手语的位置恰好挨着屏幕上的角色，或者希望其别碍事，例如，置于 右下象限内。

在某些实施方式中，处理器计算观众像要将手语内容放在哪里。 为了完成这一目的，主要内容中的手语内容可能处于的位置处的主要 宏块的切片可以以插入到它们的位置的新的宏块来结束。在手语内容 的显示完成时，重新开始主要内容宏块的切片。在一个例子中可以在 逐切片、逐包或逐位置的基础上对视频实施这一操作。在当前的实施 方式中，可以采用I宏块达到这一目的。可以在处于预定义的位置内 的主要内容宏块的位置处插入手语宏块。可以将手语内容编码为I宏 块或者至少第一宏块可以是I宏块，该I宏块不利用所述位置以外的 任何空间或时间宏块(例如，不利用就在手语窗口的使用之前呈现的 主要内容的宏块)。类似地，(在空间上)跟随窗口位置的主要内容 的第一宏块也是I宏块。

在某些方面中，组装内容的最终版本的传送过程能够创建在语法 上正确的编码以避免假信号。实施计算以进行手语内容中的拼接。

在图2的范例中，屏幕上的用于手语窗口(SLW)的放置的几个 位置是预定义的。在这些位置上，主要节目内容宏块开始于I宏块， 该片段可能持续定义数量的宏块，该宏块未必都是I宏块。在达到所 述位置的边界时，可以发送另一主要内容I宏块。

在任何情况下，都可以在接收端采用单个视频解码器，这一点从 执照的角度来看可以是有利的，因为执照成本往往取决于在既定接收 器处实施的解码器的数量。因而，不需要两个单独的完整视频流及解 码器。观众具有有选择地观看原样视频或者观看具有手语的视频的能 力。因而，不希望观看手语窗口的观众可以关闭窗口，而希望观看手 语窗口的观众则可以打开窗口。

下面将讨论对于传送处理器而言如何更容易地在屏幕上的“任何 地方”进行内容的交换。但是，在当前例子中，手语可以位于四个指 定位置的一个中。处于这些位置上的主要内容将在每条线上以I宏块 开始，之后终止于I宏块，从而在拼接之后开始剩余的线。将要以I 宏块替代的内容括起来(bracket)将使得实时的删除和拼接(内容替 换)对于“非解码器”过程而言更易于完成。这一例子的过程强制编 码器按照在指定位置中生成I宏块的方式来对内容进行压缩。

本领域技术人员将认识到，在某些实施例中，也可以在接收机装 置处根据常规编码的视频来创建I宏块，以通过对视频进行重新编码 来提供I宏块从而允许SLW出现在任何预期位置上。在考虑到本教 导时本领域技术人员将想到其他变化。

现在重新参考图2，在这一示范性实施方式中(忽略了位置127)， 指出了四个区域作为显示器100的手语窗口的可能位置。在这一例子 中，概括地讲，在显示器100的四个角附近提供了四个可能的位置。 手语窗口#1出现在120处。手语窗口#2出现在122处。手语窗口#3 出现在124处。手语窗口#4出现在126处。在这个范例中，用户可以 通过(例如)遥控命令或菜单选择来选择显示或者不显示SLW，并且 在显示的情况下指定四个SLW位置中的显示手语解译人员的那个 SLW位置。在一个范例中，可以在远距离控制器上提供手语按钮/按 键，并且使得对所述按钮的一系列按压循环通过位置#1中的启用、位 置#2中的启用、位置#3中的启用、位置#4中的启用和禁用。其他方 案也是可能的，包括采用导航命令从一个位置移到另一个位置或者采 用菜单来指示优选位置。在考虑到本教导时本领域技术人员将想到其 他变化。

在某些MPEG以及其他数字视频实施方式(例如，AVC、ATSC 和HEVC)中，可以采用适配域内的专用数据为将被替换的主要内容 包打上标签。每个将被替换的包可以具有跟随有长度参数的适配域或 者第一包，其指示在该第一包之后某个数量的包将被替换。在一个范 例中，可以采用下述句法来定义将采用四个可能的位置中的哪个。

所述包仅将所述位置中的一个设置为“1”。可以将手语包存储到 缓冲器内，并且可以执行包的一对一替换，即，来自手语缓冲器的一 个包替换所述流(含有I宏块)内的一个包。更高级别的应用将对用 户接口做出响应，在该用户接口处人能够开启手语并且挑选位置，即 Location_1、Location_2、Location_3或Location_4，还能够选择启 用或禁用SLW。传送处理器检查每个包的适配域，以查看其属于什么 类型的包(其处于什么位置)，从而判断是否应当做出置换。

参考由图3A-3F构成的图3，其描绘了操作过程的例子，其中， 用户如所描述的采用遥控器对位置以及激活或去激活进行循环遍历。 在图3A中，手语窗口是关闭的，但是通过虚线示出了用于手语窗口 120、122、124和126的四个示范性位置中的每个以供参考。在启动 手语控制(不管以什么形式)时，手语视频内容128出现在位置#1-120 上，如图3B所示。之后，可以采用(例如)导航控制或者重复按下 遥控器手语按键等对位置进行循环遍历，以选择要将手语视频移到的 位置。在这个范例中，如图3C所示将手语移到位置#2-122处呈现。 之后，可以采用进一步的启动或导航动作将手语视频移到位置#3-124， 如图3D所示。之后，可以采用进一步的启动或导航动作将手语视频 移到位置#4-126，如图3E所示。最后，进一步的启动或导航动作将使 手语窗口视频关闭。应当理解这些附图中所示的虚线框只是用于参考 而非加以显示。

在其他实施例中，用户可以直接选择位置或者在不循环遍历所有 可能性的情况下选择位置。或者，用户可以指定用户优选的默认位置， 并且总是在该位置上显示手语。在考虑到本教导时本领域技术人员将 想到其他变化。

图4示出了具有遥控按钮132的遥控器130，遥控按钮132就 是为上述动作保留的，在这一例子中采用“SL”作为该遥控按钮132 的标签。重复选择SL按钮132可以循环遍历显示装置的激活、去激 活以及重新定位手语窗口的操作，如图5的示范性流程图中所示。在 其他实施例中，可以提供其他控制机制。

在图5中，所述过程开始于134，在134之后，系统通过遥控器 接收器等待来自遥控器130的信号的接收，该信号表示在136处按下 了手语(SL)按键。当在136中按下按键时，系统在138处判断SLW 是否开启，如果没有开启的话，那么将SL按键的按下解释为表示将 打开SLW，打开SLW的操作是在140中完成的，例如其中窗口位置 是指定的第一窗口，指定的默认窗口、在菜单中或者在设置时指定的 用户优选窗口位置或者是最后一次使用的窗口位置。当在138处SLW 为开启状态时，在136处按下SL按键之后，所述过程在142处判断 该位置是否是SLW显示位置的序列中的最后一个位置。如果是，那 么在144处将所述信号解释为关闭SLW的信号，并且过程返回至136， 等待下一次按下SL按钮。如果在142处SLW位置不是所述序列中的 最后一个，那么所述过程在146处使SLW移到该序列的下一位置， 并且所述过程返回至136。

这只是一种能够用于启用和禁用手语窗口以及将所述窗口定位 到显示器周围的说明性的示范性技术。在其他实施例中，可以从用户 菜单中选择默认位置，并且可以禁用各个位置，从而有效地使SL按 钮成为开启/关闭控制。类似地，在其他实施例中，一旦开启了SLW， 就可以采用诸如上、下、左、右控制的导航控制或者触控板或操纵杆 来识别SLW的预期位置。例如，可以在启用后的一定时间段内在显 示器上对SLW加亮，在该时间段内导航控制是有效的。在某些实施 例中，导航控制的执行可以延长导航控制起作用的时间。在其他实施 例中，导航控制可以一直起作用直到激活“回车”键或者再次激活SL 键为止。在考虑到本教导时本领域技术人员将想到很多变化。

图6示出了如果用户选择将隐藏字幕视频128放到位置#1-120将 出现的示范性图像。

现在参考图7，其示出了简化的示范性视频帧，以说明处于位置 120、122、124和126处的手语窗口子帧的四个示范性位置的位置。 还示出了简化的多个视频切片，例如，切片150、152、154、156、158、 160、162、170、172、174、176、178和180(为了获得更高的手语分 辨率希望有比所示出的更多的切片)。以视频切片来布置数字视频图 像，每个视频切片由宏块构成，该宏块由通常以数据包(帧间编码包、 双向帧内编码包和预测性帧内编码包)接收的I、B和P宏块构成。

在一个示范性实施例中，为了促进采用窗口128的手语内容替换 主要节目内容，对主要节目内容加以处理，从而按照能够便于手语视 频的插入的方式保留一个或多个手语窗口位置。所述编码改变了手语 窗口位置处的主要内容，从而使得主要内容是在空间上不依赖于手语 窗口位置的界限以外的帧内编码包的独立内容“块”。此外，对在手 语窗口位置外包围手语窗口的主要内容的边界编码，使之在空间上不 依赖于处于手语窗口位置的界限以内的内容。也就是说，在SLW边 界外面并且紧挨(左侧和右侧)SLW边界的边界包可以被编码为(例 如)帧间编码包，而依赖于SLW边界内的内容的帧内编码包则是不 被容许的。

通过示例的方式，考虑在图8的更加详细的举例说明当中以简化 的形式示出对于手语窗口位置#1-120的处理，图8是对主要内容编码 的简化举例说明。在这一举例说明中，将手语窗口位置#1-120的尺寸 示为具有比可能使用的更少的宏块，其目的在于便于说明。将通过隔 离出单个切片156连同窗口位置120的描绘一起说明所述原理。出于 本文的目的，可以将诸如位置#1-120的区域称为“帧间编码位置”。 文中采用的词语“I编码位置”或“帧间编码”位置等是指视频帧中 的子帧，该子帧被编码为使得所述区域的每个切片都开始并且结束于 I宏块，或者通过其它方式被编码使所述位置是自持(self-contained) 的，并且对存在于所述区域之外的数据不存在空间或时间上的依赖性。

为了实现这一目的，位置120中的在位置120的左侧开始的初始 宏块可以全都是I宏块。沿列190示出了这一点。类似地，如沿列194 所示，处于位置120的右侧边缘的宏块的每个可以是I宏块。190和 194之间的宏块也可以是I宏块，或者可以是帧内编码宏块，只要对 SLW外部的宏块没有时间或空间依赖性即可。其使得位置120变为视 频的充分自持的位置，从而简化了手语视频内容的置换。

为了确保其余的主要视频图像不受这一编码以及所发生的任何 置换动作的影响，还有一种情况是在左侧紧挨着先于位置120的开端 的宏块的每个都应当是I宏块，例如，宏块196，在右侧处于位置120 之后的第一个宏块也应当是I宏块，例如，198。通过这种方式，对跨 SLW的每个视频切片进行了处理，从而确保处于SLW左方和右方的 视频数据按照不依赖于使用SLW内的内容的帧内编码的方式来进行 编码。将替代SLW内的主要内容数据的手语内容编码为独立的，并 且不依赖于任何采用SLW外的数据的帧内编码。

所提出的例子通过简单地要求对主要内容数据进行重新编码从 而建立SLW内的数据的独立块，来由此能够提供针对SLW的编码的 简单决策制定。此外，执行编码的方式确保了在左方和右方邻接SLW 的块也是独立的，并且不依赖于采用SLW内的数据的帧内编码。对 主要内容的这一重新编码一般将采用比原始内容略多的数据，因为重 新编码降低了采用SLW边界处的(内部和外部的)预测编码进行数 据压缩的可能性。还应当指出，为了完整起见，如果SLW位于视频 切片开始或末尾处(即，SLW处于所显示的图像的左侧或右侧边缘)， 那么相应地调整编码。也就是说，如果SLW开始于视频图像的最左 侧边缘，那么在左方不存在位于SLW前面的宏块，因而在SLW的左 方没有要重新编码的主要内容。可以推断，如果SLW位于所显示的 图像的左侧边缘和右侧边缘，那么重新编码将更有效率，并且能够利 用更多的帧内编码。

注意，在某些实施方式中，可以通过在某些边界处继续采用帧内 编码而保留对所述视频数据的进一步压缩，然而其前提条件是在所述 边界处不存在取决于边界外部的宏块的帧内编码宏块。例如，如果宏 块199仅取决于位置120内的在先数据，而不取决于宏块198，那么 其可以保持原样，而不需要通过重新编码将所述宏块转换为帧间编码 宏块。可以将列190和194之间的数据编码为全部为I宏块或者编码 为I、B、P宏块，但是所述数据不应具有可能采用不是手语视频数据 的部分的数据的任何时间或空间依赖性。

在启用针对特定SLW的手语时，采用手语内容替换所述SLW 内的主要内容。因而，还将手语内容编码为确保其不依赖于插入到手 语窗口内的手语内容的左右边界的在先及随后宏块。

图9示出了用于实施上文讨论的编码连同对视频内容加以打包以 供存储或发布的一个示范性过程200。所述过程开始于204，此后，在 208处逐帧地(或者作为被处理为流的流)接收主要内容。假设视频 的帧对于这一例子而言是可用的，那么在212处针对N个手语窗口位 置中的每个，在216处对SLW位置中的数据重新编码，以去除依赖 于SLW外部的数据的帧内编码宏块。在220处，对在SLW位置的左 侧和右侧边界之外并与所述边界相邻的数据重新编码，以去除依赖于 SLW内部的数据的任何帧内编码宏块。

在224处，接收用于替换SLW的同步手语视频(例如，通过使 用在手语视频和主要节目内容视频中的共同时间戳(commontime stamping)而同步)。在228处，将手语视频和重新编码的主要内容 视频打包到整体数据布置当中，其中，按照将手语数据与主要内容数 据区分开的方式对手语数据进行标识，例如，利用其自己的指定包标 识符(PID)。之后，可以在232处将这一数据作为整体数据包进行 存储、流传输、发送等。

在212处，通过由212和216之间的循环所描绘的方式对N个 SLW位置中的每个进行处理，直到针对当前帧对所述SLW中的每个 都进行了处理为止。在这一点上，完成了对当前帧的处理，并在236 处接收或检索下一帧，所述过程将针对可以采用手语窗口的视频的每 个帧来进行重复。注意，在长部分的视频不伴有音频时，有可能在这 样的间歇当中禁用SLW，从而使对主要内容显示的阻挡降至最低。

当在240处对所述帧的每个都进行了处理时，抵达内容的末尾， 并且所述过程在244处结束。如果在240处未抵达内容的末尾，那么 控制返回至208，以检索或接收主要内容视频的下一帧。在考虑到本 教导时本领域技术人员将想到其他变化。

图10描绘了用于如上文所述对主要内容数据重新编码的示范性 过程216。这一例子假设SLW未必处于视频显示器的左侧或右侧边 缘，并且将单独地处理每个情况。在这一范例中，从212接收到视频 帧，并从接收宏块的250开始以宏块为基础对宏块进行操纵。在254 中，所述过程判断宏块是否处于SLW的左侧边界或者右侧边界(以 及处于SLW内)。如果不是，那么在258处不执行重新编码，并输 出原始宏块。在262处所述过程进行至在250处接收到的下一宏块。 如果在254处所述宏块是边界宏块，那么控制转至266。在266处， 过程判断边界是否是右侧边界或左侧边界。如果是左侧边界，那么过 程进行至270。

在270处，如果宏块是I宏块，那么在258处还是不执行任何编 码，从而输出原始宏块，并且所述过程在262处进行至下一宏块。但 是，如果在270处宏块并不是I宏块，那么所述过程在274处将所述 宏块重新编码为I宏块，并在278处输出重新编码的宏块。之后，所 述过程在262处进行至下一宏块。

在266处，如果所述边界是右侧边界，那么控制进行至282， 以判断所述宏块是否是I宏块。如果在282处所述宏块是I宏块，那 么在258处不执行任何编码，并且所述过程进行至262。如果在282 处，所述宏块不是I宏块，那么可以在286处将所述宏块重新编码为 I宏块，并在278处输出所述宏块。之后，控制在262处进行至下一 宏块。

根据上述示范性过程，将处于SLW的右侧边缘的宏块编码为I 宏块，以简化处理。在图11所示的这一过程的变型当中，对过程216 加以修改，从而允许预测性编码宏块(P宏块)存在于ALW的右侧 边界处。在这个范例中，执行与上文讨论的相同的过程，只是在282 处如果宏块不是I宏块，那么可以在290处对其进一步检查，以判断 其是否是双向帧内编码宏块(B宏块)。如果不是，那么可以总结出 所述宏块是P宏块，并且可以在无需重新编码的情况下对其加以使用。 应当认识到，如虚线所示的判决282和290所起的作用是判断所述宏 块是否能够被使用，或者是否应当对其重新编码，并采用去除过程判 断所述宏块是否是I或P宏块。很清楚，在所述备选方案中，可以同 样地判断宏块是否是B宏块，并且只对B宏块重新编码，同时使I和 P宏块在无需重新编码的情况下通过。在考虑到本教导时本领域技术 人员将想到其他变化。

可以采用类似的机制对在ALW的边界之外与ALW相邻的主要 内容宏块重新编码。在图12中示出了220的一个示范性过程。在这个 范例中，在300处接收来自216的宏块。在304处，所述过程判断宏 块是否处于SLW边界处(这次是处于SLW的边界之外)。如果不是， 那么在308处不执行重新编码，并在300处接收下一宏块312。

如果在304处判断宏块处于外侧边界处，并且在316处判断处于 右侧边界处，那么在320处判断其是否是I宏块。如果是这样，那么 在308处不执行重新编码，并在300处接收或检索下一宏块312。如 果在320处判断所述宏块不是I宏块，那么在324处将所述宏块重新 编码为I宏块，并在328处输出重新编码的宏块。之后，在300处检 索下一宏块312。

在316处，如果宏块处于SLW边界的左方，那么在这一例子处， 过程进行至332，其中，判断宏块是否是B宏块。如果不是，那么可 以总结出所述宏块是I宏块或P宏块(通过直接分析而不是如上文所 讨论的去除过程)。因而，不必对处于SLW边界的左侧作为I宏块 或P宏块的宏块进行重新编码，并且过程进行至308。但是，如果宏 块为B宏块，那么在336处对其重新编码，并且过程进行至328。

因为，回顾图10-12，下面的表1示出了宏块的重新编码存在的 可能性：

表1

重新参考图8，可以如图13所示执行228的打包操作的示范性实 施方式。在这个范例中，为了便于举例说明仅示出了主要节目内容视 频包和手语视频包。在这一示范性实施例中，将图2所示的除了位置 127以外的四个位置用于说明目的。在这一范例中，为手语视频包分 配PID值101，如350处所示。可以有利地在节目内容包之前传输(流 传输、存储等)手语视频包，从而能够将它们以低存储容量要求方便 地缓冲到用于SLW的窗口缓冲器内。在354处，手语视频包之后跟 随着具有不同PID(例如，这里示出的100)的节目内容包。在整个 视频包的流的其余部分分布着具有PID100的主要节目内容视频包的 多个片段。

在节目内容包内还散布着标示为360、362、364和366的针对SLW 位置#1、#2、#3和#4的节目内容包。视频帧的这些独立的部分也可以 携带主要内容包标识符(PID100)，并且可以如图所示针对每个SLW 位置将它们组合到一起，或者将其划分成在数据流内自由分布的多个 包，或者使其处于背对背的位置，并没有限制。使SLW位置包聚集 在一起在某些情况下能够简化手语视频对SLW包的置换。尽管针对 主要节目内容的所有部分采用主要内容PID值简化了过程，但是如果 希望的话也可以向SLW位置分配单独的PID值。在对帧进行完整地 打包之后，接着是下一帧，在这一实施方式中，其还是开始于具有PID 101的手语视频包。

现在参考图14，其描绘了与某一实施方式一致的示范性编码系 统，其中，主要节目视频内容源400和与主要节目内容源400时间同 步(例如，通过采用在406处生成的共用时间代码)的手语视频源404 生成将被处理的视频内容。这些视频内容源400和404可以是存储内 容，或者可以是实况内容(即，来自两个不同的摄像机)，或者内容 400可以是存储的，而内容404可以是视频内容400的实况解译。

可以对手语视频源404进行预先处理，从而对其进行帧间编码和 缩放，使之配合到对SLW内的主要内容进行更换的适当尺寸的SLW 当中。例如，手语窗口可以大约是所显示的主要内容图像的尺寸的1/8 到1/10，并且能够对其进行相应地缩放。如果没有进行预先处理，那 么可以在编码器中采用预处理器410来执行额外处理，其将执行缩放、 修剪和重新编码功能，以帧间编码结构形式来生成具有适当尺寸和分 辨率的输出，该帧间编码结构不依赖于已经被去除的数据，也不依赖 于处于手语窗口子帧的界限之外的数据。

按照上文讨论的方式采用重新编码器408(其在这一例子中基于 宏块进行重新编码，但不应认为其构成限制，因为其他实施例可以基 于切片或包进行重新编码)对主要节目视频内容400进行处理，从而 在规定位置上提供手语窗口。宏块重编码器408可以是硬布线编码器， 其被配置为采用上述教导对主要内容进行操纵，从而在指定位置上提 供独立的手语窗口位置。或者，宏块重编码器可以是可配置或可编程 逻辑，或者可以采用编程处理器来实施。随着主要节目视频内容在408 处受到重新编码，重新编码的内容被传送至PID映射器412(所述PID 映射器在处理器416的控制下)，向重新编码的主要节目视频内容分 配适当的包标识符。PID映射器412还将适当的PID值分配给来自404 的手语视频内容。主要视频内容和手语视频内容两者都被PID映射器 412提供给多路复用器418，多路复用器418使主要内容与手语内容与 系统信息(SI)420和来自406的时间代码合并，以生成(在本例子 中)流，例如所述流如图13处所示，其可以额外含有SI信息420。 这一流被示为输出流424，可以使其与其他内容流(未示出)进一步 多路复用，从而在428处生成用于向接受者编码/调制/传送的多路复 用输出流。

在另一方面，可以将多路复用内容424作为整体文件存储到存储 设备432处，所述整体文件含有主要内容、手语内容和重新编码手语 内容。在各种实施方式中，多路复用内容424可以包括或排除供存储 的SI信息。在一个或多个处理器416的控制下执行在块436中执行的 过程，例如，所述处理器可以选择PID值以使用唯一值，并且设计被 多路复用的系统信息以及其他管理功能。

在如上文所述对内容进行编码，传输或者流传输时，可以采用接 收机装置，例如，图15所示的示范性装置对内容解码并生成具有或者 不具有手语内容的预期视频图像，在具有手语内容时，使手语窗口显 示到用户选择的位置上。由多路分用装置(demultiplexerdevice)450 接收内容流(调制等之后)，所述多路分用装置将输入内容拆分为三 个流。第一个流是具有手语分配PID的手语内容，其被传送至手语窗 口缓冲器454，所述缓冲器足够大，从而至少容纳手语视频的单个子 帧。还由450对系统信息(SI)进行多路分用，以生成由处理器458 使用的用于控制各种系统功能的输出。在450处利用PID滤波执行多 路分用功能，从而使与每个PID值相关的内容分离成独立的输出流。

在这一例子中，在处理器458响应于由用户接口462输入的用户 命令以及响应于SI的控制下，PID重映射器466将缓冲器454内的手 语内容的PID值重映射至与主要视频内容PID相同的PID。处理器 458采用与手语内容同步的主要节目内容的时间代码保持同步。之后， 可以将重映射的手语视频传送至内容替换状态机470。这一状态机在 处理器458的控制下基于指定手语位置上的PID值以手语内容置换主 要节目内容，并生成以手语视频填充了指定SLW的输出474。在这一 点处可以删除PID值，除非要基于PID值执行进一步的处理。之后， 按照常规方式对这一输出进行处理，以供作为视频显示到视频显示器 上。在考虑到本教导时本领域技术人员将想到其他变化。

现在参考图16，其示出了从504开始的与某些示范性实施例一致 的内容置换过程500的例子，所述过程是在诸如电视接收机或电视机 顶盒的接收机装置上执行的。在506处接收内容424，所述内容具有 由多个PID(例如，这一例子中的PID100和PID101)识别的部分， 所述多个PID表示手语内容的位置的多种可能性。这一内容可以是作 为内容流被接收(例如，通过电缆、卫星或IP电视)，或者可以存在 于打包介质当中或者是下载文件当中。在任何情况下，在508处，如 果选择了手语位置，一般采用标有特定包标识符的主要节目内容来启 动处理操作(例如，内容的回放或接收)。

在510处，所述过程在开始置换过程之前等待主要内容视频的下 一I帧。其允许数据置换开始于独立的帧，并且简化了将SLW与帧 内编码隔离的问题。在512处将手语内容从数据流中滤出并置入缓冲 器。所述缓冲器可以具有小尺寸，以容纳最新接收的手语数据帧。在 516处，启动针对视频帧的数据处理。当在520处达到指定的手语置 换位置时，在524处采用具有初始PID101的手语内容来置换SLW位 置(具有PID100)，直到达到SLW位置的切片的末尾为止(或者直 到达到SLW的末尾位置，具体取决于所述过程是如何配置的)。

当在528处达到主要内容的末尾时，过程在532处结束。直到所 述过程结束为止，控制从528转至536，从而递增至下一帧、窗口或 切片，继而针对每个帧进行内容置换。

在这个范例中，在510处如果未选择手语位置，可以在540处对 主要节目内容进行不经手语内容置换的处理，之后过程在544处结束。 在其他实施方式中，作为例子并且如上文所述，可以采用默认位置或 者可以采用最后选择的位置，可以由用户决定位置的选择以及是否显 示手语窗口。

图17示出了如上文所讨论的示范性手语置换过程600的更高层 次的提炼。在该过程600中，开始于602，尔后在606处选择手语窗 口位置(或者对选择进行检索)。接收或检索数据流，如果在614处 选择了区域，那么在616处的下一I帧处，在618处通过(例如)PID 过滤使手语数据与主要节目内容分离，并对其进行存储(否则可以抛 弃SL数据)。在622处，对于选定的手语窗口位置而言，采用帧间 编码手语置换视频数据来代替帧间编码位置内容，以生成SL增强视 频。之后，可以将这一内容交付给显示器、对其进行存储、传输等， 尔后过程结束于630。如果在614处未选择位置，那么可以在634处 对视频进行不经内容置换的处理，之后过程结束于630。在考虑到本 教导时本领域技术人员将想到其他变化。

因而，一种用于有选择地采用手语翻译补充主要节目视频内容的 设备具有被配置为接收表示音频和视频内容帧的数据的视频接收机装 置，所述数据具有多个包标识符(PID)，其中，第一PID与主要节 目视频内容相关，并且其中，第二PID与提供音频内容到手语的翻译 的手语视频内容相关。主要节目视频内容具有视频内容帧，其中，多 个位置被进行处理以接受手语视频内容的置换。用户接口形成了视频 接收机装置的部分，并且被配置为生成表示用户选择的信号，所述用 户选择是指用户从多个位置中选择选定的位置来进行手语视频内容的 显示。内容替换电路形成了视频接收机装置的部分。响应于表示用户 选择的信号，将内容替换电路配置为采用手语内容来替换选定位置的 内容，以生成具有在选定位置上含有手语视频内容的子帧的视频帧。

在某些示范性实施方式中，对多个位置进行帧间编码，使之仅 依赖于存在于所述多个位置的每个内的信息。在某些示范性实施方式 中，对手语视频内容进行帧间编码，使之仅依赖于存在于手语视频内 容之内的手语视频数据。在某些示范性实施方式中，还将用户接口配 置为生成表示用户选择不显示手语内容的禁用信号；以及响应于所述 禁用信号，将内容替换电路配置为在所述多个位置中的任何位置上都 不采用帧间编码手语内容来置换所述帧间编码内容。在某些示范性实 施方式中，所述内容替换电路包括硬件内容替换状态机。在某些示范 性实施方式中，将缓冲器的尺寸设定为存储单个单元的手语视频内容， 其中，所述单个单元包括手语视频内容包、手语视频内容子帧和手语 视频内容切片之一。在某些示范性实施方式中，对接收到的内容进行 排序，从而在对经过处理以接受手语视频内容置换的多个位置处的主 要节目内容视频进行编码的数据之前接收到手语视频内容。在某些示 范性实施方式中，手语视频内容具有比主要节目A/V内容低的帧速率。 在某些示范性实施方式中，所述设备形成了电视机顶盒的部分。在某 些示范性实施方式中，主要节目内容和手语内容包括流传输数据、数 据文件以及含有数据文件的打包介质之一。

另一种用于有选择地采用手语翻译补充主要节目视频内容的示 范性设备具有被配置为接收表示音频和视频内容帧的数据的视频接收 机装置，所述数据具有多个包标识符(PID)，其中，第一PID与主 要节目视频内容相关，并且其中，第二PID与提供音频内容到手语的 翻译的手语视频内容相关。在某些示范性实施方式中，主要节目视频 内容具有视频内容帧，其中，多个位置被进行处理以接受手语视频内 容的置换。对多个位置进行帧间编码，使之仅依赖于存在于所述多个 位置的每个内的信息。对手语视频内容进行帧间编码，使之仅依赖于 存在于手语视频内容之内的手语视频数据。用户接口形成了视频接收 机装置的部分，并且被配置为生成表示用户选择的信号，所述用户选 择是指从多个位置中选择用于显示手语视频内容的位置。内容替换电 路形成了视频接收机装置的部分。响应于表示用户选择的信号，将内 容替换电路配置为采用帧间编码手语内容来替换选定位置的帧间编码 内容，以生成具有在选定位置上含有手语视频内容的子帧的视频帧。

在某些示范性实施方式中，还将用户接口配置为生成表示用户选 择不显示手语内容的禁用信号；以及响应于所述禁用信号，将内容替 换电路配置为在所述多个位置中的任何位置上都不采用帧间编码手语 内容来置换所述帧间编码内容。在某些示范性实施方式中，所述内容 替换电路包括硬件内容替换状态机。在某些示范性实施方式中，将缓 冲器的尺寸设定为存储单个单元的手语视频内容，其中，所述单个单 元包括手语视频内容包、手语视频内容子帧和手语视频内容切片之一。 在某些示范性实施方式中，对接收到的内容进行排序，从而在对经过 处理以接受手语视频内容置换的多个位置处的主要节目内容视频进行 编码的数据之前接收到手语视频内容。在某些示范性实施方式中，手 语视频内容具有比主要节目A/V内容低的刷新速率。在某些示范性实 施方式中，所述设备形成了电视机顶盒的部分。

一种与某些示范性实施方式一致的用于有选择地采用手语翻译 补充主要节目视频内容的方法涉及：在视频接收机装置处，接收表示 音频和视频内容帧的数据，所述数据具有多个包标识符(PID)，其 中，第一PID与主要节目视频内容相关，并且其中，第二PID与提供 音频内容到手语的翻译的手语视频内容相关；其中，主要节目视频内 容包括视频内容帧，其中，多个位置被进行处理，以接受手语视频内 容的置换；在视频接收机装置处，接收表示用户选择的信号，所述用 户选择是指从多个位置中选择显示手语视频内容的位置；以及响应于 接收指示选定位置的用户选择的信号，在视频接收机装置内的内容替 换电路中，采用手语内容置换选定位置的内容，以生成具有在选定位 置上包含手语视频内容的子帧的视频帧。

在某些示范性实施方式中，对多个位置进行帧间编码，使之仅依 赖于存在于所述多个位置的每个内的信息。在某些示范性实施方式中， 对手语视频内容进行帧间编码，使之仅依赖于存在于手语视频内容之 内的手语视频数据。在某些示范性实施方式中，视频接收机装置接收 指示不显示手语内容的用户选择的信号，并响应于此在多个位置中的 任何位置上都不采用帧间编码手语内容来置换所述帧间编码内容。在 某些示范性实施方式中，所述内容替换电路包括硬件内容替换状态机。 在某些示范性实施方式中，将缓冲器的尺寸设定为存储单个单元的手 语视频内容，其中，所述单个单元包括手语视频内容包、手语视频内 容子帧和手语视频内容切片之一。在某些示范性实施方式中，对接收 到的内容进行排序，从而在对经过处理以接受手语视频内容置换的多 个位置处的主要节目内容视频进行编码的数据之前接收手语视频内 容。在某些示范性实施方式中，手语视频内容具有比主要节目A/V内 容低的帧速率。在某些示范性实施方式中，在电视机顶盒中执行所述 过程。

一种采用位置可选择的手语图像对数字视频进行编码的视频编 码器具有主要节目音频/视频(A/V)内容源和对应于主要节目A/V内 容的音频的手语视频内容源。将包标识符(PID)映射器配置为使第 一PID映射至主要节目A/V内容的视频部分，将第二PID映射至手 语视频内容。将重编码器配置为对主要节目A/V内容重新编码，以建 立多个被指定为手语窗口位置的预定义显示位置。将多路复用器配置 为接收重新编码的主要节目A/V内容和手语视频内容并对其进行多路 复用，以生成含有重新编码主要节目A/V内容和手语视频内容的整体 数据结构。

在某些示范性实施方式中，所述多个位置被重编码器进行帧间编 码，以仅依赖存在于所述多个位置的每个内的信息。在某些示范性实 施方式中，手语视频内容被帧间编码，以仅依赖存在于手语视频内容 之内的手语视频数据。在某些示范性实施方式中，多路复用器对数据 进行多路复用，从而使手语视频内容位于对经处理以接受手语视频内 容的置换的多个位置处的主要节目内容视频进行编码的数据之前。在 某些示范性实施方式中，所述多路复用器还使系统信息与手语内容和 主要节目A/V内容多路复用。在某些示范性实施方式中，时间同步器 向手语视频内容数据和主要节目A/V内容数据提供时间代码，其中， 对手语视频内容数据和主要节目A/V视频内容数据两者采用相同的时 间代码。在某些示范性实施方式中，手语视频内容具有比主要节目A/V 内容低的帧速率。在某些示范性实施方式中，将主要节目内容和手语 内容编码为流传输数据、数据文件或含有数据文件的打包介质之一。

在这些过程当中有可能存在很多变化。如上所述，可以在逐帧的 基础上执行编码，其中，图13所示的数据布置表示完整视频帧的数据。 在这种情况下，对整个视频帧进行缓冲。在另一实施方式中，如图18 所示在逐切片视频的基础上执行编码。例如，考虑切片156和158。 在640处对切片156的手语数据128进行编码，因为其将出现在切片 156中的SLW120或SLW122中，并位于640处。可以将这一数据 缓冲到至少与单个切片中的手语数据一样大的缓冲器内；因而，缓冲 器尺寸可以是非常小的。642处的数据表示切片156的主要节目内容。 所示出的切片156的主要节目内容包括SLW位置120(#1)左方和右 方的数据以及处于SLW位置122(#2)右方的数据。对于切片156而 言，在644处编码SLW位置120的主要节目内容包，对于切片156 而言，在646处编码SLW位置122的主要节目内容包。

在如图所示针对切片156进行了所有内容的编码之后，接着对切 片158进行编码，其开始于648处的切片158的手语视频包。针对视 频图像的所有切片重复这一过程。当在切片中未遇到SLW时，对视 频图像正常编码，这时没有手语视频包，也没有对经编码的SLW视 频进行编码。注意，一旦对手语视频切片进行了编码，就对其缓冲， 并且能够将其用于沿同一切片遇到的任何SLW位置。如果采用一个 就能存储整个SLW视频帧的较大缓冲器，那么可以对手语视频的编 码进行存储，并随着从左上到右下对画面进行处理时将其用于在任何 后续切片当中遇到的任何SLW(例如，图7的SLW位置#3或#4，在 这一图示中未示出)。为了保持缓冲器的低尺寸，可以随着从左上到 右下对画面进行处理时针对所遇到的具有可能SLW位置的每个切片 逐切片地对手语视频数据进行编码。

现在返回到图19，其示出了示范性内容替换状态机470的状态 图，其描绘了一种用于实施解码器的机制，所述解码器与本发明的某 些实施例一致采用多种PID对传输流解码。将实施这样的硬件状态机 的装置设计为支持多种选择性加密，如上文引用的专利申请中所述， 所述装置是市面可得的，例如，集成电路的BroadcomBCM7500和 BCM7400系列，例如，7583、7584、7400、7404、7418、7421、7422、 7429以及其他厂商生成的其他产品。这样的电路被设计为处理索尼公 司的选择性加密包处理操作，并且包括基于硬件的状态机， 可以将所述状态机编程为进行软传送处理，从而与本教导结合使用。 将在下面的表2中解释所述状态图的带有编号的路径，其中，具有PID A的内容是主要节目内容，具有PIDB的内容是手语内容(下文也称 为主要和次要内容)：

表2装填表

(QueuePacket：队列包，Mode：模式，Null：空，Error：误差，

Decode：解码，TransportError：传送误差)

在上文列举的通过引用并入本文的交叉引用专利申请中描述了 这种状态机。对于本讨论而言，主要PID是用于主要节目视频内容的 PID(PIDA)。次要PID是用于手语视频内容的PID(PIDB)。

将采用次要PID包替换主要PID包称为“置换模式”。也可以 在不替换主要PID包的情况下将次要PID包插入到所述流内。将这一 模式称为“插入模式”。实际上，可以按照两种操作同时起作用的模 式采用所述解码器。将这一模式称为“插入和删除模式”。全部的三 种分立的解码器模式是互斥的，并且遵循每个模式所特有的一系列状 态转换。通过解码器特有的变量模式来指示活动模式。如果将模式值 设为零，那么不启用解码，并绕过传输解码器状态机。如果模式值是 无效的(不是特殊定义的状态，那么采取与模式被设为零的情况相同 的操作，即，绕过传送解码器状态机)。对每个模式的状态转换的定 义的详述如下。

在图19的状态机中包括了用于对编码传送流进行解码的算法。 可以结合上述状态表从图19导出示出状态和状态方程/动作的佩特里 网(Petrinet)。所述算法具有四种操作状态；系统主要保持的是状 态1。只有在遇到了含有影子PID(非主要PID)的包时才进入状态2。 根据系统模式，能够采取通往两种截然不同的第二状态的不同路径， 这是通过来自头端的PSI中的消息确立的。

可以通过硬件或软件来实施状态机，其取决于IC制造商的装置 架构。一般能够预期编程处理器上的软件实现，从而提供更大的设计 灵活性。

所识别出的一种误差情况(无效状态转换)。这种误差是除了 MPEG传输层误差，例如，连续性计数、传送错误等之外的独特误差。 Error_IRQn是检测到两个相邻的影子包而没有插入(intervene)的 遗留的包(legacypacket)，其中，n表示具体解码器的编号。根据 解码器具体变量queue_on_error的设置，可能发生两种不同的操作。 如果将变量设为真，那么解码器将对第二影子包(PID＝B)进行处理， 就像在非误差情况中一样。如果所述变量被设为假，那么抛弃第二影 子包。

只要在插入或者删除包时，就通过适当地调整CC而保存对主要 流(PID＝A)的连续性计数(CC)。Decode_RSTn变量是非锁存位 (non-latchingbit)，可以通过配置寄存器对其进行设置，或者可以 通过其他功能对其进行访问从而迫使解码器状态机n达到已知状态。

解码器传送处理算法的一种操作模式被称为置换模式。在这一模式 中，通过以PIDB替换PIDA而将具有PIDB的包插入到传送流内， 以生成用于具有预期内容包的MPEG顺应传送流的输出包，所述预期 内容包包含有与A匹配的PID域，其中，A是以前在解码器的配置寄 存器中定义的13位值。对PIDA包执行“无操作”。在“始位”状态， 即状态1下，诸如508的A包变为诸如510的包，其被发送至传送滤 波器输出队列，以供进一步处理，例如，A/V解压和显示。在模式1 中，在接收到置换标志之后，解码器状态机在接收到具有与B匹配的 PID域的MPEG包时从状态1变换至状态2A。B是以前在解码器的 配置寄存器中定义的13位值。B表示将替换下一个出现的具有与A 匹配的PID的包的次要或“影子”包。在插入到流内之前将B包的 PID值改为A。由于变换至状态2A而发生了置换，因而将B包内容 发送至传送滤波器输出队列。

在接收到下一APID时将发生返回至状态1的情况。在这种情况 下，没有排队并且被转换为空(0x1fff)PID值，从而将其从流中有效 地擦除，而不改变整个流的定时，如果进行物理去除的化，就可能发 生这样的改变。也可以通过接收另一指示置换模式结束的置换标志来 指示返回至状态1。

解码器传送处理算法的另一操作模式被称为插入模式，针对具 有包含与A匹配的PID域的预期内容包的MPEG顺应传送流，其中， A是以前在解码器的配置寄存器中定义的13位值。在“始位”状，即 状态1下，将A包发送至传送滤波器输出队列，以供进一步处理，例 如，A/V解压缩和显示。在模式2中，解码器状态机决不发生从状态 1的转变。在接收到具有与B匹配的PID域的MPEG包时，其中，B 是以前在解码器的配置寄存器中定义的13位值，B表示将插入到流内 的次要或“影子”包，其PID值将改为A。在这一模式中，可能由于 接收到插入标志而发生从状态1到状态2的转换。将PIDB包作为PID A包插入到传送流内。插入模式可以因接收到下一插入标志而结束。

针对具有预期内容包的MPEG顺应传送流的插入/删除模式的解 码器传送处理算法，所述预期内容包含有与A匹配的PID域，其中， A是以前在解码器的配置寄存器中定义的13位值。在“始位”状态， 即状态1下，将A包发送至传送滤波器输出队列，以供进一步处理， 例如，A/V解压缩和显示，并且变为包。在模式4中，解码器状态机 在接收到具有与B匹配的PID域的MPEG包之时从状态1转换至状 态2B，其中，B是以前在解码器的配置寄存器中定义的13位值，B 表示将插入的次要或“影子包”，PID将被改为与A匹配。在状态2B 下接收到的具有与A匹配的PID值的任何包都将导致向状态3的转 变，并将包PID改为NULL(空)，从而有效地将其从传送流中去除。 所有在状态3内接收到的具有与A匹配的PID的后续包都将导致它们 的PID值也被改为空。可以分别通过插入/删除标志启动和结束向状态 1和从状态1的转换。在状态3中，将具有PIDB的包转换为具有PIDA 的包。

在接收到下一具有BPID值的包时将发生向状态2B的返回，并 且使所述包加入队列并转换为APID值。类似地，在相应地接收到下 一个具有BPID值的包时将发生从状态2B向状态1的返回，所述包 也被列入队列，并转化为APID值。

在与本发明一致的方法中，可以采用专用信令在接收主要PID 上的主要节目内容的同时选择次要PID上的手语内容的单元。或者， 专用信令可以被用于在抛弃具有主要PID的内容的单元的同时选择具 有次要PID的内容的多个单元。类似地，可以采用专用信令在接收具 有主要PID的内容的单元的同时选择具有次要PID的内容的多个单 元。而且，可以采用专用信令从在抛弃具有主要PID的内容的单元的 同时选择具有次要PID的内容的多个单元的模式切换至在接收具有主 要PID的内容的同时选择具有次要PID的内容的多个单元的模式。也 可以采用专用信令从在接收具有主要PID的内容的多个单元并且选择 具有次要PID的内容的多个单元的模式切换至在抛弃具有主要PID的 内容的单元的同时选择具有次要PID的内容的多个单元的模式。

可以在对应的具有主要PID的内容的单元之前发送具有次要 PID的内容的单元。可以通过专用信令启动和结束置换操作，所述专 用信令形成了数据流中的包的适配层的部分。适配层可以处于具有次 要PID、主要PID或者另一PID的包内。在考虑到本教导时本领域技 术人员将想到其他变化。

可以将诸如上述解码器的解码器结合到电视STB、机背盒、电视 机、IPTV接收机或其他电视接收机装置内，并且该解码器可以被用 于为最终用户提供手语功能。现在参考图20，其示出了一种用于数字 电视机顶盒700的示范性系统配置。用于这种STB的很多配置都是可 能的，所示出的STB仅应被看作是这种STB配置的范例。在这一示 范性机顶盒内，通过适当的接口将诸如同轴电缆的传输介质704耦合 至调谐器708。例如，调谐器708可以包括用于接收视频内容的广播 带内调谐器。之后在解调器710中对被格式化为(例如)MPEG-2信 息的调制信息进行解调。将解调器710输出处的解调信息提供给手语 替换电路714，在手语替换电路714中所述信息被分开到节目的分立 信道内。

将节目播放划分成包，每个包具有将该包标识为含有与特定节目 相关的特定类型的数据(例如，音频、视频、数据、手语数据)的PID。 解密器(未示出)根据解密算法对加密信息进行解密，以避免(例如) 对节目内容的未授权访问。手语替换电路714在程序控制之下按照与 由图19的状态图所描述的解码器的操作方式类似的操作方式来工作 以执行上文和下文所述的替换过程。

对来自714的音频包(那些以音频PID标识的包)解密，并将 其转发至音频解码器718，在音频解码器718处将它们转换为模拟音 频，以驱动扬声器系统(例如，立体声或家庭影院多声道音频系统) 或其他音频系统722(例如，立体声或家庭影院多声道放大器和扬声 器系统)或者可以简单地在726处提供解码的音频输出。对来自714 的视频包(那些采用视频PID标识的包)解密，并将其转发至视频解 码器730。按照类似的方式，对来自多路分用器714的数据包(那些 采用数据PID标识的包)解密，并将其转发至数据解码器734。

通过系统总线734将来自数据解码器734的解码数据包发送至机 顶盒的计算机系统。因而，控制计算机744能够通过系统总线738访 问来自数据解码器734的解码数据，并且能够访问存储器746内的程 序和数据。将由视频解码器730解码的视频数据传送至图形处理器 748，图形处理器748是被优化为对图形信息进行快速处理的计算机。 图形处理器748在处理图形密集数据尤其有用，所述图形密集数据与 Internet浏览、游戏和多媒体应用有关，例如，所述多媒体应用是那 些与MHEG(多媒体和超媒体信息编码专家组)机顶盒应用相关的应 用。但是，应当指出，在一些具有较低功能的机顶盒设计中，图形处 理器748的所述功能可能是不必要的，在将解码视频直接从714传送 至视频编码器的一些应用中可以通过控制计算机744操纵图形处理器 748的所述功能。图形处理器748也可以耦合至系统总线738，并在控 制计算机744的控制下工作。

STB700可以按照双向通信模式工作，因而不仅能够从系统的首 端向最终用户传送数据和其他信息，或者从服务提供商向STB700的 最终用户传送数据和其他信息，而且还能采用带外信道从最终用户上 游传送数据和其他信息。在一个实施例中，这样的数据通过系统总线 738传送至调制器752，通过形成调谐器704的部分的双工器并且通过 传输介质704输出。采用这一能力为STB700和/或其用户提供了向首 端发送信息(例如，服务请求或变化、注册信息等)的机制以及提供 与Internet或者在首端为最终用户提供的其他服务之间的快速输出通 信的机制。

机顶盒700可以包括由I/O接口756表示的多个I/O(输入/输出) 接口中的任何接口，其允许I/O装置与机顶盒600互连。作为范例而 非限制，可以提供通用串行总线(USB)端口，以实现与由STB700 的内部软件支持的任何适当的串行装置的互连。类似地，可以通过以 太网端口、端口、IEEE1394端口(所谓的firewire^TM或i-link^TM)或 IEEE1394宽端口或者S视频端口、HDMI端口等提供与适当兼容的 装置的通信。红外接口760提供与远程控制器766的通信。可以采用 这样的接口使STB700与各种辅助装置中的任何装置互连，例如，所 述辅助装置为存储装置、音频/可视装置、游戏装置(未示出)、Internet 设备等。

I/O接口756还可以包括具有调制解调器端口的调制调解器(不 管是拨号、电缆、DSL还是其他技术的调制调解器)，以促进对Internet 或其他数据通信功能的高速访问或备选访问。在一个实施例中，调制 解调器端口是DOCSIS(电缆数据系统接口规范)电缆调制解调器， 以促进通过电缆系统实施高速网络访问，并且将端口适当地耦合至被 体现为同轴电缆的传输媒介604。因而，STB700能够通过DOCSIS 电缆调制解调器实施与通过唯一IP地址标识的STB700的双向通信。 DOCSIS规范是可公开获得的。

可以提供PS/2、蓝牙或其他键盘/鼠标/操纵杆接口，从而能够容 易地向STB700输入数据。这样的输入为用户提供了采用点击装置容 易地输入数据和/或进行导航的能力。可以将这样的诸如鼠标或操纵杆 的点击装置用到游戏应用当中。

当然，STB700也可以包含能够用于与电视机的直接连接而不是 IEEE1394连接(或者除了IEEE1394连接之外)的基本视频输出。 在一个实施例中，视频输出可以提供被格式化为NTSC(全国电视系 统委员会制式)视频的复合视频。在一些实施例中，可以通过与图形 处理器748或手语替换电路714的直接连接提供视频输出，而不是使 其如示范性方框图中所示的那样通过系统总线738。

红外接口760接收来自红外遥控766、红外键盘或其他红外控制 装置的命令。尽管未明确示出，但是在一些实施例中可以通过作为所 提供的接口之一的前面板控制接口采用前面板控制直接控制STB700 的操作。可以根据需要或预期按照各种组合在STB700中提供诸如上 述接口的选定接口以及其他接口。

因而，参考图21，一种用于有选择地采用手语翻译补充主要节 目视频内容的方法涉及在770中接受表示音频和视频内容帧的数据的 视频接收机装置，所述数据具有多个包标识符(PID)，其中，第一 PID与主要节目视频内容相关，并且其中第二PID与提供音频内容到 手语的翻译的手语视频内容相关。在722处，主要节目视频内容具有 视频内容帧，其中，多个位置被处理以接受手语视频内容的置换。在 774处，视频接收机装置接收表示用户选择的信号，所述用户选择是 指从多个位置中选择显示手语视频内容的位置。在776处，响应于接 受到指示选定位置的用户选择的信号，在视频接收机装置内的内容替 换电路中，采用帧间编码手语内容置换选定位置的帧间编码内容，以 生成具有在选定位置上包含手语视频内容的子帧的视频帧。

在上述讨论中，保留多个位置供替换手语内容。在另一与本教导 一致的实施例中，所述一个或多个位置可以是在编码过程中指定的单 个位置。在图22中示出了这一实施例的数据配置，其中，还是将普通 主要节目内容示为具有PID100，将手语内容示为具有PID101。在这 一范例中，主要节目内容780受到正常编码并且主要包括处于手语窗 口位置之外的内容。既采用784处的主要节目内容，以及786处的手 语内容对手语窗口位置编码。被示为处于图示底部的虚线包内的手语 内容被交织到主要节目内容内，从而为采用如上所述的状态机的包替 换规定在包对包的基础上替换内容作准备。有利地，手语内容可以直 接处于在启用手语显示的情况下受到替换的主要内容包之前。这样允 许对手语包进行缓冲，并准备在启用手语显示时的替换操作。

在可以准备多个位置的时候，每个位置都可能对所传输的数据量 产生影响。在这个范例中，可以采用只具有单个包的尺寸的包缓冲器 对手语包进行缓冲。手语位置可以是屏幕上的任何位置，其由编码器 决定，甚至可以动态变化，从而使手语窗口保持在最低限度地破坏主 要内容图像的位置上。此外，可以显示多个手语帧，例如，在主要内 容图形中为每个扬声器提供一位解译人员。在考虑到本教导时本领域 技术人员将想到其他变化。

所述示范性数据布置具有由包构成的流，其在主要节目内容和要 替换所述主要内容包的手语视频内容包之间交替变化。包的顺序可以 有利地如图所示，但是也可以将其提供为使主要包和手语包反转，或 者根据预期按照其他布置提供。

在这一范例中，用户可以采用遥控器或者采用菜单选择等做出选 择，从而根据预期启用或禁用手语。在启用时，指示解码器执行包置 换过程，从而采用(例如)PID101包置换对应的PID100包。在禁 用时，不发生置换。通过这种方式，用户能够对出现或不出现手语内 容加以控制。在考虑到本教导时本领域技术人员将想到很多变化。

因而，参考图23，一种用于有选择地采用手语翻译补充主要节 目视频内容的方法涉及在804处在视频接收机装置处接收表示音频和 视频内容帧的数据，所述数据具有多个包标识符(PID)，其中，第 一PID与主要节目视频内容相关，并且其中，第二PID与提供音频内 容到手语的翻译的手语视频内容相关。在视频接收机装置处，接收机 装置在808处接收表示用户启用或禁用手语视频内容的显示的信号。 在812中，响应于表示用户选择的信号，将内容替换电路配置为在启 用手语视频内容的显示时有选择地采用手语内容替换主要节目视频内 容，以生成具有包含手语视频内容的子帧的视频帧。在816中，响应 于表示用户选择的信号，将内容替换电路配置为在禁用手语视频内容 的显示时不采用手语内容置换主要节目视频内容。

在另一种实施方式中，不采用包交换。相反，提供实质上作为链 接至主要视频信道的单独信道的具有较低分辨率的第二视频流，该第 二视频流能够叠加到所述主要视频上。这一实施方式是按照与“画中 画”类似的方式操作的。这一方案的缺点是将采用两个视频解码器， 这样可能导致执照费用提高。

因而，一种用于有选择地采用手语翻译补充主要节目视频内容的 示范性设备具有被配置为接收表示音频和视频内容帧的数据的视频接 收机装置，所述数据具有多个包标识符(PID)，其中，第一PID与 主要节目视频内容相关，并且其中第二PID与提供音频内容到手语的 翻译的手语视频内容相关。用户接口形成视频接收机装置的部分，其 被配置为生成表示用户启用或禁用手语视频内容的显示的信号。内容 替换电路形成了视频接收机装置的部分。响应于表示用户选择的信号， 将内容替换电路配置为在启用手语视频内容的显示时采用手语内容有 选择地置换主要节目视频内容，以产生具有包含手语视频内容的子帧 的视频帧。响应于表示用户选择的信号，将内容替换电路配置为在禁 用手语视频内容的显示时不采用手语内容置换主要节目视频内容。

在某些示范性实施例中，对手语视频内容进行帧间编码，使之仅 依赖于存在于手语视频内容之内的手语视频数据。在某些示范性实施 例中，所述内容替换电路包括硬件内容替换状态机。在某些示范性实 施例中，将缓冲器的尺寸设定为存储单个单元的手语视频内容，其中， 所述单个单元包括手语视频内容包、手语视频内容子帧和手语视频内 容切片之一。在某些示范性实施例中，主要节目视频内容包括视频内 容帧，其中，对手语窗口位置进行处理，以接受手语视频内容的置换。 在某些示范性实施例中，对接收到的内容进行排序，从而在对经过处 理以接受手语视频内容置换的位置上的主要节目内容视频进行编码的 数据之前接收到手语视频内容。在某些示范性实施例中，手语视频内 容具有比主要节目A/V内容低的帧速率。在某些示范性实施例中，所 述设备形成了电视机顶盒的部分。在某些示范性实施例中，主要节目 内容和手语内容包括流传输数据、数据文件或含有数据文件的打包介 质之一。

另一种用于有选择地采用手语翻译补充主要节目视频内容的 示范性设备具有被配置为接收表示音频和视频内容帧的数据的视频接 收机装置，所述数据具有多个包标识符(PID)，其中，第一PID与 主要节目视频内容相关，并且其中第二PID与提供音频内容到手语的 翻译的手语视频内容相关。内容替换电路具有形成了视频接收机装置 的部分的硬件状态机。用户接口形成视频接收机装置的部分，其被配 置为生成表示用户启用或禁用手语视频内容的显示的信号。一个或多 个编程处理器响应于用户接口生成的信号对内容替换电路加以控制， 从而：将内容替换电路配置为在信号指示启用手语视频内容的显示时 采用手语内容有选择地置换主要节目视频内容，以生成具有包含手语 视频内容的子帧的视频帧；以及将内容替换电路配置为在信号指示禁 用手语视频内容的显示时不采用手语内容置换主要节目视频内容。

在某些示范性实施例中，对手语视频内容进行帧间编码，使之仅 依赖于存在于手语视频内容之内的手语视频数据。在某些示范性实施 例中，将缓冲器的尺寸设定为存储单个单元的手语视频内容，其中， 所述单个单元包括手语视频内容包、手语视频内容子帧和手语视频内 容切片之一。在某些示范性实施例中，主要节目视频内容具有视频内 容帧，其中，对手语窗口位置进行处理，以接受手语视频内容的置换。 在某些示范性实施例中，对接收到的内容进行排序，从而在对经过处 理以接受手语视频内容置换的位置上的主要节目内容视频进行编码的 数据之前接收到手语视频内容。在某些示范性实施例中，手语视频内 容具有比主要节目A/V内容低的帧速率。在某些示范性实施例中，所 述设备形成了电视机顶盒的部分。

一种用于有选择地采用手语翻译补充主要节目视频内容的示范 性方法涉及：在视频接收机装置处接收表示音频和视频内容帧的数据， 所述数据具有多个包标识符(PID)，其中，第一PID与主要节目视 频内容相关，并且其中，第二PID与提供音频内容到手语的翻译的手 语视频内容相关；在视频接收机装置处，接收表示用户启用或禁用手 语视频内容的显示的信号；以及响应于表示用户选择的信号，将内容 替代电路配置为在启用手语视频内容的显示时有选择地采用手语内容 置换主要节目视频内容，以生成具有包含手语视频内容的子帧的视频 帧；以及响应于表示用户选择的信号，将内容替换电路配置为在禁用 手语视频内容的显示时不采用手语内容置换主要节目视频内容。

在某些示范性实施例中，对手语视频内容进行帧间编码，使之仅 依赖于存在于手语视频内容之内的手语视频数据。在某些示范性实施 例中，主要节目视频内容包括视频内容帧，其中，对预定位置进行处 理，以接受手语视频内容的置换。在某些示范性实施例中，所述内容 替换电路包括硬件内容替换状态机。在某些示范性实施例中，所述过 程还涉及将单个单元的手语视频内容存储到缓冲器内，所述缓冲器具 有存储单个单元的手语视频内容的尺寸，其中，所述单个单元包括手 语视频内容的子帧和手语视频内容的切片之一。在某些示范性实施例 中，对接收到的内容进行排序，从而在对经过处理以接受手语视频内 容置换的位置上的主要节目内容视频进行编码的数据之前接收到手语 视频内容。在某些示范性实施例中，手语视频内容具有比主要节目A/V 内容低的帧速率。在某些示范性实施例中，所述设备形成了电视机顶 盒的部分。在某些示范性实施例中，主要节目内容和手语内容包括流 传输数据、数据文件或含有数据文件的打包介质之一。

一种与某些实施例一致的用于采用可选择的手语图像对数字 视频编码的视频编码器的例子具有主要节目音频/视频(A/V)内容源 和对应于主要节目A/V内容的音频的手语视频内容源。可以在尺寸和 分辨率方面对手语视频内容进行缩放，从而使之适应到手语窗口内。 将包标识符(PID)映射器配置为使第一PID映射至主要节目A/V内 容的视频部分，将第二PID映射至手语视频内容。将重编码器配置为 对主要节目A/V内容重新编码，以建立被指定为手语窗口的预定义显 示位置。将多路复用器配置为接收重新编码的主要节目A/V内容和手 语视频内容并对其进行多路复用，以生成含有重新编码主要节目A/V 内容和手语视频内容的整体数据结构。

在某些示范性实施例中，通过重编码器对预定义显示位置进行帧 间编码，使之仅依赖于存在于所述预定义位置内的信息。在某些示范 性实施例中，对手语视频内容进行帧间编码，使之仅依赖于存在于手 语视频内容之内的手语视频数据。在某些示范性实施例中，多路复用 器对数据进行多路复用，从而使手语视频内容位于对经处理以接受手 语视频内容的置换的预定义位置上的主要节目内容视频进行编码的数 据之前。在某些示范性实施例中，所述多路复用器还使系统信息与手 语内容和主要节目A/V内容多路复用。在某些示范性实施例中，时间 同步器向手语视频内容数据和主要节目A/V内容数据提供时间代码， 其中，对手语视频内容数据和主要节目A/V视频内容数据两者采用相 同的时间代码。在某些示范性实施例中，将重编码器配置为对主要节 目A/V内容重新编码用于实施逐包置换；其中，多路复用器使手语视 频内容与重新编码的主要节目A/V内容交织，这里使手语视频包处于 被标示为被手语视频包所替换的对应主要节目A/V内容包之前。在某 些示范性实施例中，手语视频内容具有比主要节目A/V内容低的帧速 率。在某些示范性实施例中，主要节目内容和手语内容包括流传输数 据、数据文件或含有数据文件的打包介质之一。

参考图24，在这个实施方式中，在858处，在编码器侧将主要 节目内容850和手语内容854多路复用到一起作为两个单独的节目。 将手语内容缩放到适于呈现在SLW中的尺寸，在这一例子中，所述 手语窗口是画中画窗口的尺寸。可以采用相同的时间代码862对主要 内容和手语内容编码，以供解码器侧的同步之用。在一个实施例中， 可以在控制编码过程的处理器868的控制下采用适配域数据866(用 户专用数据)将主要节目内容与相关的手语内容链接起来。之后，将 这一多路复用结果发送至解码器侧的接收机(例如，电视STB或其他 电视接收机装置)。

在解码器侧，在870处，基于两个流的PID值将接收到的多路 复用结果多路分用成两个节目流。之后，两个流在解码器874处被解 码以获得主要节目内容，在解码器878处被解码以获得手语内容。之 后，采用画中画处理882对内容进行处理，以生成具有在PIP窗口中 覆盖主要节目内容的手语内容的输出886。

借助于常规PIP，在视频缩放电路890处将出现在PIP窗口中的 内容从全分辨率(例如，高清晰度或标准清晰度)缩小到适于PIP窗 口叠加的尺寸(例如，大约主要节目图像的尺寸的1/8到1/10)。但 是，在这一实施例中，已经将手语窗口编码为降低尺寸的图像(例如， 主要节目的尺寸的1/8到1/10)。因而，借助于链接主要内容和手语 内容的适配域，采用适配域数据866将联系信息发送至处理器894。 在处理器894处，将适配域数据解释为确定手语内容已经具有降低的 尺寸，因而不必在视频缩放器890处受到缩放。相应地，处理器894 在890处禁用视频缩放，从而允许将手语内容的降低尺寸的图像不经 缩放地发送至882处的PIP处理。此外，常规PIP处理经常允许在主 要内容和PIP内容之间切换位置。由于可能不希望显示较低分辨率的 手语内容作为主要视频图像，因而处理器894在某些实施例中也可以 将PIP窗口锁定为手语内容，将较大图像锁定为主要节目内容。在考 虑到本教导时本领域技术人员将想到其他变化。

因而，一种与某些实施方式一致的用于有选择地采用手语翻译补 充主要节目视频内容的设备具有被配置为接收表示作为主要节目内容 的部分的音频/视频A/V内容的数据，所述主要节目内容具有第一包标 识符PID。将视频接收机装置进一步被配置为接收表示音频内容的手 语解释的具有第二PID的手语视频内容数据。用户接口形成视频接收 机装置的部分，其被配置为生成表示用户启用或禁用手语视频内容的 显示的信号。将画中画(PIP)电路配置为有选择地生成采用手语视 频内容覆盖主要节目内容的画中画窗口的显示。将视频缩放器配置为 使输入信号有选择地缩小至PIP窗口的尺寸。将处理器配置为控制 PIP电路和视频缩放器。响应于表示用户启用PIP窗口中的手语视频 显示的信号，禁用视频缩放器，并启用PIP电路。响应于表示用户禁 用PIP窗口中的手语视频显示的信号，禁用视PIP电路。

在某些示范性实施方式中，对接收到的数据进行排序，从而在对 主要节目内容编码的数据之前接收到手语视频内容。在某些示范性实 施方式中，通过在主要节目内容和手语内容中采用相同的时间代码使 手语内容与主要节目内容同步。在某些示范性实施方式中，将处理器 配置为确定主要节目内容和手语节目内容通过读取适配域数据而被链 接起来。在某些示范性实施方式中，多路分用器基于主要节目内容和 手语内容的相应PID值将主要节目内容与手语内容分开。在某些示范 性实施方式中，手语视频内容具有比主要节目A/V内容低的帧速率。 在某些示范性实施方式中，所述设备形成了电视机的部分。在某些示 范性实施方式中，主要节目内容和手语内容包括流传输数据、数据文 件或含有数据文件的打包介质之一。

一种与某些示范性实施例一致的用于采用可选择的手语图像对 数字视频编码的视频编码器具有主要节目音频/视频(A/V)源和对应 于主要节目A/V内容的音频的手语视频内容的源。可以在尺寸和分辨 率方面对手语视频内容进行缩放，从而使之适应到手语窗口内。将包 标识符(PID)映射器配置为使第一PID映射至主要节目A/V内容的 视频部分，将第二PID映射至手语视频内容。将处理器配置为利用用 户专用数据生成适配域作为系统信息的部分，所述适配域将具有第一 PID的主要视频内容与具有第二PID的手语视频内容链接起来。将重 编码器配置为对主要节目A/V内容重新编码，以建立被指定为手语窗 口位置的预定义显示位置。将多路复用器配置为接收主要节目A/V内 容、手语视频内容和联系适配域的系统信息并对其进行多路复用，以 作为输出。

在某些示范性实施方式中，手语视频内容具有比主要节目A/V 内容低的帧速率。在某些示范性实施方式中，多路复用器对数据进行 多路复用，从而使手语视频内容位于对主要节目内容进行编码的数据 之前。在某些示范性实施方式中，时间同步器向手语视频内容数据和 主要节目A/V内容数据提供时间代码，其中，将相同的时间代码用于 手语视频内容数据和主要节目A/V视频内容数据两者。在某些示范性 实施方式中，主要节目内容和手语内容包括流传输数据、数据文件或 含有数据文件的打包介质之一。

参考图25，一种有选择地采用手语解释补充主要节目视频内容 的方法涉及在900中在视频接收机装置处接收表示作为主要节目内容 的部分的音频/视频A/V内容的数据，所述主要节目内容具有第一包标 识符PID。将视频接收机装置进一步配置为在904中接收表示所述音 频内容的手语翻译的手语视频内容数据，所述手语视频内容具有第二 包标识符PID。在视频接收机装置处，在908中接收表示用户启用或 禁用手语视频内容的显示的信号。在912中响应于表示用户选择观看 手语内容的信号，将画中画(PIP)电路配置为有选择地生成采用手 语视频内容覆盖主要节目内容的PIP窗口的显示。在916处响应于指 示用户选择观看手语内容的信号，禁用视频缩放器，从而不对手语内 容进行缩放。

因而，一种有选择地采用手语解释补充主要节目视频内容的方 法涉及在视频接收机装置处接收表示作为主要节目内容的部分的音频 /视频(A/V)内容的数据，所述主要节目内容具有第一PID。将视频 接收机装置进一步配置为接收表示音频内容的手语翻译的手语视频内 容数据，所述手语视频内容数据具有第二PID。在视频接收机装置处， 接收表示用户启用或禁用手语视频内容的显示的信号。响应于指示用 户选择观看手语内容的信号，将画中画(PIP)电路配置为有选择地 生成采用手语视频内容覆盖主要节目内容的PIP窗口的显示。响应于 指示用户选择观看手语内容的信号，禁用视频缩放器，从而不对手语 内容进行缩放。

在某些示范性实施方式中，响应于指示用户选择不观看手语内容 的信号，禁用PIP电路，从而不采用手语内容覆盖主要节目视频内容。 在某些示范性实施方式中，响应于指示用户选择不观看手语内容的信 号，启用视频缩放器。在某些示范性实施方式中，对接收到的内容进 行排序，从而在某些示范性实施方式中在主要节目内容视频内容之前 接收手语视频内容，并且利用主要节目内容和手语内容中相同的时间 代码使手语内容和主要节目内容同步。在某些示范性实施方式中，所 述过程还涉及确定主要节目内容与手语节目内容通过读取适配域数据 而被链接起来。在某些示范性实施方式中，手语视频内容具有比主要 节目A/V内容低的帧速率。在某些示范性实施方式中，所述方法是在 电视机内执行的。

现在参考图26，应当指出，有几种方式能够将手语内容和主要 节目内容从编码器侧传送至解码器侧。在所示的一种情况下，可以对 视频流编码，从而使手语流920与主要内容流924分离。在这一范例 中，可以为手语内容提供包括IP报头928的单独的一个或一组包，随 后是识别所述流的由标签和报头信息932构成的域。后续数据936表 示手语内容，例如，所述内容被编码为I宏块或者以其它方式被编码 为独立的数据。

在这一例子中采用单独的一组包924，其开始于IP报头940，随 后是标签和报头信息，例如，MPEG-2传输流报头944。该报头之后 跟随着一个或多个分包基本流(PES)层视频包，这些包携带着主要 节目内容的有效载荷。

在替换实施方式中，可以如图27所示采用相同的IP包传送主要 节目内容和手语内容两者。这里，将数据流952布置为具有IP报头 956，随后用于(例如)MPEG-2传送的标签和报头信息960。其后继 之以表示手语视频内容(例如，964中的I宏块)的PES层视频，从 而使得手语数据先于968处的PES层内出现的主要节目内容数据。通 过这种方式，能够将主要节目内容和手语内容合并到一起，其有助于 将内容联系到一起，并且有助于确保手语内容首先达到以供缓冲，从 而容易地替换主要节目内容。在考虑到本教导时本领域技术人员将想 到其他变化。

现在参考图28，其示出了上文联系非PIP实施方式描述的内容 置换过程。对于这一例子而言，将主要节目内容示为1000，其中，每 个块表示具有PIDA的内容，从而将所述内容识别为主要节目内容。 在这一范例中，将手语替换位置提供为适配域1004中的专用数据。在 这一例子中，所述专用数据指定用于所述置换过程的应用，以及所要 置换的位置和字节数(在这一例子中为8个字节)。将所要置换的字 节示为1008。通过这种方式，编码器侧生成了数据流1000和指定所 要替换的内容的适配域1004。

在解码器一侧，接收作为流1012的手语内容(被识别为“SL”)， 在这一点上通过PIDB对其予以识别。之后，在PID重映射器1016 处对这一手语内容的PID值重映射，将经过重映射的现在带有PIDA 的手语内容存储到8字节缓冲器1020(其具有与所要替换的内容量适 应的尺寸)内。在状态机内容置换电路实施内容置换时，将缓冲器1020 的内容插入到所述流内，以替换被标识为1008的包。处于这一8字节 区段1008的界限之外的包，例如，1024和1028不发生变化，这一过 程的输出是被示为1032的流。

在上文讨论的实施例的每个当中，可以使手语数据采用较低帧速 率，从而进一步降低表示手语内容的数据的尺寸。例如，可以采用60 或120帧每秒(fps)的帧速率对主要数据编码。可以采用30fps的帧 速率对手语编码，并为手语窗口的显示提供可接受的性能，同时降低 所要编码和传输的数据的量。在考虑到本教导时本领域技术人员将想 到其他变化。

因而，采用内容置换和/或画中画技术提供手语窗口，该窗口将 在主要节目音频/视频内容中提供对音频内容的手语解释。不希望观看 手语视频的用户可以有选择地禁用手语窗口。而且，在一些实施方式 中，用户可以将手语窗口移动到显示器上的预期位置。所述预期位置 可以是多个预定义显示位置之一。在考虑到本教导时本领域技术人员 将想到其他变化。

本领域技术人员将认识到已经参照利用编程处理器(例如，处理 器416、458、744、868和894)的示例实施例描述了本发明。但是， 本发明不受此限制，因为可以采用硬件部件的等同物，例如，采用对 于所描述和主张保护的本发明而言作为等同专用硬件和/或专用处理 器来实施本发明。类似地，可以将通用计算机、基于微处理器的计算 机、微控制器、光学计算机、模拟计算机、专用处理器和/或专用硬布 线逻辑用于构建本发明的备选等同实施例。相反，已经参照状态机描 述了某些装置，可以将这样的状态机实现为基于硬件的或者基于软件 的状态机。此外，本领域技术人员应当理解，不应将联系上述示范性 实施例描述的很多细节看作是限制，介绍其的目的只是为了举例说明。

本领域技术人员将认识到，在不背离本发明的情况下，可以采用 磁盘存储器以及其他形式的存储器实施用于实施上述实施例的程序操 作和相关数据，例如，所述存储器可以是只读存储器(ROM)装置、 随机存取存储器(RAM)装置、光存储元件、磁存储元件、磁光存储 元件、闪速存储器、磁芯存储器和/或其他等同存储技术。应当将这样 的备选存储装置看作是等同方案。

可以采用编程处理器实现文中的实施例所述的本发明，所述处理 器运行具有上文广泛描述的形式的编程指令，所述指令可以存储在任 何适当的电子存储媒介上或者可以存在于任何计算机可读介质内。但 是，本领域技术人员将认识到，在不背离本发明的情况下，可以通过 任何数量的变型以及通过很多适当的编程语言或者采用硬件等同物实 施上文所述的过程。例如，在不背离本发明的情况下，所执行的某些 操作的顺序往往存在变化，可以增加额外的操作，或者可以删除操作。 在不背离本发明的情况下，可以增加和/或增强误差捕捉，并且可以在 用户界面和信息呈现方面做出改变。可以设想这样的变化并将其视为 等同方案。

体现本发明的某些方面的软件代码和/或数据可以存在于任何非 暂态计算机可读媒介或存储媒介内，其包括但不限于电子存储装置(例 如上文所述的)以及光学信号和其他存储代码和/或数据的媒介。在所 介绍的示范性实施例中，采用了MPEG顺应包、切片、宏块、表格和 其他数据结构，但是不应认为其构成限制，因为在不背离本发明的情 况下可以类似地采用其他数据结构。

尽管已经结合具体实施例描述了本发明，但是在考虑到上述说明 的情况下，对于本领域技术人员而言，很多备选方案、修改、置换和 变化将变得显而易见。相应地，旨在使本发明包含所有这样的落在权 利要求的范围内的备选方案、修改和变化。