在电视会议和其他应用中预测事件的方法和装置

摘要

本发明公开了利用声音和视觉线索预测事件的方法和装置。本发明处理音频和视频信息来识别一个或多个(1)声音线索、例如语调类型，音调与音量；(2)视觉线索、例如注视目光、面部姿势、身体姿势、手势以及面部表情；或(3)上述线索的组合；这些线索通常与一个事件相关联，例如电视会议的与会者在发言前表现的行为。这样本发明就能使视频处理系统预测事件，例如识别下一个发言人。预测发言人识别器以一种学习模式工作，根据在有或没有一个或多个预定义的声音或视觉线索的情况下与会者“会发言”或“不会发言”的概念来学习每个与会者的特征信息。预测发言人识别器以预测模式工作，将特征信息中嵌入的学习特征与音频和视频信息加以比较，从而预测下一个发言人。