对网络中的数字内容的基于语言的搜索

摘要

本技术解决方案的系统和方法为诸如数字助理的基于语音的设备启用了多模态界面。该解决方案可以使用户能够通过触摸界面和通过语音命令与视频和其他内容进行交互。除了诸如停止和播放的输入之外，本解决方案还可以为所显示的视频文件自动地生成注释。根据注释，该解决方案可以识别与视频中的不同场景、视频部分或操作步骤相关联的一个或多个断点。数字助理可以接收输入音频信号并解析该输入音频信号，以识别该输入音频信号内的语义实体。数字助理可以将所识别的语义实体映射到注释，以选择与该输入音频信号中的用户请求相对应的视频的部分。