跨模态编码

摘要

随着多媒体通信技术的发展,包含音频、视频和触觉信号的跨模态通信有望成为未来多媒体通信的主流.为满足跨模态异构码流的通信需求,文中提出了利用不同模态信号间语义相关性的跨模态编码方式.首先阐述了目前触觉编码的研究进展和相关的理论方法,然后详细分析了跨模态编码的信息论原理,并从稳定性控制、分级编码、跨模态嵌入同步和跨模态语义重构4个方面论述了跨模态编码架构的设计方案,最后对跨模态编码的研究做出了展望.