多核并行架构:多模态研究的范式、路径及领域问题之辨

摘要

根据库恩关于科学范式的定义,多模态研究可以视为一个类似于计算机科学中“多核并行架构”、综合多种路径的整合性研究范式.多模态概念可归结为三个:1)将其视为感官及相应的神经系统;2)将其视为在社会文化中形成的创造意义的符号资源;3)将其定义为人机交互中的信息呈现方式.多模态研究的路径及领域包括:1)符号学属性的研究;2)语料库语言学研究;3)神经科学、人机交互与学习科学中的研究.目前,多模态研究范式下的不同路径被应用于多个领域,正向探索人类多模态互动的脑机制、行为规律等基础性研究以及多模态应用性研发两个方向不断拓展.