大数据时代社会科学研究方法的拓展--基于词嵌入技术的文本分析的应用

摘要

在大数据时代的背景下,基于大数据的分析处理技术为“数据驱动”的社会科学研究创造了新的发展契机。其中,词嵌入技术借势大数据浪潮,以其高效的词表征能力和强大的迁移学习能力在文本分析领域受到越来越多的关注。不同于传统的文本分析路径,词嵌入技术不仅实现了对非结构化文本数据的表征,还保留了丰富的语义信息,可以实现对跨时间、跨文化文本中深层次文化信息的挖掘,极大丰富了传统社会科学实证的研究方法。文章总结了词嵌入技术的基本原理及特点,系统地梳理了词嵌入技术的五大应用主题:社会偏见、概念联想、语义演变、组织关系和个体判断机制。随后,文章归纳了词嵌入技术的基本应用流程及结论有效性与稳健性的评估方法。最后,文章归纳了词嵌入技术在文本语料的选择、文本的分词处理、单词语义信息的表征层次三方面所面临的挑战,随即总结了相应的应对思路与方法。基于词嵌入技术的强大适应能力,未来研究可以进一步关注该技术在管理领域的应用前景,包括品牌管理、组织内部管理、中国传统智慧与管理问题三个方面。