汉语言文学作品中词频的Zipf分布

摘要

以《红楼梦》《毛泽东选集》《邓小平文选》为对象,利用CSW分词软件进行词语的切分,统计发现这些材料的词频都表现出Zipf分布规律.这个结果与包括英语、西班牙语、法语、希腊语,甚至古代语言Meroitic等在内的很多种语言的实证研究结果是一致的.以往基于字和多元字对而不是用词的研究方法是出现争论的主要原因.