戈夫曼词现过渡与自动标引

摘要

引言 在文献检索中,一般以文献中出现的不同词的词频计数来确定文献的内容,在语言学中,可用著名的齐夫(G·K·ZIpf)高频词定律描述本文中的词频。本文将阐述文本中大多数负载内容(content—bearing)词的词频分布区间的方法,进而解释其原因。这一想法由戈夫曼(W·Goffman)首先提出。并证实了应用于抽取索引词的简单位以及与人工智力标引的语义相似性。 高频调──齐夫第一定律众所周知的齐夫第一定律表明:若按出现频率递降顺序,依次排列文本中出现的所有不同词,即第一高频词排在第一位,第二高频词排在第二位,依此类推,则 r×f=C( 1)其中,r是排列序号,f是词在文本中的出现频率,C是某一