特定言語で記述されたWebページの選択的収集手法とその評価

摘要

Web情報の文化的・社会的価値に対する認識の高まりとともに，将来に向けた長期保存や社会事象rnの分析を目的としたWebアーカイビングプロジェクトが各国で進められている．しかしながら，Webには明確rnな国境がなく，特定の国家や文化圏に関するWeb情報のみを網羅的に収集することは困難である．本論文では，rn大規模なクローリングによりWeb情報のサブセットを収集し，そのグラフ構造を記述言語の観点から分析するrnことで，Webサーバごとの言語属性を利用するクローリング指針を導き出す．更に，その指針に基づいて，Webrnページ及びサーバの言語属性を判定しつつ特定言語のページを選択的に収集する手法を提案し，シミュレーショrnンにより収集効率と実行効率における有効性を示す．