100億規模のWbbページ収集とその活用

摘要

The number of Web pages distributed from Web servers is estimated about 53.7 billion as of Oct. 2005. We had gathered 14,456,201,906 Web pages from 5,548 Web servers during Jan. 2004 to July 2006. It had been conducted as part of e-Society project which is one of MEXT, Ministry of Education, Culture, Sports, Science and Technology, leading projects. Speedup of crawling Web pages conflicts with Web-site friendly crawling, however, both are indispensable for gathering Web pages. In the project, we have studied and proposed a dynamic delay adjustment scheme for accessing Web servers to prevent hammering them. Moreover, many know-how including access control for Web servers have been studied. As for the analysis, written language distribution, top level domain distribution and geographical location distribution of 10.7 billion of Web pages were calculated. Besides that, back-link analysis and PageRank calculation among Web servers were done. In this talk, I will introduce a crawling technique for gathering large amount of Web pages and applications for best use of gathered Web pages.%インターネット上のWeb サーバから発信されるWebページ数は，2005年10月時点で537億ページと推測されている．我々は文部科学省のe-Society プロジェクトの一環として，2004年1月～2006年7月未の間に，全世界の5,548 万台のWeb サーバからユニークWeb ページ数として14,456,201,906 ページを収集した．収集にあたっては，高速収集の実現と相手Web サーバへの負担軽減といった相反する事項の両立が重要である．本プロジェクトでの実験を通じて，Web サーバへのリクエスト間隔の動的な調整，アクセスコントロール等，様々なノウハウを蓄積することができた．また，収集済Web ページの約107億ページを対象に，記述書語分布，トップレベルドメイン分布，Web サーバの地理的位置の解析，Wbb サーバ単位でのバックリンク解析やPageRank 計算を進めてきた． 本講演では，これまでの経験を踏まえ，大規模なWib ページ収集を行うためのクロール技術とWeb ページの活用について述べる．