100億規模のwebページ収集・分析への挑戦

摘要

Webページ数は，2006年11月時点で537憶ページrnと推測されている．我々は，2004年1月～2006年rn7片の間に，全世界の5,548万台のWebサーバからテrnキストのみを対象に収集を行い，ユニークなWebペーrnジ数として約144.5憶ページを収集した．また，収集rn済みWebページに対して，トップレベルドメイン分布，rn記述言語分布，Webサーバの地理的位置の解析，バッrnクリンク解析やPageRank計算を進め，Web空間のrn現状分析を行った．さらに，Webページの解析がビジrnネスに利用可能であることを示すために，企業のWebrnサイト上の活動を可視化するe企業調査プロトタイプrnを構築し，企業の特徴，戦略，評判などの抽出を行った．