米国Googleが最近行った調査によると、Web上のユニークURL数がついに1兆を超えたという。大台突破に、Googleのエンジニアたちは畏れを感じている。同社のスタッフが7月25日に公式ブログに投稿したエントリーによると、1日に数十億のペースでWebページが生成されているそうだ。

「世界中の全データをインデックス化するのが目標」――Web上のユニークURL数が1兆を突破し、Googleの“野望達成”への試みも続いていく

　映画『オースティン・パワーズ』の登場人物であるドクター・イーブル（Dr. Evil）なら、驚いて心臓が止まるような発見かもしれない。この発見を公表する機会を利用して、Googleは、自社のインデックスの範囲と規模も宣伝した。同社Web Search Infrastructure Teamのソフトウェア・エンジニア、ジェシー・アルパート（Jesse Alpert）氏とニッサン・ハジャジ（Nissan Hajaj）氏は、ブログに以下のように書いている。

　「われわれは、1兆を超えるWebページのすべてに（Google検索エンジン用の）インデックスを付しているわけではない。多くのページは互いに似通っているか、自動作成されたものであるため、検索を行うユーザーにはあまり役に立たないからだ。だが、Googleは検索エンジンの中でも最も包括的なインデックスを付けており、このことを誇りに思う。われわれの目標は常に、世界中のデータすべてにインデックスを付けることだ」

　Googleが自社検索エンジンのインデックスの規模について公式な情報提供を行うのは久しぶりだ。インデックスの規模という話題は、従来、大手検索エンジンの間で決まって論争や反論を招くものだった。

　だが、インデックスの規模について、ライバルを必要以上に意識し、ねたみや羨望が生まれる――そうした時代は終わったようだ。大半のインターネット・ユーザーは、検索結果表示ページを2ページ以上調べないということが明らかになっている。つまり、大事なのは10〜20の本当に関連性があるWebリンクを提供することだ。あるいは、リンクでなく直接的な事実を提供できればなおよい。というのも、求める情報を探すために5,000に上るような検索結果に目を通す者はほとんどいないからだ。

　また、Googleは、こうしたリンクをどのように分析し、どの程度頻繁に分析しているかについての情報も一部明らかにした。

　「現在、GoogleはWebを絶えずダウンロードし、更新されたページ情報を収集して、Webリンクのグラフ全体を1日に数回、再処理している。1兆のURLで構成されたこのグラフは、1兆の交差点がある地図に似ている。われわれは、毎日何度も米国国内にある全道路の交差点すべてを完全に調査するのと同じような演算処理を行っているのだ。ただし、この地図の大きさは米国の約5万倍だ。つまり、Webリンクの数は、道路と交差点の数の5万倍だ」（Googleのブログより）

　今回、Googleが明かした現在のインデックス規模などの情報に対して、米国Yahoo!や米国Microsoft、米国Ask.comなどのライバルがどのような反応するかは興味深い。