Wikipediaの創始者が語る検索エンジンの理想像

「ユーザーは検索エンジンのアルゴリズムを知る権利がある」

（2007年03月29日）

「今や検索エンジンはインターネットの根幹となるインフラである。にもかかわらず、検索エンジンのアルゴリズムが“ブラックボックス化”されている現状はおかしい」との信念に燃え、利用者が自由に執筆／編集できるオンライン百科事典「Wikipedia」の創始者であるジミー・ウェールズ氏が、今度は検索エンジンの開発に立ち上がった。すでにGoogle、Yahoo!、Windows Live Searchといった競合製品が市場にひしめき合う中で、オープンソースで開発される検索エンジンに勝算はあるのだろうか。

鈴木恭子／IDGオンライン編集部

オープンソースでの検索エンジン開発に意欲を見せる、Wikipediaの創始者ジミー・ウェールズ氏

――新しい検索エンジンの概要を教えてほしい。

　新検索エンジン「Search Wikia」（開発コード名）の開発プロジェクトは、私が運営しているホスティング・サービス「Wikia」を主体として昨年の12月に発足した。

　Search Wikiaのキーワードは「オープンソース」だ。インターネット上に検索エンジンのソース・コードと開発ツールを公開し、開発者がこれらを自由に利用できる環境を提供するようにしたい。

――Wikipediaと同様、だれもが改変を行えるという手法によって、検索エンジンを開発するということか。

　そのとおりだ。基本的に、オープンソースの開発コミュニティに属する開発者たちが自分たちの持っている技術やツールを利用して改良を加えていくという手法を採用しようと考えている。すべてのソース・コードやアルゴリズムをインターネット上に公開し、だれでもダウンロードできるようにするつもりだ。

――なぜオープンソースでの開発にこだわるのか。

　今や、インターネットは電気や水道のような社会全体のインフラと化した。そして、検索エンジンはインターネットの根幹を担っている“インフラの中のインフラ”だ。もはや検索エンジンを利用しないでインターネットを活用することは不可能だとも言える。にもかかわらず、グーグル、ヤフー、マイクロソフトは、どのようなアルゴリズムを利用しているのかといった情報をユーザーに公開していない。私は検索エンジンが秘密主義に基づく“ブラックボックス”であってはならないと考えている。

　オープンソースで開発し、検索のアルゴリズムを公開したからといって、だれもがそれを理解できるわけではない。また、検索のアルゴリズムは企業秘密だという意見もあるだろう。しかし、ユーザーは自分の検索要求がどのようなアルゴリズムによって処理されたのかを知る権利がある。われわれは地球市民として、検索エンジンのブラックボックス化に危惧を抱くべきなのだ。

「Wikia Search」のWebサイト。同サイトによると、オープンソースの検索エンジン「Nutch」と「Lucene」が基盤となるようだ

――検索エンジンに携わる開発者は、どのようなメリットを享受できるのか。

　開発者がSearch Wikiaプロジェクトに参加したからといって、金銭的なメリットがあるわけでも何かの特典が与えられるわけでもない。Search Wikiaプロジェクトの理念はWikipediaと同様、「ボランティア」だ。そのかわり、われわれはすべてをオープンにする。技術者はこのプロジェクトに参加することで、プロジェクトに集まるすべての技術情報を得ることができるわけだ。

　これは開発者にとって魅力的な環境だと言える。実際、すでに複数の開発者がSearch Wikiaプロジェクトに参加している。また、開発者だけでなく検索エンジンを提供している企業からも参加したいという申し出を受けている。

――オープンソースで検索エンジンを開発するにあたって、何が課題になると考えているか。

　過去、オープンソースで検索エンジンを開発するときに課題となったのは、検索アルゴリズムの大規模なテスト環境をいかに確保するかということだった。アルゴリズムは検索エンジンの「心臓」だ。十分なテストが実行できなければ、検索エンジンの精度が低下し、粗悪な検索エンジンが出来上がってしまう。だが、大規模なテスト環境を構築するには、ハードウェアへの莫大な投資が必要となる。

　しかし、この課題はもはや解決済みだ。われわれは、開発者が開発ツールやソフトウェアを十分にテストできる環境をインターネットを通じて提供することにしており、すでにその準備も完了している。

　ここで1つ強調しておきたいのは、Search Wikiaプロジェクトはまだ始まったばかりだということだ。計画では、最初の試用版を今年中にリリースしたいと考えているが、その段階では、試用版でどのような検索が行えるのかを示すにとどまるだろう。

――市場には、すでにGoogle、Yahoo!、Windows Live Searchといった検索エンジンが存在する。Search Wikiaは、こうした既存の検索エンジンとどのように差別化を図っていくのか。

　先にも述べたが、既存の検索エンジンとSearch Wikiaとの最大の違いは、Search Wikiaには“ブラックボックス”が存在しないということだ。

　ある調査によると、かつてユーザーは最も信用できる検索エンジンとしてYahoo!を挙げており、Googleは次位に甘んじていた。しかし、最近はこの順位が逆転している。その理由は、「Googleのほうがブランド・イメージが良いから」だという。つまり、ユーザーが検索エンジンを選択する際には、使い勝手と検索精度のほかに、「ブランド」も考慮されているわけだ。

　だが、Googleがそのブランド・イメージによってユーザーに支持されているとしたら、それは検索エンジンとして致命的な“脆弱性”ともなりうる。なぜなら、今後高精度な検索エンジンが登場し、それが一般に普及すれば、Googleの検索エンジンとしてのブランド力は低下することになるからだ。Googleに限ったことではないが、ブランド力が低下すれば、広告を主体とするビジネス・モデルの屋台骨は揺らいでしまう。

――では、他の検索エンジンよりも高精度のものを作れるという自信はあるのか。

　オープンソースで開発すると検索エンジンの精度が下がると考えているのであれば、それは間違いだ。すべてをオープンにし、ユーザーの知恵を結集させることができれば、完成度の高いものができることはWikipediaが証明している。Search Wikiaの認知度が上がり、より多くのユーザーや開発者の知恵を集めることができれば、既存の検索エンジンよりも良いものができると確信している。そうなれば、現在インターネット上で繰り広げられている競争は劇的に変化することになろう。

――オープンソースで開発を行う際に問題となる、悪意のある開発者やいたずらをどのように排除するのか。

　残念ながら、Wikipediaにも悪意のある書き込みや“荒らし”と呼ばれる悪質なユーザーは存在する。アルゴリズムが公開されていれば、例えば、自分のWebサイトが常に上位に表示されるようにアルゴリズムを改変したいと考えるユーザーも出てくるだろう。簡単なアルゴリズムであれば、それも可能かもしれない。また、公開されたアルゴリズムは、攻撃者にとって格好の攻撃ターゲットであることも理解している。

　しかし、私は開発者コミュニティの自己浄化作用のほうが悪意のあるユーザーの攻撃よりも強力だと信じている。そもそも、スパマーに簡単に攻撃されてしまうようなアルゴリズムしか構築できないようでは、Search Wikiaプロジェクトは成功しないだろう。