2007年は デデュープ技術元年の年

　SNW（Storage Networking World）は、米国で年2回開催されているストレージ業界最大規模のコンファレンスである。その講演タイトルを調べてみると、昨年10月にフロリダ州オーランドで開催されたSNW Fall 2006では「データ・デデュープリケーション（De-duplication、以下、デデュープ）」という言葉を含む講演はなかった。しかし、今年4月にカリフォルニア州サンディエゴで開催されたSNW Spring 2007では、2つの講演にデデュープという言葉が記されている。

　「De-duplication」という英単語は、1語の単語「deduplication」として使うこともできるのだが、この言葉が「de（〜から離れて、 除去して）＋duplication（重複）」という構造を持っていることを明確にするために、あえて「-」（ハイフン）を入れて記述される場合も多い。日本では、「重複除去」、「重複除外」、「重複回避」などの訳語が用いられているが、まだ定着した呼び方はないようだ。

　この言葉が今年に入って広まり始めたのは、情報の爆発的増大などのITにおける懸案事項を解決する可能性が高いとして注目度が上昇していることによるものだと考えられる。これについては後述しよう。

共通する部分を除外することで 保存するデータ量を削減

　SNW Spring 2007の講演の1つでは、デデュープを次のように定義していた。「データセット中のデータの冗長部分（チャンク）の認識と除外（除去）」（Identification and elimination of redundant chucks of data inside a data set）。

　このデデュープ技術の基本的な考え方を図示したのが図1である。最初のバックアップ・データに対し、変更を加えたデータの中で共通している部分を除外するのがポイントである。その共通データと共通していないデータ部分との関連性を管理すれば、保存するデータ量を減らすことができる、というものだ。

　これはバックアップ前後のデータセットについての例であるが、 同じようなファイル／データが複数のサーバやクライアントPCに散在しているであろう一般的な環境に当てはめると、非常に大きなデータ量削減効果が見込めそうだということが想像できるだろう。SNW Spring 2007での講演では、データ削減効果は、2分の1から100分の1と紹介されていた。

　ちなみに、デデュープ技術を「データ量を減らすための技術の1つ」とする見方もある。例えば、全体的にデータ量を減らす「データ圧縮」という手法が、そうした技術の代表格と言えるだろう。それに対して、デデュープ技術は「もともとのデータとその変更点だけを抽出する」という、これまでとは異なる観点でデータ量を減らす技術と言うことができる。

　デデュープ技術をわかりやすい例えで言うとこうなる。複数の書類が章立てされて綴じられた1つの文書があるとする。文書の変更後に、すべてコピーし直すのがフル・バックアップ、それに対して、変更されたページだけをコピーするのが差分バックアップだ。変更された文字の部分だけをコピーして保存する──これがデデュープ技術である。これら3つを比較すると、コピーの量は、1冊単位（フル・バックアップ）から、ページ単位（差分バックアップ）、そして、文字単位（デデュープ技術）となって、コピー量が格段に少なくなるというメカニズムだ。