皆さんは、Data Warehouse(以下DWH)とData Management Platform(以下DMP)、それぞれどんなものか説明できますか?
デジタルマーケティングに興味を持っている、あるいは実際に担当している方なら単語自体は聞いた事があるはずです。
しかし、なんとなくDWHやDMPがどのようなものか理解しているけれど、明確な違いはわからないという読者の方は多いのではないでしょうか。
また、いざ「DWH DMP 違い」と検索してみても、明確な答えを掲載しているWebページは意外と少ないものです。
そこで今回はデータ統合の歴史を追いながら、「意外と知らない?DWHとDMPの違い」というテーマでDWHとDMPについて解説していきます。
1.Data Warehouse(DWH)とは何か
DWHはデータの倉庫
DWH開発の背景
DWH誕生へ
ビル・インモン ~DWHの父~
DWHの仕組みとは?
DWHの進化
2.DMPとは?
DWHだけでは足りない?
DMPは統合されたデータを活用するシステム!
DWHとDMPの「違い」とは
DMP同士の比較
プライベートDMPとパブリックDMP
まとめ
1.Data Warehouse(DWH)とは何か
■DWHはデータの倉庫
DWHはData Warehouseを簡略表記したものですが、”Warehouse”は英語で倉庫を意味します。つまりDWHは多様なデータが格納されたデータの”倉庫”であるということです。
DWHという言葉が初めて使われたのは、1992年に出版されたW.H.インモン(William H. Inmon)の著書、「データウェアハウス 構築編 (英名:Building the Data Warehouse)」でした。
インモンは以下の4つの条件を満たしたデータベースをDWHと呼びました。
1.サブジェクトごとにデータが記録されている
2.データが統合されている
3.データが時系列で記録してある
4.データは消されたり更新されたりしない
IT技術が発展した今でこそ、こうしたデータベースを作るのは難しいことではありませんが、インモンが著書を発表した当初の1990年代には、DWHのようなデータベースの発明は画期的なものでした。
■DWH開発の背景
コンピュータ上に記録されているデータへのアクセスを強化し、活用しようという動きは1970 年代から見られましたが、それが加速したのは1980年代のことです。
当時問題になっていたのは、コンピュータの処理速度を担保するために、一定量以上の過去データを削除しなくてはならないということでした。
もちろん1980年代の時点で、データを蓄える「データベース」という概念は存在していました。しかし技術的な問題から、当時のデータベースは一時的なデータ置き場に過ぎませんでした。
例えば、データの保存上限が1年間分だとしたら、1年以上前のデータは削除しなくてはならなかったのです。
また、システム横断的にデータを蓄積する方法が存在しなかったため、データの活用という点でも当時の企業は苦労をしていました。
ITシステムが整った今の時代でビジネスを行う皆さんには想像もつかないかもしれませんが、「仕入れ」「生産」「販売」のそれぞれで違うデータベースにデータを保存するのが、当時は一般的だったのです。これではデータを分析しようにも、それぞれのデータを取得する作業だけで膨大な時間がかかってしまいます。
「多様なデータを長期間蓄えることのできる、まるで”倉庫”のようなデータベースがあったなら…」
当時のビジネスパーソンがそのように考えるのも不思議なことではありませんでした。
■DWH誕生へ
さてここからは、DWHが誕生するまでに至った経緯についてお話していきたいと思います。
アイデアの元となったのは1988年にIBM職員が執筆した “An architecture for a business information system(ビジネスにおける情報システムの設計)”という論文で提唱された、”business data warehouse”という概念です。
偶然にもこの”business data warehouse”という用語は、後にDWHを生み出すビル・インモンが1970年代に書いた論文で使った用語と同じものでした。
この論文の中でIBMの科学者たちはのちにDWHが発明されることを予見しています。
「細分化されている企業活動の情報システムを一つに統合する設計が、まさに今必要とされている。IBMのヨーロッパ・中東・アフリカ支社では、E/MA/A(ヨーロッパ・中東・アフリカ) Business Information System (EBIS)というデータベースの設計を戦略的に導入した。EBISはリレーショナル・データベースに基づき、企業の情報を統合する”倉庫(warehouse)”を作りだす。このデータの倉庫は企業が使っているキーワードでデータを記録し、またエンドユーザーはコンピュータ上のインターフェースでこれに簡単にアクセスできるようになる。」
このIBMの発明後、二人のコンピュータサイエンティストがDWHの発明につながる研究を発表し、DWH誕生に向けて世界は大きく前進します。
■ビル・インモン ~DWHの父~
DWHの詳しい紹介をする前に、その産みの父であるビル・インモンについて紹介しましょう。インモンはDWHの技術的な基礎を研究によって明らかにし、DWHという名前も考案しました。
余談になりますが、インモンは2007年に「IT界における直近40年で最も重要な10人」に選出されています。
1970年代後半から1980年代にかけて、インモンはデータの研究に専念します。彼が特に注力したのが、リレーショナル・データの構築でした。
インモンはプリズム・ソリューションズ(Prism Solutions)という会社を立ち上げ、そのプリズム・ソリューションズの主力サービスが「the Prism Warehouse Manager」という、業界初のDWHでした。
1992年になると彼は、前述した「Building the Data Warehouse」を執筆します。
(ちなみにこの本は第四版まで発行されており、アカデミアとビジネスの観点からデータシステムを説明した良書として多くの有名大学の図書館が所蔵しています。
1990年代後半、インモンは「Corporate Information Factory(CIF)」という概念を生み出します。これは組織のデータ活用における考え方で、この一部にDWHが重要な役割を果たしています。
CIFやインモンの研究についてちょっと気になったという人は、CIFのWebページをご覧ください(http://inmoncif.com/home/)。インモンが執筆したDWHやCIFに関するすべての論文がまとめられています。)
さて、インモンがDWHを設計する際に心がけていたのが、データをそれ以上分解できないシンプルな形(第3正規形)にしたうえで、一つにまとめるということでした。データベースや正規形についての議論はまた別の機会に書きたいと思います。DWHによって各企業がデータマートを構築しやすくなり、それがひいては企業のデータ活用を促進するとインモンは考えたのです。
■DWHの仕組みとは?
冒頭でも述べましたが、DWHはデータの”倉庫”です。
具体的にいうと、企業がシステムを通じて収集したトランザクションデータ(主に社内の取引データ)を保管しておくデータベースがDWHの正体です。
開発当時の目的は分析に活用することで、通常のデータベースでは保存できない長期間の過去のデータを保存できることが特徴となります。
イメージしづらいと思うので、1990年代のコンビニを例に具体的に考えてみましょう。
そのコンビニは「顧客」「販売」においてそれぞれのデータを持っており、別々のデータベースで管理をしていたとします。もしあなたが30代男性の商品購買傾向を知りたいと思ったときに、どうすればいいでしょうか。
DWHがないとしたら、それぞれのデータベースからデータをダウンロードし、エクセルなどの表計算ソフトを使って統合する必要があります。また何時間もかけてようやく30代男性の購買傾向を知れたとしても、DWHがなければ限られた期間での分析結果になってしまいます。個別のデータベースではデータの長期間保存ができないからです。
DWHがあれば状況は改善されます。
部門横断的にデータが蓄積されているため、欲しい情報をすぐに取り出すことができます。また膨大なデータを保存できるため、より長期間にわたった精密な分析をすることができます。かの有名な、スーパーやコンビニのPOSシステムは、このDWHが存分に活用されている例の一つです。
■DWHの進化
それではDWHの登場によって企業のデータをめぐる諸問題は解決されたのでしょうか。
答えはNOです。DWHを導入するだけでは、データを取り巻く諸問題は解決を見ませんでした。
IT技術の進歩と共に企業が取り扱うデータの量は指数関数的に増えていくことになります。企業が設計していたDWHが急増するデータに対応できていたかというと、そうではありませんでした。
システムの構成はデータが増えるに従ってどんどん複雑になっていきますし、そもそもDWHの容量が限界を迎えると構築作業をしなくてはいけません。また、多様な切り口から分析を行いたいという現場の声に対応するためには、新しく要望が来るたびにDWHのチューニングをする必要がありました。
そこで2010年ごろから登場したのがDWHアプライアンスでした。アプライアンス(Appliance)は英語で家電製品という意味で、「冷蔵庫や洗濯機を使うように簡単に使えるDWHを作ろう」というコンセプトのもとで開発されます。DWHを構築するために開発されたソフトウェアと、データを保存するハードウェアを一つにすることで、通常のDWHを使用するよりも頻度も作業の手間を減らそうとする試みでした。
その後クラウド技術の進展と共に、DWHクラウドというサービスも登場することになります。これはクラウド上にDWHを構築することによって、取り扱いデータの増減に対応すると共に、比較的すぐにサービスの利用を開始できるというメリットがありました。
2.DMPとは?
[参考記事]
・DMPとは?DWHやCDPとの違いから、導入のメリット・デメリットまでを解説!
・CDPとDMP、DWH、MAの違いは?
■DWHだけでは足りない?
DWHとは一言で言うと、「特定のサブジェクトで閲覧できるビッグデータ」です。
マーケティングにおいてDWHを利用するという事は、ほとんどの場合、「顧客」というサブジェクトごとにデータを利用するという事になります。
例えば、Aさんの年齢、性別、居住地域、最終購買日、最後に購買した商品、累計購買金額、流入チャネル、cookieID、顧客ID、、、Bさんの年齢、性別、居住地域、最終購買日、最後に購買した商品、累計購買金、流入チャネル、cookieID、顧客ID、、、のように、人ごとに過去データを閲覧するといった具合になります。
こういったデータがあれば、マーケティングは加速します。最後に何を買った顧客が離脱しやすく、リピーターになりやすい、といったRFM分析のようなことも可能になれば、どこのチャネルから獲得した顧客のLTVが一番高い、といった様に集客導線の評価も可能になります。
しかし、これだけでは『分析』のみしかできません。全てのマーケターは『分析』をした後に『施策』に移りたいと考えます。
初回流入の顧客にみせるべき商品が存在するのであれば、新規ユーザーがWEBサイトに訪問したときには自動的にその商品を表示させるようプログラムを組むべきですし、購買しないでサイトを離脱したユーザーと、過去購買したユーザーに対しては、表示させるべきリマーケティング広告は分けるべきでしょう。
さて、『施策』に移るにはいったいどうすれば良いのでしょうか?顧客というサブジェクトに基づいたデータは所有しています。あとはそれらを利用するアプリケーションに対して、それらのデータを渡す作業が発生します。
■DMPはデータを統合・変換・送信するシステム!
さて、いよいよこの章からDMPの登場です。DMPとは何なのか、ご説明していきましょう。
DMPとは、DWH(またはDWHのような機能)が統合したデータを、BIツールやMAツール、広告配信プラットフォームなどが利用可能なデータ形式に変換し、送信するプラットフォームのことです。
例えばDWH内に存在する大量の顧客ビューから「累計購買金額が10万円を超えているカスタマー」というセグメントをUI上で簡単に抽出し、メール・オンライン広告・LINE通知・SMS配信・LPOなど、様々なコミュニケーションが可能なMAツールに対して、セグメントデータをシームレスに送信します。
これには非常に価値があります。メーラーにはメールアドレスが必要ですし、オンライン広告やLPOにはcookieIDが必要です。SMS配信には電話番号が必要です。これらの一つ一つの機能に対して、毎回特定のセグメントデータから必要な情報のみを抽出し、ソフトウェアに手動で渡していたらどうなるでしょうか?とてつもない時間がかかりますよね?
ビッグデータと多数のマーケティングソリューションをシームレスに連携させ、あらゆるカスタマーに関するデータをマネジメントするのが、データマネジメントプラットフォームです。
■DWHとDMPの「違い」とは
「違い」という書き方をしましたが、そもそも「違い」という認識の仕方は一旦やめましょう。そもそも両社は性質が根本的に異なるものなので、比較対象ではないのです。
データの整理から活用までのフローをもう一度考えてみましょう。
顧客の性別や住所などの「基本データ」、各店舗やECでの「購買データ」、自社サイト閲覧履歴などの「Webデータ」など、複数のデータをまとめ、顧客ごとに整理するのが第一段階です。これを可能にしたものが、前述したデータ蓄積倉庫、DWHです。DWHにより顧客を「分析」することが可能になります。例えば「自社サイトに24時間以内に訪れた人」や「ECの購買金額が3万円を超えている人」など、企業が使いたいセグメントに切ることができます。
しかしこの時点で、得られたデータを活用することはできません。例えば「自社サイトに24時間以内に訪れた人」に対して広告を打ちたいのならば、広告配信ツールにそのセグメントデータを使える形にして送信する必要があります。
このように、DWHで整理したデータをGoogle AdWordsなどの広告配信ツールやLPOツール、メルマガ配信ツールなどの各種ソフトウェアが使える形に「変換」する必要があります。変換した後には、各種ソフトウェアに送信するフェーズがあり、これを経てようやく顧客に対するアクションに落とし込むことができるのです。
では、DMPとは何なんでしょうか。どの段階を担っているのでしょうか。結論から言うと、各DMPによって持つ機能が異なります。広義のDMPはDWHの機能も包含し、「統合」「変換」「送信」のすべての機能を持ちます。狭義のDMPは「変換」のみの機能を持ちます。
このようにDWHとDMPは果たす役割や使う目的が全く異なります。そのため、比較対象になりえないのです。
■DMP同士の比較
DMPごとの違いとしては、「どのようなソフトウェア、どのようなマーケティングソリューションとシームレスに連携しているか」ということもあります。わかりやすく言うと、Facebook広告配信ツールのみと連携しているのか、Google AdWordsともメルマガ配信ツールとも連携しているのか、といった違いです。また、データ変換・送信の頻度も違いになります。データ更新の反映が1日に1回しか行なわれないDMPでは、「自社サイトに3時間以内に訪れた人」に対して施策を打つことはできないのです。以上のような点が、DMPがほかのDMPと差別化する点になります。
■プライベートDMPとパブリックDMP
DMPにはプライベートDMPとパブリックDMPの2種類があることをご存知の方も多いのではないでしょうか。
これまでは自社データの統合・活用を可能とする、プライベートDMPについての解説をしていきました。
他にも、パブリックDMPと呼ばれるDMPがあります。パブリックDMPは、端的にいうと、オンライン広告の成果を底上げするためのみに利用するDMPです。
パブリックDMPには、主にメディアを運営している事業者の大量のサードパーティデータが溜まっているため、通常の広告配信プラットフォームで設定可能な「興味関心」や「インタレストカテゴリ」といったセグメントデータよりも、より細かく具体的なユーザー情報を取得することが可能となります。これにより、大多数のインプレッションを獲得する広告の成果を、より詳細に底上げする事が可能となります。
プライベートDMPは自社データを自社の定義、目的に応じてデータを作成していくのに対し、パブリックDMPは第三者が提供する広告配信のためのビッグデータのため、根本的には物が違います。よく混同されたり、比較されてしまいますが、比べる対象では無いため、注意しましょう。
まとめ
いかがでしたでしょうか。
歴史や開発された背景から説明をすることによって、皆さんのなかでのDWHとDMPの違いが明確になったのではないでしょうか。
弊社が提供している マーケティングツール『b→dash』 は、マーケティングプロセス上に 存在する全てのビジネスデータを、ノーコードで、一元的に取得・統合・活用・分析することが可能なSaaS型データマーケティングプラットフォームであり、BtoC業界を中心に、様々な業種・業態のお客様にご導入頂いております。