ABテストはマーケティングの分野でよく用いられる言葉です。広告配信やWebサイトの運用をしている人であれば、一度は聞いたことがあるのではないでしょうか。ABテストは有効なマーケティング手法の一つですが、いざ実践するとなるとうまくいかないケースも多いものです。そこで、この記事ではABテストの仕組みや実践する際の手順について解説します。
弊社が提供している マーケティングツール『b→dash』 は、ABテストを成果につなげるために必要となる、MAやBI、セグメント機能など、様々な機能を網羅して搭載しているツールとなっています。
1. ABテストとは何か？
ABテストとは、クリエイティブやページなどを、A・Bの2パターンを用意して「どちらがより良い成果を出せるのか」を検証する手法です。webマーケティングの分野で多く用いられる手法であり、メールの開封率/クリック率/CVRや、サイトのCTR/CVR、広告のCTR/CVRなどの成果を比較して、成果の高いパターンを採用します。なお、ABテストは必ずしも2パターンというわけではありません。必要に応じて、3パターン以上でテストを行うケースもみられます。ABテストはなぜ行うのでしょうか。その目的には、以下のようなものが挙げられます。
① KPIの改善
ABテストを実施する目的の１つに「KPIの改善」が挙げられます。webサイトや広告、メールは、実際に公開/運用/配信してみることで初めて結果がわかるものです。その結果をもとに、仮説や改善点を洗い出し、複数パターンのクリエイティブやコンテンツを検証して、効果が高いものに集約していけば、KPIを改善することが可能です。
② ナレッジの蓄積
また、「ナレッジを蓄積する」という目的もあります。ABテストによって得たナレッジは、自社内に蓄積していくことができます。どのようなデザイン/コンテンツ/時間で施策を実施すれば、効果的なマーケティングを行えるのかがわかるようになり、このようなノウハウは企業の財産となり、その後のマーケティング施策にも大いに役立つでしょう。
2. ABテストのメリット・デメリット
ABテストはより成果の出せる方法を見極める施策であるが、ABテストを行う上でのメリット・デメリットはどこにあるのでしょうか。ここでは、ABテストにおけるメリット・デメリットをそれぞれ紹介していきます。
2-1. メリット①：成果がUPする
ABテストはより成果を出せる方法を比較検証して探し出す施策のため、ABテストを続けることで、少しずつでも成果をUPさせることができます。1回1回あたりの改善量は小さいかもしれませんが、積み重ねることで、ABテストを行う前後で比べて、成果を上げることができるでしょう。
2-3. メリット②：少ないコストで効果的な実施ができる
ABテストでは小さい修正を繰り返いして検証して、改善を積み重ねていく施策です。一気に大きく変更しようとすると、大がかりな計画が必要になり費用もかかってしまいます。さらに、問題があった際に、それまでの工数や費用を考慮して簡単には変えることはできないでしょう。その点、ABテストでは、ポイントをしぼった修正となるため、かかる工数が少なくてすみ、また、問題が生じた場合でもすぐに元に戻すことができる点がメリットです。
2-2. デメリット①：データが少ないと正確な結果が得られない
ABテストは2つのパターンを用いて、どちらの内容の方が良いのか成果を比較検討する検証方法です。そのため、パターン1つあたりにかけるデータ数が少ないと、誤差で生じた差分なのかを判断できません。
統計学上、得られた結果が意味のあるものなのか、ただの誤差なのかを判断する基準として、「標本誤差5%以下」があります。得たい結果にどれくらいの差分を生じさせたいのかをから必要なデータ数を算出したうえで、ABテストを行わないと、ABテストを実施したとしても有意な結果は得ることが出来ません。
2-4. デメリット②：複数回または長期間行う必要がある
「デメリット①：データが少ないと正確な結果が得られない」で説明したように、ABテストで有意な結果を得るためには、一定のデータ数は必要になります。しかし、1回のABテストで判断出来るだけの結果を得られたり、すぐに必要なデータ量が得られることは少ないでしょう。そのため、メルマガであれば複数回にわたってABテストを続けないといけない、webサイトであれば長期間にわたってABテストを続けないといけない場合があります。ですが、時間をかけてABテストを行ったとしても必ず有意な結果を得られるとは限らないため、それまでかけた工数に対して、十分な結果を得られない可能性があります。
3. ABテストを実施するシーンと具体的に実施すること
ABテストはさまざまなシーンで行われます。なかでも、多いのが、「広告」「Webサイト」「メール」です。具体的にどのようなことを行うのか、それぞれ解説していきます。
3-1. 広告
ABテストはリスティング広告/ディスプレイ広告/SNS広告などの広告において多く行われます。広告は、バナーや広告文、LPなどによってパフォーマンスが大きく変動します。LPとは広告やリンクをクリックした際に訪問者が最初にアクセスするページのことです。これらの要素が異なる広告を2つ（もしくは3つ以上）用意し、同一imp数で一定期間同時に配信する手法が一般的です。これにより、広告が表示された回数（imp数）、広告がクリックされた回数（クリック数）、商品購入や資料請求等のCVに至った回数（CV数）、およびその歩留まりを分析します。
ABテスト例①：Facebook広告での「バナー」
バナーは一般的にタイムライン上に流れてくるので、いかに目を引けるか/印象に残るかが重要です。ABテストの例としては、「バナーはテキストではなく、画像の方が目を引くため、クリック率が高くなるのでは」という仮説の元で、テキストメインのバナーと画像メインのバナーを比較します。他には、人物画像のあり/なし、などのABテストも例として挙げられます。
ABテスト例②：Facebook広告での「広告文」
広告文はFacebook広告においてはそこまで目立つ箇所ではありませんが、バナーで興味を引いた後に具体的にどんな内容なのかをユーザーが判別するためにはとても重要です。ABテストの例としては、商材のアピールポイントが複数ある場合、「この商材の一番の売りはアピールポイントAであるため、アピールポイントAを押し出したほうが、クリック率が高くなるのでは」という仮説の元で、アピールポイントAを押し出した広告文とアピールポイントBを押し出した広告文を比較します。Facebookの機能を利用すれば、複数の広告文を設定して、効率が良いものに配信を自動で寄せることも可能です。
ABテスト例③：Facebook広告での「LP」
LPはユーザーが最初に訪れる自社サイト内のページであるため、成果を分ける非常に重要な要素です。ABテストの例としては、「LPは情報量が少ないシンプルなLPの方が内容が理解しやすく、より興味を持ってもらえるため、CVRが高くなるのでは」という仮説の元で、シンプルなデザインのLPと情報量が多いLPを比較します。
3-2. webサイト
webサイトでは、テキスト/画像/デザイン/ボタン/動線などによってパフォーマンスが変動します。そこで、webサイトの一部を変更し、結果のデータを比較するためにABテストを行います。webサイトで行うABテストの具体例としては、トップページのメインビジュアルの変更が挙げられます。「ユーザーがwebページを訪問した際に最も目に付く部分（ファーストビュー）でのアピールポインが多く、むしろ印象が薄れているためCVRが低いのでは」という仮説の元でファーストビューに載せるアピールポイントの数を変動させて比較します。
また、ボタンの設置場所も成約率を左右する重要な要素となります。たとえば、「“商品を購入する””お問い合わせはこちら”というようなボタン目立たなく気づかれにくいためにCVRが低いのでは」という仮説の元で、明るい赤と寒色の青いボタンを比較します。他にも位置/文言でABテストを行うこともあります。細かく要素を比較して成果の高いものを残していきます。これを繰り返すことによって、CVRの高いwebサイトに近づけていくことが可能です。
3-3. メール
メールの場合は、件名/メール文面/LPなどによってパフォーマンスが変化します。他にも、配信時間や配信曜日、配信元など細かい要素も存在します。
例えば、件名であれば、「“●●様に限定のご案内”というように送付先の名前を入れたほうが、CV率が高くなるのではないか」という仮説の元で、入れたパターンと入れないパターンで比較するなどあります。また、【】を使って強調箇所を明確にするパターンとしないパターンでテストをするのもABテストではよく行われています。
他にも、業種によってはユーザーがメールを開封しやすい時間帯に違いもあるので、「ビジネスマンが一番メールを確認するタイミングは出勤直後であると思われるため、朝の方にメールする方が開封率が上がるのでは」という仮説の元で、通勤時間を狙って朝にメールを配信するのか、ビジネスタイムを狙って業務時間中にメールを配信するのかを比較するような検証方法もが考えられます。
このように、複数パターンでABテストを実施して、パフォーマンスの良いものを残していくことで、購入や問い合わせに繋がる可能性を高めることが可能です。
メール配信におけるABテストの方法についてより詳しく知りたい方は、下記資料にて説明をしておりますので是非合わせてご一読ください。
4. ABテストを成果に繋げるうえで必要なもの
ABテストを成果に繋げるためには、必要なものや準備しておくべきものがあります。
まずは大前提として、ABテストを実施する上での「目的」「評価基準」「予算/期間」などを明確にしておくことが大切です。ABテストを実施する目的が定まっていないと、ゴールがわからず成果を得られません。広告経由流入のLPのCVRを改善する、メールの開封率を改善する、サイトの離脱率を下げるなど、何らかの目的（改善するKPI）を設定しておきましょう。
目的以外に、評価基準も明確にしておくべきです。たとえば、メールの開封率の向上を目的としてABテストを行う場合、どのレベルまでの改善を目指すのかを決めておきます。その際、「現状15%の開封率を18%まで改善する」というように、わかりやすく数値で設定しましょう。
最後に、ABテストを実施するための予算と期間の上限を決めておきます。予算の上限になっても成果の判断ができない場合は、一度ABテストを中止しましょう。市場や競合は短期間で変化していくため、大きな変化や成果のないまま、ダラダラと予算をかけてABテストを実施することは望ましくありません。時間をかけすぎると、ABテストの内容以外の要因によって結果が変わってしまう可能性があります。きちんと上限を決めて運用するよう心がけましょう。
ABテストを実施するうえでは、どのような観点でABテストを実施するか、という仮説を立てるスキルは必要ですが、実際にテストを実施するために必要な専門的なスキルはありません。広告であれば管理画面の設定や、サイトであればサイト管理者に依頼すれば対応することが可能です。
しかし、より高度なABテストを実施しようとしたり、作業を効率化したい場合は専用のツールが必要になるケースもあります。例えば、「件名のみを変えた2つのメルマガを10万人の自社の顧客に対して半分ずつ配信してABテストをしたい」という場合は、メール配信ツールを活用したほうが効率的です。他にも、「デザインを変更した2パターンのTOPページへ、同一期間で半分ずつ表示させたい」という場合は、LPOと呼ばれる機能を持つツールが必要になります。このように、先述した目的をベースに、どのような作業や機能が必要になるか事前に把握しておくことも重要です。
弊社が提供している マーケティングツール『b→dash』 は、ABテストを成果につなげるために必要となる、MAやBI、セグメント機能など、様々な機能を網羅して搭載しているツールとなっています。
5. ABテストの失敗パターンと回避方法
ABテストは実施したものの、「成果に差が見られなかった」「差は出たが、何が要因かわからなかった」という声も多くみられます。ABテストでは、知らないうちに「よくある失敗パターン」に陥るケースが多いと言われています。この失敗パターンを避けるためにはどうすれば良いのか、注意点を確認しておきましょう。
5-1. 失敗パターン①：実施期間が短い
よくある失敗パターンに「実施期間が短すぎる」ことが挙げられます。例えば、アクセスの少ないwebサイトでは、ABテストで結果を出すまでにある程度の時間がかかります。この場合にABテストの期間が1週間など短いと、そもそものサンプル数が少ないため、適切な判断はできません。かといって、実施期間が長すぎることも、ABテスト以外の要因が影響を与えてしまう可能性があるため、データの信頼性が低下する原因になり得ます。ABテストを実施する際には、短すぎず長すぎない適切な期間を設定することが重要です。
5-2. 失敗パターン②：仮説を立てていない
次に、「仮説を立てずにABテストを実施する」ことが挙げられます。成果につなげるためには、仮説を立てることが欠かせません。思いつきや雰囲気でABパターンを作成しても、何が成果を分けたのかが分からないため、意味がありません。
5-3. 同時に複数のabテストを実施してしまう
ほかにも「同時に複数のABテストを実施してしまう」という失敗例も多くみられます。画像・レイアウト・文章など、同時に複数箇所を変更してABテストを実施すると、何が結果に影響を及ぼしたのかを判断できなくなります。早く結果がほしいと焦ることは禁物です。画像のみ、レイアウトのみなど、一つずつ変更してじっくりとABテストに臨みましょう。
6. ABテストの進め方とアウトプット例
ABテストをスムーズに実施するためには、基本的な進め方を知っておくことが大切です。ここでは、ABテストの進め方とアウトプット例を見ていきましょう。
6-1. ABテストの進め方
基本的な進め方は、まず「目的の整理」からスタートします。何を改善するためにテストを実施するのか、目的を明らかにしましょう。次に「仮説を立てる」ステップに移ります。目的を達成するための改善方法を考えましょう。
次に「影響範囲の予測」を行います。テストは仮説通りにいくとは限りません。影響がなかったり、かえって悪い成果となったりする可能性もあります。悪い成果が出ても焦らないよう、あらかじめ影響範囲を予測しておきましょう。
最後に「要因分析および、改善点の洗い出し」を行います。ABテストの結果が出たら検証し、今後の打ち手を考えていきます。仮説の正しかった部分と間違っていた部分を考察し、次のテストに生かしましょう。このような流れでABテストを繰り返し、改善を積み重ねることで成果につなげられます。
このように、複数パターンでABテストを実施して、パフォーマンスの良いものを残していくことで、購入や問い合わせに繋がる可能性を高めることが可能です。
上記で述べたABテストを実施していく上で行う必要がある「改善点の洗い出し」には、施策の成果を分析するためのツールが必要となります。そんな分析ツールに関しては下記資料にて詳しく解説をしておりますので、是非こちらも合わせてご一読ください。
6-2. アウトプット例
具体的なアウトプット例としては「移動」「削除」「変更」「追加」などがあります。
●移動
コンテンツの位置を調整することです。注目度が高いコンテンツを目立つ部分に移動させたり、反対に注目度の低いコンテンツを目立たない部分に移動させたりします。
●削除
注目されていないコンテンツを丸ごと消したり、情報量を減らしたりすることを指します。実際の運用で不必要な要素を見極めて削除することで、パフォーマンスが向上する可能性があるでしょう。
●変更
コンテンツ内容の修正を指すものです。主に、キャッチコピーをユーザーのニーズに近付けたり、適切な写真やイラストなどを追加したりするものです。必要な情報をユーザーに素早く伝達するため、わかりやすい表現や内容を意識しましょう。
●追加
新規コンテンツの付け足しを指します。たとえば、改善箇所をなかなか特定できない場合に、新規コンテンツの追加テストを実施することがあります。不足していたコンテンツを追加することで、よりwebページの充実度が高まっていくでしょう。
7. まとめ
ABテストは、オンライン上でのマーケティングで多く使われる手法です。2つの異なる要素を用意して比較し、成果が高いものを採用することで成果につなげられます。また、繰り返しABテストを実施することで、自社に知見がたまることもメリットといえます。ABテストは専用ツールを活用すれば、誰でも実践することが可能です。マーケティングの成果を高めるためにも、ABテストに挑戦してみてはいかがでしょうか。
[関連記事]
・web接客/オンライン接客とは？
・メルマガの効果的なデザイン！
・直帰率を改善する3つの方法とは？
弊社が提供している マーケティングツール『b→dash』 は、マーケティングプロセス上に 存在する全てのビジネスデータを、ノーコードで、一元的に取得・統合・活用・分析することが可能なSaaS型データマーケティングプラットフォームであり、BtoC業界を中心に、様々な業種・業態のお客様にご導入頂いております。
●目次
1. ABテストとは何か？
2. ABテストのメリット・デメリット
3. ABテストを実施するシチュエーションと具体的に実施すること
4. ABテストを成果につなげるうえで必要なもの・スキル・ツール
5. ABテストの失敗パターンと回避方法
6. ABテストの進め方とアウトプット例
7. まとめ