雑談部屋はこちら 最新記事はこちら

ABテストは無駄?データが少ないサイトのABテストはやめましょう

マーケティング
まず初めに
アクセスの少ないサイトのABテストが無駄だということを解説します。またABテストを行うにあたって効果の検証は正確に行うべき。という点も解説します。
タケさん
タケさん

ABテスト楽しいんですけどね

こんにちは。Webディレクターのタケです。

今回は「データが少ないサイトのABテストはやめましょう」というテーマで解説していきます。

念のためABテストってなにそれ?
という方のためにちょっと解説いたします。
ABテストってなにそれ?

\ABテストとは/
元のページに対して変更を加えたテストパターンを用意し、どちらがより高い効果を発揮するかを検証する手法です。
Aに対してBはページ上部のデザインを変更しました。変更した結果ユーザーがサイトから離れてしまうのを防げるのかを検証している。という感じです。
比較できるように一部分だけ変えるのがポイント♪

では何故データが少ないサイトで行うABテストが無駄なのかを解説していきます。

それではどうぞ

ABテストは無駄?ABテストを行う以前の問題

ABテストを行う以前の問題

サイトへのアクセスが少ない前提でこちらの画像を例に解説していきます
ABテストってなにそれ?
お申し込みボタンのカラーを特定の期間だけ変更し掲載した結果

Aクリック率:平均2%
Bクリック率:平均2.5%

Bのボタンのクリック率がAに比べて1.25倍という結果になりました。

一見するとABテストの検証としては成功だと考える方もいると思いますが、実はこの検証結果には疑問が残ります。

実数で見たときに効果が出ているのか

ちょっと分かりづらいので図で解説いたします。
ABテストってなにそれ?

データの少ないサイト(訪問者100人)で検証した結果、クリック率は1.25倍にもなりましたが、実際に増えたのは約1人。

それに比べてデータの多いサイト(訪問者10000人)で検証した結果、同じクリック率の変化で50人も押してくれた人が増えました。

つまりABテストを実施し、いくら割合を高めようとしても基盤となるアクセスが少ないため結果的に効果が発揮できる検証・施策にはならないんです

サイト内部の効率化を図るABテストを行う前にどうやったら外部からのアクセスを増やせるのかに注力しましょう。

サイトのデータ(アクセス)が少ないなら
AもBも見てもらえるようにまずはアクセスを増やそう!
ABテストは後回し!

ABテストは無駄?ABテストによるものなのか検証

ABテストによるものなのか検証

ある日、先ほどのやつと全く同じ状況でABテストをしてみた結果
ABテストってなにそれ?

Aクリック率:平均2%
Bクリック率:平均20%

このように急激に数値がアップしました。

これだけ上がるんだったらデータが少ないサイトでもABテストを実施する価値がありそうですね。

ただその効果が本当にABテストによって変わったものなのかいったん冷静になって考えてみてほしいです

簡単に解説するためここからは私が相撲のブログを書いていると仮定して話を進めさせていただきます。

ある日、私は力士の日馬富士(はるまふじ)の紹介ページを書いていました。沢山の人に読んでもらいたいためTOPページに日馬富士の記事へ飛ぶバナーを設置しておりました

そのバナーのABテストを実施し、クリック率に大幅な上昇が見られたため新しいバナーを掲載し使うようにしました。

私はデザインを一新したおかげでクリック率が上昇したのだと思っておりましたが、徐々にそのクリック率は低迷してしまい、結局デザインを変更する前のクリック率と変わらない数値に落ち着いてしまいました。

なぜ、そのような結果になってしまったか。読んでいただいている人の中には気づいた人がいるかもしれませんね。

それは

暴行問題という世間を騒がせる外的要因によって一時的にユーザーの行動に変化が起き、その結果バナーのクリエイティブに関係なくクリック率が上昇した。そして世間の興味関心が薄れてきたため元々のクリック率に戻ってしまった

ちょっと分かりやすくするためにこんな図を用意しました。

ちょっと分かりやすくするためこんな図を用意しました。
日馬富士が暴行事件を起こした結果、今まではバナーをスルーしていた人たちが日馬富士に対して興味関心が湧き、その結果クリック率が上昇した。という流れになります。

なので結果的にABテストを行わなかったとしてもクリック率は上昇しただろうという考えに至ります。

Google Trendsを活用することでこういった外的要因を調べることができるのでチェックしてみましょう。

また、ABテストを行う際は実施する期間も考慮する必要があります。

例えば豊胸手術のお申し込みボタンのデザインに対してABテストを実施したとします。

Aのボタンの掲載期間:4月〜6月
Bのボタンの掲載期間:7月〜9月

結論からいってしまうとAのほうがクリック率が高いです。

何故なら薄着になったり水着を着ることが多くなるのでもともと夏本番前に豊胸手術を受ける人が多い傾向にあるからです。

\ つ ま り /
トレンドや季節の影響によって何もしなくてもクリック率は変わります。とりあえずABテストを行う。という考え方は捨てましょう。
効果検証は正確に♪

ABテストは無駄?ABテストを実施する価値がある例

ABテストを実施する価値がある例
例えばCVRが2%の商品があったとします。
※CVRとはアクセス数に対してどれだけの数が購入されたかという割合です。

この2%からわずか0.1%でもアップさせるためのABテストを実施する価値があるケースを紹介します。

それは

その商品の単価が高い場合です

例えばこの商品が1台500万円の車だったとします。1日のCVRを2.0%⇒2.1%へ改善した場合、30日後どのように変化するでしょう。

こちらをご覧ください。

2%
1日の訪問者:100人
1日売上:1,000万円
30日売上:3億円
2.1%
1日の訪問者:100人
1日売上:1,050万円
30日売上:3億1,500万円

わずか0.1%の上昇で1,500万円も売り上げが増えましたね。

このように訪問者を増やす努力を行わなくても1件1件の単価が高い場合はABテストを行う価値があります。

単価が高い場合はやる価値あり
運用状況に合わせたABテストを実施しよう♪
0.1%でも馬鹿にならないね!

最後に:運用状況に合わせた施策を実施しよう

最後に:運用状況に合わせた施策を実施しよう
これからABテストを実施する機会があると思いますが、一旦立ち止まって今回解説したことを思い出してほしいです。

おさらい

・サイトのデータ(訪問数など)が少ない場合はテスト前にアクセスを増やすことに注力
・検証後は結果に外的要因が絡んでいないか調査
・単価の高い商品を扱っている場合はABテストを実施する価値あり

運用状況を見極めて正しい施策を行いましょう!

Webディレクターに必要なスキル、仕事内容を紹介します
未経験からWebディレクターになり、現役バリバリで働いているタケがWebディレクターの仕事内容や、求められるスキルを発信するページです。これからWebディレクターを目指す人、今働いている方に向けて優良な情報が発信できるように更新していきます。
Web業界での日々
現役のWebディレクターが語るWeb業界で働いて感じた楽しいことやつらいことを発信したいと思います。他にもリアルな給料や将来性に関しても情報発信しておりますのでご興味のある方は是非ご覧ください。
ブログ・集客に関して
ブログ運営に関して情報を発信しております。Google AdSenseに2記事で合格した内容や、SNSを用いた集客方法。ブログのアクセス状況をまとめたものを発信したいと思います。他カテゴリではWebディレクターやWeb業界に関しての情報を発信しておりますのでご興味のある方は是非ごらんください。
タケさん
タケさん

今後はマーケティングの記事も書いていきます!ではまたお会いしましょう!

タイトルとURLをコピーしました