ABテストは無駄？データが少ないサイトのABテストはやめましょう

タケさん

ABテスト楽しいんですけどね

こんにちは。Webディレクターのタケです。

今回は「データが少ないサイトのABテストはやめましょう」というテーマで解説していきます。

念のためABテストってなにそれ？
という方のためにちょっと解説いたします。

＼ABテストとは／

元のページに対して変更を加えたテストパターンを用意し、どちらがより高い効果を発揮するかを検証する手法です。
Aに対してBはページ上部のデザインを変更しました。変更した結果ユーザーがサイトから離れてしまうのを防げるのかを検証している。という感じです。

比較できるように一部分だけ変えるのがポイント♪

では何故データが少ないサイトで行うABテストが無駄なのかを解説していきます。

それではどうぞ

ABテストは無駄？ABテストを行う以前の問題

サイトへのアクセスが少ない前提でこちらの画像を例に解説していきます

お申し込みボタンのカラーを特定の期間だけ変更し掲載した結果

Bのボタンのクリック率がAに比べて1.25倍という結果になりました。

一見するとABテストの検証としては成功だと考える方もいると思いますが、実はこの検証結果には疑問が残ります。

ちょっと分かりづらいので図で解説いたします。

データの少ないサイト（訪問者100人）で検証した結果、クリック率は1.25倍にもなりましたが、実際に増えたのは約1人。

それに比べてデータの多いサイト（訪問者10000人）で検証した結果、同じクリック率の変化で50人も押してくれた人が増えました。

サイト内部の効率化を図るABテストを行う前にどうやったら外部からのアクセスを増やせるのかに注力しましょう。

サイトのデータ（アクセス）が少ないなら

AもBも見てもらえるようにまずはアクセスを増やそう！

ABテストは後回し！

ABテストは無駄？ABテストによるものなのか検証

ある日、先ほどのやつと全く同じ状況でABテストをしてみた結果

このように急激に数値がアップしました。

これだけ上がるんだったらデータが少ないサイトでもABテストを実施する価値がありそうですね。

簡単に解説するためここからは私が相撲のブログを書いていると仮定して話を進めさせていただきます。

そのバナーのABテストを実施し、クリック率に大幅な上昇が見られたため新しいバナーを掲載し使うようにしました。

私はデザインを一新したおかげでクリック率が上昇したのだと思っておりましたが、徐々にそのクリック率は低迷してしまい、結局デザインを変更する前のクリック率と変わらない数値に落ち着いてしまいました。

なぜ、そのような結果になってしまったか。読んでいただいている人の中には気づいた人がいるかもしれませんね。

それは

ちょっと分かりやすくするためにこんな図を用意しました。

日馬富士が暴行事件を起こした結果、今まではバナーをスルーしていた人たちが日馬富士に対して興味関心が湧き、その結果クリック率が上昇した。という流れになります。

なので結果的にABテストを行わなかったとしてもクリック率は上昇しただろうという考えに至ります。

Google Trendsを活用することでこういった外的要因を調べることができるのでチェックしてみましょう。

また、ABテストを行う際は実施する期間も考慮する必要があります。

例えば豊胸手術のお申し込みボタンのデザインに対してABテストを実施したとします。

結論からいってしまうとAのほうがクリック率が高いです。

何故なら薄着になったり水着を着ることが多くなるのでもともと夏本番前に豊胸手術を受ける人が多い傾向にあるからです。

＼　つ　ま　り　／

トレンドや季節の影響によって何もしなくてもクリック率は変わります。とりあえずABテストを行う。という考え方は捨てましょう。

効果検証は正確に♪

ABテストは無駄？ABテストを実施する価値がある例

例えばCVRが2%の商品があったとします。
※CVRとはアクセス数に対してどれだけの数が購入されたかという割合です。

この2%からわずか0.1%でもアップさせるためのABテストを実施する価値があるケースを紹介します。

それは

例えばこの商品が1台500万円の車だったとします。1日のCVRを2.0%⇒2.1%へ改善した場合、30日後どのように変化するでしょう。

こちらをご覧ください。

わずか0.1%の上昇で1,500万円も売り上げが増えましたね。

このように訪問者を増やす努力を行わなくても1件1件の単価が高い場合はABテストを行う価値があります。

単価が高い場合はやる価値あり

運用状況に合わせたABテストを実施しよう♪

0.1%でも馬鹿にならないね！

最後に：運用状況に合わせた施策を実施しよう

これからABテストを実施する機会があると思いますが、一旦立ち止まって今回解説したことを思い出してほしいです。

運用状況を見極めて正しい施策を行いましょう！

Webディレクターに必要なスキル、仕事内容を紹介します

未経験からWebディレクターになり、現役バリバリで働いているタケがWebディレクターの仕事内容や、求められるスキルを発信するページです。これからWebディレクターを目指す人、今働いている方に向けて優良な情報が発信できるように更新していきます。

takelog.org

Web業界での日々

現役のWebディレクターが語るWeb業界で働いて感じた楽しいことやつらいことを発信したいと思います。他にもリアルな給料や将来性に関しても情報発信しておりますのでご興味のある方は是非ご覧ください。

takelog.org

ブログ・集客に関して

ブログ運営に関して情報を発信しております。Google AdSenseに2記事で合格した内容や、SNSを用いた集客方法。ブログのアクセス状況をまとめたものを発信したいと思います。他カテゴリではWebディレクターやWeb業界に関しての情報を発信しておりますのでご興味のある方は是非ごらんください。

takelog.org

タケさん

今後はマーケティングの記事も書いていきます！ではまたお会いしましょう！