【IT】ABテストの結果評価を検定(カイ二乗検定)でやってみる→おまけ編

前回行った検証でABテストのパターン1と2では有意差がないという
ことがわかりましたが、少し続きの話です。

実際値 コンバージョンあり コンバージョンなし
ABテストパターン1 10 200
ABテストパターン2 5 50

この状態だと、P=0.22で「有意差なし」
でしたが

例)1 コンバージョンが2件増えた

実際値 コンバージョンあり コンバージョンなし
ABテストパターン1 10 200
ABテストパターン2 7 50

テストパターン2のコンバージョンが2つ増えた状態になっただけで
評価が変わります。この場合、P=0.04になり「有意差あり」です

→たった2件、トランザクションが増えただけで評価が変わるんです

例)2 コンバージョンあり、なしが同じペースで件数が3倍になった
(CVRは変化なし)

実際値 コンバージョンあり コンバージョンなし
ABテストパターン1 30 600
ABテストパターン2 15 150

この場合、計算するとP=0.03となるため「有意差あり」に変わります
※CVRは変わらないのに、全体件数が増えると評価が変わった点に注目です!

コメントを残す

メールアドレスが公開されることはありません。