バーガーパクパク亭という、新しいライバル店の出現です。
あなたは店員さんからこんなお願いをされました。
「とりあえずうちは、ポテトが看板商品だから、t検定をやって、3つのどのポテトが一番おいしいか調べてくれよ〜〜〜〜。」
「それはできません」
「えっ……(絶句)」
あなたにできないことはないと思っていた店員さんは絶句しました。
「あ、いや、自分ができない、ってことじゃなくて、t検定では、それはできない、ってことです。t検定は、2つの標本間の平均の差を調べるものなので、標本が3つ以上になると、t検定は使っちゃダメなんです。今回の場合だと、ワクワク、モグモグ、パクパクの3つですよね」
標本が3つ以上だとt検定は使えない?
「え、だって、ワクワクとモグモグ、モグモグとパクパク、ワクワクとパクパク、この3つの組み合わせについてt検定をやればいい話じゃないの?」
「あの、それがダメなんです。やっちゃいけないんです」
t検定の話に入る前に、コイン投げの話をします。
「コインを1回投げて、表が出る確率は?」
これは簡単ですね。1/2です。
「では、コインを2回投げて、少なくとも1回表が出る確率は?」
「少なくとも1回表が出る」というのは、「全部裏が出る」の反対の事象になります。
つまり「少なくとも1回表が出る」確率は、全部の事象(確率は1)から2回とも裏が出る確率をひいたものになります。
答えは、= 1−0.25 = 0.75 です。
つまり、2回コインを投げると、少なくとも1回表が出る確率は、0.75となり、1回しか投げなかったときの確率0.5よりも高くなりますね。
「では、サイコロを2回振って、少なくとも1回は3の目がでる確率は?」
これは、全部の事象(確率1)から2回とも3以外の目が出る確率をひいたものになります。
答えは、= 1−(0.83×0.83) = 1−0.69 = 0.31 です。
つまり、2回サイコロを振ると、少なくとも1回3の目が出る確率は、0.31となり、1回しか振らなかったときの確率(1/6=0.17)よりも高くなりますね。
このように、同じことを繰り返すと、特定のことが起こる確率が高くなるということがわかります。
そこで、t検定の話に入ります。
A, B, Cの3つの標本があるとき、AとB、BとC、AとCの、3つにおいてt検定を行った場合、「少なくとも1つの組み合わせに、差がでる確率」は、1から「3つの組み合わせすべてに差がでない確率」をひいたものになることが分かります。
「差がでない確率」は、全体の確率(1)から差がでる確率をひいたものになります。ここでは、差が出る確率を5%(0.05)としましょう。そうすると、差がでない確率は、1−0.05 となります。
そうすると「少なくとも1つの組み合わせに、差がでる確率」は次のようになります。
これを計算すると、
= 1 − (0.95×0.95×0.95)
= 1 − 0.857
= 0.143
となります。
「少なくとも1つの組み合わせに、差がでる確率」は、0.143になり、1回だけのときの確率(0.05)に比べて、差がでる確率が高くなります。つまり、0.05から比べると3倍弱、確率が高くなります。
つまり、比較する回数が増えれば増えるほど、実際は差がないのに、差があるとされる確率が増えてしまうことになります。
これが、t検定は3つ以上の標本間の差の検定には使えないという理由です。