科学者やめますか？p値やめますか？
声明：The ASA's Statement on p-Values: Context, Process, and Purpose
まとめ
「もうp値を盲目に信用するのやめて、ちゃんと実験されてるかチェックしようぜ」と科学者たちが声明を出して話題になってる
<引用>Rather than focusing our study reports on uncertain conclusions, we should thus focus on describing accurately how the study was conducted, what problems occurred, what data were obtained, what analysis methods were used and why, and what output those methods produced.*1
<意訳>（仮説検定をp値で判断するという）不確実な手法の結果なんて信用しないで、実験の形式・集まったデータの性質・分析手法・なぜその手法が使用されたのか・その手法を使って出た結果はどんなものであったのかに注目すべきである。
そもそもp値ってなに？
「第一種の過誤を犯す確率」という正確な定義もあるが、ざっくり言ってしまうと以下のようになる
<引用>Informally, a p-value is the probability under a specified statistical model that a statistical summary of the data (e.g., the sample mean difference between two compared groups) would be equal to or more extreme than its observed value.
<意訳>統計的な値(平均身長など)が２つのグループ(男と女)で同じである確率
なんでp値を使っちゃだめなの？
- 5%を基準に、5%以下は意味がある、5%以上は意味がないという0か100で決めてしまうのは乱暴すぎるから
p値に関する誤解
- p値が高いから、２つのグループには差がないと決めつけるのは誤り
- よくありがちなのが「p値、つまり男女の平均身長が同じである確率が10%」という結果が出たとき、「5%以上だから平均身長に差はないよね」ってするのは直感的にも間違っていることがわかると思う。
じゃあどうすればいいの？
- p値だけではなく、実験の手法、分析モデルなどをしっかり検証するべき
- ベイズ的に考える。例えば男女の身長差がこれくらいあるよっていうのを5%！っていうふうに一意に決めないで、このくらい差がある確率はXX%という結果を出してあげる
でも実際、、、
世の中の多くの人は統計モデルなんて興味ないし、学者もこんな感じで間違えるし、みんなに「統計モデルを理解しよう」っていっても不可能に近い。
さらに、実際のビジネスの場では不確実性の中で決断をしなければ行けないシーンがあるので、信憑性が低いから分析結果を100%無視しましょうというのはもったいない。
やんわりとしたメッセージとしては「科学、統計の結果は100%信用しちゃいけないよ」といったところだろうか
こんなサイトが有る。
無関係の２つのデータを並べると、ピッタリ動きがあっているというものだ。
例えば「ニコラス・ケイジの一年間の映画出演本数」と「一年間にプールで溺死した人数」など。
このくらい馬鹿げた２つの変数の相関だったら誰も２つに関係があるとは思わないが、科学者・インテリが必死に考えた嘘を見破るのは難しいだろう
