p値と統計学が定めた基準の値（有意水準という）を比較し、p値＜有意水準であれば帰無仮説を棄却し、対立仮説を採択します。
たとえば、新薬Yは母集団において効果があると判断します。有意水準は通常0.05の定数を適用します。では、既存薬Xとの比較試験でp＜0.05となり効果があると判断された新薬Yと、同じく既存薬Xとの比較試験でp＜0.01となり効果があると判断された新薬Zでは、効果の違いは判断できるでしょうか？ 新薬Zのほうが既存薬Xと比べて新薬Yよりも効果があったといってもよいでしょうか？
今回は、p値と効果との違いについて解説します。
仮説検定は帰無仮説を棄却できるかで決まる
統計的仮説検定で最初にすることは、帰無仮説と対立仮説を立てることでした。新薬は従来の治療薬よりも効果が優れているというのが、自信を持って開発した薬剤が証明したい本当の仮説だったとします。しかし、検定ではあえて「既存薬と新薬の効果は等しい」という帰無仮説を立てて、それをデータで棄却しようとする方法をとります。
帰無仮説が棄却された場合は、対立仮説が正しいとするのですが、問題はその対立仮説の確率が評価されないことにあります。
統計的仮説検定は、帰無仮説を棄却することだけにあります。一方で、帰無仮説が棄却できなかった場合は、2つの薬剤（既存薬と新薬）の効果が等しいと積極的に証明できたわけではありません。帰無仮説が棄却できなかった場合は、「結論は保留」。つまり、「有意差はなかった」あるいは「効果があったかどうかはわからなかった」というのが、結果の正しい解釈です。このことを「仮説検定の非対称性」といいます。
つまり、「有意差が出なかった」＝「既存薬と新薬との効果に違いがなかった」と解釈することはできないのです。「有意差が出なかった」＝「偽陽性の確率が高い（αエラー）」＝「差があるということがわからなかった」ということなのです。
p値の小ささは効果を裏付ける指標となるか？
p値が、小さければ小さいほど差があるとはいえません。つまり、p値が小さいことを理由にして、大きな効果があったと結論付けることはできません。
p値の比較として、表の解熱効果を比較し、データでみてみましょう。
表 各薬剤の解熱効果の比較
新薬Yは、既存薬Xや新薬Zと比較し、体温低下の平均値は2.2と最も体温を下げています。
そして、新薬Zも既存薬Xに比べて、有意に体温を下げています。既存薬Xと新薬Yの検定から得られるp値は0.041、既存薬Xと新薬Zのp値は0.009でした（図）。
仮にp値の大きさが小さいからという理由で薬剤を選択したら、新薬Zのほうが効果が大きい（良い結果）ことになってしまいます。
つまりp値の大きさだけで薬剤を選ぶと、効果の低い薬剤を選んでしまうという間違った判断をしてしまいます。
p値は信頼度の強さの指標であって、効果の大きさの指標ではありません。単一のp値もしくは統計的有意性は、その結果である効果や重要性の大きさを測るものではないのです。
実際に新薬Yも被験者数をもっと多くの人数で実施していたとしたら、p値は0.041よりも、もっと小さな値になるかもしれません。
値が非常に小さければ、それだけで何かが証明されるわけではなく、p値は5％程度でもいいから、きちんと計画された追試がいくつか行われて、一貫して同じ結果が得られるほうが重要だというわけです。
p値は目安ですので統計的には，次のようにおおまかな範囲を*印の数で示すことがあります。
* 0.01≦p＜0.05
** 0.001≦p＜0.01
*** p＜0.001
また、p≧0.05 を有意でないという意味で n.s.（not significant）と書くこともあります。
このようにp値の情報にも限界がありますので、臨床試験論文を読むときには、p値だけではなく、主要エンドポイントの効果の差に臨床的意義があるかないかも併せて確認してください。
この記事について
企画・制作／ケアネット
※CareNet.comにて掲載のシリーズを承諾を得て転載
https://www.carenet.com/series/istat/cg002147_index.html
執筆／志賀 保夫 ( しが やすお ) 氏
株式会社アイスタット 代表取締役社長
ビジネス・ブレークスルー大学大学院 教授（統計士・統計データ分析士・データ解析士）
監修／菅 民郎 ( かん たみお ) 氏
株式会社アイスタット 代表取締役会長
ビジネス・ブレークスルー大学大学院 名誉教授（理学博士）