統計的仮説検定「超」入門

ツイート

プロダクト開発第二部の岡野です。

今回は実証分析を伴う研究に欠かせない技法である統計的仮説検定（以後、仮説検定と表記）についてご紹介します。コンピュータサイエンスの分野ではあまり用いられませんが、医学分野におけるウィルス検知手法評価などではよく用いられる技法です。現状ではセキュリティの分野でも評価に仮説検定が用いられることは稀ですが、今後評価手法の変化に伴い普及する可能性を鑑みて調べてみました。

研究の過程で改善を行い、効果を観測した場合、それが偶然に良いように観測された結果であるのか、本当に改善の効果によってもたらされた成果であるのかという疑問が生まれます。仮説検定は、一定のフレームワークに沿って検証を行うことで、偶然によるものであるのか否かを判断できる技法として昔から幅広く使われています。

仮説検定の実施の流れは下記の通りとなります。重要な点は、仮説検定では主著したいこととは反対の帰無仮説を立て、検定で帰無仮説が低い確率でしか起こりえないことを示すという点です。帰無仮説が真でないことを示すことによって、その対になる本来主張したいこと(対立仮説)が真であるとする論法です。

ただし、現在では仮説検定は批判されています。（Johnson, Douglas H. 1999. The Insignificance of Statistical Significance Testing. Journal of Wildlife Management 63(3):763-772.）批判される原因は大きく分けると、仮説検定を正しく使わない誤用が多いことと仮説検定自体のデザインエラーに分けられます。

１．誤用の問題

複数の誤用が指摘されていますが、その中でエラーの取り扱いに関するものを取り上げます。仮説検定ではαエラー（帰無仮説が正しいのに対立仮説を採択してしまう誤り）とβエラー（帰無仮説が正しくないのに帰無仮説を採択してしまう誤り）が発生することが知られています。このうち、αエラーはよく注目されますが、βエラーは無視される傾向にあります。なお、仮説検定を提案したピアソンはβエラーにも着目し検定力分析を実施するよう提言しています。

２．デザインエラー

仮説検定では帰無仮説を棄却することで対立仮説を持ち上げる論法を取っていますが、この設計では積極的に対立仮説の真を主張することができません。というのも、帰無仮説と対立仮説はフェアな条件でなく、帰無仮説がひとつであるのに対し、対立仮説は無数に存在するという格の違いがあります。

よって、帰無仮説が棄却できたとしても対立仮説が真である可能性が上昇したとしか主張できません。

以上のような問題から仮説検定の有効性は検討されつつありますが、これまでに利用されてきた実績から今後も成果を示す有力なツールとして利用されていくものと思われます。検定を利用する側としては、仮説検定が正しく利用されているか、検定結果のみを妄信的に信頼していないかといった点に留意しつつ、仮説検定を利用する必要があります。

関連記事

緊急レポート：韓国サイバー攻撃マルウェア詳細解析結果

SpyEye解析レポート

.NET製マルウェアの検出手法に関して