有意水準は、統計的仮説検定において、帰無仮説を棄却するかどうかを判断する基準となる確率のことです。一般的に、5%(0.05)や1%(0.01)が用いられます。例えば、有意水準5%で検定を行う場合、帰無仮説が真であるにもかかわらず、それを誤って棄却してしまう確率(第一種の過誤)を5%以下に抑えることを意味します。有意水準は、研究の目的や分野の慣習に応じて設定されます。
有意水準のポイント
有意水準に関する重要なポイントは、その設定と解釈です。有意水準を低く設定すると(例:1%)、より厳格な基準で判断することになり、偽陽性のリスクは減少しますが、同時に真の効果を見逃す可能性(第二種の過誤)も高くなります。逆に、有意水準を高く設定すると(例:10%)、より寛容な判断基準となりますが、偽陽性のリスクが高まります。また、有意水準は恣意的に設定される面があるため、研究結果の解釈には注意が必要です。近年では、固定的な有意水準に頼るのではなく、p値の実際の値や効果量、信頼区間なども併せて報告し、総合的に判断することが推奨されています。