正規分布

正規分布 (normal distribution) はガウス分布 (Gaussian distribution) とも呼ばれる連続確率分布のひとつである。名前に冠されているガウスとは、19世紀のドイツの数学者 Carolus Fridericus Gauss に由来する。一般誤差分布の特殊形ではあるものの広義では正規分布そのものを指して誤差分布 (error distribution) と呼ぶ場合がある。 統計学においては理論上・実用上を問わず最も重要な確率分布といえる。応用の範囲は限りなく広く、自然科学から人文科学に至るまでの多くの現象のモデル化に用いられる。例えば、スチューデントのt検定等に代表されるパラメトリックな統計検定では多くの場合、標本変数が正規分布に従うことが仮定されている。また、身近なところではヒトの性別毎の身長の分布は正規分布に従うことが知られている。ただし、体重は正規分布ではなくガンマ分布に従う。パラメーターは期待値 μ と分散 σ2 であり、正規分布は N(μ, σ2) にて略記される。確率変数をXとしたとき、確率密度関数は以下で与えられる。

f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}

確率変数Xの範囲は以下で与えられる範囲である。

-\infty<x<\infty

モーメント母関数は確率変数Xの全範囲で定義され、以下で与えられる。キュムラント母関数 KX(t) は以下より、KX(t)= ln MX(t)= μt+σ2t2/2 と簡単に求まる。

M_X(t)=e^{\mu t+\frac{1}{2}\sigma^2t^2}

期待値は以下で与えられる値である。期待値は確率分布の位置を決定するパラメーターである。正規分布においてはその他の代表値、すなわち中央値と最頻値も期待値と等しい。

E(X)=\mu

分散は以下の式で与えられる。正規分布の散らばりの程度をあらわす。

V(X)=\sigma^2

その他の特徴量

累積分布関数は以下で与えられる。

F(x)=\frac{1}{2}\left[1+\mathrm{erf}\left(\frac{x-\mu}{\sqrt{2\sigma^2}}\right)\right]

上式における関数 erf(x) はガウスの誤差関数 (error function) であり以下で定義される。

\mathrm{erf}(x)=\frac{2}{\sqrt{\pi}}\int_{0}^{x}e^{-t^2}dt

特性関数は以下である。

\phi_X(t)=e^{i\mu t-\frac{1}{2}\sigma^2t^2}

正規分布においては平均値、中央値および最頻値の値は等しく μ となる。

\mathrm{mean}=\mathrm{median}=\mathrm{mode}=\mu

平均偏差 d(X) は以下で与えられる。

d(X)=\sqrt{\frac{2\sigma^2}{\pi}}

歪度 β11/2 および尖度 β2 は以下のようになる。定義によっては尖度は 3 とされる場合もある。

\beta_1^{\frac{1}{2}}=0
\beta_2=0

モーメント母関数の導出

モーメント母関数は定義式に従って以下のように求める。計算は非常にシンプルである。

M_X(t)&=&E(e^{tx})\\&=&\int_{-\infty}^{\infty}e^{tx}f(x)dx\\&=&\int_{-\infty}^{\infty}e^{tx}\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}dx\\&=&\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}\frac{1}{\sigma}e^{tx-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}dx

ここで、以下のような変数変換を考える。

y=\frac{x-\mu}{\sigma}-\sigma t

これは同時に以下のふたつの関係も意味する。

x=\sigma y+\sigma^2t+\mu
dx=\sigma dy

したがって、これらの関係式にて変数変換すると上式は以下のように変形できる。

(上式)&=&\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}\frac{1}{\sigma}e^{t(\sigma y+\sigma^2t+\mu)-\frac{(y+\sigma t)^2}{2}}\sigma dy\\&=&\frac{1}{\sqrt{2\pi}}e^{\mu t+\frac{1}{2}\sigma^2t^2}\int_{-\infty}^{\infty}e^{-\frac{y^2}{2}}dy

ここで、上式の積分形はガウス積分を意味している。ガウス積分は以下の公式で与えられる特殊な積分である。

\int_{-\infty}^{\infty}e^{-ax^2}dx=\sqrt{\frac{\pi}{a}}

よって、以上のガウス積分を用いることで上式はさらに変形され、以下のようにモーメント母関数が求まる。

M_X(t)&=&\frac{1}{\sqrt{2\pi}}e^{\mu t+\frac{1}{2}\sigma^2t^2}\sqrt{2\pi}\\&=&e^{\mu t+\frac{1}{2}\sigma^2t^2}

モーメント母関数を利用した期待値および分散の導出

期待値および分散はモーメントを利用して求めるのが簡単である。まず、モーメント母関数の1階微分および2階微分は以下のように計算される。

M_X'(t)=(\mu+\sigma^2t)e^{\mu t+\frac{1}{2}\sigma^2t^2}
M_X''(t)=[\sigma^2+(\mu+\sigma^2t)^2]e^{\mu t+\frac{1}{2}\sigma^2t^2}

以上より、原点まわりの1次のモーメントおよび2次のモーメントは以下のようになる。

M_X'(0)=\mu
M_X''(0)=\sigma^2+\mu^2

よって、原点まわりの1次のモーメントを用いて期待値は以下のように求められる。

E(X)=M_X'(0)=\mu

また、分散は原点まわりの1次のモーメントと2次のモーメントの間に成り立つ関係式を用いて以下のように計算される。

V(X)&=&E(X^2)-[E(X)]^2\\&=&M_X''(0)-[M_X'(0)]^2\\&=&\sigma^2+\mu^2-\mu^2\\&=&\sigma^2

定義式からの期待値および分散の導出

期待値および分散はモーメント母関数ではなく定義式を用いて求めると若干計算量が増す。まず、期待値は定義式から以下のように求められる。

E(X)&=&\int_{-\infty}^{\infty}xf(x)dx\\&=&\int_{-\infty}^{\infty}x\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}dx\\&=&\frac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^{\infty}xe^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}dx

ここで、以下の変数変換を考える。

y=\frac{x-\mu}{\sigma}

これは同時に以下の関係も意味する。

x=\sigma y+\mu
dx=\sigma dy

以上の関係を用いて上式を変形することで以下のように期待値が求まる。以下の2行目の2番目の積分は上と同様にガウス積分の公式を利用して変換する。

E(X)&=&\frac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^{\infty}(\sigma y+\mu)e^{-\frac{y^2}{2}}\sigma dy\\&=&\frac{\sigma}{\sqrt{2\pi}}\int_{-\infty}^{\infty}ye^{-\frac{y^2}{2}}dy+\frac{\mu}{\sqrt{2\pi}}\int_{-\infty}^{\infty}e^{-\frac{y^2}{2}}dy\\&=&\frac{\sigma}{\sqrt{2\pi}}\left[-e^{-\frac{y^2}{2}}\right]^\infty_{-\infty}+\frac{\mu}{\sqrt{2\pi}}\sqrt{2\pi}\\&=&0+\mu\\&=&\mu

分散は以下のように求める。

V(X)&=&\int_{-\infty}^{\infty}(x-\mu)^2f(x)dx\\&=&\int_{-\infty}^{\infty}(x-\mu)^2\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}dx\\&=&\frac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^{\infty}(x-\mu)^2\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}dx

ここで、以下の変数変換を考える。

y=x-\mu

これは同時に以下の関係も意味する。

dx=dy

これらの関係式を用いて上式を変形させることで分散は以下のように求まる。

V(X)&=&\frac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^{\infty}y^2e^{-\frac{y^2}{2\sigma^2}}dy\\&=&\frac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^{\infty}y\left(-\sigma^2e^{-\frac{y^2}{2\sigma^2}}\right)'dy\\&=&\frac{\sigma}{\sqrt{2\pi}}\left[-ye^{-\frac{y^2}{2\sigma^2}}\right]+\frac{\sigma}{\sqrt{2\pi}}\int_{-\infty}^{\infty}e^{-\frac{y^2}{2\sigma^2}}dy\\&=&0+\frac{\sigma}{\sqrt{2\pi}}\sqrt{2\pi\sigma^2}\\&=&\sigma^2

上式の2番目の等号から3番目の等号への変換には部分積分の公式を利用する。その後の3番目の等号の2番目の積分形はガウス積分の公式を利用して変換する。また、3番目の等式の括弧内は 0 となるが、これはロピタルの定理を用いることで証明できる。ロピタルの定理とは以下のようなものである。まず、以下のような関数 f(x) および g(x) を考える。右辺は 0 であっても良い。

\lim_{x\to c}f(x)=\lim_{x\to c}g(x)=\pm\infty

このとき、以下のような関係が成り立つ。これをロピタルの定理という。以上の計算では c が正または負の無限大である場合を考えることになる。

\lim_{x\to c}\frac{f(x)}{g(x)}=\lim_{x\to c}\frac{f'(x)}{g'(x)}=\pm\infty

この定理を用いることで以下のように上式の括弧内が 0 に収束することがわかる。

\lim_{y\to\pm\infty}&=&\lim_{y\to\pm\infty}ye^{-\frac{y^2}{2\sigma^2}}\\&=&\lim_{y\to\pm\infty}\frac{y}{e^{\frac{y^2}{2\sigma^2}}}\\&=&\lim_{y\to\pm\infty}\frac{\frac{d}{dy}y}{\frac{d}{dy}e^{\frac{y^2}{2\sigma^2}}}\\&=&\lim_{y\to\pm\infty}\frac{\sigma^2}{ye^{\frac{y^2}{2\sigma^2}}}\\&=&0

正規変数の線形変換

確率変数Xが正規分布 N(μ, σ2) に従うとき、以下のような線形変換によって生じる新たな確率変数Yを考える。

Y=aX+b

この確率変数Yが従う分布は、以下のようにモーメント母関数を求めることで明らかになる。

M_Y(t)&=&E(e^{ty})\\&=&E(e^{t(ax+b)})\\&=&e^{bt}E(e^{atx})\\&=&e^{bt}M_X(at)\\&=&e^{\left[(a\mu+b)t+\frac{1}{2}(a^2\sigma^2)t^2\right]}

計算の結果算出された以上の式が意味するところは、確率変数Yが従う分布は確率変数Xが従う分布と等しく正規分布であり、平均 aμ+b および分散 a2σ2 のパラメーターを持つ分布 N(aμ+b, a2σ2) である、ということになる。

標準正規分布

確率変数Xが正規分布 N(μ, σ2) に従うとき、以上の線形変換を考える。ここで、a および b は以下を満たすものとする。

a=\frac{1}{\sigma}
b=-\frac{\mu}{\sigma}

以上の a および b にて確率変数Xを以下のように線形変換したとき、変換後の確率変数Zのことを標準化変数という。また、元の確率変数Xから平均 μ を引き、その値をさらに標準偏差 σ で割ることを標準化するという。

Z=\frac{X-\mu}{\sigma}

正規変数の線形変換後の確率変数が従う確率分布は正規分布 N(aμ+b, a2σ2) であるので、上で用いた a および b を代入し計算することで、確率変数Zは以下の正規分布 N(0, 1) に従うことが分かる。

Z\sim N(0,1)

この正規分布 N(0, 1) を特別に標準正規分布 (standard normal distribution) という。どのような値であれ、正規分布に従う確率変数であれば、以上の標準化を行うことで得られる標準化変数は標準正規分布に従う。統計的推定に利用される非常に重要な定理である。

確率密度関数について

正規分布の確率密度関数 f(x) が真に確率密度関数であることは確率変数Xが取り得る全範囲における f(x) の積分の結果が 1 であることによって確かめられる。証明は以下のように行う。

\int_{-\infty}^{\infty}f(x)dx=\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}dx

ここで、以下の変数変換を考える。

y=\frac{x-\mu}{\sigma}

これによって上式は以下のように変形される。

(上式)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{\infty}e^{-\frac{y^2}{2}}dy

このとき、上式の積分形はガウス積分を示すものである。よって上式は以下のように変形され、f(x) は確かに確率密度関数であることが確認される。

\int_{-\infty}^{\infty}f(x)dx=\frac{1}{\sqrt{2\pi}}\sqrt{2\pi}=1

正規分布の形状

正規分布の形状は以下のようになる。以下は標準正規分布の分布なので、μ=0 かつ σ=1 の場合である。分布は左右対称で、その中心は平均 μ となる。また、分散 σ によって分布の散らばりが規定される。正規分布においては、平均から ±σ の範囲までに全面積の 68.27% が ±2σ の範囲までに 95.45% が、±3σ の範囲までには 99.73% が入る。すなわち、確率変数Xが正規分布 N(μ, σ2) に従うとき、μ±1σ 以下の範囲に X が含まれる確率は 68.27%、μ±2σ 以下の範囲では 95.45%、μ±3σ 以下では 99.73% となる。分野を問わず、このような範囲を2シグマとか3シグマとかと呼び、観測値が期待される値よりずれていることの判断基準とする場合が多い。

標準正規分布

学業偏差値は以下のように標準化変数に10を掛け、50を加えた値、すなわち標本変数を平均を50、標準偏差を10に規格化した値である。

(学業偏差値)=\frac{X-\mu}{\sigma}\times 10+50

すなわち、試験の点数の分布が正規分布に従うと仮定するなら、学業偏差値が50の学生は上から50%、60の場合は上から約16%、70の場合は上から約2.3%、80の場合は約0.14%に属していることになる。実際の得点分布は厳密には正規分布には従わないので以上は大体の目安となる。

正規分布の再生性

以下のような正規分布に従うふたつの確率変数XおよびYを考える。

X\sim N(\mu_X,\sigma_X^2)
Y\sim N(\mu_Y,\sigma_Y^2)

このとき、これらの確率変数の和 X+Y は以下の正規分布に従う。これを正規分布の再生性という。再生性は変数の数が増えても同様に成り立つ。

X+Y\sim N(\mu_X+\mu_Y,\sigma_X^2+\sigma_Y^2)

正規分布 N(-3, 1) および N(2, 3)、さらにそれらを重ね合わせた正規分布 N(-1, 4) の確率密度関数は以下のようになる。正規分布 N(-1, 4) の分布は N(-3, 1) および N(2, 3) をただ単に重ね合わせた分布 N(-3, 1) + N(2, 3) とは明らかに形状が異なることが分かる。

正規分布の重ね合わせ

正規分布が再生性を持つことは以下のように証明できる。まず、確率変数XおよびYのモーメント母関数はそれぞれ以下の通りである。

M_X(t)=e^{\mu_Xt+\frac{1}{2}\sigma_X^2t^2}
M_Y(t)=e^{\mu_Yt+\frac{1}{2}\sigma_Y^2t^2}

これらより、確率変数 X+Y のモーメント母関数は以下のように求められる。

M_{X+Y}(t)&=&M_X(t)+M_Y(t)\\&=&e^{\mu_Xt+\frac{1}{2}\sigma_X^2t^2}+e^{\mu_Yt+\frac{1}{2}\sigma_Y^2t^2}\\&=&e^{(\mu_X+\mu_Y)t+\frac{1}{2}(\sigma_X^2+\sigma_Y^2)t^2}

以上より、計算の結果得られた確率変数 X+Y のモーメント母関数より、X+Y は正規分布 N(μ12, σ1222) に従うことが分かる。上式の1番目の等号は確率変数の和のモーメント母関数に関する定理である。この定理は一般には以下のように与えられる。まず、互いに独立なN個の確率変数Xi (i=1, 2, ... ,N) を考える。また、それぞれの確率変数に対するモーメント母関数を MXi(t) とする。このとき、それらの確率変数の和とそれに対するモーメント母関数には以下の関係が成り立つ。

M_{X_1+X_2+\cdots+X_N}(t)=\prod_{i=1}^{N}M_{X_i}(t)

以上の定理は以下のように証明できる。

M_{X_1+X_2+\cdots+X_N}(t)&=&E(e^{t(X_1+X_2+\cdots+X_N})\\&=&E(e^{tX_1})E(e^{tX_2})\cdots E(e^{tX_N})\\&=&M_{X_1}(t)M_{X_2}(t)\cdots M_{X_N}(t)\\&=&\prod_{i=1}^{N}M_{X_i}(t)

正規分布に従う確率変数

それぞれが正規分布 N(μ1, σ12), N(μ2, σ22), ... , N(μN, σN2) に従うN個の確率変数Xi (i=1, 2, ... ,N) に任意の係数 ai (i=1, 2, ... ,N) を掛けた値の和を統計量Tとする。

T=a_1X_1+a_2X_2+\cdots+a_NX_N

このとき、以上の統計量Tは正規分布の再生性より以下の正規分布に従う。

T\sim N(a_1\mu_1+a_2\mu_2+\cdots+a_N\mu_N,a_1^2\sigma_1^2+a_2^2\sigma_2^2+\cdots+a_N^2\sigma_N^2)

以上の事柄が成り立つが、実際のデータの取り扱いに際し重要になるのは各変数が以下のときである。

\mu_1=\mu_2=\cdots=\mu_N=\mu
\sigma_1=\sigma_2=\cdots=\sigma_N=\sigma
a_1=a_2=\cdots=a_N=\frac{1}{N}

このときの統計量Tは、確率変数Xi (i=1, 2, ... ,N) が互いに独立に正規分布 N(μ, σ2) に従うとき、すなわち、正規母集団 N(μ, σ2) からN個の標本を取り出したとき、それらの平均Xとなる。

T=\frac{X_1+X_2+\cdots+X_N}{N}=\overline{X}

このときこの統計量Xが従う分布は上より、以下のようになる。

\overline{X}\sim N\left(\mu,\frac{\sigma^2}{N}\right)

これは非常に重要な概念である。何らかの正規母集団 N(μ, σ2) からの標本平均が従う分布が明らかになるということは、その正規母集団の母平均の推定が可能となる。また、それを応用すれば多標本間の平均値の差の検定等が可能となる。

正規分布と対数正規分布

以下のような確率変数 lnX を考える。

\ln{X}\sim N(\mu,\sigma^2)

このとき、以上の確率変数の真数Xが従う分布は以下の対数正規分布 LN(μ, σ2) となる。

X\sim LN(\mu,\sigma^2)

正規分布とカイ二乗分布

以下のような標準正規分布 N(1, 0) に従う確率変数Xを考える。

X\sim N(1,0)

このとき、以上の確率変数の2乗の変数が従う確率分布は自由度1のカイ二乗分布となる。

X^2\sim\chi^2(1)

正規性の検定

得られた統計量が正規性をもつこと、すなわち、得られたデータが正規分布に従うか否かは、コルモゴロフ・スミルノフ検定、ジャック・ベラ検定、アンダーソン・ダーリング検定、シャピロ・ウィルク検定等の適合度検定によって評価することが可能である。

Rにおける正規分布の関数

Rにおける正規分布にまつわる関数には以下のようなものがある。

CommandDescription
dnorm(x)xで指定した確率変数に対する確率密度を算出。
pnorm(q)qで指定した確率変数に対する確率を算出。
qnorm(p)pで与えられた確率に対する確率変数を算出。
rnorm(n)正規分布に従う乱数をn個発生。

コマンド 'dnorm' は 'dnorm(x=, mean=, sd=)' のように使用する。引数の 'mean' および 'sd' はそれぞれ計算させたい正規分布の平均値および標準偏差を意味しており、任意の値を入力する。デフォルトでは標準正規分布 N(0, 1)、すなわち 'mean=0' および 'sd=1' が設定されている。もし、正規分布 N(5, 16) を考えたい場合は 'mean=5' および 'sd=4' を入力する。引数 'x' には確率密度を知りたい確率変数を入力する。'x' に数値を入力するとその数値 (確率変数) のときの確率密度が表示される。また、'x' にはベクトルを指定できるが、その場合はベクトルに含まれる各数値のときの確率密度がそれぞれ表示される。以下のようにコマンドを打つ。

$dnorm(x=c(-1, 0, 1), mean=0, sd=1)

結果は以下のようになる。すなわち、このコマンドを実行すると、横軸に確率変数、縦軸に確率密度をとった場合の正規分布のグラフ (上図) において、横軸の1点または複数点を 'x' にした場合の縦軸の値が得られる。

0.2419707 0.3989423 0.2419707

コマンド 'pnorm' は 'dnorm(q=, mean=, sd=)' のように使用する。引数の 'mean' および 'sd' は 'dnorm' の場合と同様となる。このコマンドを実行すると、負の無限大から引数 'q' に入力した値に至るまでの積分値、すなわち確率が計算される。また、'q' にはベクトルを指定できるが、その場合はベクトルに含まれる各数値のときの確率がそれぞれ表示される。以下のようにコマンドを打つ。

$pnorm(q=c(-2.58, -1.96, 0, 1.96, 2.58), mean=0, sd=1)

結果は以下のようになる。分布の中央値を意味する 0 を与えたときは確率は 0.5 に -1.96 および -2.58 を指定した場合はそれぞれ 0.025 (2.5%) および 0.005 (0.5%) となる。

0.004940016 0.024997895 0.500000000 0.975002105 0.995059984

コマンド 'qnorm' は 'dnorm(p=, mean=, sd=)' のように使用する。引数の 'mean' および 'sd' は 'dnorm' および 'pnorm' の場合と同様となる。'p' には確率をあらわす値または確率をあらわす値を含んだベクトルを入力する。以下のようにコマンドを打つ。

$qnorm(p=c(0.95, 0.975, 0.995), mean=0, sd=1)

結果は以下のようになる。すなわち、'p' で指定した確率を導く確率変数の値が返ってくる。上のように入力すると以下のように約1.65、1.96、2.58 という正規分布におなじみの数値が返ってくる。

1.644854 1.959964 2.575829

コマンド 'dnorm' は 'dnorm(n=, mean=, sd=)' のように使用する。引数の 'mean' および 'sd' には、以上の 'dnorm' 等と同じく計算したい正規分布の平均値および標準偏差を入力する。このコマンドを実行すると、指定した正規分布に従う確率変数を乱数として 'n' で指定した数だけ得ることができる。上の3つのコマンドと異なり、'n' には数値を入力する。ベクトルを入力することもできるが、その場合はそのベクトルの長さに対応した数の乱数が発生される。以下のようにコマンドを打つ。

$rnorm(n=5, mean=0, sd=1)

結果は以下のようになる。実行環境によって得られる数値は異なる。

-1.2776243 -1.4087940 1.6826709 -0.3378861 0.7487340
このエントリーをはてなブックマークに追加

Site search

ページのトップへ戻る