エントロピー

統計学におけるエントロピー"H"は、確率変数Xにおけるそれぞれの標本値の生起確率をpiとして以下の式で表される。

H(X)=-\sum_{i=1}^{n}p_i\log p_i

エントロピーはデータXの分布が一様である (=様々な値をとるとき) ほど大きな値をとり、特定の標本への集中性が高いとき小さな値をとる。エントロピーが最大になる条件は以下のときである。

p_1=p_2=\cdots=p_n=\frac{1}{n}

このエントロピーは情報学においては平均情報量やシャノン情報量等と呼ばれているものである。一方で物理学 (統計力学) においても最もよく用いられる量にエントロピーがある。物理学におけるエントロピーは原子や分子の"乱雑さの尺度"を表す量である。統計学におけるエントロピー・情報量も確率変数Xが数多くの値をとればとるほど (=分布が一様であればあるほど) 大きくなる傾向があり、したがって確率変数Xの取る値の"乱雑さ"を表す尺度であると解釈することができる。つまり、統計学のエントロピーも統計力学のエントロピーも概念的にも同様の量であるとみなせる。大きく違う点としては、統計学のエントロピーの量記号は"H"であるのに対し、統計力学のエントロピーの量記号は"S"である点が挙げられる。統計力学における"H"は"エンタルピー"を意味するので非常に紛らわしい。

このエントリーをはてなブックマークに追加

Site search

ページのトップへ戻る