情報理論– category –

情報理論の基本概念まとめ 1. 情報量 (Information Content) ある事象 (x) が起こるときの「驚き」の大きさ。 確率 (p(x)) が小さいほど驚きが大きい。 定義：$$[I(x) = -\log p(x)]$$ 情報量はなぜ I(x) = -log p(x) で定義できるのか？ 情報量の直感 情...