確率・統計　ベルヌーイ分布

ベルヌーイ分布とは？

• 0 または 1 の二値しか取らない確率変数を扱う分布
• コイン投げ（表=1, 裏=0）や成功/失敗などの事象をモデル化できる

---

確率質量関数（pmf）とは？

• 確率質量関数（Probability Mass Function, pmf） とは、
  離散型確率変数 が取りうる各値に対応する確率を与える関数のことです。
• 離散的な値（0,1,2,…など）ごとに「どれくらいの確率で出るか」を数式で表します。

---

数式での表現

確率変数 X が取りうる値を x としたとき、

$$
pmf (P(X=x))
$$

は次の条件を満たします。

1. 各値の確率は0以上
   $$
   P(X=x) \geq 0
   $$
2. すべての確率の和は1
   $$
   \sum_x P(X=x) = 1
   $$

---

具体例：ベルヌーイ分布

コイン投げ（表=1, 裏=0）の場合、成功確率を (p) とすると pmf は

$$
P(X=x) = p^x (1-p)^{1-x}, \quad x \in {0,1}
$$

• $$
  (P(X=1)=p)
  $$
• $$
  (P(X=0)=1-p)
  $$

---

期待値と分散

pmf から導かれる基本的な性質は「平均」と「ばらつき」です。
ベルヌーイ分布の重要な性質は次の通りです。

$$
\mathbb{E}[X] = p
$$

$$
\mathrm{Var}[X] = p(1-p)
$$

👉 「成功確率そのもの」が平均値となり、分散は「成功と失敗のばらつき」に対応します。

---

尤度（Likelihood）

• 1回の確率（pmf）を「n回繰り返した結果」に拡張したもの。
• 実際にデータ
  $$
  ( {x_1, x_2, \dots, x_n} )
  $$
  が得られたとき、
  そのデータが「確率 (p) のベルヌーイ分布から生まれた」と考える確率。

$$
L(p) = \prod_{i=1}^n p^{x_i}(1-p)^{1-x_i}
$$

---

対数尤度

尤度は掛け算が多く数値的に扱いにくいので、対数をとって足し算に変換します。

$$
\ell(p) = \sum_{i=1}^n \left[ x_i \log p + (1-x_i)\log(1-p) \right]
$$

---

最尤推定量（MLE）

対数尤度を (p) で最大化すると、最適な (p) の推定値（最尤推定量）が得られます。

$$
\hat{p} = \frac{1}{n}\sum_{i=1}^n x_i
$$

👉 つまり 「成功率の推定はデータの平均」 になります。

---

関係性の整理

• ベルヌーイ分布：0/1 の二値しか取らない分布
• pmf：単発の試行の確率を表す関数
• 期待値・分散：pmf から導かれる性質
• 尤度：n回分のデータをまとめた確率
• 対数尤度：尤度を対数にとり計算を簡単にしたもの
• MLE：対数尤度を最大化して得られる「最もデータを説明する p」

---

まとめ

• ベルヌーイ分布は 統計学の出発点となる最も基本的な分布
• pmf → 期待値・分散 → 尤度 → MLE という流れで理解すると全体像がつかめる
• 実際の推定では「標本平均が MLE」になることが重要ポイント

Pythonコード