線形代数

1. 固有値分解（Eigenvalue Decomposition, EVD）

• 対象: 正方行列 ( A \in \mathbb{R}^{n \times n} )
• 分解の形:
  $$
  [
  A = P \Lambda P^{-1}
  ]
  （対称行列なら
  [
  A = Q \Lambda Q^\top
  ]
  $$
  と直交行列で分解できる）
• 意味: 行列を「固有ベクトル方向に伸縮するだけの作用」に変換できる。
• 特徴:
• 固有値 = その方向への伸縮率（スケーリングの強さ）
• 固有ベクトル = 行列が向きを変えない「特別な方向」

---

2. 特異値分解（Singular Value Decomposition, SVD）

• 対象: 任意の行列 ( A \in \mathbb{R}^{m \times n} )
• 分解の形:
  $$
  [
  A = U \Sigma V^\top
  ]
  $$
• (U, V): 直交行列（基底変換）
• (\Sigma): 対角成分が 特異値（非負の値）
• 意味: 「入力空間の直交基底」から「出力空間の直交基底」への座標変換と、その間の伸縮率（特異値）を分離できる。
• 固有値分解との関係:
• ( A^\top A ) の固有値の平方根 = 特異値
• 特異値分解は 固有値分解の拡張版（正方行列でなくてもOK）

---

3. ノルム（Norm）

• 対象: ベクトルや行列に対して「大きさ」を定義

ベクトルノルム

• ユークリッドノルム（( \ell_2 )）:
  [
  |x|_2 = \sqrt{\sum x_i^2}
  ]
• マンハッタンノルム（( \ell_1 )）
• 最大値ノルム（( \ell_\infty )）

行列ノルム

• スペクトルノルム（2-ノルム）: 最大特異値
• Frobeniusノルム: 要素の二乗和の平方根

固有値・特異値との関係

• 行列の 2-ノルム = 最大特異値
• 対称行列では「最大固有値の絶対値」 = 2-ノルム
• Frobeniusノルム = 特異値の二乗和の平方根

---

4. まとめ（関係性）

• 固有値分解
  正方行列を固有値（伸縮率）と固有ベクトル（方向）に分解
• 特異値分解
  固有値分解を拡張し、任意の行列を「直交変換＋伸縮率」に分解
• 特異値 = ( A^\top A ) の固有値の平方根
• ノルム
  大きさの尺度
• 行列ノルムは特異値と密接に関連（2-ノルム＝最大特異値）

---

💡 イメージ

• EVD → 正方行列の「内部の性質」
• SVD → どんな行列でも「入力→出力の変換作用」を直交変換＋伸縮率で説明
• Norm → その作用の「強さ」を1つの数で要約（特に最大特異値が基準になる）