Skip to content
Merged
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
62 changes: 31 additions & 31 deletions _posts/2025-08-04-02.Information-Theory.md
Original file line number Diff line number Diff line change
Expand Up @@ -511,95 +511,95 @@ H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X)

> **조건부 상호정보량이란?**

조건부 상호정보량은 변수 \\( Y \\)가 주어졌을 때, \\( X \\)와 \\( Z \\) 사이의 상호정보량을 의미한다.
조건부 상호정보량은 변수 $Y$가 주어졌을 때, $X$와 $Z$ 사이의 상호정보량을 의미한다.

\\[
$$
I(X; Z \mid Y) = H(X \mid Y) - H(X \mid Y, Z)
\\]
$$

또는 다음과 같이도 표현된다.

\\[
$$
I(X; Z \mid Y) = H(Z \mid Y) - H(Z \mid Y, X)
\\]
$$

이는 \\( Z \\)를 알면 \\( X \\)의 불확실성이 얼마나 줄어드는지를 나타낸다.
이는 $Z$를 알면 $X$의 불확실성이 얼마나 줄어드는지를 나타낸다.

---

> **조건부 상호정보량이 0이 되는 조건**

조건부 상호정보량이 0이 되려면, \\( X \\)와 \\( Z \\)가 \\( Y \\)가 주어졌을 때 조건부 독립이어야 한다.
조건부 상호정보량이 0이 되려면, $X$와 $Z$가 $Y$가 주어졌을 때 조건부 독립이어야 한다.

\\[
$$
P(X, Z \mid Y) = P(X \mid Y) \cdot P(Z \mid Y)
\\]
$$

이는 마코프 체인 구조인 \\( X \rightarrow Y \rightarrow Z \\)와 동일하다.
이는 마코프 체인 구조인 $X \rightarrow Y \rightarrow Z$와 동일하다.

---

> [!warning]
> 조건부 상호정보량 \\( I(X; Z \mid Y) \\) 와 일반 상호정보량 \\( I(X; Z) \\)는 일반적으로 관계가 없다.
> 조건부 상호정보량 $I(X; Z \mid Y)$ 와 일반 상호정보량 $I(X; Z)$는 일반적으로 관계가 없다.

예시 1: 조건부 상호정보량이 일반 상호정보량보다 클 수 있다.

\\[
$$
I(X; Z \mid Y) > I(X; Z)
\\]
$$

- \\( X \in \{0, 1\} \\), \\( Z \in \{0, 1\} \\)
- $X \in \{0, 1\}$, $Z \in \{0, 1\}$
- 각 확률은 다음과 같다:

\\[
$$
P(X = 0) = P(X = 1) = \frac{1}{2}, \quad P(Z = 0) = P(Z = 1) = \frac{1}{2}
\\]
$$

- \\( Y = X \oplus Z \\) (XOR 연산)
- $Y = X \oplus Z$ (XOR 연산)

이 경우 다음이 성립한다:

\\[
$$
I(X; Z) = 0, \quad I(X; Z \mid Y) = 1
\\]
$$

즉, 조건 없이 보면 \\( X \\)와 \\( Z \\)는 독립이지만, \\( Y \\)를 알면 종속이 된다.
즉, 조건 없이 보면 $X$와 $Z$는 독립이지만, $Y$를 알면 종속이 된다.

---

예시 2: 일반 상호정보량은 존재하지만 조건부 상호정보량은 0인 경우

\\[
$$
I(X; Z) > 0, \quad I(X; Z \mid Y) = 0
\\]
$$

이는 마코프 체인 \\( X \rightarrow Y \rightarrow Z \\) 구조에서 발생한다.
이는 마코프 체인 $X \rightarrow Y \rightarrow Z$ 구조에서 발생한다.

---

> **여러 변수에 대한 상호정보량**

두 변수 \\( X, Y \\) 와 \\( Z \\) 사이의 상호정보량은 다음과 같이 체인 룰로 나눌 수 있다.
두 변수 $X, Y$ 와 $Z$ 사이의 상호정보량은 다음과 같이 체인 룰로 나눌 수 있다.

\\[
$$
I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X)
\\]
$$

---

> **상호정보량의 체인 분해**

여러 변수 \\( X_1, X_2, \dots, X_n \\) 과 \\( Y \\) 간의 상호정보량은 다음과 같이 분해된다.
여러 변수 $X_1, X_2, \dots, X_n$ 과 $Y$ 간의 상호정보량은 다음과 같이 분해된다.

\\[
$$
I(X_1, X_2, \dots, X_n; Y) = I(X_1; Y) + I(X_2; Y \mid X_1) + I(X_3; Y \mid X_1, X_2) + \dots
\\]
$$

또는 일반화하여 다음과 같이 표현된다:

\\[
$$
I(X_n; Y) = \sum_{i=1}^{n} I(X_i; Y \mid X_1, \dots, X_{i-1})
\\]
$$

## 2.5 Random Process

Expand Down