diff --git a/_posts/2025-08-04-02.Information-Theory.md b/_posts/2025-08-04-02.Information-Theory.md index af2b9119f3..bc40d7d257 100644 --- a/_posts/2025-08-04-02.Information-Theory.md +++ b/_posts/2025-08-04-02.Information-Theory.md @@ -511,95 +511,95 @@ H(Y \mid g(X)) = H(Y \mid X) \iff I(Y; X \mid g(X)) = 0 \iff Y \perp X \mid g(X) > **조건부 상호정보량이란?** -조건부 상호정보량은 변수 \\( Y \\)가 주어졌을 때, \\( X \\)와 \\( Z \\) 사이의 상호정보량을 의미한다. +조건부 상호정보량은 변수 $Y$가 주어졌을 때, $X$와 $Z$ 사이의 상호정보량을 의미한다. -\\[ +$$ I(X; Z \mid Y) = H(X \mid Y) - H(X \mid Y, Z) -\\] +$$ 또는 다음과 같이도 표현된다. -\\[ +$$ I(X; Z \mid Y) = H(Z \mid Y) - H(Z \mid Y, X) -\\] +$$ -이는 \\( Z \\)를 알면 \\( X \\)의 불확실성이 얼마나 줄어드는지를 나타낸다. +이는 $Z$를 알면 $X$의 불확실성이 얼마나 줄어드는지를 나타낸다. --- > **조건부 상호정보량이 0이 되는 조건** -조건부 상호정보량이 0이 되려면, \\( X \\)와 \\( Z \\)가 \\( Y \\)가 주어졌을 때 조건부 독립이어야 한다. +조건부 상호정보량이 0이 되려면, $X$와 $Z$가 $Y$가 주어졌을 때 조건부 독립이어야 한다. -\\[ +$$ P(X, Z \mid Y) = P(X \mid Y) \cdot P(Z \mid Y) -\\] +$$ -이는 마코프 체인 구조인 \\( X \rightarrow Y \rightarrow Z \\)와 동일하다. +이는 마코프 체인 구조인 $X \rightarrow Y \rightarrow Z$와 동일하다. --- > [!warning] -> 조건부 상호정보량 \\( I(X; Z \mid Y) \\) 와 일반 상호정보량 \\( I(X; Z) \\)는 일반적으로 관계가 없다. +> 조건부 상호정보량 $I(X; Z \mid Y)$ 와 일반 상호정보량 $I(X; Z)$는 일반적으로 관계가 없다. 예시 1: 조건부 상호정보량이 일반 상호정보량보다 클 수 있다. -\\[ +$$ I(X; Z \mid Y) > I(X; Z) -\\] +$$ -- \\( X \in \{0, 1\} \\), \\( Z \in \{0, 1\} \\) +- $X \in \{0, 1\}$, $Z \in \{0, 1\}$ - 각 확률은 다음과 같다: -\\[ +$$ P(X = 0) = P(X = 1) = \frac{1}{2}, \quad P(Z = 0) = P(Z = 1) = \frac{1}{2} -\\] +$$ -- \\( Y = X \oplus Z \\) (XOR 연산) +- $Y = X \oplus Z$ (XOR 연산) 이 경우 다음이 성립한다: -\\[ +$$ I(X; Z) = 0, \quad I(X; Z \mid Y) = 1 -\\] +$$ -즉, 조건 없이 보면 \\( X \\)와 \\( Z \\)는 독립이지만, \\( Y \\)를 알면 종속이 된다. +즉, 조건 없이 보면 $X$와 $Z$는 독립이지만, $Y$를 알면 종속이 된다. --- 예시 2: 일반 상호정보량은 존재하지만 조건부 상호정보량은 0인 경우 -\\[ +$$ I(X; Z) > 0, \quad I(X; Z \mid Y) = 0 -\\] +$$ -이는 마코프 체인 \\( X \rightarrow Y \rightarrow Z \\) 구조에서 발생한다. +이는 마코프 체인 $X \rightarrow Y \rightarrow Z$ 구조에서 발생한다. --- > **여러 변수에 대한 상호정보량** -두 변수 \\( X, Y \\) 와 \\( Z \\) 사이의 상호정보량은 다음과 같이 체인 룰로 나눌 수 있다. +두 변수 $X, Y$ 와 $Z$ 사이의 상호정보량은 다음과 같이 체인 룰로 나눌 수 있다. -\\[ +$$ I(X, Y; Z) = I(X; Z) + I(Y; Z \mid X) -\\] +$$ --- > **상호정보량의 체인 분해** -여러 변수 \\( X_1, X_2, \dots, X_n \\) 과 \\( Y \\) 간의 상호정보량은 다음과 같이 분해된다. +여러 변수 $X_1, X_2, \dots, X_n$ 과 $Y$ 간의 상호정보량은 다음과 같이 분해된다. -\\[ +$$ I(X_1, X_2, \dots, X_n; Y) = I(X_1; Y) + I(X_2; Y \mid X_1) + I(X_3; Y \mid X_1, X_2) + \dots -\\] +$$ 또는 일반화하여 다음과 같이 표현된다: -\\[ +$$ I(X_n; Y) = \sum_{i=1}^{n} I(X_i; Y \mid X_1, \dots, X_{i-1}) -\\] +$$ ## 2.5 Random Process