정보는 얼마나 복잡할까? — 4가지 엔트로피 이야기

---

🔍 정보는 얼마나 복잡할까? — 4가지 엔트로피 이야기

새넌 엔트로피, 폰 노이만 엔트로피, Rényi 엔트로피, 얽힘 엔트로피의 공통점과 차이점

---

우리는 매일 엄청난 양의 정보를 주고받고 있습니다.
그런데 ‘정보’라는 개념은 단순히 숫자나 문자가 아닙니다.
“얼마나 예측이 어렵냐”, “얼마나 섞여 있냐”, “얼마나 얽혀 있냐”처럼
복잡성과 불확실성을 측정하는 수학적 도구가 필요합니다.

그 대표적인 개념이 바로 ‘엔트로피(Entropy)’입니다.

---

📌 1. Shannon 엔트로피: 정보의 평균적인 불확실성

1948년, 클로드 새넌은 이런 질문을 했습니다.
“어떤 사건이 일어날 확률이 여러 개 있을 때, 우리는 평균적으로 얼마만큼 놀랄까?”

그 수학적 표현은 다음과 같습니다: H(P)=−∑_i p_i log⁡ p_i

여기서 p_i 는 사건 i 가 일어날 확률입니다.
확률이 작을수록 로그 값은 커지고, 예측이 어려울수록 정보량은 많아집니다.

---

📌 2. 폰 노이만 엔트로피: 양자 세계의 불확실성

양자역학에서는 상태가 확률분포가 아닌 “밀도 행렬 ρ”로 표현됩니다.
이 경우, 엔트로피는 이렇게 정의됩니다: S(ρ)=−Tr(ρ log⁡ ρ)

즉, 고전적 엔트로피를 양자적으로 확장한 것입니다.
이 값이 0이면 완전히 순수한 상태 (불확실성 없음),
최대가 되면 완전히 섞인 상태를 의미합니다.

---

📌 3. Rényi 엔트로피: 더 민감하게 혹은 덜 민감하게

Rényi 엔트로피는 엔트로피의 ‘버전 조절이 가능한’ 일반화된 형태입니다.
지수 α(alpha)를 통해 특정 성분에 민감도를 다르게 줄 수 있습니다. S_α(ρ)=1/(1−α) log⁡ Tr(ρ^α)

• α→1 : 폰 노이만 엔트로피와 같아짐
• α=2 : ‘충돌 엔트로피’ (collision entropy)
• α→∞ : 가장 큰 고윳값에만 집중하는 ‘최소 엔트로피’

---

📌 4. 얽힘 엔트로피: “우리는 얼마나 얽혀 있을까?”

얽힘 엔트로피는 사실 폰 노이만 엔트로피를 특정 상황에 적용한 것입니다.
전체 양자 상태가 ∣Ψ⟩_AB 라는 순수 상태일 때,
부분계 A의 엔트로피를 다음처럼 계산합니다:

S_A=−Tr(ρ_Alog⁡ ρ_A), ρ_A=Tr_B(∣Ψ⟩⟨Ψ∣)

즉, 부분계를 ‘측정’한 결과로 얻은 밀도 행렬 ρ_A 의 엔트로피입니다.
이 값이 클수록 A와 B는 더 깊이 얽혀 있다는 뜻입니다.

---

📊 공통점은?

• 모두 ‘불확실성’ 또는 ‘정보량’을 수치로 표현
• 모두 로그(log)를 사용하여, 확률이 낮을수록 높은 정보량
• 상태가 독립적일 경우 서로 더할 수 있는 성질 (additivity)

---

❗ 차이점은?

항목	새넌	폰 노이만	Rényi	얽힘
적용	고전 확률	양자 상태 ρ	고전/양자 모두	양자 상태의 부분계
해석	정보량	혼합도, 열역학적 엔트로피	정보감도 조절	얽힘의 양
특징	평균적 예측 불가능성	양자 무질서의 측정	α에 따라 달라짐	순수 상태의 부분계에서만 정의

---

✨ 마무리: 엔트로피는 “정보의 눈금자”

우리가 어떤 상황에서 ‘무엇을 측정하느냐’에 따라
사용하는 엔트로피의 종류도 달라집니다.

• 정보를 압축하려면 → Shannon
• 양자 상태의 복잡성을 보려면 → von Neumann
• 다양한 감도 수준이 필요하다면 → Rényi
• 얽힘 정도를 알고 싶다면 → Entanglement Entropy

이 네 가지는 서로 다르지만,
하나의 공통된 철학을 공유합니다:

👉 “정보란 곧, 불확실성이다.”

---

궁금하신 부분이 있다면 유튜브 토트샘 채널에 댓글로 남겨주세요!
🕳️✨

---