Nyquist와 Shannon의 채널 용량

정보이론과 샤논-나이퀴스트 정리 역시 마찬가지입니다. 이 거대한 공학적 탑을 관통하는 가장 핵심적인 질문은 딱 두 가지입니다.

1. 정보이론의 본질: "정보(Information)란 대체 무엇이고, 어떻게 숫자로 잴 것인가?"
2. 샤논-나이퀴스트의 본질: "연속적인 자연의 신호를 깨짐 없이 디지털로 바꾸려면 얼마나 촘촘하게 쪼개야 하는가?"

이 두 가지 질문의 출발점부터 가장 직관적인 개념으로 파고들어 보겠습니다.

1. 정보이론의 본질: '놀라움의 크기'에서 출발하기

정보이론의 창시자 클로드 섀넌(Claude Shannon)은 "정보는 불확실성을 해소하는 양"이라고 정의했습니다.

더 쉽게 말하면, 정보의 크기는 '내가 그것을 들었을 때 얼마나 놀라운가(의외성)'와 같습니다. 모두가 당연하게 아는 사실은 들었을 때 불확실성이 전혀 줄어들지 않으므로 정보량이 0에 가깝고, 확률이 극히 희박한 사건일수록 우리에게 엄청난 정보(놀라움)를 줍니다.

• 예시 1: "내일 아침에 해가 뜬다." $\rightarrow$ 확률 100%. 놀랍지 않음. 정보량 = 0
• 예시 2: "내일 서울에 하늘에서 돈비가 내린다." $\rightarrow$ 확률 극히 낮음. 엄청나게 놀라움. 정보량 = 매우 큼

정보량의 수학적 출발점

섀넌은 이 '놀라움의 크기'를 수학적으로 나타내기 위해 두 가지 조건을 세웠습니다.

1. 확률 $p$가 낮을수록 정보량은 커져야 한다.
2. 독립적인 두 사건이 동시에 일어날 때의 정보량은 각 사건의 정보량을 더한 것과 같아야 한다 (확률은 곱해지지만, 정보는 더해져야 함).

이 곱셈의 관계를 덧셈으로 변환해 주는 유일한 도구가 바로 로그(Logarithm)입니다. 이것이 어떤 사건 $x$의 정보량 $I(x)$를 구하는 공식의 출발점입니다.

$$I(x)=-\log_{2}p(x)$$

여기서 밑을 2로 사용하는 이유는 컴퓨터가 인식하는 최소 단위인 이진수(0과 1), 즉 비트(bit) 단위로 정보량을 측정하기 위해서입니다.

엔트로피(Entropy): 정보의 평균값

이러한 개별 정보량들의 '평균치'를 구한 것이 바로 엔트로피($H$)입니다. 즉, 어떤 확률 변수가 가질 수 있는 평균적인 불확실성의 총량입니다.

$$H(X)=-\sum_{i=1}^{n}p(x_{i})\log_{2}p(x_{i})$$

기본에 충실해서 보면, 엔트로피는 결국 "이 메시지를 전달하기 위해 필요한 최소한의 평균 비트 수"를 의미합니다. 이 개념이 확립되면서 비로소 인류는 눈에 보이지 않는 '지식'과 '데이터'를 물리적인 양으로 측정하고 압축할 수 있게 되었습니다.

2. 샤논-나이퀴스트 정리의 본질: '점 연결하기'에서 출발하기

샤논-나이퀴스트 샘플링 정리(Sampling Theorem)는 아날로그 세상(연속적인 신호)을 디지털 세상(0과 1의 불연속적인 값)으로 완벽하게 옮겨 담는 다리 역할을 합니다.

이 정리의 근본적인 질문은 이겁니다.

"소리나 전기 신호 같은 연속적인 파형을 가끔씩 콕콕 찍어서(샘플링) 기록해 두었을 때, 나중에 그 점들을 연결해서 원래의 부드러운 곡선을 100% 똑같이 복원할 수 있을까? 있다면 얼마나 자주 찍어야 할까?"

직관적 이해: 바퀴의 회전 현상

영화나 예능에서 자동차가 앞으로 빠르게 달리는데, 화면 속 바퀴는 멈춰 있거나 오히려 뒤로 도는 것처럼 보이는 현상(왜곡, Aliasing)을 본 적이 있으실 겁니다. 카메라는 초당 30프레임(샘플링)으로 찍는데, 바퀴는 그보다 훨씬 빠르게 돌고 있어서 카메라가 바퀴의 실제 변화를 따라잡지 못해 발생하는 왜곡입니다.

이 왜곡을 없애고 원래 신호를 완벽하게 복원하려면, 신호가 가진 최고 주파수(가장 빠른 변화 성분)의 최소 2배 이상의 속도로 샘플링해야 합니다. 이것이 바로 핵심인 나이퀴스트 주파수($f_{s}$)의 개념입니다.

$$f_{s}>2f_{m}$$

• $f_{s}$: 샘플링 주파수 (1초에 점을 몇 번 찍는가)
• $f_{m}$: 신호가 포함한 최고 주파수 (얼마나 빠르게 요동치는가)

어디서부터 출발해서 이해해야 할까?

이 정리의 수학적 뿌리는 푸리에 변환(Fourier Transform)에 있습니다. 모든 복잡한 아날로그 신호는 서로 다른 주파수를 가진 단순한 사인($\sin$)과 코사인($\cos$) 파형들의 합으로 쪼갤 수 있다는 개념입니다.

1. 시간 영역에서 샘플링한다는 것은 주기적인 점(임펄스 기차)을 곱하는 행위입니다.
2. 이것을 주파수 영역에서 바라보면, 신호의 원래 주파수 모양이 샘플링 주기마다 계속해서 복사되어 나열되는 현상이 일어납니다.
3. 만약 너무 드문드문 샘플링하면($f_{s}\le2f_{m}$), 주파수 영역에서 복사된 신호들이 서로 겹쳐버립니다. 이 겹침 현상이 바로 신호가 뭉개지는 에일리어싱(Aliasing)입니다.
4. 반대로 2배 이상 촘촘하게 샘플링하면 복사본들 사이에 틈이 생겨서, 그 부분만 필터로 쏙 골라내면 원래 신호를 완벽하게(단 0.0001%의 오차도 없이) 복원할 수 있게 됩니다.

요약: 기본 뼈대 세우기

복잡한 수식과 필터 설계를 배우기 전에 머릿속에 심어야 할 뼈대는 아주 단순합니다.

• 정보이론: 정보는 '의외성'이다. 이를 수학적으로 정의하기 위해 로그를 도입했고, 평균 정보량(엔트로피)을 통해 데이터 압축과 전송의 절대적 한계를 알아냈다.
• 샤논-나이퀴스트: 연속적인 신호를 디지털로 바꿀 때, 가장 빠르게 변하는 성분보다 2배 이상 빠른 속도로 기록해 두면 나중에 신호의 손실 없이 100% 그대로 아날로그로 되돌릴 수 있다.

이 두 가지 공리가 통신 공학, 압축 기술(JPEG, MP3), 나아가 현대의 인터넷과 AI 인프라까지 지탱하는 모든 복잡한 이론의 출발점입니다.

 

공학에서 가장 아름다운 방정식 중 하나인 샤논-나이퀴스트 채널 용량 정리(Shannon-Nyquist Channel Capacity Theorem) 역시 아주 단순하고 직관적인 현실의 제약에서 출발합니다.

이 정리의 핵심 질문은 하나입니다.

"잡음(Noise)이 치솟고 대역폭(Bandwidth)이 제한된 거친 환경에서, 에러 없이 보낼 수 있는 데이터의 절대적인 물리적 한계는 얼마인가?"

이 본질을 이해하기 위해 무거운 통신 이론 대신, 우리가 일상에서 겪는 '시끄러운 카페에서의 대화'라는 기본 공리에서 출발해 보겠습니다.

1. 채널 용량의 3대 요소: 직관적 출발점

시끄러운 카페에서 친구에게 비밀 이야기를 전달하는 상황을 상상해 보세요. 내 목소리가 얼마나 잘 전달될지는 딱 3가지에 의해 결정됩니다.

1. 대역폭($B$, Bandwidth): 내가 1초 동안 얼마나 말을 빨리, 많이 할 수 있는가의 통로 넓이입니다.
2. 신호 전력($S$, Signal Power): 잡음을 뚫고 가기 위한 내 목소리의 크기입니다.
3. 잡음 전력($N$, Noise Power): 주변 사람들이 웅성거리는 배경 소음의 크기입니다.

클로드 섀넌은 이 직관적인 요소를 결합해, 아무리 기술이 발전해도 인류가 절대 넘을 수 없는 초당 최대 전송 비트 수인 채널 용량($C$, Capacity)의 한계를 하나의 수식으로 정리했습니다.

$$C=B\log_{2}(1+\frac{S}{N})$$

• $C$: 채널 용량 ($\text{bps}$, 초당 전송 가능한 최대 비트 수)
• $B$: 대역폭 ($\text{Hz}$, 주파수 통로의 넓이)
• $\frac{S}{N}$: 신호 대 잡음비 ($\text{SNR}$, 잡음 대비 신호의 세기)

2. 수식의 본질 파고들기: 왜 로그($\log$)와 $+1$이 붙을까?

기본에 충실하기 위해 이 공식이 왜 하필 이런 모양을 갖게 되었는지 그 출발점을 쪼개어 보겠습니다.

왜 하필 $\log_{2}$ 가 들어갈까?

앞서 정보이론의 본질에서 정보는 '이진 비트(0과 1)'로 측정한다고 했습니다. 만약 잡음이 전혀 없는 깨끗한 방이라면, 내가 목소리 크기를 2단계(큼, 작음)로 조절해 정보를 보낼 때 한 번에 1비트($\log_{2}2=1$)를 보낼 수 있습니다. 목소리 단계를 4단계로 섬세하게 쪼갤 수 있다면 한 번에 2비트($\log_{2}4=2$)를 보낼 수 있죠. 즉, 내가 구별할 수 있는 '신호의 총 단계 수'에 로그를 취한 것이 전송 가능한 정보량의 핵심이 됩니다.

왜 $\frac{S}{N}$ 이 아니라 $1+\frac{S}{N}$ 일까?

잡음이 존재하는 실제 세상에서는 내가 낼 수 있는 총 에너지의 범위가 '신호의 전력($S$) + 밑바닥에 깔린 잡음의 전력($N$)'이 됩니다. 즉, 내가 제어하는 전체 에너지 공간은 $S+N$ 입니다.

하지만 이 중에서 눈으로 구별해 낼 수 있는 최소한의 눈금 단위(오차 범위)는 잡음의 크기인 $N$ 이 됩니다. 잡음보다 작은 변화는 구별할 수 없기 때문입니다.

따라서 우리가 잡음을 뚫고 안전하게 구별해 낼 수 있는 총 신호의 단계 수는 전체 공간을 최소 눈금으로 나눈 값이 됩니다.

$$\frac{S+N}{N}=\frac{S}{N}+1$$

이 구별 가능한 단계 수에 이진 비트 단위로 바꾸기 위해 로그($\log_{2}$)를 씌우고, 이를 1초 동안 대역폭($B$)만큼 반복해서 던지기 때문에 $C=B\log_{2}(1+\frac{S}{N})$ 이라는 완벽한 공식이 탄선하게 된 것입니다.

3. 이 정리가 우리에게 주는 통찰 (패러다임의 전환)

샤논-나이퀴스트 채널 용량 정리가 발표되기 전까지, 과거의 공학자들은 "에러 없는 통신을 하려면 신호 전력($S$)을 무한히 높이거나 전송 속도를 늦추는 수밖에 없다"고 생각했습니다. 하지만 섀넌은 이 공식과 함께 패러다임을 완전히 뒤집는 선언을 합니다.

"아무리 채널에 잡음($N$)이 가득해도, 전송 속도($R$)를 채널 용량($C$)보다 낮게 지키기만($R<C$) **오류 정확히 0으로 Code)**를 Correction 기술이 넘어서는 만들 반대로 부호(Error 비싼 속도가 수 순간($R 쓰고 아무리 에러 용량을 있다." 장비를 전송 정교한 정정 좋아도, 채널 통해 한다면, 확률을>C$) 에러는 무조건 발생하며 절대 복구할 수 없습니다.

공학적 트레이드 오프(Trade-off)의 출발점

이 기본 공리를 이해하면 현대 무선통신(5G, 6G)이나 서버 네트워크 인프라가 발전하는 방향이 전부 보입니다. 채널 용량($C$)을 늘리는 방법은 직관적으로 두 가지뿐입니다.

• 대역폭($B$) 늘리기: 도로 자체를 넓히는 방법입니다. 현대 통신이 기가헤르츠($\text{GHz}$) 단위의 초고주파(밀리미터파)로 올라가는 근본적인 이유입니다.
• $\frac{S}{N}$ ratio 올리기: 신호를 키우거나 잡음을 줄이는 방법입니다. 기지국 안테나를 수백 개 세워 신호를 집중시키거나(Massive MIMO), 회로 내부의 열잡음을 극도로 제어하는 이유입니다.

요약: 기본 뼈대 세우기

• 출발점: 데이터 전송은 시끄러운 방에서 눈금 요소를 가지고 대화하는 것과 같다.
• 본질: 통신 속도의 한계는 통로의 넓이(대역폭)와 그 통로 안에서 잡음을 뚫고 구별할 수 있는 신호의 단계 수($1+\frac{S}{N}$)에 의해 수학적으로 완전히 결정되어 있다.
• 결론: 이 한계($C$) 아래에서 데이터를 보내는 한, 인간은 수학적으로 완벽한 무오류 통신을 구현할 수 있다.

---

정보이론의 본질과 샤논-나이퀴스트 채널용량 정리 

 

1. [개요] 

통신 채널, 물리적 한계, 전송가능, 최대 정보량, 수학적 정의, 

잡음환경, 전송속도, 대역폭, SNR, 상관관계 규명, 최적 통신시스템 설계. 

 

2. [개념]

나이퀴스트, 잡음없는 채널, C=2logB_M

샤논, 잡음있는 채널, 전송가능 최대용량, C=Blog2(1+S/N) 

 

3. [구성도(개념도)]

송신원(엔트로피) ,중앙 잡음, 통신채널, 수신단 

 

4. 나이퀴스트 vs 샤논 채널 용량 비교 표

비교 항목	나이퀴스트 (Nyquist) 채널 용량	샤논 (Shannon) 채널 용량
대상 채널 환경	무잡음 채널 (Noise-free Channel)	유잡음 채널 (Noisy Channel, AWGN)
핵심 이론 공식	$C = 2B \log_2 M$ \n*(M: 진수/이산 신호 레벨 수)*	$C = B \log_2 (1 + \frac{S}{N})$ \n*(S/N: 신호 대 잡음비)*
용량 결정 요소	• 대역폭($B$): 정비례\n• 신호 레벨($M$): 로그 비례	• 대역폭($B$): 정비례\n• 신호대잡음비($S/N$): 로그 비례
기술적 특성	• 신호의 최대 전송 속도 한계 제시\n• 잡음이 없다고 가정하여 한계 도출	• 에러 없는 전송이 가능한 실질적 한계\n• 시스템 설계의 이론적 상한선(Shannon Limit) 제공
대역폭 효율성 관계	$M$을 무한히 높이면 용량도 무한히 증가 가능 (이론상)	$S/N$이 고정되면 대역폭을 무한히 넓혀도 용량은 포화됨
답안지 키워드	심볼 간 간섭(ISI), Nyquist Rate, 고속 모뎀 개발	AWGN(백색잡음), Shannon Limit, 전송 효율 극대화

 

5. 활용분야 및 기술동향 

- 5G/6G 이동통신 주파수 설계 및 모뎀의 전송속도 산정.

- 샤논한계(Shannon Limit)에 근접하기 위한 LDPC, Turbo Code 등 고도화된 에러 정정 부호 기술반전. 

 

무한한 데이터를 보내고 싶은 욕구를 물리적 채널의 한계내에서 수학적 공식으로 정의하여, 기술적 타협점과 최적의 효율을 찾아가는 이론적 토대임.