2. Доказательство теоремы Котельникова

<Доказательство class="Shpora">

Для доказательства теоремы Котельникова рассмотрим произвольный непрерывный сигнал и(t), спектральная плотность  которого сосредото­чена в полосе частот  (сплошная линия на рис.14.1).    Мысленно дополним график спектральной плотности  симметрично значениям, повторяющимся с периодом , (штриховые линии на рис.14.1). Полученную таким образом периодическую функцию разложим в ряд Фу­рье, заменив в формуле

аргумент t на с , частоту  на  и (фор­мально) п на k. Тогда

                                   (3)

Полагая, что в соотношении

период — это , а интервал дис­кретизации  запишем

                             (4)

   Воспользуемся формулой обратного преобразования Фурье  и представим исходный непрерывный сигнал в следующем виде:                  (5)    Таким же образом запишем значение дискретизированного сигнала для некоторого k-то отсчета времени. Поскольку время , то    Сравнив это выражение с формулой для C_k , замечаем, что  С учетом этого соотношения спектральная функция (3), после несложных преобра­зований, примет вид:

             (7)

   Затем проделаем следующее: подставим выражение в соотношение , изменим порядок интегрирования и суммирования, представим отно­шение как , и вычислим интеграл.    В результате получим такую фор­мулу:

   Из этого соотношения следует, что непрерывная функция u(t) дейст­вительно определяется совокупностью ее дискретных значений амплиту­ды в отсчетные моменты времени , что и доказывает теорему Ко­тельникова.

</Доказательство>

3. Практическое значение теоремы Котельникова

<Научное определение>

Теорема В. А. Котельникова имеет важное теоретическое и практическое значение: дает возможность правильно осуществить дискретизацию аналогового сигнала и определяет оптимальный способ его восстановления на приемном конце по отсчетным значениям. Согласно одной из наиболее известных и простых интерпретаций теоремы Котельникова, произвольный сигнал u(t), спектр которого ограничен некоторой частотой Fe может - быть полностью восстановлен по последовательности своих отсчетных значений, следующих с интервалом времени

</Научное определение>

4. Смысл понятия «бит» как единицы измерения информации

Бит (англ. binary digit; также игра слов: англ. bit — немного) (один двоичный разряд в двоичной системе счисления) — одна из самых известных единиц измерения информации.

Впервые слово bit было использовано Шенноном для логарифмической единицы информации в 1948 г. в статье A Mathematical Theory of Communication.

В зависимости от точек зрения, бит может определяться следующими способами:

1. По Шеннону^[1]

1.1. Бит — это двоичный логарифм вероятности равновероятных событий или сумма произведений вероятности на двоичный логарифм вероятности при равновероятных событиях;

<пояснение>

Информацио́нная энтропи́я — мера хаотичности информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.

Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.

</пояснение>

1.2. Бит — базовая единица измерения количества информации, равная количеству информации, содержащемуся в опыте, имеющем два равновероятных исхода; см. информационная энтропия. Это тождественно количеству информации в ответе на вопрос, допускающий ответы «да» либо «нет» и никакого другого (то есть такое количество информации, которое позволяет однозначно ответить на поставленный вопрос).