logo
Otvety_k_ekzamenatsionnym_biletam_Informatika_1

Формулы Хартли и Шеннона. Условия перехода формулы

Шеннона в формулу Хартли.

Формула Хартли определяет количество информации, содержащееся в сообщении длины n.

Формула Хартли была предложена Ральфом Хартли в 1928 году как один из научных подходов к оценке сообщений. Допустим, нам требуется что-либо найти или определить в той или иной системе. Есть такой способ поиска как «деление пополам». Например, кто-то загадывает число от 1 до 100, а другой должен отгадать его, получая лишь ответы «да» или «нет». Задается вопрос: число меньше? Ответ и «да» и «нет» сократит область поиска вдвое. Далее по той же схеме диапазон снова делится пополам. В конечном итоге, загаданное число будет найдено.

k = log2N.

Количество информации (k), необходимой для определения конкретного элемента, есть логарифм по основанию 2 общего количества элементов (N).

Теорема Шеннона — Хартли в теории информации  — применение теоремы кодирования канала с шумом к архетипичному случаю непрерывного временно́го аналогового канала коммуникаций, искажённого гауссовским шумом. Теорема устанавливает шенноновскую ёмкость канала, верхнюю границу максимального количества безошибочных цифровых данных (то есть, информации), которое может быть передано по такой связи коммуникации с указанной полосой пропускания в присутствии шумового вмешательства, согласно предположению, что мощность сигнала ограничена, и гауссовский шум характеризуется известной мощностью или мощностью спектральной плотности. Закон назван в честь Клода Шеннона и Ральфа Хартли.

где:

C — ёмкость канала, бит/с;

B — полоса пропускания канала, Гц;

S — полная мощность сигнала над полосой пропускания, Вт или В²;

N — полная шумовая мощность над полосой пропускания, Вт или В²;

Сравнивая пропускную способность канала и формулу Хартли, мы можем найти эффективное число M различимых уровней:

  1.