Количество информации. Энтропия. Избыточность сообщения.

Кодирование - представление сообщения последовательностью элементарных символов.

Рассмотрим кодирование дискретных сообщений. Символы в сообщениях могут относиться к алфавиту, включающему n букв (буква - символ сообщения). Однако число элементов кода k существенно ограничено сверху энергетическими соображениями, т.е. часто n >k. Так, если отношение сигнал/помеха для надежного различения уровня сигнала должно быть не менее q, то наименьшая амплитуда для представления одного из k символов должна быть qg, где g - амплитуда помехи, а наибольшая амплитуда соответственно qgk. Мощность передатчика пропорциональна квадрату амплитуды сигнала (тока или напряжения), т.е. должна превышать величину, пропорциональную (qgk)². В связи с этим распространено двоичное кодирование с k = 2. При двоичном кодировании сообщений с nтипами букв, каждая из n букв кодируется определенной комбинацией 1 и 0 (например, код ASCII).

Кодирование аналоговых сообщений после их предварительной дискретизации должно выполняться в соответствии с теоремой Котельникова: если в спектре функции f(t) нет частот выше F_В, то эта функция может быть полностью восстановлена по совокупности своих значений, определенных в моменты времени t_k, отстоящие друг от друга на величину 1/(2Fв). Для передачи аналогового сигнала производится его дискретизация с частотой отсчетов 2F_В и выполняется импульсно-кодовая модуляция посл едовательности отсчетов.

Количество информации в сообщении (элементе сообщения) определяется по формуле

I = - log₂ P,

где Р - вероятность появления сообщения (элемента сообщения). Из этой формулы следует, что единица измерения количества информации есть количество информации, содержащееся в одном бите двоичного кода при условии равной вероятности появления в нем 1 и 0. В то же время один разряд десятичного кода содержит I = - log₂Р = 3,32 единицы информации (при том же условии равновероятности появления десятичных символов, т.е. при Р = 0,1).

Энтропия источника информации с независимыми сообщениями есть среднее арифметическое количеств информации сообщений N

H = - е P_k log₂ P_k

k=1, где P_k - вероятность появления k-го сообщения. Другими словами, энтропия есть мера неопределенности ожидаемой информации.

П р и м е р. Пусть имеем два источника информации, один передает двоичный код с равновероятным появлением в нем 1 и 0, другой имеет вероятность 1, равную 2^-10, и вероятность 0, равную 1-2^-10. Очевидно, что неопределенность в получении в очередном такте символа 1 или 0 от первого источника выше, чем от второго. Это подтверждается количественно оценкой энтропии: у первого источника H = 1, у второго приблизительно H = -2^-10 log₂2^-10 , т.е. значительно меньше.

Коэффициент избыточности сообщения А определяется по формуле

r = (I_max - I)/I_max,

где I - количество информации в сообщении А, I_max - максимально возможное количество информации в сообщении той же длины, что и А.

Пример избыточности дают сообщения на естественных языках, так, у русского языка r находится в пределах 0,3...0,5.

Наличие избыточности позволяет ставить вопрос о сжатии информации без ее потери в передаваемых сообщениях.