13. Энтропия, свойства энтропии, количество информации в сигналах

Энтропия — мера вероятности состояния системы или мера неопределенности результатов наблюдения какого-либо события. Результатом наблюдения случайных событий нельзя определить заблаговременно, т. к. им присуща некоторая неопределенность. Эта неопределенность зависит от первоначальной информации о событии. Единица измерения энтропии — один двоичный знак (бит). Формула для определения количества энтропии:

, P — вероятность, I — целые числа, m — конечное число.  — формула Шеннона (первый закон) для количественного определения энтропии в общем виде. Вероятности событий могут быть различными в данном случае. Она является общей мерой неопределенности, наблюдений или опытов в случае если исходы наблюдений или опытов не равновероятны.

Свойства энтропии:

1. Энтропия является вещественной и неотрицательной величиной, т. к. Pi изменяется от 0 до 1.Логарифм отрицателен.

2. Энтропия — величина ограниченная.

3. Энтропия обращается в ноль в том случае, когда вероятность одного из состояний равна 1.

4. Энтропия максимальна, когда все события равновероятны.

5. Энтропия двух независимых испытаний равна суммы энтропии каждого из испытаний.

Количественная мера информации

Вводимая мера информации должна быть удобной для анализа, синтеза, для передачи и хранения, и не чувствительной к смыслу, ценности и степени правдивости информации. То есть информация должна определяться через нечто общее. Этим общим, характеризующим факт получения произвольной информации является:

1) наличие опыта. Опытом может быть и чтение книг, и смотрение телевизора, и визуальные наблюдения, и измерения параметра с помощью прибора;

2) до опыта должна существовать некоторая определенность в том или ином исходе опыта.

Таким образом, до опыта всегда имеется большая или меньшая неопределенность интересующей нас ситуации. Разность между этими количествами неопределенности до и после опыта можно отождествлять с количеством полученной информации в результате опыта.

Исходя из вышеизложенного, к количеству информации можно предъявить три априорных условия:

1. Количество получаемой информации больше в том опыте, у которого большее число возможных исходов.

2. Опыт с единственным исходом несет количество информации равное нулю.

3. Количество информации от двух независимых опытов должно равняться сумме количества информации от каждого из них.

Если исходы опытов не равновероятны, то усредненное количество информации будет иметь вид:

 -- энтропия, H.

Энтропия – это величина случайная и априорная до проведения опыта. После проведения опыта она будет равняться нулю.