logo
ГосЭкзамен

4. Свойства информации, энтропия и информационные свойства непрерывных источников.

На свойства информации влияют свойства исходных данных, составляющих ее содержательную часть, и свойства методов, фиксирующих эту информацию. С точки зрения информатики наиболее важными представляются следующие общие качественные свойства: объективность, достоверность, полнота, точность, актуальность, полезность, ценность, своевременность, понятность, доступность, краткость и пр.

Объективность информации. Объективный – существующий вне и независимо от человеческого сознания. Информация – это отражение внешнего объективного мира. Информация объективна, если она не зависит от методов ее фиксации, чьего-либо мнения, суждения. Объективную информацию можно получить с помощью измерительных приборов. Отражаясь в сознании человека, информация может искажаться и перестать быть объективной. Достоверность информации. Информация достоверна, если она отражает истинное положение дел. Объективная информация всегда достоверна, но достоверная информация может быть как объективной, так и субъективной. Достоверная информация помогает принять правильное решение. Недостоверной информация может быть по следующим причинам: дезинформация, помехи. Полнота информации. Информацию можно назвать полной, если ее достаточно для понимания и принятия решений. Точность информации определяется степенью ее близости к реальному состоянию объекта, процесса, явления и т. п. Актуальность информации – важность для настоящего времени, злободневность. Только вовремя полученная информация может быть полезна. Полезность (ценность) информации. Полезность может быть оценена применительно к нуждам конкретных ее потребителей и оценивается по тем задачам, которые можно решить с ее помощью. Самая ценная информация – полезная. Социальная (общественная) информация обладает еще и дополнительными свойствами: имеет семантический (смысловой) характер, имеет языковую природу. С течением времени количество информации растет, информация накапливается, происходит ее систематизация, оценка и обобщение. Это свойство назвали ростом и кумулированием информации. Старение информации заключается в уменьшении ее ценности с течением времени. Старит информацию не само время, а появление новой информации, которая уточняет, дополняет или отвергает полностью или частично более раннюю. Логичность, компактность, удобная форма представления облегчает понимание и усвоение информации.

Информация переносится с помощью сигналов, т.е. изменения некоторых физических параметров в канале связи. Основной вид КС – эл.-маг. поле (его изменение). Для того, чтобы приемник получил информацию от источника необходимо, чтобы он ее не имел до сих пор. Т.о. для передачи информации необходимо, чтобы источник имел некоторую неопределенность относительно приемника., тем большее количество информации Чем больше эта неопределенность может быть передано. Предположим, объект имел N различных состояний, каждое следующее состояние неизвестно. Чтобы описать неопределенность, нужна функция f(N). Эта функция называется энтропией f(N) - мера неопределенности. Необходимо сформулировать требования к этой функции при условии, что N – конечно:

1. функция должна быть определена для положительных N; 2. функция должна быть монотонно возрастающей (N2>N1; f(N2)>f(N1)); 3. При N=1 f(1)=0; N=N1*N2 – пары этих объектов должны соответствовать сумме неопределенностей, где f(N1N2)=f(N1)+f(N2).

Формула энтропии по Хартли: H(x)=logaN.

Предположим, что источник информации генерирует последовательность символов какое-то время наблюдения Т. За время Т сгенерирована N-последовательность символов, среди них первый появился n1 раз, второй – n2 и т.д.

υ=nk/NT – частота = количество наблюдаемых символов / длина общей последовательности.

Источник сообщений называется эргодическим, если относительная частота появления символов приближается к их вероятности. Большинство естественных текстов является эргодическими.

P(xk)

(1) - Формула энтропии по Шеннону

Свойства энтропии по выражению (1):

  1. эта функция, от аргумента Р – непрерывна;

  2. энтропия максимальна, если все исходы равновероятны. Следовательно, энтропия по Хартли – есть верхняя оценка энтропии по Шеннону

H=-p*logP-(1-p)*log(1-p)

  1. при увеличении N – энтропия возрастает;

  2. энтропия не отрицательна;

  3. при вычислении энтропии по (1) маловероятные события можно не учитывать.

Любой отрезок конечной длины L имеет бесконечное множество внутренних точек. С отрезком отождествляется физ. параметр, поддающийся измерению. Необходимо определить количество информации, получаемое от этого измерения. Для этого разделим интервал длины L на N равных частей. Если вероятности попадания в каждый интервал одинаковы, то энтропию можно определить следующим образом:

H(x)log2N= log2(L/L), где L – погрешность измерений, длина отрезка одного деления. Это выражение эквивалентно энтропии по Хартли. Фактически эти события не равновероятны, поэтому запишем выражение по Шеннону:

, где l – текущий параметр длины, f(l) – плотность распределения вероятности. Одномерная плотность распределения вероятностей графически представляется в виде плоскости, двумерная – в виде поверхности.