logo search
Predmet

5. Меры информации, понятие энтропии.

Сообщения – форма предоставления информации в виде речи, текста, изображения, цифровых данных, звука, графиков, таблиц, итд.

Сигнал – материальный носитель информации, изменяющаяся величина, отражающий сообщение. Передача информации происходит по каналу связи.

Канал связи – это среда или средство, предназначенное для передачи сигнала.

Для измерения информации вводят два параметра: 1)количество информации 2) объем данных. I-кол-во инф, V – объм данных. Каждой форме адекватности соответствует своя мера количества информации и V данных.

Существует 3 меры: синтаксическая, семантическая, прагматическая.

Синтаксическая – V измеряется количеством символов в этом сообщении. I измеряется уменьшением неопределенности состояния системы – энтропией, т.е. энтропия системы рассматривается как мера недостающей информации. Информация кодируется в той или иной системе, одно и то же кол-во разрядов в разных системах счисления может передать разное число состояний отображаемого объекта. Пусть m – основание системы счисления(СС), n – кол-во разрядов в сообщении,тогда число отображаемых состояний N=mn. Синтаксическая – ά – сведения, H(ά) – неосведомленность, Iβ(ά) – дополнительная информация. Β – сообщение. Hβ (ά) – неопред. Системы после получения β. Iβ (ά ) =H (ά) - Hβ(ά), N=mn.

Семантическая – относительная. Для измерения смыслового содержания информации наибольшее признание получила тезаурусная мера, которая связывает семантические свойства информации со способностью пользоваться принимать поступившие сообщения. Для этого используется понятие «тезаурус пользователя». Тезаурус - совокупность сведений, которыми располагает пользователь и система.. Относительной мерой кол-ва семантической информации служит коэффициент содержательности, которая определяется отношением кол-ва сем-ой информации к ее V. C=I/V - стремление к 1.

Прагматическая мера информации – эта мера опред-ет полезность (ценность) информации, для дост –я пользователем поставленной цели. Является относительной

Мера информации

Ед. измерения

Примеры

1)Синтаксическая:

А)Шенновский подход

Б) Компьютерный подход

Степень уменьшения неопредел-ти(энтропии)

Ед-цы преставления информ

Вероятность события

Бит,байт,килобайт, мегабайт

2)Семантическая

а)тезаурус

б)экономические показатели

Пакет прикладных программ, Пкомп, комп. сети

Рентабельность, производительность, коэффициент амортизации

3) Прагматическая

а) ценность использования

Емкость памяти, производ-ть компа,скорость передачи инф, денежное выражение,время образотки инф и принятия решения