logo search
Otvety_k_ekzamenatsionnym_biletam_Informatika_1

Сущность понятия энтропии. Связь понятия количества

информации и энтропии.

Количество информации I (энтропийный подход). В теории ин­формации и кодирования принят энтропийный подход к измере­нию информации. Этот подход основан на том, что факт получе­ния информации всегда связан с уменьшением разнообразия или неопределенности (энтропии) системы. Исходя из этого количество информации в сообщении определяется как мера уменьшения не­определенности состояния данной системы после получения сооб­щения. Неопределенность может быть интерпретирована в смысле того, насколько мало известно наблюдателю о данной системе. Как только наблюдатель выявил что-нибудь в физической системе, эн­тропия системы снизилась, так как для наблюдателя система стала более упорядоченной.

Таким образом, при энтропийном подходе под информацией понимается количественная величина исчезнувшей в ходе какого-либо процесса (испытания, измерения и т. д.) неопределенности. При этом в качестве меры неопределенности вводится энтропия Н, а количество информации равно:

I = Hapr - Haps

Где: Нapr — априорная энтропия о состоянии исследуемой системы или про­цесса;

Haps — апостериорная энтропия.

Апостериори (от лат. a posteriori — из последующего) — проис­ходящее из опыта (испытания, измерения).

Априори (от лат. a priori — из предшествующего) — понятие, ха­рактеризующее знание, предшествующее опыту (испытанию), и независимое от него.

В случае когда в ходе испытания имевшаяся неопределенность снята (получен конкретный результат, т. е. Haps = 0), количество полученной информации совпадает с первоначальной энтропией I = Hapr