7. Подходы к измерению информации.

С позиции содержательного подхода просматривается следующая цепочка понятий: информация — сообщение — информативность сообщения — единица измерения информации — информационный объем сообщения.

Исходная посылка: информация — это знания людей. Следующий вопрос: что такое сообщение? Сообщение — это информационный поток, который в процессе передачи информации поступает к принимающему его субъекту. Сообщение — это и речь, которую мы слушаем (радиосообщение, объяснение учителя), и воспринимаемые нами зрительные образы (фильм по телевизору, сигнал светофора), и текст книги, которую мы читаем и т.д.

Правило: информативным назовем сообщение, которое пополняет знания человека, т. е. несет для него информацию. Для разных людей одно и то же сообщение, с точки зрения его информативности, может быть разным. Если сведения «старые», т. е. человек это уже знает, или содержание сообщения непонятно человеку, то для него это сообщение неинформативно. Информативно то сообщение, которое содержит новые и понятные сведения.

Нельзя отождествлять понятия «информация» и «информативность сообщения».

Вопрос: «Содержит ли информацию вузовский учебник по высшей математике с точки зрения первоклассника?». Ответ: «Да, содержит с любой точки зрения! Потому что в учебнике заключены знания людей: авторов учебника, создателей математического аппарата (Ньютона, Лейбница и др.), современных математиков». Эта истина — абсолютна. Другой вопрос: «Будет ли информативным текст этого учебника для первоклассника, если он попытается его прочитать? Иначе говоря, может ли первоклассник с помощью этого учебника пополнить собственные знания?» Очевидно, что ответ отрицательный. Читая учебник, т.е. получая сообщения, первоклассник ничего не поймет, а стало быть, не обратит его в собственные знания.

Если сообщение неинформативно для человека, то количество информации в нем, с точки зрения этого человека, равно нулю. Количество информации в информативном сообщении больше нуля.

Для определения количества информации введём единицу измерения информации. В рамках содержательного подхода такая единица должна быть мерой пополнения знаний субъекта; иначе можно еще сказать так: мерой уменьшения степени его незнания.

«Сообщение, уменьшающее неопределенность знаний в 2 раза, несет 1 бит информации».

«Сообщение о том, что произошло одно событие из двух равновероятных, несет 1 бит информации».

События равновероятны, если ни одно из них не имеет преимущества перед другими. С этой точки зрения выпадения орла и решки — равновероятны; выпадения каждой из шести граней кубика — равновероятны.

Примеры неравновероятных событий. Например, в сообщении о погоде в зависимости от сезона сведения о том, что будет дождь или снег могут иметь разную вероятность. Летом наиболее вероятно сообщение о дожде, зимой — о снеге, а в переходный период (в марте или ноябре) они могут оказаться равновероятными.

N — число вариантов равновероятных событий (неопределенность знаний), а i — количество информации в сообщении о том, что произошло одно из N событий.

Если N— известно, а i является неизвестной величиной, то данная формула превращается в показательное уравнение. Как известно, показательное уравнение решается с помощью функции логарифма: i= log₂N. Здесь учителю предоставляются два возможных пути: либо с опережением уроков математики объяснить, что такое логарифм, либо «не связываться» с логарифмами. Во втором варианте следует рассмотреть с учениками решение уравнения для частных случаев, когда N есть целая степень двойки: 2, 4, 8, 16, 32 и т.д.

Если N = 2 = 2¹, то уравнение принимает вид: 2ⁱ = 2¹, отсюда i = 1.

Если N = 4 = 2², то уравнение принимает вид: 2¹ = 2², отсюда i = 2.

Если N = 8 = 2³, то уравнение принимает вид: 2ⁱ = 2³, отсюда i = 3 и т. д.

В общем случае, если N = 2^k, где k — целое число, то уравнение принимает вид 2ⁱ = 2^k и, следовательно, i = k.

Кибернетический (алфавитный) подход к измерению информации

Здесь речь идет об измерении количества информации в тексте (символьном сообщении), составленном из символов некоторого алфавита. К содержанию текста такая мера информации отношения не имеет.

Алфавитный подход — это единственный способ измерения информации, который может применяться по отношению к информации, циркулирующей в информационной технике, в компьютерах.

Алфавит — это конечное множество символов, используемых для представления информации. Число символов в алфавите называется мощностью алфавита.

уравнения Хартли: 2ⁱ = N, где N — мощность алфавита. Величину i можно назвать информационным весом символа. Отсюда следует, что количество информации во всем тексте (i), состоящем из К символов, равно произведению информационного веса символа на К: I = iК. Эту величину можно назвать информационным объемом текста. Такой подход к измерению информации еще называют объемным подходом.

Предположим, что используемый алфавит состоит всего из одного символа, например «1». Интуитивно понятно, что сообщить что-либо с помощью единственного символа невозможно. Но это же доказывается строго с точки зрения алфавитного подхода. Информационный вес символа в таком алфавите находится из уравнения: 2ⁱ= 1. Но поскольку 1 = 2°, то отсюда следует, что i = 0 бит. Полученный вывод можно проиллюстрировать следующим образным примером. Представьте себе толстую книгу в 1000 страниц, на всех страницах которой написаны одни единицы (единственный символ используемого алфавита). Сколько информации в ней содержится? Ответ: нисколько, ноль. Причем такой ответ получается с любой позиции, как с содержательной, так и с алфавитной.

Минимальная мощность алфавита, пригодного для передачи информации, равна 2. Такой алфавит называется двоичным алфавитом. Информационный вес символа в двоичном алфавите легко определить. Поскольку 2ⁱ = 2, то i = 1 бит. Итак, один символ двоичного алфавита несет 1 бит информации.

Компьютер для внешнего представления текстов и другой символьной информации использует алфавит мощностью 256 (во внутреннем представлении любая информация в компьютере кодируется в двоичном алфавите). Фактически, для выражения объема компьютерной информации в качестве основной единицы используется байт.