Статистическое измерение информации
Количественная теория информации рассматривает способы измерения и количественные характеристики информации с точки зрения передачи сигналов (носителей информации) по каналам связи. Попытки количественного измерения информации предпринимались неоднократно. Первые отчетливые предложения об общих способах измерения количества информации были сделаны Р. Фишером (1921 г.) в процессе решения вопросов математической статистики. Проблемами хранения информации, передачи ее по каналам связи и задачами определения количества информации занимались X. Найквист (1924 г.) и Р.Хартли (1928 г.).
В 1928 г. Р.Хартли связал количество информации с числом состояний физической системы. Поскольку он работал инженером в телеграфной компании, он рассуждал о количестве информации, содержащемся в телеграфном тексте. Р.Хартли заложил основы теории информации, определив логарифмическую меру количества информации.
Датой рождения теории информации считается 1948 год – год появления основополагающей статьи Клода Элвуда Шеннона (1916-2001) "Математическая теория связи".
Будучи студентом Массачусетского технологического института, который он окончил в 1936 году, Шеннон специализировался одновременно и в математике, и в электротехнике. В 1940 году он защитил диссертацию, в которой доказал, что работу переключателей и реле в электрических схемах можно представить посредством булевой алгебры. В 1941 году 25-летний Клод Шеннон поступил на работу в Bell Laboratories, где, помимо всего прочего, прославился тем, что катался на одноколесном велосипеде по коридорам лаборатории, одновременно жонглируя мячиками. В годы войны он занимался разработкой криптографических систем, и позже это помогло ему открыть методы кодирования с коррекцией ошибок. В те же сороковые годы Шеннон, например, занимался конструированием летающего диска на ракетном двигателе.
Количество информации на синтаксическом уровне невозможно определить без рассмотрения понятия неопределенности состояния системы (энтропии системы). Действительно, получение информации о какой-либо системе всегда связано с изменением степени неосведомленности получателя о состоянии этой системы. Мерой неопределенности состояния системы является энтропия. (Понятие энтропии введено австрийским физиком Больцманом).
Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе. Мерой его неосведомленности о системе является функция , которая в то же время служит и мерой неопределенности состояния системы.
После получения некоторого сообщения получатель приобрел некоторую дополнительную информацию , уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения) неопределенность состояния системы стала.
Тогда количество информации о системе, полученной в сообщении, определится как, т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.
Если конечная неопределенность обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации. Иными словами, энтропия системыможет рассматриваться как мера недостающей информации.
Всоответствии с формулой Больцмана
где Pi— вероятность того, что система находится вi-м состоянии.
Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны , ее энтропия определяется соотношением
Пример. По каналу связи передается n-разрядное сообщение, использующее т различных символов. Так как количество всевозможных кодовых комбинаций будет , то при равновероятном появлении любой из них количество информации, приобретенной в результате получения сообщения, будет— формула Хартли.
Если в качестве основания логарифма принять m, то. В данном случае количество информации (при условии полного априорного незнания абонентом содержания сообщения) будет равно объему данных, полученных по каналу связи. Для неравновероятных состояний системы всегда.
Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут соответственно бит и дит.
Точно такая же как и формула Больцмана, Шенноном была предложена формула для вычисления среднего количества информации, содержащейся в некоторой совокупности сообщений , если известны вероятности появления этих сообщений:
. Определяемую этой формулой величину можно рассматривать как математическое ожидание количества информации, получаемого при передаче сообщений из данного множества. Величину называют собственной информацией сообщения.
Пример. Будем считать, что сообщения о поле будущего ребенка мальчик или девочка являются равновероятными. (По статистике частота для мальчиков примерно 0.52, для девочек 0.48.) Количество информации, получаемой с таким сообщением, равно 1 бит.
Вероятности сообщений (о рождении одного ребенка) или(рождении двойни) примерно равны 127/128 и 1/128 соответственно. Собственная информация этих сообщений:. Количество информации по формуле Шеннона
Коэффициент (степень) информативности (лаконичность) сообщения определяется отношением количества информации к объему данных, т.е.. В данном примере, если в обоих случаях каждое из д Свойства информации вух возможных сообщений кодировать одним двоичным символом, то информативность будет равна количеству информации.
- Информационные технологии
- Часть 1
- Понятие технологии и его содержание
- Понятие информационной технологии
- Общий состав ит и их компоненты
- Этапы развития информационной технологии
- Этапы развития ас
- Информационная технология и информатика
- Система управления и информация
- Понятие информации в системе управления
- Информационные процессы в системе управления
- Свойства, характеристикии измерениеинформации
- Свойства информации
- Статистическое измерение информации
- Семантическая мера информации
- Прагматическая мера информации
- Качество информации
- Классификация систем управления.
- Информационные технологии в системах управления организационного типа.
- Уровни процесса управления
- Разновидности информационных технологий в организационном управлении
- Информационная технология обработки данных
- Информационная технология информационного обеспечения управления
- Информационная технология поддержки принятия решений
- Виды информационных систем, реализующие ит в организационном управлении Системы операционной (транзакционной) обработки данных - oltp (On-Line Transaction Processing)
- Корпоративное хранилище данных
- Системы оперативной аналитической обработки данных - olap (On-Line Analytical Process)
- Инструменты добычи данных (Data Mining)
- Средства генерации отчетов (Reporting tools)
- Автоматизированные системы и их классификация
- Общая структура ас
- Виды ас
- 1. Аис - автоматизированная информационная система.
- 2. Асни - автоматизированная система научных исследований.
- 3. Сапр - система автоматизированного проектирования.
- 4. Аос - автоматизированная обучающая система.
- 5. Асу - автоматизированная система управления.
- Классификации ис в сфере управления По признаку структурированности задач
- По квалификации персонала и уровням управления
- По масштабам применения
- Базовая функциональная модель ит