Формулы измерения информации Чартли и Шеннона, примеры вычислений.

ФОРМУЛА ХАРТЛИ.

Количество информации при вероятностном подходе можно

вычислить, пользуясь следующими формулами:

1). Формула Хартли.

I = log₂ N   или   2^I = N,

где

N - количество равновероятных событий (число возможных

выборов),

I - количество информации.

Задача.

Шарик находится в одной из трех урн: А, В или С. Определить сколько бит

информации содержит сообщение о том, что он находится в урне В.

Решение.

Такое сообщение содержит I = log2 3 = 1,585 бита информации.

2). Модифицированная формула Хартли.

I = log₂ (1/p) = - log₂ p

где p - вероятность наступления каждого из N возможныхравновероятных событий.

ФОРМУЛА ШЕННОНА

I = Sum(p_i h_i)= - Sum( p_i log₂ p_i),

где

I –КОЛИЧЕСТВО ИНФОРМАЦИИ

K- количество возможных событий

рi - вероятности отдельных событий,

Формулу Хартли теперь можно рассматривать как частный случай формулы Шеннона:

            I = - Sum 1 / N log₂ (1 / К) = I = log₂ N.

6. Содержание

   • Основные понятия информатики: информационные технологии, информатизация общества, информационные ресурсы. Информатика как наука и как прикладная дисциплина
   • Федеральный закон Об информации, информационных технологиях и о защите информации от 8 июля 2006 года
   • История развития компьютерной техники.
   • Понятие информации, ее классификация, свойства информации, представление информации, единицы измерения информации.
   • Формулы измерения информации Чартли и Шеннона, примеры вычислений.
   • Системы счисления. Позиционные системы счисления, их представление.
   • Двоичная, восьмеричная, шестнадцатеричная системы счисления.
   • Правила преобразования чисел из одной системы счисления в другую.
   • Примеры
   • 2. Из двоичной и шестнадцатеричной систем счисления - в десятичную.
   • 4. Из шестнадцатеричной системы счисления в двоичную:
   • Правила перевода правильных дробей
   • 1. Из десятичной системы счисления - в двоичную и шестнадцатеричную:
   • 2. Из двоичной и шестнадцатеричной систем счисления - в десятичную.
   • 3. Из двоичной системы счисления в шестнадцатеричную:
   • 4. Из шестнадцатеричной системы счисления в двоичную:
   • Понятие информационной системы. Структура ис.
   • Процессы, обеспечивающие работу ис.
   • Классификация информационных систем, свойства ис. Классификация по архитектуре
   • Классификация по степени автоматизации
   • Классификация по характеру обработки данных
   • Классификация по сфере применения
   • Классификация по охвату задач (масштабности)
   • Типы информационных процедур.
   • 1. Поиск.
   • 2. Сбор и хранение.
   • 3. Передача.
   • 4. Обработка.
   • 5. Использование.
   • 6. Защита.
   • Классификация ис по направлению деятельности
   • Направления анализа функционирования корпоративной сети
   • Экспертные системы их классификация
   • Базовые функции экспертных систем
   • Приобретение знаний
   • Представление знаний
   • Управление процессом поиска решения
   • Разъяснение принятого решения
   • Представление знаний. Классификация модеклей представления знаний.
   • Понятие операционной системы. История развития ос.
   • 1946 Г. – eniac (Electronic Numerical Integrator and Computer) – полное отсутствие какого-либо по, программирование путем коммутации устройств.
   • 1952 Г. – Первая ос создана исследовательской лабораторией фирмы General Motors для ibm-701.
   • 1955 Г. – ос для ibm-704. Конец 50-х годов: язык управления заданиями и пакетная обработка заданий.
   • Основные принципы построения операционных систем.
   • Классификация по компьютерной системы.
   • Состав компонентов и функций ос
   • Особенности алгоритмов управления ресурсами.(см. 27).
   • Классификация ос Классификация ос
   • Особенности алгоритмов управления ресурсами
   • Особенности аппаратных платформ
   • Особенности областей использования
   • Особенности методов построения
   • Сетевые ос. Варианты построения сетевых ос.
   • Основные принципы построения системы информационной безопасности.
   • Перечень и содержание огрганизационно-распорядительных документов иб.
   • Основные механизмы доступа к информационным ресурсам.
   • Способы и методы аутентификации.
   • Средства защиты ис от потери информации.
   • Брандмауэры и антивирусные пакеты.
   • Базы и банки данных.
   • Информационные сети. История развития информационных сетей.
   • Классификация сетей
   • Основные топологии лвс
   • Понятие логической структуры сети. Элементы логической структуры.
   • Основные понятия: интернет, провайдер, хост, сетевой протокол, ip-адрес, домен.
   • Архитектура клиент-сервер, одноранговые сети и сети с выделенным сервером, их преимущества и недостатки.
   • Понятие сервис ориентированной архитектуры.
   • Алгоритм, свойства алгоритма, формы записи алгоритма, скорость выполнения алгоритма.
   • Рекурсивные алгоритмы. Сущность рекурсии
   • Алгоритмы сортировки.
   • Понятие модели, численного метода. Подходы к реализации численных методов
   • Этапы реализации решения численных задач. Методы решения численных задач.
   • Алгоритмы решения задачи нахождения корней полинома: шаговый метод, метод половинного деления, метод Ньютона, метод простой итерации.
   • Численные методы решения задач аппроксимации.
   • Методы численного интегрирования.
   • Методы одномерной оптимизации.