Сущность понятия энтропии. Связь понятия количества

информации и энтропии.

Количество информации I (энтропийный подход). В теории ин­формации и кодирования принят энтропийный подход к измере­нию информации. Этот подход основан на том, что факт получе­ния информации всегда связан с уменьшением разнообразия или неопределенности (энтропии) системы. Исходя из этого количество информации в сообщении определяется как мера уменьшения не­определенности состояния данной системы после получения сооб­щения. Неопределенность может быть интерпретирована в смысле того, насколько мало известно наблюдателю о данной системе. Как только наблюдатель выявил что-нибудь в физической системе, эн­тропия системы снизилась, так как для наблюдателя система стала более упорядоченной.

Таким образом, при энтропийном подходе под информацией понимается количественная величина исчезнувшей в ходе какого-либо процесса (испытания, измерения и т. д.) неопределенности. При этом в качестве меры неопределенности вводится энтропия Н, а количество информации равно:

I = H_apr - H_aps

Где: Н_apr — априорная энтропия о состоянии исследуемой системы или про­цесса;

H_aps — апостериорная энтропия.

Апостериори (от лат. a posteriori — из последующего) — проис­ходящее из опыта (испытания, измерения).

Априори (от лат. a priori — из предшествующего) — понятие, ха­рактеризующее знание, предшествующее опыту (испытанию), и независимое от него.

В случае когда в ходе испытания имевшаяся неопределенность снята (получен конкретный результат, т. е. H_aps = 0), количество полученной информации совпадает с первоначальной энтропией I = H_apr

16. Содержание

    • Определения понятия - «информация». Назовите формы отражения в живой и неживой природе.
    • Назовите основные структурные компоненты процесса обмена информацией.
    • Функции и формы движения информации в обществе. Информационный процесс.
    • Основные этапы обращения информации в автоматизированных системах.
    • Определение понятия – «данные».
    • Состав и содержание общих законов управления.
    • Информационный ресурс и его особенности.
    • Определение процесса информатизации. Отличие процессов компьютеризации и информатизации.
    • Негативные последствия процесса появления новых информационных технологий.
    • Истории развития средств информационного труда.
    • История термина - «информатика». Определение
    • Общая структура современной информатики. Связь
    • Уровни проблем передачи информации.
    • Меры информации синтаксического уровня.
    • Сущность понятия энтропии. Связь понятия количества
    • Определение термин - «бит». Примеры сообщений,
    • Формулы Хартли и Шеннона. Условия перехода формулы
    • Уровни проблем передачи информации. Сообщение – как
    • Алфавит языка нулевого порядка. Понятие знака. Алфавит языка нулевого порядка
    • Строение знака – треугольник Фреге.
    • Семиотика – наука о знаковых системах в природе и
    • Меры информации семантического уровня. Определение
    • Связь информатики с кибернетикой.
    • Непрерывные и дискретные формы представления
    • Качество информации. Основные составляющие качества
    • Понятие защищенности и содержательности информации. Достижение требуемого уровень защищенности информации.
    • Основные классификационные признаки информации.
    • Система счисления.
    • Отличие позиционной системы счисления от
    • Основание системы счисления.
    • Алфавит системы счисления.
    • Правила выполнения арифметических действий в
    • Определение термина – «код». Дискретное кодирование
    • Эффективность систем счисления при использования в
    • Способы перевода чисел из одной системы счисления в
    • Преимущество использования восьмеричной и
    • Определение понятия – «машинное слово».
    • Представление двоичного сигнала в эвм.
    • Формы представления двоичных чисел в эвм. Прямой,
    • Правила выполнения операций сложения чисел со
    • Представление символьных данных в эвм. Системы
    • Системы кодирования графической информации.
    • Определение алгебры логики. Области применения
    • Элементы булевой алгебры. Базовые операции
    • Базовые логические операции.
    • Основные законы и постулаты алгебры логики. Аксиомы (постулаты) алгебры логики:
    • Законы алгебры логики:
    • Определение булевой функции. Булевы функции двух
    • Переключательная схема. Элементы
    • Синтез переключательной схемы по заданным
    • Основные этапы синтеза вычислительных схем.
    • Логический элемент компьютера. Базовые логические
    • Определение термина – «триггер».
    • 53. Основные свойства и характеристики электронно-дырочного перехода.
    • Определение термина – «транзистор». Различные типы
    • По основному полупроводниковому материалу:
    • По исполнению:
    • По материалу и конструкции корпуса:
    • Основные типы базовых транзисторных логических
    • Транзисторный элемент. Типы транзисторных
    • Основные этапы процесса изготовления
    • Способы хранением информации. Типы памяти в эвм.
    • Способы доступа к данным в запоминающих
    • Классификация запоминающих устройств.
    • Основные характеристики запоминающих устройств.
    • Особенности конфигурации запоминающих устройств с
    • Принцип функционирования запоминающих элементов
    • Статическое озу:
    • Динамическое озу:
    • Элементы памяти пзу.
    • Основные типы памяти современных пэвм.
    • Использование корректирующего кода в
    • Характеристики основных типов внешних
    • Определения понятий файл и кластер.
    • Объясните структуру данных на магнитном диске.
    • Определение термина - «fat». Основное отличие
    • Виды накопителей на оптических дисках.
    • Принципы записи информации на оптических и