Лекция 5 Количество информации
Так называют числовую характеристику сигнала, которая не зависит от его формы и содержания и характеризует степень неопределенности, которая исчезает после выбора (получения) сообщения в виде данного сигнала.
Поясним эту идею на простом примере. Пусть имеется колода карт, содержащая 32 различные карты. Чтобы выбрать одну из карт, существует 32 возможности, которые характеризуют исходную неопределенность ситуации.
Если при равной вероятности уже выбрана какая-то из них (например, король червей), то неопределенности нет. Таким образом, число 32 в рассматриваемом примере можно было бы считать количеством информации, заложенным в одном выборе из 32 возможностей. Р. Хартли предложил в качестве меры неопределенности логарифм от числа возможностей:
Н = k loga m. (1)
Здесь Н — количество информации, k — коэффициент пропорциональности, т - число возможных выборов, а — основание логарифма. Чаще всего принимают k = 1 и а = 2. Тогда стандартной единицей количества информации будет выбор из двух возможностей. Такая единица носит наименование бита и представляется одним символом двоичного алфавита. (Наиболее распространенный двоичный алфавит -множество {О, 1}.)
Бит выбран в качестве единицы количества информации потому, что принято считать, что двумя двоичными словами исходной длины т или словом длины 2т можно передать в два раза больше информации, чем одним исходным словом. Число выборов при этом увеличивается в 2m раз, тогда как значение Н в соотношении (1) просто удваивается.
Интересно, что в соотношении (1) Н характеризует число вопросов (двоичных), ответы на которые позволяют выбрать одну из альтернатив. Так, в примере с колодой карт из 32 карт необходимо и достаточно получить ответы "да" и" нет" на пять вопросов. Ответ на каждый вопрос вдвое сокращает область дальнейшего выбора. Пусть, например, необходимо выбрать даму пик. Такими вопросами будут:
1. Карта красной масти? Ответ: "нет".
2. Трефы? Ответ: "нет".
3. Одна из четырех старших? Ответ: "да".
4. Одна из двух старших? Ответ: "нет".
5. Дама? Ответ: "да".
Таким образом, выбрана дама пик. Этот выбор можно описать последовательностью из пяти двоичных символов 00101, в которой 0 соответствует "нет", а 1 соответствует "да".
До сих пор предполагалось, что выборы равновероятны и число их конечно. К, Шеннону принадлежит обобщение Н на случай, когда Н зависит не только от т, но и от вероятностей выбора символов и вероятностей связей между ними.
Так, для количества собственной или индивидуальной информации он предложил соотношение:
где Pi — вероятность выбора i-го символа алфавита.
Удобнее в качестве меры количества информации пользоваться не значением hi, а средним значением количества информации, приходящейся на один символ алфавита:
Значение Н достигает максимума при равенстве всех Pi т. е. при .В этом случае соотношение (3) превращается в формулу Р. Хартли (1):
При наличии вероятностных связей между символами соотношение (3) несколько усложняется.
Представление символьной (текстовой) информации в компьютере
Символьная (текстовая) информация вводится в компьютер, хранится и обрабатывается в нем в виде цифрового двоичного кода.
Необходимый набор символов, которые нужно закодировать в двоичном виде обычно включают в себя:
-
Буквенные знаки алфавита языка, на котором написан текст;
-
Цифры;
-
Знаки препинания, пробел, скобки, кавычки;
-
Знаки математических операций;
-
Специальные знаки (№, $ и т.д);
-
Символы разметки текста (знак конца строки, знак конца абзаца, знак табуляции и т.д.
-
Символы псевдографики (используются в алфавитно-цифровых дисплеях)
Среди различных кодировок наибольшее распространение получила англоязычная кодировка ASCII (American Standard Code for Information Interchange). Для кодировки одного знака используется 7 двоичных разрядов, всего 128 различных битовых комбинаций. Расширенная кодировка использует 8 битов (1 байт) для кодирования символа, всего 256 символов. Символы 128-255 кодируют символы европейских языков, которые используют латинский алфавит в своей основе, а также содержат коды псевдографики и коды различных специальных символов. Коды 128-255 могут кодировать и другие символы, в частности символы русского алфавита.
Для представления букв русского алфавита в кодах ASCII ,был разработан код КОИ-7 (Код Обмена Информацией 7-значный), неудачный, затем была введена ГОСТ-альтернативная кодировка, затем была разработана кодировка КОИ-8(код обмена информацией восьмизначный). КОИ-8 используется сейчас в электронной почте и других службах российского Интернета.
Наиболее широко применяется сейчас кодировка русского алфавита Windows-1251.
Кодировки записаны в виде таблиц кодировок.
В последнее время внедряется 16-битная международная кодировка UNICODE. На код символа отводится 16 двоичных разрядов, что дает возможность закодировать 65536 различных символов. Это достаточно для кодирования символов алфавитов всех используемых языков. При работе с различными кодировками важно, чтобы программа работала с текстом в той же кодировке, в которой этот текст был закодирован.
Представление графической информации в компьютере
Для представления графической информации в компьютере существуют два метода: растровый и векторный.
При растровом методе изображение строится из некоторых минимальных элементов одного размера – пикселей прямоугольной формы. Каждый пиксель окрашен в один цвет.
Чем меньше размер пикселей, тем более качественным будет выглядеть изображение, выведенное на экран дисплея или напечатанное на бумаге.
Каждый пиксель кодируется некоторым набором битов в двоичной системе счисления. Для кодирования черно-белого изображения достаточно одного бита: белый пиксель 1 ,черный пиксель – 0. Если мы отведем для кодирования цвета пикселей 8 битов, то мы сможем закодировать 256 цветов. Эта кодировка используется для работы с черно-белыми полутоновыми изображениями, содержащими 256 градаций серого цвета.
Те же 256 цветов можно использовать и при работе с цветными рисованными изображениями, закодировав последовательными номерами цвета, записанные в некоторой таблице – палитре. Это так называемые индексные цвета.
Для работы с изображениями фотографического качества используется кодировка модели RGB, в которой любой цвет представляется смешением трех цветов – красного, зеленого, синего разной интенсивности. Под кодировку каждого цвета отводится 8 бит (256 градаций), в сумме код пикселя занимает 24 бита, что дает в итоге примерно16,5 цветов, что близко к чувствительности тренированного человеческого глаза (японской женщины).
Для перевода графического изображения в растровый вид используются процедуры
-
дискретизации – разбиения изображения на мелкие прямоугольники и замену цветов квадратика одним цветом по некоторым правилам;
-
Квантования – вычисления стандартного цвета, ближайшего к выбранному цвету пикселя при дискретизации.
-
Кодирования – замену цвета пикселей стандартными кодами.
В итоге получается двоичный массив. Если записать массив во внешнюю память без сжатия, он станет файлом формата BMP ( bit map – битовой картой).
При использовании в процедурах квантования и кодирования кодов индексных цветов (256), а также сжав массив алгоритмом LZW при записи во внешнюю память можно получить файл формата GIF – часто используется в интернет и электронных энциклопедиях.
При использовании модели RGB и алгоритма сжатия JPEG получим файл формата JPG – используется в интернет для представления изображений фотографического качества.
Формат записи графических файлов TIFF используется для вывода файлов на печать и переноса файлов на другие модели компьютеров.
При векторном методе записи графических изображений изображение представляется набором математических кривых и графических примитивов (круг, эллипс, прямоугольник и т.д.) и заливок внутренней части замкнутых кривых. В файле изображение кодируется командами рисования данных кривых и примитивов. Каждая команда, как и команда процессора, кодируется в двоичной виде.
Надо помнить, что экран дисплея представляет собой матрицу из пикселов, поэтому при выводе на экран векторное изображение должно быть представлено в растровом виде. Этим объясняется неровность изображения наклонных прямых и окружностей.
Размер пиксела определяет разрешение дисплея. Измеряеися количеством пикселов на одном дюйме и называется dpi. Стандарт сегодняшнего дня 70-120 dpi. Иногда разрешение дисплея указывают в виде двух чисел –количество пикселов по горизонтали и вертикали. Например 640*480, 800*600, 1024*768.
- 032900 – Русский язык и литература;
- 032600 – История;
- 033200 – Иностранный язык;
- Пояснительная записка
- 032900 – Русский язык и литература;
- 032600 – История;
- 033200 – Иностранный язык;
- Программа курса
- Математические и логические основы информатики.
- II. Арифметические и логические основы персонального компьютера.
- III. Теория алгоритмов и формальных грамматик.
- IV. Программные средства персонального компьютера.
- Учебный план
- I лекции (20 часов)
- Методические указания к лекциям
- Лекция 1
- Лексические функции как пример математизации объектов лингвистики
- Функция как математическое понятие
- Функция в лексике
- Отличие лексической функции от числовой
- Обозначение
- «Склеенные» функции
- Типы лексических функций
- Возможности использования лексических функций
- Лекция 2-3 Алгебра высказываний. Логические функции. Законы булевой алгебры
- Лекция 4 Перевод чисел из одной позиционной системы счисления в другую. Арифметика в различных системах счисления.
- Лекция 5 Количество информации
- Лекция 6 Архитектура эвм
- 4. Алгоритм решения любой задачи представляется в виде последовательности слов, называемых командами, которые определяют наименование операции и слова информации, участвующие в операции.
- Устройство процессора
- Лекция 7 Алгоритм
- Нормальный алгоритм
- Лекция 9 Понятие операционных систем
- Приложение к лекции 1 Синтаксический граф
- Синтаксическое дерево
- Типы синтаксических деревьев
- Дерево подчинения
- Стилистическая диагностика Индивидуальный синтаксис писателя
- Перевод особенностей авторского стиля на формальный язык синтаксических деревьев
- Пушкинская, лермонтовская и гоголевская фразы — сходства и различия
- Компьютерный практикум.
- Частотный анализ в филологических исследованиях (на базе словарей)
- Работа с программой PhotoShop 6
- Создание шаблона титульного листа диплома в программе word. Лабораторная работа № 1. Изучение макрокоманд программы Word
- Общие навыки Включение компьютера
- Нажатие левой клавиши устройства «Мышь».
- Установка текстового курсора в нужную позицию
- Работа с оконным интерфейсом операционной системы Windows
- Переход на вкладку в окне.
- Работа с файловой системой операционной системы Windows 2000 Открытие окна Microsoft Word.
- Закрытие окна программы Microsoft Word
- Сохранение документа (файла) на диске.
- Создание новой папки.
- Открытие папки.
- Поиск нужной папки
- Открытие документа.
- Создание нового документа
- Копирование выделенного объекта.
- Вырезание выделенного объекта.
- Вставка скопированного (вырезанного) объекта.
- Работа с файловой системой операционной системы Windows 2003 Открытие окна программы Microsoft Word
- Закрытие окна программы Microsoft Word
- Создание новой папки.
- Открытие папки.
- Поиск нужной папки
- Открытие документа.
- Сохранение документа (файла) на диске.
- Создание нового документа
- Копирование выделенного объекта в буфер обмена.
- Вставка скопированного (вырезанного) объекта из буфера обмена.
- Работа в программе Word Форматирование текста Установка автоматического переноса слов.
- Установка параметров страницы.
- Нумерация страниц.
- Установка левой границы текста с помощью бегунка
- Установка параметров абзаца.
- Установка режима выравнивания.
- Установка размера шрифта (кегля).
- Выбор гарнитуры шрифта
- Установка типа шрифта
- Переход в режим набора текста курсивом (полужирным, с подчеркиванием).
- Отмена набора текста курсивом (полужирным, с подчеркиванием).
- Выделение текста (строки, слова, символа).
- Гашение выделения текста (строки, слова, символа).
- Изменение регистра букв текста
- Изменение настройки автотекста: «Делать первые буквы предложений прописными.»
- Маркировка и нумерация списка
- Установка уровня вложенности заголовка.
- Создание оглавления
- Вставка объектов Вставка рисунка из библиотеки рисунков.
- Перемещение объекта
- Выделение объекта иди группы объектов
- Вырезание выделенного объекта.
- Изменение размера картинки
- Вставка надписи.
- Выделение надписи.
- Заведение текста в надпись
- Изменение размера надписи
- Создание эффекта тени сзади надписи.
- Установка режимов обтекания текстом картинок.
- Установка режимов обтекания текстом объектов.
- Вставка подписи к рисункам
- Группировка объектов
- Рисование стрелок и отрезков прямых линий.
- Удаление объекта
- Изменение направления текста в надписи.
- Закрашивание фона надписи
- Работа с таблицами Вставка таблицы
- Выделение ячеек таблицы.
- Вызов редактора формул.
- Статистика Установка параметра проверки статистика удобочитаемости.
- Подсчет количества вхождений заданного фрагмента текста в документ.
- Выполнить сканирование и распознавание документов в программе Fine Reader 7.
- Лабораторная работа №2 Создание текстового документа в редакторе Microsoft Word.
- Лабораторная работа № 3 Набор филологических текстов.
- Лабораторная работа №4 Создание таблиц.
- Лабораторная работа № 5 Вставка объектов (рисунков и надписей) в текст.
- Система высшего и центрального управления в Российской империи в первой половине XIX в.
- Лабораторная работа 6. Набор математических объектов и формул.
- Лабораторная работа № 7 Анализ удобочитаемости текста. Выбор тематической и удобочитаемой литературы с помощью команд программы Microsoft Word.
- § 1. Сущность методов осуществления целостного педагогического процесса и их классификация
- Задание 3 .Выбор удобочитаемого тематического текста из сети Интернет с помощью команд программы Microsoft Word.
- Лабораторная работа № 8 Расчет простых и сложных процентов
- Основные определения.
- Задача №1:
- Задания для самостоятельной работы:
- Лабораторная работа № 9 Расчеты итоговых сумм выплат при покупках в кредит
- Основные определения.
- Лабораторная работа № 10 Частотный анализ поэтических текстов по начальной букве
- Лабораторная работа №11 Частотный анализ поэтических текстов по всем буквам.
- Лабораторная работа № 12 Частотный анализ при обработке исторических фактов и географических названий.
- Строка заголовков столбцов
- Лабораторная работа № 13 Частотный анализ в филологических исследованиях (на базе словарей)
- Лабораторная работа № 14 Создание иллюстративных материалов к уроку с помощью программы Power Point –2000 с использованием Internet ресурсов.
- Лабораторная работа №15 Работа с программой PhotoShop 6
- Лабораторная работа № 16 Обработка материалов тестовых опросов в программе excel
- Лабораторная работа № 17 Создание шаблона титульного листа диплома в программе word.