Введение

Передача данных связана с проблемой надежной, гарантирующей как от сбоев каналов связи, так и от помех, пересылки информации из одного пункта в другой в соответствии с требованиями пользователей. Для передачи или хранения информации используются различные знаки (символы), позволяющие представить ее в некоторой форме. Этими знаками могут быть слова и фразы в человеческой речи, жесты и рисунки, формы колебаний, математические знаки и т.д. Совокупность знаков, отображающих ту или иную информацию, называют сообщением.

Пользователи взаимодействуют с системой связи не напрямую, а через приложения, которые сами связываются друг с другом. Для связи друг с другом приложения используют коммуникационную систему, которая поддерживается их операционными системами. Коммуникационная система не работает с каждым приложением индивидуально, иначе каждый раз, когда было бы разработано новое приложение, коммуникационная система должна была бы изменяться. Приложение формирует свои запросы для фиксированного набора служб (услуг), обеспечивающих работу коммуникационной системы.

Лабораторная работа № 1

Кодирование источника

1. Цель работы

Научиться отображать данные в наиболее эффективной для передачи форме.

2. Краткие теоретические сведения

Для определения количества информации используется формула Хартли , где P(S) – вероятностное появление одного символа, а все символы равновероятны. Но в большинстве случаев информация зависит от вероятности и поэтому для уточнения этого определения необходимо использовать концепцию вероятности. Говорят, что информация – это уменьшение (снятие) неопределенности. Т.е. чем больше вероятность события, тем меньшее количество информации содержится в результате. Этот подход был использован Шенноном. Он определил неопределенность, как энтропию случайного события (величины) X, которое может иметь n возможных результатов (значений), получаемых в результате экспериментов с вероятностями , как .

Источник информации – это производитель информационных символов (значений). Источник без памяти – это специальный тип источника, где вероятность производимого символа не зависит от какого-либо из предыдущих символов. Если вероятность каждого символа неизменна во времени, то говорят, что источник стационарный. Поэтому для такого источника . Строка символов, произведенная таким источником , где все символы принадлежат одному и тому же распределению вероятностей. Энтропия этого источника определяется как , где сумма берется по всем k и . Набор допустимых символов называется алфавитом.

Если имеется некоторая зависимость от предыдущих результатов, то говорят, что источник имеет память. Большинство реальных источников имеют память. Источники с памятью – это обычно не индивидуальные символы, а скорее группы символов, которые формируют различные сообщения. Энтропия такого источника рассчитывается по сообщениям, а не по символам.

Если источник (без памяти) имеет энтропию H, то любой однозначно дешифруемый код для этого источника с алфавитом из D символов должен иметь длину (разрядность) по меньшей мере , и существует код с длиной .

Избыточность кода определяется как относительная разность между средней и минимальной длиной кодовых слов, т.е. как . Средняя длина кодовых слов , где - длина кодового слова i и - вероятность этого кодового слова.

Близко связанным понятием является эффективность кода (обозначается как ), которая определяется как и обычно выражается в процентах. Избыточность кода равна , и если код имеет эффективность 100%, то у него нет никакой избыточности. Для случая двоичного кода , так что можно упростить эти уравнения: избыточность = .

Для эффективной передачи информации, для того чтобы сохранять низкую среднюю длину сообщения, нужно кодировать наиболее вероятные сообщения с помощью коротких кодовых слов. Перед любым кодированием информации она должна быть приведена к удобной для обработки форме. Для кодирования источника без памяти используются типы сжатия Шеннона-Фано и Хаффмана.