Программы обработки звука, подходы к подавлению шума, эффекты, моделирование звука.
Самой известной программой для обработки звука является Sony Sound Forge. Это мощный звуковой редактор. Программа позволяет производить запись, редактирование, восстановления аудио файлов. Редактор сможет наложить звуковые эффекты, произвести микширование аудио, синхронизировать аудио с видео, создавать сэмплы и пулы. Программа позволяет записать звук из любого источника, микрофона или инструмента.
Шумоподавление.
Простые методы. Простейшим способом повышения разборчивости речи является ее полосовая фильтрация. Фильтр верхних частот удаляет из сигнала часто встречающиеся низкочастотные шумы. Уменьшение мощности первой форманты при этом, не ведет к серьезному ухудшению разборчивости речи. Фильтр нижних частот с частотой среза порядка 4 кГц удаляет высокочастотные шумовые составляющие. Данный метод эффективен для ослабления шумов, которые лежат вне диапазона частот, существенного для восприятия речи, и фактически непригоден, когда спектры полезного сигнала и шума находятся в одной частотной области. В случае, когда помеха занимает сравнительно узкий участок или участки спектра полезного сигнала, применяют многополосную фильтрацию (эквалайзинг).
В случае воздействия на речь достаточно широкополосного шума разборчивость речи можно улучшить, дополняя полосовую фильтрацию сигнала операцией нормализации (клиппирования). В основу этого метода положен тот факт, что нормализация увеличивает относительную амплитуду важных для разборчивости, но слабых по мощности согласных звуков, тем самым уменьшая их маскирование более громкими гласными звуками или шумом.
Методы, основанные на вычитании спектров. Суть данных методов состоит в следующем. При аддитивном шуме обрабатываемый сигнал можно представить в виде следующего выражения: y(t)=s(t)+n(t), где s(t) — исходный речевой сигнал, n(t) — шум. В этом случае спектр зашумленного речевого сигнала также является суммой спектров сигнала и шума. Получить спектр исходного сигнала можно путем вычитания спектра шума из спектра наблюдаемого сигнала.
Следует отметить, что методы, основанные на вычитании спектра, в настоящее время наиболее широко используются на практике. Их можно применять для подавления практически любых (кроме импульсных) помех, находящихся в полосе сигнала.
Методы, основанные на винеровской фильтрации сигнала
В этих методах первоначально по зашумленному речевому сигналу y(t) оценивается передаточная характеристика “оптимального” фильтра. Далее этот фильтр применяется во временной или частотной области. В результате фильтрации находится оценка неискаженного речевого сигнала.
Методы коррекции и сглаживания спектра речевых сигналов
Основная энергия речевого сигнала сосредоточена на определенных частотах, называемых формантами, а энергия шума, вообще говоря, может быть распределена по всему диапазону звуковых частот. Таким образом, используя соответствующий фильтр, реализованный во временной или спектральной области и точно настроенный на формантные частоты, можно уменьшать шум, сохраняя при этом полезный сигнал. Однако поскольку значения формант остаются постоянными только на коротких интервалах времени, то при обработке разных участков речи требуется постоянная адаптивная подстройка фильтра. Это не всегда легко реализуется на практике. Например, такая фильтрация совершенно неприемлема в случае воздействия на сигнал суммы гармонических помех.
Методы сглаживания спектра предназначены для удаления в нем нехарактерных для речи резких перепадов и выравнивания динамического диапазона среднего спектра с целью компенсации амплитудно-частотных искажений сигнала в канале связи или звукозаписи.
Методы адаптивного подавления помех. Группа методов, называемых методами адаптивного подавления (или фильтрации) помех, основана на совместной обработке искаженного сигнала y(t)=s(t)+n(t) и опорного сигнала r(t), некоррелированного с исходным речевым сигналом s(t), но коррелированного c шумом n(t) (либо, наоборот, коррелированного с речью, но некоррелированного c помехой). В процессе адаптивной фильтрации сигнала r(t) формируется оценка коррелированного с r(t) компонента, который вычитается из y(t).
Существуют два типа систем, реализующих принцип адаптивного подавления помех. Различаются они по способу получения опорного сигнала. В первой из них опорный сигнал формируют из зашумленного путем тех или иных преобразований последнего. Иногда такие системы называют одноканальными.
Двухканальные системы основаны на использовании двух, как правило, слабо коррелированных между собой источников получения обрабатываемой смеси речевого сигнала и помех. Например, такой метод может быть реализован в режиме “стереозаписи” при использовании двух разнесенных в пространстве направленных микрофонов, которые по-разному ориентированы на источники полезного сигнала и помехи. Достоинством данного метода является способность в некоторых случаях восстанавливать разборчивость даже самых зашумленных сигналов. Недостаток очевиден — режим “стереозаписи” не всегда может быть реализован на практике.
Методы коррекции на основе моделей речевого сигнала.
Эти методы основаны, как правило, на предположении о линейности передаточной функции голосового тракта в модели образования речевого сигнала. В этом случае сигнал в некоторый момент времени может быть представлен в виде линейной комбинации своих значений в предыдущие моменты. Такие методы называют методами линейного предсказания. При их использовании основной задачей при коррекции является оценка коэффициентов линейного предсказания с последующей реконструкцией исходного речевого сигнала. Однако этим методам присущ серьезный недостаток: в случае обработки сильно зашумленных речевых сигналов не всегда возможно правильно вычислять коэффициенты линейного предсказания. Это, в свою очередь, может еще больше ухудшить разборчивость сигнала на выходе системы линейного предсказания.
Метод “псевдостерео”.
Сущность этого метода - использование двух звуковых сигналов, подаваемых на прослушивание раздельно. В этом качестве обычно используют исходный и обработанный каким-либо другим методом шумоочистки сигнал. Можно использовать и два сигнала, обработанные разными методами. Повышение разборчивости при использовании данного режима воспроизведения является чисто субъективным, “на слух”. Тем не менее, часто оказывается, что в связи с естественной привычкой человека получать звуковую информацию по двум каналам одновременно (то есть слушать обоими ушами) при подобном способе подачи звука суммарный продукт воспроизведения будет казаться более разборчивым, чем каждая из его составляющих в отдельности.
Программные средства шумоочистки.
В этом классе аппаратуры наиболее известны цифровые звукомонтажные станции “Sonic NoNoise” американской компании “Sonic Solutions”.
Подобные системы реставрации фонограмм создаются и в России. В качестве примера можно привести разработанный на фирме “Русский компакт-диск” аппаратно-программный комплекс реставрации и цифрового монтажа звука “КАНОНЪ”.
К сожалению, всем профессиональным системам, предназначенным для очистки музыкальных аудиозаписей и подготовки компакт - дисков и кассет, присущ один ‘недостаток’ - их сравнительно высокая стоимость.
Моделирование - Sound Forge -> Tools -> Synthesis
Musical Instrument Digital Interface - цифровой интерфейс музыкальных инструментов. Изначально был предназначен для замены принятого в то время управления музыкальными инструментами при помощи аналоговых сигналов управлением при помощи информационных сообщений, передаваемых по цифровому интерфейсу. Впоследствии стал стандаpтом де-факто в области электpонных музыкальных инстpументов и компьютеpных модулей синтеза. MIDI пpедставляет собой так называемый событийно - оpиентиpованный пpотокол связи между инстpументами. Всякий pаз, когда исполнитель пpоизводит какое-либо воздействие на оpганы упpавления (нажатие/отпускание клавиш, педалей, изменение положений pегулятоpов и т.п.), инстpумент фоpмиpует соответствующее MIDI-сообщение, в тот же момент посылаемое по интеpфейсу. Дpугие инстpументы, получая сообщения, отpабатывают их так же, как и пpи воздействии на их собственные оpганы упpавления. Таким обpазом, поток MIDI-сообщений пpедставляет собой как бы слепок с действий исполнителя, сохpаняя пpисущий ему стиль исполнения - динамику, технические пpиемы и т.п. Пpи записи на устpойства хpанения инфоpмации MIDI-сообщения снабжаются вpеменными метками, обpазуя своеобpазный способ пpедставления паpтитуpы. Пpи воспpоизведении по этим меткам полностью и однозначно восстанавливается исходный MIDI - поток.
- Предмет мультимедиа. Задачи. Аппаратура. Примеры.
- Шрифты, параметры, измерения.
- Разработка шрифтов. Средства и методы.
- Классификация шрифтов (растровые, векторные, алгоритмические и т.Д.).
- Компьютерные шрифты (Type1, TrueType).
- Текст, основные понятия, метрика.
- Текст, правила набора, вёрстки, оформление систем мультимедиа.
- Гипертекст, основные понятия и программы создания.
- Графика. Сканирование изображений, обработка изображений.
- Структура файла bmp
- Цвет, модели, палитры.
- Матричные операции.
- Методы обработки растровой графики.
- Эффекты и фильтры в растровой графике.
- Математические подходы к подавлению шума.
- Кодирование, классификация, методы сжатия (rle, Хаффман, jpeg).
- Трассировка и программы трассировки.
- Программы создания и обработки графики.
- Adobe Photoshop – растровая графика.
- Corel Draw – векторная графика.
- Adobe Illustrator – векторная графика.
- Звук. Характеристики и параметры. Квантование, дискретизация.
- Звук. Кодирование, mp3.
- Описание процесса кодирования.
- Звук. Форматы звуковых файлов, редактирование, эффекты.
- Звуковые платы. Аппаратура воспроизведения и записи звука.
- Программы обработки звука, подходы к подавлению шума, эффекты, моделирование звука.
- Видео и анимация. Аналоговое и цифровое. Форматы видеофайлов.
- Форматы видео
- Цифровые видеостандарты.
- Аппаратура. Оцифровка, редактирование.
- Сжатие, классификация методов кодирования.
- Сжатие, технологии, методы, mpeg.
- Стандарт mpeg, dvd.
- Интегрирующие (авторские системы) пакеты. Классификация, назначение.