Методы и средства мультимедиа Звук

Московский авиационный институт

(государственный T
E

Xнический университет)

Факультет прикладной математики

Кафедра вычислительной математики и программирования

Методы и средства Мультимедиа. Звук

Преподаватель: О.В. Казанцев

Студент: И.К. Никитин

Москва, 2010

Содержание

1
Основные сведения о звуковых волнах 5

1.1 Характеристики . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.2 Закон Вебера-Фехнера для звука . . . . . . . . . . . . . . . . . . 6

1.3 Логарифмическая шкала . . . . . . . . . . . . . . . . . . . . . . . 6

1.4 Примеры . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

1.5 Спектральное представление звука . . . . . . . . . . . . . . . . . 7

Искажения и эффекты
10

2
Линейные искажения 10

2.1 Линейные искажения . . . . . . . . . . . . . . . . . . . . . . . . . 10

2.2 Искажения в многоканальных системах . . . . . . . . . . . . . . 10

3
Нелинейные искажения. Помехи и шумы 12

3.1 Примеры нелинейных искажений . . . . . . . . . . . . . . . . . . 12

3.1.1 Перегрузка . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

3.1.2 Интермодуляционные . . . . . . . . . . . . . . . . . . . . . 12

3.1.3 Биение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

3.2 Помехи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

4
Цифровой способ представления звука 14

4.1 Аналогово-цифровое преобразование . . . . . . . . . . . . . . . . 14

4.1.1 Фильтрация . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

4.1.2 Дискретизация . . . . . . . . . . . . . . . . . . . . . . . . . 15

4.1.3 Квантование . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

5
Динамическая обработка звука 17

5.1 Компрессор и лимитер . . . . . . . . . . . . . . . . . . . . . . . . . 18

5.2 Гейт и экспандер . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

6
Частотная коррекция звукового сигнала 21

6.1 Частотные фильтры . . . . . . . . . . . . . . . . . . . . . . . . . . 21

6.1.1 Фильтр низких частот . . . . . . . . . . . . . . . . . . . . . 22

6.1.2 Фильтр высоких частот . . . . . . . . . . . . . . . . . . . . 22

6.1.3 Полосовый фильтр . . . . . . . . . . . . . . . . . . . . . . . 23

6.2 Эквалайзер . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

7
Пространственные и модуляционные эффекты 25

7.1 Хорус, Фленджер, Фазер . . . . . . . . . . . . . . . . . . . . . . . . 25

7.2 Эхо . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

7.3 Реверберация . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

Синтез звука
30

8
Аддитивный синтез звука 31

9
Субтрактивный синтез звука 32

10Частотной модуляция 33

10.1Генератор, управляемый кодом . . . . . . . . . . . . . . . . . . . 33

10.2Частотная модуляция . . . . . . . . . . . . . . . . . . . . . . . . . 34

10.3Синтез . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

11Нелинейный синтез звука 36

12Таблицы волн 37

12.1WT-синтез . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

12.2Сэмплерные синтезаторы . . . . . . . . . . . . . . . . . . . . . . . 38

13Физическое моделирование 39

14Звуковые платы 40

14.1Состав звуковой платы . . . . . . . . . . . . . . . . . . . . . . . . 40

14.2Блок записи и воспроизведения . . . . . . . . . . . . . . . . . . . 41

14.3Блок синтезатора . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

14.4Блок DSP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

14.5Блок интерфейсов . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

14.6Блок микшера . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

MIDI-интерфейс
44

15MIDI-интерфейс 44

15.1Назначение MIDI . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

15.2Аппаратная реализация MIDI . . . . . . . . . . . . . . . . . . . . . 45

15.3Разъем DIN-5 (СГ-5) . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

16Протокол MIDI 47

16.1Адресация в MIDI . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

16.2Типы MIDI-сообщений . . . . . . . . . . . . . . . . . . . . . . . . . 48

16.2.1Канальные сообщения о звуке . . . . . . . . . . . . . . . . 48

16.2.2Канальные сообщения о режиме . . . . . . . . . . . . . . . 49

16.2.3Системные сообщения . . . . . . . . . . . . . . . . . . . . . 49

17Стандарты MIDI-систем 50

17.1General MIDI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

17.2General Synthesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

17.3Extended General MIDI (XG) . . . . . . . . . . . . . . . . . . . . . . 51

17.4Все вместе . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

Запись и передача
53

18Секвенсоры 53

18.1Простейшая студия . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

18.2Студия для записи «живого» исполнения . . . . . . . . . . . . . . 53

18.3Студия для многоканальной записи . . . . . . . . . . . . . . . . . 54

18.4Студия для многоканальной записи с секвенсором . . . . . . . 55

18.5Секвенсор . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

18.5.1Паттерновые (Шаговые) . . . . . . . . . . . . . . . . . . . . 56

18.5.2Линейные . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

19Маскирование 58

19.1Сжатие звука . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

20Формат MP3 60

20.1Алгоритм сжатия MP3 . . . . . . . . . . . . . . . . . . . . . . . . . 60

20.2Схема MP3 кодера . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

20.3Режимы кодирования стерео . . . . . . . . . . . . . . . . . . . . . 61

20.4Психоакустические форматы . . . . . . . . . . . . . . . . . . . . . 62

Программирование звука
63

21Основные программные интерфейсы 63

22Программный интерфейс MME 63

22.1Способы кодирования звука . . . . . . . . . . . . . . . . . . . . . 64

22.2Формат потока . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

22.3Структура потока . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

22.4Системные особенности . . . . . . . . . . . . . . . . . . . . . . . . 66

22.4.1Несколько процессов . . . . . . . . . . . . . . . . . . . . . . 66

22.4.2Wave Mapper . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

22.4.3Устройства . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

22.5Алгоритм взаимодействия . . . . . . . . . . . . . . . . . . . . . . . 69

23Программный интерфейс DirectSound 71

23.1Назначение, структура, особенности . . . . . . . . . . . . . . . . 71

23.2Аппаратная поддержка . . . . . . . . . . . . . . . . . . . . . . . . 71

23.3Звуковые буферы . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

23.3.1Аппаратные и программные . . . . . . . . . . . . . . . . . 72

23.3.2Первичный и вторичные . . . . . . . . . . . . . . . . . . . 73

23.4Уровни взаимодействия . . . . . . . . . . . . . . . . . . . . . . . . 77

23.5Наборы свойств . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

23.6Идентификация устройств . . . . . . . . . . . . . . . . . . . . . . 78

23.7Системные особенности . . . . . . . . . . . . . . . . . . . . . . . . 78

23.8Алгоритм взаимодействия . . . . . . . . . . . . . . . . . . . . . . . 79

23.8.1Воспроизведение . . . . . . . . . . . . . . . . . . . . . . . . 79

23.8.2Запись . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

Предметный указатель
81

1. Основные сведения о звуковых волнах

1.1. Характеристики

Звуковая волна
— процесс распространения в сплошной среде объемных деформаций.

Забавно, заметить, если длинна волны больше расстояния между ушами человека, то он не сможет определить откуда идет звук.

Порог слышимости
— минимальное значение интенсивности звука, воспринимаемым человеческим ухом.

Порог слышимости зависит от частоты звуковой волны. Минимальное значение лежит в частоте 2 кГц и составляет м

Порог болевого ощущения
— интенсивность звука вызывающего болевые ощущения.

Порог болевого ощущения не зависит
от частоты звуковой волны. Значение составляет 10 [м
Вт
2
]

1.2. Закон Вебера-Фехнера для звука

Теоремма 1
(Закон Вебера-Фехнера).
Слух одинаково оценивает равные относительные изменения силы звука.

1.3. Логарифмическая шкала

• L
— интенсивность в Беллах.

• I
— интенсивность.

• I
0
— порог.

1.4. Примеры

Шум Громкость
Фоновый 10 Дб

Транспорт 70 Дб

Оркестр 90 Дб Наушники 100 Дб

Реактивный двигатель 120 Дб

Болевой порог 130 Дб

1.5. Спектральное представление звука

Звук представим в виде спектра:

x
(t
) = X
· sin(2 · π
· f
· t
+ φ
);

Даже белый шум представим как сумма гармоник, но не синусоидальных, а интегральных.

• A
— амплитуда;

• f
— частота.

Изобразим первый член ряда:

Изобразим два члена ряда:

Изобразим три члена ряда:

.x
(t
)

Изобразим четыре члена ряда:

Изобразим десять членов ряда:

Наблюдаемые горбы (осциляции) называются эффектом Гиббса
.

Таким образом можно изобразить звуковой спектр на графике:

≺ Искажения и эффекты ≻
2. Линейные искажения

Искажение
— изменение формы сигнала после прохождения через электроакустические устройства.

2.1. Линейные искажения

Линейное искажение
— искажения, которые проявляются в неодинаковом усилении передачи или воспроизведении различных гармоник, составляющих звуковой сигнал, независимо от их уровня

В случае спектра происходит изменение коэффициентов ряда Фурье. Изменяется только амплитуда набора гармоник.

При измерении искажений используется логарифмическая формула:

2.2. Искажения в многоканальных системах

Искажения в этих системах чаще всего симметричны. Выделяют 3 вида разбалансировки системы.

Разбалансировка громкости
— явление, при котором, какой-то канал многоканальной системы передает звук громче.

Фазовая разбалансировка
— явление, при котором, различные каналы многоканальной системы передают сигнал с разной скоростью.

Переходные помехи
— явление, при котором, сигнал из одного канала многоканальной системы проникает в другой канал.

3. Нелинейные искажения. Помехи и шумы

Нелинейное искажение
— заключается в изменении набора гармоник, обычно выше определенной частоты.

Особенность: степень проявления зависит от амплитуды входного сигнала. Коэффициент гармоник

%

• x
0
— амплитуда выходного сигнала;

• x
1
...xn
— амплитуды наведенных гармоник.

3.1. Примеры нелинейных искажений

3.1.1. Перегрузка

Это искажение часто используется для «обогащения» звука, например для

электрогитар.

3.1.2. Интермодуляционные

Более мощный низкочастотный сигнал вызывает амплитудную модуляцию у более слабого высокочастотного сигнала

3.1.3. Биение

Появление разностной частоты при воздействии на нелинейную систему двух сигналов с близкими частотами.

3.2. Помехи

Помехи порождают в выходном сигнале гармоники которые не зависят от входного сигнала.

Уровень шумов и наводок можно оценить с помощью формулы:

4. Цифровой способ представления звука

4.1. Аналогово-цифровое преобразование

4.1.1. Фильтрация

Фильтрация
— отсечение всех сигналов, частоты которых выше частоты, которая требуется для преобразования.

Граница на которой фильтр срезает частоту чаще всего имеет ширину 2кГц.

Оверсэмплинг
— фильтрация на высокой частоте.

.x
(t
) .x
(t
)

.−X
⇒ .−X

4.1.2. Дискретизация

Дискретизация
— процесс взятия отсчетов непрерывного во времени сигнала в равно отстоящие друг от друга временных точках. Интервал дискретизации
— интервал времени через который производится взятие от-

счетов.

Теоремма 2
(Котельникова-Найквиста-Шенона).
Сигнал, спектр частот, которого занимет область частот до
F
max
Может быть полностью
представлен дискретными отсчетами с интервалами не привышаюзими

• Частота 44.1 кГц — стандарт для Audio CD;

• Частота 48.0 кГц — профессиональный стандарт.

4.1.3. Квантование

Квантование
— процесс измерения мгновенных уровней сигнала полученных в результате дискретизации с точностью, ограниченной количеством разрядов, используемых для записей значений.

Есть 3 стандарта хранения отсчетов:

• 1 бит — 256 уровней сигналов;

• 16 бит — 65536 уровней сигналов;

• 32 бит — 4294967296 уровней сигналов;

C явлением квантование связано понятие шум квантования. Он рассчитывается по формуле

P
= −(6N
+ 1.
8),
где N
— количество разрядов;

5. Динамическая обработка звука

Динамическая обработка служит для изменения динамического диапазона сигнала
.

Динамический диапазон сигнала
— разница между самым громким и самым тихим звуком.

Чем шире диапазон, тем больше разница между самым тихим и самым громким звуком и наоборот. Динамические процессоры в основном подключаются «в разрыв».

Основные виды динамических обработок это:

5.1. Компрессор и лимитер

Задача компрессора состоит в том, что бы сжимать динамический диапазон
обрабатываемого сигнала. Компрессор понижает уровень громких звуков и повышает уровень тихих.

Лимитер тоже сжимает динамический диапазон, но в отличие от компрессора делает это жестко — не позволяет
сигналу превышать
определенный уровень.

Основные параметры:

• Порог
[1]
— уровень сигнала, при котором срабатывает обработка.

• Отношение
[2]
— определяет величину уменьшения сигнала при превышения порога.

Например, 2 : 1 означает, что при превышении порога сигнал должен быть уменьшен вдвое. У лимитера этот параметр не регулируется (бескончность). Компрессор с отношением n
: 1, n
> 10 работает как лимитер.

• Атака
[3]
— скорость срабатывания компрессора.

• Затухание
[4]
— скорость восстановления компрессора.

• Усиление
[5]
— уровень общего усиления сигнала на выходе. Задается в децибелах, отражающих увеличение или ослабление сигнала, который не превышает порог срабатывания.

• Жесткое или мягкое колено
[6]
— определяет жесткость срабатывания (отношение достигает своего значения сразу или плавно).

5.2. Гейт и экспандер

Это обработка, противоположная лимитеру. Если лимитер отсекает самые громкие звуки, то гейт отсекает самые тихие.

Гейт пропускает только те сигналы, уровень которых превосходит заданный порог, остальные отбрасывает. В основном предназначен для борьбы с шумами
и паразитными сигналами (звук соседнего барабана).

Основные параметры:

• Порог
[7]
— уровень сигнала, при котором срабатывает обработка.

• Отношение
[8]
— определяет насколько должен уменьшаться сигнал, уровень которого ниже порога. Чаще всего полное ослабление.

Например, 40 Дб — это практически полное ослабление.

• Атака
[9]
— скорость срабатывания компрессора.

• Затухание
[10]
— скорость восстановления компрессора.

Экспандер
прибор очень похожий на гейт. Отличие состоит в том, что гейт понижает сигнал ниже порога на определенную величину
, а экспандер понижает сигнал в заданном отношении.

То есть если у него задано отношение 2 : 1, то при недостаче 10 Дб, сигнал будет понижении на 20 Дб, а если сигнал недостает 2 Дб, то сигнал будет понижен на 4 дб. Соответственно у экспандера отношение называется ratio.

Представим сказанное в виде mind map.

6. Частотная коррекция звукового сигнала

Основные виды обработок:

• ФНЧ (LPF)

• ФВЧ (HPF)

• Полосовый фильтр(BPF)

• Режекторный (Notch filter) — полосовый фильтр, работающий в минус

• Графический эквалайзер

• Параметрический эквалайзер

• Параграфический эквалайзер — гибрид параметрического и графического эквалайзера

6.1. Частотные фильтры

6.1.1. Фильтр низких частот

Фильтр низких частот[11]
— отфильтровывает все ниже заданной частоты.

fc
— частота среза

6.1.2. Фильтр высоких частот

Фильтр низких частот[12]
— отфильтровывает все выше заданной частоты. Часто используется для подавления частот, которые не воспринимаются человеком. Эти частоты перегревают устройства.

fc
— частота среза

6.1.3. Полосовый фильтр

Частотный фильтр, в случае понижения, не срезает полосу до нуля. Он только уменьшает интенсивность определенных частот.

6.2. Эквалайзер

Эквалайзер
— устройство или компьютерная программа, позволяющая выравнивать амплитудно-частотную характеристику звукового сигнала, то есть корректировать его (сигнала) амплитуду избирательно, в зависимости от частоты. Эквалайзер обычно используется для частотной компенсации прибора.

Можно воспринимать эквалайзер как совокупность нескольких фильтров.

Графический
— эквалайзер с жестко определенным набором фильтров.

Графический эквалайзер имеет определенное количество регулируемых по уровню частотных полос, каждая из которых характеризуется постоянной рабочей частотой, фиксированной шириной полосы вокруг рабочей частоты, а также диапазоном регулировки уровня (одинаковый для всех полос).

Параметрический
— эквалайзер с кастомизированным набором фильтров. Параметрический эквалайзер удобно использовать для исправления конкретного дефекта.

Каждая полоса параметрического эквалайзера имеет три основных регулируемых параметра:

• Центральная
[13]
частота
в герцах (Гц);

• Добротность
[14]
— безразмерная величина;

• Уровень усиления
или ослабления
выбранной полосы в децибелах

(дБ).

Параграфический
— эквалайзер графического типа с регулировкой добротности.

7. Пространственные и модуляционные эффекты

7.1. Хорус, Фленджер, Фазер

Модуляционные эффекты основанные на задержке сигнала, вызывающей эффект изменения высоты тона.

Для хоруса, aленджерa, фазерa задержка очень маленькая, порядка десятков миллисекунд. Задержка сигнала может изменяться во времени. Модулируется эта величина при помощи низкочастотного генератора
.

Эффект Задержка [мс]

Фазер 1 − 6

Фленджер 7 − 15

Хорус 15 − 90

Основные параметры:

• Частота
[15]
— частота модулирующего генератора.

• Глубина
[16]
— величина отклонения тона

• Обратная связь
[17]
— величина обработанного сигнала, подаваемого на вход. Определяет число повторов.

7.2. Эхо

Эхо (Delay)
— задержка исходного сигнала с повтором Существует множество алгоритмов:

• одиночный повтор,

• многократный повтор,

• повтор с изменением панорамы,

• повтор с разными величинами задержки для правого и левого каналов.

Величина задержки очень большая от 200 мс до нескольких секунд.

Основные параметры:

• Время
[18]
— интервал времени между повторами.

• Обратная связь
[19]
— величина обработанного сигнала, подаваемого на вход. Определяет число повторов.

7.3. Реверберация

Реверберация
— это имитация естественных отражений звуковых волн в помещении. Реверберация применяется для имитации акустики окружающего пространства. Представляет из себя совокупность большого числа задержек исходного сигнала с разным временем.

Алгоритмы формирования таких задержек достаточно сложны и зависят от того, что моделируется.

Время задержки варьируется от десятком мс до сотен мс. Задержка как таковая на слух не ощущается (в отличие от эха). Воспринимается как придание некоторого объема звуковому сигналу.

Основные параметры:

• Тип и размер помещения[20]
— определяет алгоритм реверберации и величину задержек. Основные типы:

I room,

I hall,

I stadium,

I cathedral,

I bathroom,

I plate, I spring и т.д.

• Время[21]
– время звучания реверберационного хвоста (не путать с временем задержки как у delay)

• Задержка начала[22]
– определяет расстояние от источника звука до ближайшей стены, то есть время, через которое начнется реверберация.

В зависимости от алгоритма могут еще задавать параметры смешивания отраженных сигналов из их деградацию, обусловленную поглощающими материалами помещения.

≺ Синтез звука ≻

Звук любого инструмента имеет вид:

Атака
— начальная фаза образования звука.

Поддержка
— фаза образования звука, следующая после атаки. Во время поддержки формируется ощущение высоты звука.

Затухание
— участок уменьшения сигнала.

• Фаза атаки наиболее ярко выражена для барабанов. Момент удара палочкой как раз и есть фаза атаки.

• Фаза затухания у различных инструментов может быть как очень короткой (орга
н), так и очень длинной (арфа).

Некоторые фазы могут отсутствовать.

8. Аддитивный синтез звука

Результирующий звук формируется путем сложения нескольких исходных звуковых волн. Формируется N
гармоник с частотами f
1
(t
)...fn
(t
), и амплитудами A
1
(t
)...An
(t
). Гармоники не обязательно должны быть кратными. И гармоники и амплитуды зависят от времени. Эти гармоники складываются. Получаем синтезируемый сигнал.

Для получения всех точек звукоряда нужно несколько сотен составляющих гармоник.

. Для генерации синусоидального сигнала используются ГУК — генераторы, управляемые кодом.

9. Субтрактивный синтез звука

Метод субтрактивного синтеза звука является вторым по популярности. Синтез состоит из нескольких этапов:

1) Создается сигнал богатый гармониками.

Данный сигнал должен содержать максимальное количество гармоник. Чаще всего в качестве такого сигнала используют последовательность коротких прямоугольных импульсов. Иногда, чтобы еще сильнее обогатить сигнал используют пилообразные и треугольные импульсы.

2) Выбор нужного набора гармоник из исходного сигнала.

Интересно заметить, что подобный механизм «звукообразования» используется при формировании речи человека.

10. Частотной модуляция

10.1. Генератор, управляемый кодом

Напомним, что ГУК
23
— генераторы, управляемые кодом. Он используется для генерации синусоидального сигнала используются Составляющие:

• формирователь фазы;

I сумматор;

I регистр;

• ПЗУ;

В ПЗУ записаны отсчеты функции (sinx
) для одного периода. Точки одинаково удалены по времени.

• перемножатель параллельных кодов;

• ЦАП — цифро-аналоговый преобразователь;

• ФНЧ — фильтр низких частот;

10.2. Частотная модуляция

Частотная модуляция
— процесс модуляции при котором мгновенная частота несущего сигнала изменяется под воздействием модулирующего сигнала, а отклонение несущей частоты от среднего значения пропорционально амплитуде модулирующего сигнала.

x
(t
) = Ac
· sin(2πt
[fc
+ mf
· sin(2πfm
t
)])

• Ac
— амплитуда несущей частоты;

• fc
— несущая частота;

• mf
— индекс частотной модуляции;

• fm
— модулирующая частота.

Изменяя только mf
можно варьировать спектр x
(t
) в широких пределах. Это используется для ЧM-синтеза.

10.3. Синтез

Минимальное число ГУК для такой схемы должны равняться 6.

Важно заметить, что на аналоговом механизме такая схема работать не будет.

Достоинство:

Универсальность. Можно получить любое звучание.

Недостаток:

Сложность реализации.

ЧM-синтез был основным методом синтеза в середине 80-х годов XX века.

Это метод реализован в Native Instruments FM8.

11. Нелинейный синтез звука

Нелинейный синтез (и как частный случай, метод волновой формы) часто выступает как дополнение к субтрактивному синтезу.

Для синтеза одного инструмента используется сигнал одного генератора. Сигнал инструмента получается в результате нелинейных искажений гармоник генератора. Синусоидальный сигнал от генератора пропускают через нелинейный элемент и на выходе получают сигнал с той же частотой, но с другой фактурой(амплитуда, рисунок) гармоник. Таким образом можно получить спектры характерные для тех или иных инструментов.

Достоинство:

Простота.

Недостаток:

Нельзя раздельно управлять амплитудой и спектром.

Кольцевая модуляция
— умножение сигналов. В данном контексте это сложение
генераторов.

12. Таблицы волн

Этот метод синтеза также называют WT-синтез[23]
На данный момент наиболее популярен.

12.1. WT-синтез

WT-синтез
— метод синтеза, основанный на воспроизведении заранее записанного в цифровом виде звучания инструментов-сэмплов. Для изменения высоты звука сэмпл проигрывается с разной скоростью.

Атака, поддержка, затухание сэмплируются отдельно. Это необходимо чтобы не изменился характер звучания.

В сложных (и дорогих) синтезаторах используется параллельное проигрывание нескольких сэмплов на одну ноту. Обычно такие сэмплы играются на разных уровнях громкости. Такой метод называется — многослойным сэмплированием
.

Инструменты с короткой поддержкой семплируются полностью для всех вариантов звучания. Для большинства инструментов семплируется полностью только атака и затухание. Поддержка (вернее даже ее маленькая часть) сэмплируется всего лишь в нескольких наиболее отличимых вариантах, а при воспроизведении проигрывается в цикле и с различным ускорением. Достоинства:

• реалистичность;

• простота.

Недостатки:

• жесткий набор сэмплированных тэмбров;

• большие объемы памяти для храннения сэмплов.

MultiSample
— метод сэмплирования, при котором используется не одна волновая таблица, а последовательность в несколько десятков сэмплов.

Такой метод например, реализован в модуле NanoWave. Это модуль для Native Instruments Reactor.

12.2. Сэмплерные синтезаторы

Не надо путать WT-синтез c старым «сэмплерным методом»25
. В сэмплерных синтезаторах атака и затухание реализуются предопределенным сэмплом. Его длительность невозможно изменить. И только поддержка может быть произвольной длинны.

13. Физическое моделирование

Синтез на основе физического моделирования
— метод синтеза, использующий математические модели образования звуков реальных музыкальных инструментов, для генерации волновых форм в цифровом виде.

Любой музыкальный инструмент состоит из:

• возбудитель — например, струна;

• резонатор — например, верхняя и нижняя деки гитары.

Достоинство:

Реалистичность.

Недостаток:

В алгоритм вшиваются конкретные инструменты, которые потом невозможно изменить.

Примеры программного обеспечения:

• IK Multimedia Amplitube X-Gear;

• Logana;

14. Звуковые платы

Для звуковых плат есть 2 спецификации:

Речь идет о цифро-аналоговых и аналогово-цифровых спецификациях. 14.1. Состав звуковой платы

Здесь речь идет о наиболее общей структуре звуковой платы. Большинство звуковых плат являются встроенными. Встроенные звуковые платы страдают задержкой звука. Для профессиональной записи используют внешние многоканальные платы.

14.2. Блок записи и воспроизведения

Самый важный блок звуковой платы. Он управляется своим собственным драйвером и не связан с блоком DSP и блоком синтезатора.

Важные части:

• цифро-аналоговый преобразователь (ЦАП);

• аналогово-цифровой преобразователь (АЦП).

Основные характеристики преобразователей:

• тип;

• разрядность.

Важные характеристика самого блока

• частота дискретизации;

• количество входных и выходных каналов.

14.3. Блок синтезатора

Этот блок предназначен для синтеза произвольных звуковых сигналов, в том числе голос
и музыкальные инструменты
.

В современных звуковых платах этот блок отсутствует. Его поставляет только фирма Creative Technology.

14.4. Блок DSP

Digital signal processor (DSP) — цифровой сигнальный процессор.

Используется для обработки аудиоданных в цифровом виде. Блок DSP разгружает основной процессор во время звуковой обработки.

14.5. Блок интерфейсов

Большинство звуковых плат поддерживают:

• USB;

• FireWire;

• PCI;

• PCI-express;

• MIDI — на встроенной звуковой плате нужны специальные адаптеры;

• S/P-DIF — для передачи данных в цифровом формате непосредственно.

14.6. Блок микшера

Этот блок нужен для сведения входных и выходных аудио-сигналов и регулировки их уровня. Важное свойство — поддержка внутренней коммутации. Таким образом карта может записывать сама на себя.

≺ MIDI-интерфейс ≻
15. MIDI-интерфейс

MIDI
[24]
— это цифровой интерфейс музыкальных инструментов.

Создан в 1982 г. ведущими фирмами-производителями музыкального оборудования — Yamaha, Roland, Korg, E-mu и др. Изначально был предназначен для замены принятого в то время стандарта управления с помощью аналоговых сигналов. Впоследствии интерфейс MIDI стал стандартом де-факто в области электронных музыкальных инструментов и компьютерных синтезаторов.

15.1. Назначение MIDI

Главное назначение MIDI — хранение и передача информации в нотной записи.

• управление электронными музыкальными инструментами в реальном времени,

• запись MIDI-потока, формируемого при игре исполнителя, на носитель данных с последующим редактированием и воспроизведением,

• синхронизация различной аппаратуры

Существуют устройства, управляемые только через интерфейс MIDI. Наиболее распространенным таким устройством является тон-генератор.

Тон-генератор
— это устройство, предназначенное для синтеза и управляемое только через MIDI-интерфейс.

На самом деле это обычный синтезатор, только без клавиатуры.

Тон-генератор с достаточными возможностями управления может очень точно воспроизвести звучание инструмента по заданному MIDI-потоку. формирования MIDI-сообщений используют MIDI-контроллеры:

• клавиатура;

• педаль;

• рукоятка с несколькими степенями свободы; • ударная установка (с датчиками способа и силы удара);

• струнный инструмент;

• духовой инструмент.

В настоящее время эти понятия стали совершенно самостоятельными: по аппаратному интерфейсу могут передаваться данные любого формата, а MIDI-формат может применяться только для обработки партитур, без вывода на устройство синтеза.

15.2. Аппаратная реализация MIDI

Аппаратная реализация интерфейса MIDI представляет собой обычный последовательный асинхронный интерфейс типа «токовая петля» Cкорость передачи данных ≈ 31250 бит/с.

Интерфейс реализуется активным передатчиком с уровнем 5 мА. Для соединения используется двужильный экранированный[25]
кабель длиной не более ≈ 15 м, нечувствительный к наводкам извне[26]
.

15.3. Разъем DIN-5 (СГ-5)

Разъем для MIDI-устройства:

.- принимающий.+ передающий

.земля

Это разъем типа female DIN-5 (СГ-5) («мама»).

Оставшиеся 2 контакта не используются.

Каждый инструмент имеет три соединительных разъема: • In (вход),

.+ .-

.земля

• Out (выход)

.- .+

.земля

• Thru (копия сигнала с In через буфер)

.- .+

.земля

Один MIDI-передатчик допускает подключение до четырех приемников. Так что можно создавать сеть MlDI-устройств, выстраивая их по цепочке и в нескольких направлениях.

16. Протокол MIDI

MIDI-протокол является событийно-ориентированным.

Обмен данными осуществляется при помощи сообщений. Сообщения — блоки данных произвольной длины. Каждое сообщение является командой для музыкального инструмента.

Стандарт предусматривает 16 независимых и равноправных логических каналов. Внутри канала действуют свои режимы работы.

16.1. Адресация в MIDI

Адресация в MIDI не является однозначной. Несколько инструментов могут быть настроены на один и тот же MIDI-канал. В таком случае канальное сообщение может быть послано группе инструментов.

Изначально технология была предназначена для однотембровых инструментов. Однотембровые инструменты могли воспроизводить звук только одного тембра в каждый момент времени. Каждому инструменту присваивался свой номер канала. Последнее давало возможность многотембрового исполнения. С появлением многотембровых инструментов они стали поддерживать несколько каналов. Современные инструменты поддерживают все 16 каналов и могут иметь более одного MIDI-интерфейса. Сейчас каждому каналу обычно назначается свой тембр, называемый по традиции инструментом, хотя возможна комбинация нескольких тембров в одном канале.

У каждого MIDI устройства есть режим OMNI ON
. В этом режиме оно перестает различать каналы.

Канальные сообщения
предназначены для передачи команд и параметров отдельным MIDI-устройствам сети в целях управления звучанием музыкального инструмента и определения реакции музыкального инструмента на сообщения.

Системные сообщения
— это сообщения предназначенные для управления всеми MIDI-устройствами сети.

16.2.1. Канальные сообщения о звуке

• Note Off (выключение ноты);

• Note On (включение ноты);

В качестве параметров команды передаются номера клавиш и ускорение, с которым была нажата или отжата клавиша.

• Key Pressure (Polyphonic Aftertouch, давление на клавишу);

• Channel Pressure (Channel Aftertouch, давление в канале);

Например, чем сильнее давим на клавишу, чтем громче она звучит.

• Control Change (смена значения контроллера);

• Program Change (смена программы (тембра, инструмента));

• Pitch Bend Change (смена значения Pitch Bend).

16.2.2. Канальные сообщения о режиме

• Omni Off (выключение режима всех сообщений);

• Omni On (включение режима всех сообщений); • Poly/Mono

I в режиме Poly можно брать аккорды;

I в режиме Mono срабатывают самые верхние ноты из нескольких нажатых.

Забавно заметить, но именно режим Mono был долгое время единственным для советских синтезаторов класс «Электроника».

• Local Control Off (выключение режима локального управления);

• Local Control On (включение режима локального управления);

• All Notes Off (сообщение о потери сигнала).

16.2.3. Системные сообщения

• System Exclusive (SysEx, системное исключительное сообщение);

• Song Position Pointer (указатель позиции в партитуре);

• Song Select (выбор партитуры);

• Tune Request (запрос подстройки);

• Timing Clock (синхронизация по времени);

• Start (запуск игры по партитуре);

• Continue (продолжение игры по партитуре);

• Stop (остановка игры по партитуре);

• Active Sensing (проверка соединений MIDI-сети);

• System Reset (сброс всех устройств сети);

• EOX (End Of SysEx, конец системного исключительного сообщения).

17. Стандарты MIDI-систем

MIDI-файл не передает полного оригинального звучания инструментов. MIDIсистемы в основном используются как домашние обучающие системы и для одинакового звучания музыки в играх.

Набор команд синтезаторов в MIDI-системах не переносим.

17.1. General MIDI

Стандарт General MIDI (GM) появился 1991 году.

Стандарт вводит несколько ограничений, благодаря которым MIDI-файл лекче переносить.

• 128 стандартных инструментов

• выделение 10-го канала под ударные инструменты

Основные контроллеры

• (1) модуляция[27]
;

• (7) громкость инструмента[28]
;

• (10) панорама[29]
— правый-левый канал.

Изначально этот стандарт был предназначен для узкого круга инструментов (скрипки, пианино, ударные).

Проблема
:

Сложно реализовать синтезатор без Wave Table.

17.2. General Synthesis

Стандарт General Synthesis (GS) был предложен фирмой Roland в 1991 году. Он полностью поддерживает General MIDI. Используется банк инстру-

ментов.

Введено дополнительно 98 звуков[30]
.

Введены дополнительные контроллеры:

• (91) реверберация ;

• (93) хорус33
.

17.3. Extended General MIDI (XG)

Стандарт был предложен фирмой Yamaha. Это наиболее жесткий стандарт MIDI. Он полностью поддерживает General MIDI и General Synthesis. Особенности:

• 676 инструментов;

• 21 набор ударных инструментов;

• 32 голоса полифония;

• расширенные требования к различным контроллерам;

• есть возможность настройки каждой ноты звукоряда;

• введена типизация банка инструментов:

I (0) normal — мелодичные инструменты;

I (64) SFX — специальные эффекты; I (126) SFX — специальные эффекты; I (127) drums — ударные.

Extended General полностью поддерживается только Yamaha и почти
полностью переносим.

17.4. Все вместе

≺ Запись и передача ≻
18. Секвенсоры

Индустрия звукозаписи развивается с 30-х годов XX века. Технологию записи музыкальных произведений можно представить с помощью следующих простых схем:

18.1. Простейшая студия

18.2. Студия для записи «живого» исполнения

18.3. Студия для многоканальной записи

18.4. Студия для многоканальной записи с секвенсором

18.5. Секвенсор

Секвенсор
— аппаратное или программное устройство для записи и воспроизведения MIDI-сообщений.

Музыкальный синтезатор 80-х годов имел 3 аналоговых блока:

• генератор;

• фильтр;

• усилитель.

Все они управлялись напряжением. Первые секвенсоры использовались для координации работы этих блоков. Такие аппараты состояли из ряда потенциометров и могли подавать различной напряжение циклически. В простейшем случае секвенсор перебирал одну последовательность из трех (по числу блоков) напряжений. Эта идея идея воплотилась в современных паттерновых секвенсорах. На данный момент для управления музыкальными инструментами используется стандарт DCB-Roland.

18.5.1. Паттерновые (Шаговые)

Особенности:

• управление ручками или тумблерами (для аппаратных);

• наличие паттернов, которые хранятся в банке звуков (эти паттерны программируются, а не записываются);

• не позволяет играть аккорды;

• достаточно громоздки и сложно.

Наиболее яркий представитель — шаговый секвенсор Matrix в ПО Propellerhead Reason.

18.5.2. Линейные

Особенности:

• есть 16 каналов для приема сообщений;

• есть 16 дорожек для записи MIDI сообщений;

Связь дорожек и каналов прямая. В зависимости от того какой канал «играется», запись производится на дорожку с таким же номером. На различные каналы может подаваться информация от различных инструментов.

• позволяет играть аккорды;

Наиболее яркие представители:

• секвенсор в Ableton Live;

• NoteWorthy Composer;

• Steinberg Cubase;

• Cakewalk Sonar.

19. Маскирование

При восприятии звука человеком наблюдается эффект маскирования. Более сильные сигналы преобладают над менее сильные, маскируя
тем самым тихие звуки, попадающие в тот же диапазон частот
.

Частотное маскирование
— эффект, при котором один звук маскирует другие, более слабые, звуки. Диапазон частот, в пределах которого один звук может маскировать другой, в соответствии с концепцией Флетчера, называется критической полосой.

Временное маскирование
— эффект, при котором звук большой амплитуды маскирует другие звуки, предшествующие ему во времени или следующие за ним.

Маскирование назад
— эффект, при котором звук большой амплитуды маскирует другие звуки, только предшествующие ему. Промежуток времени, в пределах которого оно действует, составляет 5-50 миллисекунд.

Маскирование вперед
— эффект, при котором звук большой амплитуды маскирует другие звуки, только следующие за ним. Промежуток времени, в пределах которого оно действует, составляет 50-200 миллисекунд.

Заметим, что человеческая система восприятия звука имеет ограниченное разрешение. Это разрешение зависит от частоты звука. Равномерное, с точки зрения восприятия человеком, измерение частоты может быть выражено в единицах ширины критических полос. Их ширина составляет менее 100 Гц для нижних слышимых частот и более 4 кГц — для наиболее высоких. Весь частотный диапазон может быть разделен на 25 критических полос.

19.1. Сжатие звука

При сжатии звука не имеет смысла оставлять в записи звуки, которые находятся ниже порога слышимости, поэтому любые алгоритмы сжатия должны отбрасывать соответствующие данные.

Чтобы реализовать эту идею на практике, алгоритм должен использовать психоакустическую модель.

Психоакустическая модель
— математическое описание восприятия звуков ухом и головным мозгом с учетом критических полос.

Алгоритм сжатия получает дополнительную возможность отбросить некоторые данные.

В то же время маскировку можно использовать более эффективно. Поскольку она, кроме некоторых компонентов сигнала, скрывает шум, в ней можно скрыть шум квантования
.

Приведем краткое описание алгоритма сжатия:

1: расщепить сигнал на полосы частот; /* блок фильтров */

2: Для
каждой полосы выполняем

3: вычислить средний уровень сигнала;

4: подставить значения в психоаккустическую модель;

5: определить порог маскировки;

6: /** Предполагается, что маскирующую кривую в каждой полосе можно аппроксимировать одним значением. **/

7: Если
сигнал целиком опускается ниже порога маскировки то

8: отвергнуть полосу;