Слайд 2
Дмитрий Владимирович Курбатский
старший преподаватель каф. ихтиологии и гидробиологии,
научный сотрудник ЛМБ БИ ТГУ, магистр биологии
Зоологический музей (к.
123)
Компьютерный класс (к. 028)
Группа ВКонтатике «Курсы "Информатика" и "Информационные технологии"»:
vk.com/i_it_bi_tsu
Персональный раздел:
zoo.tsu.ru/kdv
Рейтинг на сайте Рейтинг на сайте Professorrating.ru
Главный корпус
Слайд 3
Блок 1
Кодирование звуковых данных
Слайд 9
ЦАП и АЦП
Аналого-цифровой преобразователь (АЦП, Analog-to-digital converter, ADC)
— устройство, преобразующее входной аналоговый сигнал в дискретный код
(цифровой сигнал).
Цифро-аналоговый преобразователь (ЦАП, DAC) — устройство для преобразования цифрового (обычно двоичного) кода в аналоговый сигнал (ток, напряжение или заряд).
Слайд 11
Схема ЦАП
Выходной аналоговый сигнал
Слайд 12
Дискретизация
При дискретизации изменяющаяся во времени величина (сигнал) замеряется
с заданной частотой.
имеет частоту
частота дискретизации
частота выборки
частота сэмпли-
рования
Слайд 13
Квантование (quantization)
— разбиение диапазона значений непрерывной или
дискретной величины на конечное число интервалов
имеет шаг
~ битности
Слайд 14
Разрядность квантования
2^N уровней
N – разрядность
При N = 16+
бит – погрешности становятся почти незаметными.
Слайд 15
Цифровой сигнал
= квантование + дискретизация
Слайд 18
Характеристики АЦП
Частота дискретизации (Hz, Гц)
Поддерживаемый диапазон частот (Hz,
Гц)
теорема Котельникова
fd > 2 * fmax
частота Найквиста
Разрядность (бит)
Динамический диапазон
(dB, дБ)
Слайд 19
Отношение сигнал/шум
1 бит ~ 6 дБ
30 дБ –
телефон
75 дБ – музыка
>90 дБ – HiFi
Слайд 20
Импульсно-кодовая модуляция
– дискретизация сигнала во времени в совокупности
с методом однородного квантования.
Pulse Code Modulation – PCM
Записываются абсолютные
значения амплитуды.
Пример:
16 бит
44.1 кГЦ
до 20 000 Гц (с запасом)
Слайд 21
Цифровой сигнал
Размеры данных при кодировании:
1 с. стереозвука PCM:
2
(канала)
*
2 (байта = 16 бит)
*
44 100 Гц
=
176 400 байт
~ 176 кБ
Это без сжатия.
Слайд 22
Спектр прямоугольного сигнала
(а) t ≠ tи (б) tп
= tи
Слайд 24
ЦАП
Квантованный сигнал
Передискретизация
Фильтр НЧ
Слайд 26
Передискретизация
Интерполяция – повышение частоты дискретизации
Децимация – понижение
Слайд 30
Джиттер jitter
фазовое дрожание цифрового сигнала данных
Слайд 31
Связанные понятия
подмешивание псевдослучайного сигнала dither
полоса пропускания
Слайд 32
Другие варианты АЦП
Неравномерное (логарифмическое) квантование
Дельта-кодированиеДельта-кодирование (дельта-модуляция, дифференциальная импульсно-кодовая
модуляция (Delta PCM)
Адаптивное дельта-кодирование (ADPCM)
Сигма-дельта-модуляция
Слайд 34
Дельта-кодирование (DPCM)
+
-
1 1 1 1 1 1 1
1 0 1 0 0 0 1 0 0
1 1
1 2 3 4 5 6 7 8 7 8 7 6 5 6 5 4 5 6
PCM
DPCM
Слайд 36
ADPCM
Квантование приращений сигнала
Слайд 37
ADPCM
Квантование с переменным шагом
Слайд 38
Дополнительные действия
Канальное кодирование
Помехоустойчивое кодирование
Перемежение
Слайд 39
Звуковой компакт-диск
он же CDDA
он же Compact Disc Digital
Audio
он же Audio CD
он же Red Book
1980 год, Philips
и Sony
всё зло на свете – от денег…
Слайд 40
Звуковой компакт-диск
Максимальное время всех записей — 74 (79,8)
мин.
Минимальное время трека — 4 секунды (включая 2-секундную паузу)
Максимальное
количество треков — 99
Максимальное число точек отсчёта (разделов трека) — 99 без ограничений по времени
Должен присутствовать International Standard Recording Code (ISRC)
Диаметр диска — 120 мм
Диаметр центрального отверстия — 15 мм
Толщина диска — 1,2 мм
Материал — поликарбонат
Воспроизведение информации — постоянная линейная скорость 1,2-1,4 м/с
Слайд 41
Звуковой компакт-диск
Шаг дорожки — 1,6 ± 0,1 мкм
Ширина
питов — 0,4 мкм
Глубина питов — 0,12 мкм
Длина питов
— 0,83—3,1 мкм
Длина волны лазера — 780 нм
Частота дискретизации — 44,1 кГц
Разрядность — 16 бит (линейное квантование)
Скорость считывания звуковой информации — 1,4112 Мбит/с
Общая скорость считывания информации — 1,9404 Мбит/с
Коррекция ошибок — CIRC (двойной код Рида-Соломона с тройным перемежением)
Избыточность — 25 %
Максимальный объём информации, записанной на диске — 650 (700, 800, 900) МБ
Скорость чтения/записи CD указывается кратной 150 Кб/с
Слайд 43
MIDI
Musical Instrument Digital Interface — цифровой интерфейс музыкальных
инструментов
Секвенсоры
Слайд 45
Медиаконтейнер
– формат файла или потока данных, определяющий только
способ сохранения (т.е. внутренней структуры этого файла) данных, но
НЕ алгоритм кодирования.
Примеры:
Графика: JPEG, TIFF
Аудио: WAV
Многоцелевые: 3GP, Matroska, AVI
Слайд 46
Кодек
(codec, от coder/decoder — шифратор/дешифратор — кодировщик/декодировщик или
compressor/decompressor) — устройство или программа, способная выполнять преобразование данных
или сигнала.
видеокодек
аудиокодек
сжимающие без потерь (lossless codec)
Слайд 47
FFmpeg
- набор утилит и библиотек для записи,
конвертации и проигрывания практических любого видео и аудио.
Бесплатно (лицензия
GNU LGPLБесплатно (лицензия GNU LGPL или GNU GPL), без регистрации, работает под Linux, Windows, и не только.
Консольное приложение.
Включает видеопроигрыватель и http-сервер для потокового вещания (можно сделать свой Youtube).
Статья «19 команд ffmpeg для любых нужд».
☝ Студенту на заметку
Слайд 48
Сжатие данных без потерь
Lossless data compression
Информационная энтропия
Энтропийное кодирование
Теоремы
Шеннона для источника общего вида
Слайд 49
Префиксный код
Условие Фано: если в код входит слово
a, то для любой непустой строки b слова ab
в коде не существует.
0, 1, 00, 01, 10, 11 =>
01001101110 ~ 0 10 0 11 0 11 10
Пример сжатия:
00 → 0, 01 → 10, 10 → 110, 11 → 111
=>
00 01 00 00 11 10 00 00 (16 бит)
~
0 10 0 0 111 110 0 0 (13 бит)
Слайд 50
Код Хаффмана
Принцип:
Частоты:
15 7 6 6 5
А Б В Г Д
~
Коды
А Б В Г Д
0 100 101 110 111
Применение
сжатие JPEG, MPEG
архиваторы PKZIP, LZH и др.
протоколы
передачи данных MNP5 и MNP7
Слайд 51
Кодирование длин серий
Кодирование повторов, Run-length encoding, RLE
Принцип:
WWWWWWWWWWWWBWWWWWWWWWWWWBBBWWWWWWWWWWWWWWWWWWWWWWWWBWWWWWWWWWWWWWW
~
12W1B12W3B24W1B14W
Применение:
графика: BMP,
PCX
звук (после Дельта-
кодирования)
Слайд 52
RLE и DPCM
1 1 1 1 1 1
1 1 0 1 0 0 0 1 0
0 1 1
Слайд 53
Алгоритм Лемпеля — Зива — Велча
Lempel-Ziv-Welch, LZW
Применение: GIF,
TIFF, PDF
PNG’s Not GIF
Слайд 54
Сжатие данных с потерями
lossy compression
Варианты:
Трансформирующее
фрейм целиком
поблочно
Предсказывающее (предиктивное)
Слайд 57
Эффект Хааса (Haas)
- неспособность человека выявлять искажения в
импульсах длительностью менее 20 мс
Слайд 59
Битрейт
Здесь – степень сжатия потока аудио- или видеоданных.
Ширина
потока: определяет, сколько бит необходимо для кодирования 1 секунды
звука.
Бывает:
постоянным (англ. Constant bitrate, CBR)
переменным (англ. Variable bitrate, VBR)
усреднённым (англ. Average bitrate, ABR)
чаще всего измеряют в килобитах (мегабитах) в секунду (kilobit per second, kbps; Mbit/s, Mbps)
Слайд 60
Компрессия изображений
Снижение глубины цвета
Метод главных компонент
Фрактальное сжатие
Сжатие на
основе предсказателей
JPEG-LS
ДИКМ
Иерархическая сеточная интерполяция
CALIC
JPEG
Вэйвлетная компрессия
JPEG 2000
DjVu
Слайд 63
Дискретное вейвлет-преобразование
Слайд 64
JPEG
преобразование из цветового пространства RGB в YCbCr
«прореживание» (subsampling)
дискретное
косинусное преобразование
квантование коэффициентов ДКП
сжатие с использованием кодирования серий и
кодов Хаффмана
Слайд 66
Дискретное косинусное преобразование
75 76 75 75 69 66 77 71
73 74 73 74 63 64 68 69
69 68 71 72 67 58 48 41
59 55 56 52 47 40 24 9
51 50 45 41 33 22 7 -5
43 37 32 24 15 5 -6 -25
29 21 9 -2 -10 -21 -44 -69
9 -4 -17 -35 -52 -61 -57 -35
251 118 -13 6 -2 6 -1 0
279 -68 -8 -7 -1 4 -4 -1
-51 -14 34 -14 5 0 -1 0
27 5 -10 8 -7 4 -5 1
-22 -7 14 -9 4 -2 1 1
-3 15 -18 15 -6 2 -1 2
7 -9 6 -6 4 0 0 2
3 7 -9 3 0 -2 -1 0
Слайд 67
Пример сжатия JPEG с разными коэффициентами
Слайд 68
Сглаживание и интерполяция
Ближайший сосед
Билинейная
Бикубическая
Слайд 69
Увеличение изображений
без фильтра
с билинейной интерполяцией
с фильтром Гаусса
фильтром Ланцоша
Слайд 71
Dither в графических данных
Оригинал, 24b
256 цв., dither
16 цв.
16
цв., dither
Слайд 73
Предиктивное сжатие
10 отсчётов
7 отсчётов
~ 30 %
Слайд 74
Блок 3
Особенности кодирования и сжатия видеоданных
Слайд 75
YUV
3 компоненты — яркость (Y) и две цветоразностных
(U и V)
YPbPr
YСbСr
Слайд 77
Стандарты телевещания
NTSC
525 (480) строк
59,94 полей в секунду
в Америке
и Японии
PAL/SECAM
625 (576) строк
50 полей в секунду
в Европе (PAL)
во Франции, России, Китае и некоторых странах Ближнего Востока (SECAM)
HDTV
720 строк / 50 полей, 60 полей / 30 кадров, 25 кадров, 24 кадра
Full HD
1080 строк / 50 полей, 60 полей / 30 кадров, 25 кадров, 24 кадра
Слайд 80
Механическая развёртка
Диск Нипкова
Слайд 81
Прогрессивная развёртка
Отсутствие визуальных искажений.
Нет необходимости применять сглаживание.
Видеоизображение можно
масштабировать до большего разрешения быстрее и качественнее.
Кадр может быть
сохранен как отдельная фотография.
Слайд 82
Чересстрочная развёртка
Уменьшение полосы частот вдвое.
Упрощение оборудования.
Слайд 83
Деинтерлейсинг
Deinterlacing
— устранение
чересстрочности
Слайд 86
Компенсация движения
Motion Compensation
