Слайд 2
Лекция № 2. Основные классы естественно-языковых систем.
Системы распознавания
речи
Слайд 3
Основные классы естественно-языковых систем
Средства распознавания речи
распознают голосовую
(речевую) информацию и преобразуют ее в последовательность символов
13
Слайд 4
6
Структура коммуникационной системы для организации речевого поведения
Слайд 5
7
Структура коммуникационной системы для организации речевого поведения
Слайд 6
8
Информационно-кодовая модель коммуникации Шеннона и Уивера
Слайд 7
10
Адресант передает, а адресат принимает одно из группы
событий
(классов, к которым относятся передаваемые и получаемые сообщения). Группа событий обладает следующими свойствами (она - полная):
1) все события попарно несовместны: ;
2) их объединение образует пространство элементарных исходов :
Правило Байеса
Слайд 8
11
Правило Байеса
Пусть
- полная группа
событий и – некоторое событие. Тогда по формуле Байеса исчисляется вероятность реализации гипотезы при условии, что событие А произошло. Здесь А – конкретное наблюдение (измерение).
- априорная вероятность гипотезы
- апостериорная вероятность
известны функции распределения вектора признаков для каждого класса
Слайд 9
12
Правило Байеса
В случае двух классов
и , если
то
классифицируется в , иначе в .
Слайд 12
15
Информационно-кодовая модель коммуникации Шеннона и Уивера,
модифицированная для коммуникационного
акта Якобсоном
Слайд 13
3
Автоматическое распознавание речи
Общая блок-схема ориентированной
на задачу системы
распознавания-синтеза речи
Слайд 14
20
Речевая волна во временной
и частотной областях
Слайд 15
уровень семантических представлений (словарь попарной сочетаемости слов)
синтаксический уровень
(словарь синтаксем)
лексикон (словарь корневых основ)
морфологический уровень (словарь окончаний)
акустико-фонетический уровень
Процесс
восприятия речи человеком
Структура речевой информации
31
Слайд 16
Системы распознавания речи
1. Системы покомандного распознавания
2. Системы распознавания
ключевых слов в потоке слитной речи
3. Системы распознавания связной
речи
4. Системы распознавания слитной речи
54
Слайд 17
Системы покомандного распознавания
Средства голосового ввода, управления и
сбора данных
предназначены для ввода голосовых команд, управляющих работой
некоторой системы (например бытовой техникой)
14
Слайд 18
лексикон (словарь корневых основ)
акустико-фонетический уровень
Системы покомандного распознавания
31
Слайд 19
38
1) Формирование вектора признаков
2) Сегментация
3) Сравнение входного и эталонных образов
4) Принятие решения
Покомандное распознавание речи
Базовый алгоритм покомандного распознавания
Слайд 20
39
Покомандное распознавание речи
Имеется три основных подхода к покомандному
распознаванию речи
1. Подход, основанный на распознавании образов
2. Акустико-фонетический (структурный)
подход
3. Подход, основанный на использовании
искусственных нейронных сетей
Слайд 21
44
Подход, основанный на
распознавании образов
Блок-схема распознавателя речи на
основе
подхода, основанного на распознавании образов
Слайд 22
47
Подход, основанный на
распознавании образов
Алгоритм включает четыре
основных шага:
1)
Измерение первичных признаков речевого сигнала.
Вычисляются спектральные признаки, либо
с помощью
гребенки фильтров, либо с помощью линейного
предсказывающего кодирования, либо с помощью
Дискретного преобразования Фурье
2) Формирование эталонов (обучение). Эталоны
формируются с помощью некоторых усредняющих
процедур. Это может быть модель, характеризующая
статистику признаков эталона.
Слайд 23
47
Подход, основанный на
распознавании образов
Алгоритм включает четыре
основных шага:
3)
Классификация, во время которой входной
образ сравнивается с эталонами. Сравнение
образов,
которые есть последовательность векторов признаков,
осуществляется с использованием как локального
расстояния между двумя синхронными векторами,
так и глобальной выравнивающей во времени
процедуры (чаще всего, это процедура динамического
программирования), которая компенсирует
различные скорости произнесения входного и
эталонного образов
4) Принятие решения
Слайд 24
45
Подход, основанный на
распознавании образов
Достоинства подхода:
1. Простота. Он
легко интерпретируется
2. Имеется хорошо развитый математический аппарат для
всех процедур подхода
3. Устойчивость и инвариантность к различным словарям, пользователям, выбору признаков, использования алгоритмов сравнения образов и принятия решения, а также групп дикторов, используемого оборудования, канала
4. Не зависит от выбора речевой единицы: от фонемы до фразы. Дает хорошие результаты в широком круге задач
Слайд 25
46
Подход, основанный на
распознавании образов
Недостатки:
1. Чувствительность к объему
обучающей
выборки
2. Подверженность качества распознавания
влиянию шума
3. Неиспользование лингвистической
информации
4. Большая вычислительная
емкость
Слайд 26
41
Акустико-фонетический подход
Фонетические гипотезы, полученные
при распознавании строки слов
«all about»
Слайд 27
41
Акустико-фонетический подход
Диаграмма классификации стандартных фонем
американского английского в широкие
звуковые классы
Слайд 28
42
Акустико-фонетический подход
Бинарное дерево классификации речевых звуков
Слайд 29
42
Акустико-фонетический подход
Акустико-фонетический классификатор гласных
Слайд 30
40
Сравнение подходов, основанного на распознавании образов и на
основе акустико-фонетического анализа
Слайд 31
51
Подход, основанный на искусственных нейронных сетях
Многослойный персептрон для
классификации
гласных, основанной на формантных измерениях
Слайд 32
Искусственные нейронные сети
Трехслойный персептрон
- сравнивает с порогом
- вычисляет
сумму
Слайд 33
52
Подход, основанный на искусственных нейронных сетях
Нейронная сеть с
задержками
Слайд 34
38
1) Формирование вектора признаков
2) Сегментация
3) Сравнение входного и эталонных образов
4) Принятие решения
Покомандное распознавание речи
Базовый алгоритм покомандного распознавания
Слайд 36
53
Первичная обработка
Наиболее характерные подходы:
1. Спектральный анализ
2. Антропоморфная
модель
Слайд 37
57
Спектральный анализ
Типичный вид речевой волны и ее
спектра в модели
анализа на основе гребенки фильтров
Слайд 38
54
Спектральный анализ
На основе гребенки фильтров
Слайд 39
54
Спектральный анализ
На основе гребенки фильтров
Слайд 40
21
Представление речи в виде
формантных траекторий
Для последовательности
«Why do I owe you a letter»
Слайд 41
21
Сегментация
Сегментация и разметка для последовательности «did-you»
Слайд 42
75
Принятие решения
Динамическое программирование
Байесовское правило
Скрытые Марковские модели
Слайд 43
75
Принятие решения
Ключевым вопросом в распознавании речи является
вопрос сравнения входного образа с эталонными образами с целью
выяснения степени их подобия
Обычно входной и эталонный образы имеют разную длину
Слайд 44
75
Принятие решения
Сравниваемые образы не могут быть нормализованы
по длительности, поскольку различные типы звуков имеет различные возможности
по удлинению произнесения
Необходимо найти способ сравнения спектральных векторов такой, чтобы можно было вычислять глобальную меру совпадения образов
Слайд 45
76
Динамическое программирование
Слайд 46
83
Адресант передает, а адресат принимает одно из группы
событий
(классов, к которым относятся передаваемые и получаемые сообщения). Группа событий обладает следующими свойствами (она - полная):
1) все события попарно несовместны: ;
2) их объединение образует пространство элементарных исходов :
Правило Байеса
Слайд 47
11
Правило Байеса
Эти вероятности можно оценить методами математической статистики
на множестве прецедентов.
, где - число прецедентов из ,
- общее число прецедентов. - гистограмма распределения вектора признаков для прецедентов из класса .
Слайд 48
11
Системы покомандного распознавания
Слайд 49
Системы распознавания слитной речи
Системы типа «Речь-текст»
предназначены
для распознавания слитной речи (например для диктовки деловой корреспонденции)
14
Слайд 50
39
Распознавание слитной речи
Имеется два подхода к распознаванию слитной
речи:
1.
Подход, основанный на распознавании образов
2. Структурный подход
Слайд 51
44
Подход, основанный на
распознавании образов
Блок-схема распознавателя речи на
основе подхода,
основанного на распознавании образов
Слайд 52
уровень семантических представлений (словарь попарной сочетаемости слов)
синтаксический уровень
(словарь синтаксем)
лексикон (словарь корневых основ)
морфологический уровень (словарь окончаний)
акустико-фонетический уровень
Системы
распознавания слитной речи
31
Слайд 53
90
Подход, основанный на
распознавании образов
Модель фонемы
Слайд 54
94
Подход, основанный на
распознавании образов
Составление эталонных сигналов слов
из фонем
в соответствие с моделью произношения
Слайд 55
97
Подход, основанный на
распознавании образов
Модель предложения с произвольным
порядком следования
моделей слов и моделей фонем в предложении
Слайд 56
44
Подход, основанный на
распознавании образов
Блок-схема распознавателя речи на
основе
подхода, основанного на распознавании образов
Слайд 57
48
Структурный подход
«Снизу-вверх» подход интеграции знаний для
Распознавания слитной речи
Слайд 58
49
Структурный подход
«Сверху-вниз» подход к интеграции знаний
для распознавания слитной
речи
Слайд 59
50
Структурный подход
Подход, основанный на концепции классной
доски для
интеграции знаний
Слайд 60
50
Структурный подход
Взаимодействие между источниками знаний
разных уровней
Слайд 61
50
Структурный подход
Частичные гипотезу на разных уровнях
Слайд 62
52
Модель языка на основе многослойного персептрона
Структурный подход
(синтаксический
уровень)
Слайд 63
11
Системы распознавания слитной речи
Слайд 64
4
Сравнение эффективности распознавания
человеком и искусственными системами
Слайд 65
4
Сравнение эффективности распознавания
человеком и искусственными системами
(продолжение)
Слайд 66
4
Сравнение эффективности распознавания
человеком и искусственными системами
в условиях шума
Слайд 67
4
Диалог человека и машины
Существует два типа таких
систем
Системы первого типа ведут человека, следуя четкому порядку заполнения
определенных форм. Примером такой системы может стать заказ билетов. В каждом из состояний система настраивается на распознавание заранее приготовленных атрибутов, допуская варианты возврата к предыдущему шагу или выходу из системы
В системах второго типа человеку отводится роль собеседника, который может сам проявлять интерес к разным аспектам информации, задавая любые вопросы.
Слайд 68
3
Общая блок-схема ориентированной
на задачу системы речевого диалога
Диалог
человека и машины
Слайд 69
4
Диалог человека и машины
Классификация систем устного диалога
по
направлению потока информации