Презентация на тему Количественные информационные характеристики дискретных источников сообщений и каналов

информации оперирует с обезличенной информацией, не выражающей смыслового отношения

к объекту (учитываются скорость передачи, размеры кодов представления информации).
Семантическая мера информации используется для измерения смыслового содержания информации. Связана с понятием тезауруса.
Прагматическая мера определяет полезность информации (ценность) для достижения пользователем поставленной цепи.

количества информации
Виды источников информации:
дискретный;
комбинаторный;
вероятностный;
марковский;
бернуллиевский.
Дискретный

ансамбль:

количества информации
Требования к вводимой мере оценки количества информации:
1) Чем

больше число возможных сообщений (возможных значений сигнала), тем больше априорная неопределенность и тем большее количество информации получает адресат, когда эта неопределенность снимается. Если же выбор сообщения заранее предопределен, то количество информации в этом сообщении равно нулю.
2) Вводимая мера должна обладать свойством аддитивности, в соответствии с которым неопределенность объединенного источника равна сумме неопределенностей исходных источников.

количества информации
Комбинаторный подход к оценке количества информации (Р.Хартли, 1928г.).

Степень

неопределенности опыта X с N различными исходами характеризуется числом
H(X) = log N.
Не учитываются вероятности различных исходов.

количества информации
Вероятностный подход к оценке количества информации (К.Шеннон, 1949г.).

Степень

неопределенности конкретного состояния зависит не только от объема алфавита источника, но и от вероятности этого состояния.
Количество информации, содержащееся в одном элементарном дискретном сообщении xk целесообразно определить как функцию вероятности появления этого сообщения p(xk) и характеризовать величиной


Величина i(xk) называется количеством собственной информации в сообщении xk∈X.

количества информации
Вероятностный подход к оценке количества информации (К.Шеннон, 1949г.).

Для

цифровой характеристики всего ансамбля или источника сообщений используется математическое ожидание количества информации в отдельных сообщениях, называемое энтропией:
 


Энтропия представляет собой среднее количество собственной информации в сообщениях дискретного источника без памяти.

количества информации
Свойства энтропии
1) Энтропия всякого дискретного ансамбля неотрицательна H(X)≥0.
2)

Пусть N – число сообщений в ансамбле. Тогда H(X) ≤ log N.
3) Энтропия обладает свойством аддитивности.

Энтропия двоичного источника без памяти:

Энтропия троичного источника без памяти:

количества информации
Алгоритмический подход к оценке количества информации (А.Н.Колмогоров, 1965г.).

Энтропия

H(X, Y) ("колмогоровская сложность" объекта Y при заданном X) есть мнимая длина, записанная в виде последовательности нулей и единиц, программы, которая позволяет построить объект Y, имея в своем распоряжении объект X.
Колмогоровская сложность обычно невычислима.

сообщения которого передаются равновероятно и независимо.
Невыполнение этих требований приводит

к уменьшению энтропии и появлению избыточности источника.
Понятие избыточности источника сообщений связано с мощностью алфавита источника и его энтропией:


При χ=0 источник называют источником без избыточности

обладает памятью, если между элементами сообщения одного или нескольких

источников имеется детерминированная или статистическая связь.
Сообщения, вырабатываемые таким источником – сложные сообщения.
При определении количества информации в таких сообщения необходимо учитывать условные вероятности появления элементарных сообщений.

и взаимная информация
Пусть {XY, p(xi,yj)} – два совместно заданных

ансамбля {X, p(xi)} и {Y, p(yj)}.
Зафиксируем некоторое сообщение yj и рассмотрим условное распределение на X.
Апостериорная вероятность p(xi|yj) - неопределенность, остающаяся о сообщении xi после того, как было принято сообщение yj.
Условная собственная информация:

Совместная информация пары событий:


Взаимная информация пары событий:

и условная энтропия
Для характеристики всего ансамбля принято использовать математические

ожидания случайных величин.
Энтропия (совместная энтропия) ансамбля XY:






Сумма в скобках - условная энтропия источника X относительно источника Y, обозначается как H(X | Y).
H(X, Y) = H(Y) + H(X | Y) или H(X, Y) = H(X) + H(Y | X)

взаимная информация
Математическое ожидание случайной величины i(xi;yj) - средняя взаимная

информация между источниками X и Y:



можно записать:
I(X; Y) = H(X) – H(X | Y) = H(Y) – H(Y | X)

информативности источников с памятью
Пример. Энтропия двоичного источника с памятью.

Дан двоичный (двухсимвольный) Марковский источник, определенный вероятностями переходов состояний p(0|1)=0,45 и p(1|0)=0,05. Найти энтропию источника с памятью.


Энтропия источника:

где:

Априорная вероятность каждого состояния находится либо итерационным перемножением матрицы переходов, либо с помощью системы линейных уравнений:



Решая ее, находим p(0)=0,9 и p(1)=0,1.
Энтропия источника без памяти H(X) = -(p(0)*log p(0) + p(1) * log p(1)) = 0,469 бит/символ.
Энтропия источника с памятью:

энтропия сообщений, переданных за единицу времени (бит/сек)

Аналогично для условной

энтропии и количества информации в единицу времени

Если X – ансамбль сигналов на входу дискретного канала, а Y – ансамбль сигналов на его выходе, то скорость передачи информации по каналу