1.2.2.3.  Энтропия статистически зависимых сообщений

При решении различных задач часто приходится иметь дело с источ­никами информации, вырабатывающими зависимые сообщения. Пред­ставляет интерес оценка количества информации, даваемой совокуп­ностью источников.

Рассмотрим два источника сообщений. Вероятности выбора эле­ментов первого источника соответственно равны р(х1), р(х2),… …, р(хi),…, р(хm). Элементы сообщений второго источника у1, у2, …, уj, …, уn характеризуются вероятностями появления: р(у1), р(у2),…, р(уj),…, р(уn). Взаимная статистическая связь между сообщения­ми X и Y характеризуется условными вероятностями р(уj/xi), опре­деляющими вероятность появления элементов уj при условии, что стал известен элемент сообщения xi.

Полная система условных вероятностей определится следующей матрицей:

X

Y

у1

y2

¼

yj

¼

yn

x1

р(у1/x1)

р(у2/x1)

¼

р(уj/x1)

¼

р(уn/xi)

x2

р(у1/x2)

р(у2/x2)

¼

р(уj/x2)

¼

р(уn/x2)

¼

¼

¼

¼

h="15%" valign=top style='width:15.28%;border-top:none;border-left: none;border-bottom:solid windowtext 1.0pt;border-right:solid windowtext 1.0pt; padding:0cm .85pt 0cm .85pt'>

¼

¼

¼

xi

р(у1/xi)

р(у2/xi)

¼

р(уj/xi)

¼

р(уn/xi)

¼

¼

¼

¼

¼

¼

¼

xm

р(у1/xm)

р(у2/xm)

¼

р(уj/xm)

¼

р(уn/xm)

Информативность сообщении Y после того, как стал известен эле­мент xi характеризуется частной условной энтропией, определяемой из выражения:

Проведем усреднение по всем возможным элементам и найдем общую условную энтропию сообщений Y относительно сообщений х:

Используя известные соотношения для вероятности совместного появления двух зависимых  событий

получим:

Смысл условной энтропии Н(Y/X) в том, что она является мерой количества информации в сообщениях Y, когда известно, что передают­ся сообщения X.

Используя соотношения теории вероятностей, можно показать, что условная энтропия сообщений Y относительно сообщений X при жесткой статистической зависимости (т.е. когда одна из условных вероятностей в строке таблицы условных вероятностей равна единице, а все остальные – нулю) равна нулю, т.е. в сообщениях Y нет ника­кой новой информации.

При статистической независимости сообщений X и Y условная энтропия Н(Y/X) равна безусловной энтропии сообщений Н(Y).

Для определения информативности сообщений объединения двух источнико
в воспользуемся совместными вероятностями р(xi, yj), пред­ставив схему объединения с помощью следующей матрицы:

Y

X

x1

x2

¼

xj

¼

xn

y1

р(x1, y1)

р(x2, y1)

¼

р(xi, y1)

¼

р(xm, y1)

y2

р(x1, y2)

р(x2, y2)

¼

р(xi, y2)

¼

р(xm, y2)

¼

¼

¼

¼

¼

¼

¼

yi

р(x1, yj)

р(x2, yj)

¼

р(xi, yj)

¼

р(xm, yj)

¼

¼

¼

¼

¼

¼

¼

ym

р(x1, yn)

р(x2, yn)

¼

р(xi, yn)

¼

р(xm, yn)

Энтропия  объединения двух  источников определится  суммирова­нием слагаемых вида:

- р(xi, yj)log р(xi, yj),                                                         (1-23)

в результате чего получим выражение:

Подставив выражение (1-21) в выражение (1-24), найдем:

Покажем, что первая сумма в выражении (1-25) представляет собой энтропию сообще­ний  X.  Действительно

и при выполнении суммирования по j с учетом того, что

,

получим  результат:

Второе слагаемое в выражении (1-25) аналогично (1-22) и  представляет собой услов­ную энтропию Н(Y/X). Следовательно, энтропия объединения равна сумме двух энтропии: безусловной энтропии сообщений H(X) и услов­ной энтропии Н(Y/X):

H(X,Y) = H(X) + H(Y/X).

Таким образом, условная энтропия характеризует ту добавочную информацию, которую дают сообщения Y при условии, что известна энтропия сообщений X.

Легко показать, что энтропию объединения можно записать следующим образом:

Н(X, Y) = H(X) + H(Y/X) = Н(Y, X) = H(Y) + H(X/Y).                            (1-27)

Если сообщения полностью независимы, то, как следует из рас­смотрения свойств условной энтропии, выполняется условие:

H(X, Y) = H(X) + H(У).                                                (1-28)

При  жесткой  статистической  зависимости выполняется условие:

H(X, Y) = H(X) = H(У).                                               (1-29)