1.2.2.2.  Некоторые свойства энтропии

Из выражения (1-13) следует, что количество информации, со­держащейся в сообщении, зависит от числа элементов сообщения (n), используемого алфавита (m) и вероятностей выбора элементов (рi). Рас­смотрим зависимость количества информации и энтропии от этих величин. Нетрудно видеть, что зависимость I от n является линейной. Величины m и pi влияют на количество информации и энтропию при­мерно одинаково, поэтому ограничимся рассмотрением основных свойств энтропии.

1. Подпись:  
Рис. 1.2. График функции – pi log2 pi
Энтропия является величиной вещественной ограниченной  и неотрицательной, т.  е.  H > 0. Это свойство следует из выражения (1-14) с учетом того,  что величины pi являются неотрицательными величинами и заключены в промежутке 0 < pi < 1. Все слагаемые, входящие в сумму (1-14),  являются также величинами неотрица­тельными и изменяются при изменении р  от нуля до единицы.

Исполь­зуя правила нахождения пределов и максимума функции, убеждаемся, что при pi = 0 и pi =  1 слагаемое  -pi log pi  равняется нулю и достигает максимального значения, равного 0,531 при pi = 1/e. График зависимости величины одного слагаемого от pi приведен на рис. 1.2. Посколь

ку все слагаемые суммы вещественны, неотрицательны и ко­нечны, то при любом конечном m энтропия также будет вещественной, неотрицательной и конечной величиной.

1. Энтропия минимальна и равна нулю, если сообщение  известно заранее, т.е. если

pi = 1,  а  р1 = р2 = … = pi -1 = pi +1= …=pn.=0.

2. Энтропия максимальна,  если все состояния элементов сообщений равновероятны. Данное свойство энтропии легко доказывается с помощью методов вариационного исчисления. Мы воспользуемся конечным результатом, согласно которому Н = Нmах, если

Величину максимальной энтропии найдем при использовании выражений (1-14) и (1-15):

3. Энтропия бинарных сообщений может изменяться от нуля до единицы. Бинарные сообщения характеризуются использованием дво­ичного алфавита, т.е. m = 2. Для таких сообщений

Используя условие  для данного случая и обозначив р1 = р,  получим      р2 = 1 – р1 1 – р,  а энтропия  Н определится из выражения:

Зависимость энтропии бинарных сообщений от вероятности вы­бора одного из элементов приведена на рис. 1.3. Энтропия достигает максимума, равного единице, при p1 = p2 = 0,5.