1.2.2.1.  Общие сведения

При вероятностном подходе полу­чение конкретного количества информации рассматривается как ре­зультат определенного выбора среди возможных сообщений. Одна из возможных трудностей, связанных с подобным измерением количе­ства информации, состоит в том, что получатель возможной информа­ции может знать заранее или угадать какую-то ее часть. Когда приходит сообщение о часто происходящих событиях, вероятность появления которых (р) стремится к единице, то такое сообщение мало информа­тивно. Столь же мало информативны в среднем сообщения о событиях, вероятности которых стремятся к нулю, т.е. о почти невозможных событиях, поскольку сообщения о таких событиях поступают чрезвы­чайно редко.

События можно рассматривать как возможные исходы некоторого опыта. Все исходы составляют ансамбль или полную группу событий.

Ансамбль характеризуется тем, что сумма вероятностей всех сообщений в нем равна единице, т.е.

.                                          (1-8)

В качестве событий можно рассматривать дискретные значения измеряемой величины, состояния элементов оборудования, положе­ния регулирующих органов и т.д. Таблица, связывающая события ансамбля и вероятности их появления, называется статистической схе­мой ансамбля.

Примером может быть статистическая схема источника сообщений, использующего m элементов алфавита:

Элементы алфавита

x1

x2

x3

¼

xi

¼

xm

Вероятности появления элементов

p1

p2

p3

¼

pi

¼

pm

В общем случае вероятности не остаются постоянными, а могут изменяться во времени, в зависимости от условий и т.д. В таком слу­чае статистические характеристики становятся переменными величи­нами.

Рассмотрим сообщения, составляемые из п элементов, каждый из которых является независимым и выбирается из алфавита, содер­жащего m букв, с вероятностями выбора элементов p2, р2, …, pi …, рm соответственно. Предположим, что в некоторое сообщение вошло п1 элементов х1 алфавита, n2 элементов х2 и т.д. Такое сообщение характе­ризуется таблицей:

Тип элемента

x1

x2

x3

¼

xi ub>

¼

xm

Число элементов

n1

n2

n3

¼

ni

¼

nm

Вероятности выбора элементов

p1

p2

p3

¼

pi

¼

pm

Вероятность того, что в сообщение войдут ni элементов хi, равня­ется , а вероятность образования сообщения из n1, n2, …, ni, …, nm соответствующих элементов будет равна:

При большой длине n источником будут формироваться типичные сообщения, в которых относительная частота  появления отдельных элементов (хi), т.е. отношение числа данных элементов (ni) к общему числу элементов в сообщении  стремится к вероятности появления этих элементов, т.е.

Таким образом, в типичное сообщение достаточно большой длины n, вырабатываемое источником, характеризующимся приведенной ста­тической схемой, будет входить ni = pin элементов вида xi, а вероят­ности появления типичных сообщений р будут одинаковы и могут быть найдены с учетом выражений (1-9) и (1-10):

Поскольку суммарная вероятность всех типичных сообщений стре­мится к единице при увеличении длины сообщений, число типичных сообщений (L) можно определить по формуле:

Хотя число возможных сообщений источника mn, источник практиче­ски всегда будет вырабатывать только L типичных сообщений. Очевид­но, при оценке информационных свойств источника следует учитывать именно эту часть возможных сообщений, поскольку вероятность появ­ления остальных сообщений стремится к нулю.

Количество информации I, содержащейся в одном сообщении, равно:

Количество информации в сообщении зависит не только от коли­чества элементов, но и от его состава, т.е. вероятностей элементов, входящих в сообщение.

Количество информации, приходящееся на один элемент сообще­ния, называется удельной информативностью или энтропией. Энтро­пия характеризует источник сообщений с заданным алфавитом и яв­ляется мерой неопределенности, которая имеется в ансамбле сообще­ний этого и
сточника. Чем больше энтропия, тем больше информации несет  в  себе  сообщение  источника, тем  большая  неопределенность снимается при получении сообщения. Обычно энтропия обозначается буквой Н и определяется выражением:

Количество информации и энтропия являются логарифмическими мерами и измеряются в одних и тех же единицах. Основание логарифма определяет единицу измерения количества информации и энтропии. Двоичная единица соответствует основанию логарифма, равному двум, и называется битом. 1 бит – это количество информации в сообще­нии об одном из двух равновероятных исходов некоторого опыта. Используются также натуральные и десятичные логарифмы. В этих случаях количество информации выражается в натуральных и деся­тичных единицах соответственно. Аналогичными единицами пользуют­ся при оценке количества информации с помощью аддитивной меры Хартли (1-5).