1.2.1.   Структурные меры информации

Структурные меры учитывают только дискретное строение инфор­мации. Элементами информационного комплекса являются кванты – неделимые части информации дискретных моделей реальных информа­ционных комплексов. В структурной теории различают геометриче­скую, комбинаторную и аддитивную меры.

Определение количества информации геометрическим методом пред­ставляет собой измерение длины линии, площади или объема геомет­рической модели информационного комплекса в количестве дискрет­ных единиц информационных элементов – квантов. Максимально возможное количество квантов в заданных структурных габаритах информационной системы определяет информационную емкость систе­мы. Информационная емкость есть число, указывающее количество квантов в полном массиве информации. Согласно рис. 1.1, количество информации (М) в комплексе X(Т, N), определенное геометрическим методом, равняется:

где   DХ, DT и DN – интервалы, через которые осуществляются дис­кретные отсчеты.

К комбинаторной мере целесообразно прибегать, если необходимо оценить возможность передачи данных при помощи различных ком­бинаций информационных элементов. В комбинаторной мере количе­ство информации вычисляется как количество комбинаций элементов. В отличие от геометрической меры, определение количества информа­ции состоит не в простом подсчете квантов, а в определении возмож­ных или реализованных комбинаций.

Во многих случаях дискретное сообщение можно рассматривать как слово, состоящее из некоторого количества элементов (п), заданных алфавитом, состоящим из m элементов – букв. Определим количество различных сообщений, которые можно образовать с помощью данного алфавита. Если сообщение состоит из двух элементов (п = 2), то все­го может быть образовано m2 различных сообщений.

Например, с помощью десяти цифр (0, 1, …, 9) может быть образовано 100 различ­ных чисел от 0 до 99. Если количество элементов сообщения равно трем, то количество различных сообщений равно m3 и т.д. При коли­честве элементов п число возможных различных сообщений L равно:

L = mn.                                                                           (1-2)

Чем больше L, тем больше количество возможных различных со­общений и тем сильнее может отличаться каждое сообщение от осталь­ных. Поэтому величина L может быть принята в качестве меры коли­чества информации. Однако выбор L в качестве меры количества ин­формации связан с неудобствами. Так, при L = 1 информация равна нулю, поскольку сообщение, характер которого известен заранее, не дает никаких новых сведений.

Выбор L в качестве меры информа­ции неудобен еще и тем, что при сложении количества информации не­скольких независимых источников сообщений не выполняется условие линейного сложения количеств информации, т.е. условие аддитивнос­ти. Действительно, если первый источник характеризуется L1 различ­ными сообщениями, а второй – L2 различными сообщениями, то общее число различных сообщений для двух источников определится произ­ведением

L = L1L2.

Для k различных источников общее число возможных различных сообщений равно:

L = L1L2 … Lk.                                                                     (1-3)

Поэтому Хартли ввел логарифмическую меру количества информа­ции, позволяющую оценивать количество информации, содержащей­ся в сообщении, логарифмом числа возможных сообщений:

I = logL.                                                                       (1-4)

Согласно (1-4), при L = 1 I = 0, т.е. информация отсутствует. При использовании выражений (1-2) и (1-4) получим:

I = log L = п log m.                                                       (1-5)

С увеличением числа элементов сообщения пропорционально воз­растает количество информации (I). Таким образом, логарифмическая мера обладает аддитивностью в отношении количества элементов со­общения. Если общее число источников информации равно k, то коли­чество информации, даваемое всеми источниками, равно:

I = log L = log L1 + log L2 + … + log Lk,                                               (1-6)

т.е.

I = I1 b> + I2 + … + Ik.                                                          (1-7)

Таким образом, логарифмическая мера обладает аддитивностью по отношению к количеству элементов сообщения и по отношению к количеству источников сообщений.