1.2.2.4.  Избыточность сообщений

Энтропия дискретных сообщений достигает максимума при равной вероятности элементов сообщений. Энтропия непрерывных сообщений  также при определенных условиях

достигает максимального значе­ния. Таким образом, можно говорить о сообщениях, являющихся оп­тимальными по наибольшему количеству передаваемой инфор­мации.

Однако условия, обеспечивающие максимум энтропии, выполняют­ся далеко не всегда. Поэтому энтропия реальных сообщений за­частую оказывается меньше энтропии соответствующего ему опти­мального сообщения. При одинаковом числе элементов количество ин­формации в реальном сообщении будет меньше, чем в оптимальном.

Абсолютная избыточность сообщения (Dабс) характеризуется разностью между максимально возможным количеством информации (Нmax) и энтропией реального сообщения:

Dабс = НmaxH,                                                                          (1-39)

а относительная избыточность соответственно равна:

Избыточность сообщений приводит к увеличению времени переда­чи. Для уменьшения избыточности следует повышать информатив­ность элементов сообщения. В реальных системах для повышения помехоустойчивости передаваемых сообщений избыточность вводят преднамеренно.