Структурная мера информации

Материал из Национальной библиотеки им. Н. Э. Баумана
Последнее изменение этой страницы: 15:35, 14 ноября 2016.

Структурная мера информации — подход, при котором информация рассматривается как сообщение. Элементарной единицей сообщения является символ. Символы, собранные в группы, называются словами.

Общая концепция

Структурный подход к информации применяется для оценки возможностей информационных систем вне зависимости от условий их применения.

Сообщение, оформленное в виде слов или отдельных символов, всегда передается в материально-энергетической форме (электрический, электромагнитный, акустический сигналы и т. д.). Таким образом, принимается, что сообщение – это логический носитель информации, а сигнал – физический носитель сообщения.

Сообщения и сигналы можно разделить на непрерывные и дискретные.

Функция , изображенная на рис. 1, а, может быть представлена в непрерывном (рис. 1, б) и дискретном (рис. 1, в) видах. В непрерывном виде эта функция может принимать любые вещественные значения в данном диапазоне изменения аргумента .

Рис. 1. Способы представления информации.

В конкретном виде функция может принимать вещественные значения только при определенных значениях аргумента. Каким бы малым ни выбирался интервал дискретности (расстояние между соседними значениями аргумента), множество значений дискретной функции для заданного диапазона изменений аргумента (если он не бесконечный) будет конечно (т. е. ограничено).

При использовании структурных мер информации учитывается только дискретное строение сообщения, количество содержащихся в нем информационных элементов, связей между ними. При структурном подходе различаются геометрическая, комбинаторная и аддитивная меры информации.

Геометрическая мера

Геометрическая мера предполагает измерение параметра геометрической модели информационного сообщения (длина, площадь, объем и т. п.) в дискретных единицах. Например, геометрической моделью информации может быть линия единичной длины (рис. 2, а — одноразрядное слово, принимающее значение 0 или 1). квадрат (рис. 2, б — двухразрядное слово) или куб (рис. 2, в — трехразрядное слово).

Рис. 2, a. Одноразрядное слово.
Рис. 2, б. Двухразрядное слово.
Рис. 2, в. Трехразрядное слово.

Максимально возможное количество информации в заданных структурах определяет информационную емкость модели (системы), которая определяется как сумма дискретных значений по всем измерениям (координатам).

Комбинаторная мера

В комбинаторной мере количество информации определяется как число комбинаций элементов (символов). Возможное количество информации совпадает с числом возможных сочетаний, перестановок и размещений элементов. Комбинирование символов в словах, состоящих из 0 и 1, меняет значение слов.

Рассмотрим две пары слов: 100110 и 001101, 011101 и 111010. В них произведена перестановка крайних разрядов (знаковый разряд перенесен слева направо).

Аддитивная мера

Аддитивная мера (мера Хартли), в соответствии с которой количество информации измеряется в двоичных единицах — битах, является наиболее распространенный. Для числа вводятся понятия глубины и длины .

Глубина числа () — количество символов (элементов), принятых для представления информации. В каждый момент времени реализуется только один какой-либо символ.

Длина числа () — количество позиций, необходимых и достаточных для представления чисел заданной величины.

Понятие глубины числа может быть трансформировано в понятие основания системы счисления. При заданных глубине и длине числа количество чисел, которое можно представить, .

Логарифмическая мера

Поскольку величина не всегда удобна для оценки информационной емкости, вводится логарифмическая мepа, позволяющая вычислять количество информации в битах:

Отсюда следует, что 1 бит информации соответствует одному элементарному событию, которое может произойти или не произойти. Такая мера количества информации удобна тем, что она обеспечивает возможность оперировать мерой как числом. Количество информации при этом эквивалентно количеству двоичных символов 0 или 1. При наличии нескольких источников информации общее количество информации вычисляется по формуле:

,
где количество информации в сообщении от источника .

Логарифмическая мера информации позволяет измерять количество информации и используется на практике.