Статистическая мера информации

Материал из Национальной библиотеки им. Н. Э. Баумана
Последнее изменение этой страницы: 15:36, 14 ноября 2016.


Статистическая мера информации — подход, при котором рассматривается не само сообщение, а информация о нем (как правило, речь идёт о вероятностных величинах: например, о вероятности появления).

Основные концепции

Большую роль в рассмотрении этого вопроса сыграл К. Шеннон, детально проработав его в своей работе «Избранные труды по теории информации». Согласно его концепции, если появляется сообщение о часто встречающемся событии, вероятность появления которого близка к единице, то такое сообщение для получателя малоинформативно. Столь же малоинформативны сообщения о событиях, вероятность появления которых близка к нулю.

События можно рассматривать как возможные исходы некоторого опыта, причем все исходы этого опыта составляют полную группу событий. Шеннон ввел понятие неопределенности ситуации, возникающей в процессе опыта, назвав ее энтропией.

Связь с энтропией

В общем случае следует считать, что изменение количества информации — это уменьшение энтропии вследствие опыта или какого-либо другого акта познания. Если неопределенность снимается полностью, то информация равна энтропии: .

В случае неполного разрешения неопределённости имеет место частичная информация, являющаяся разностью между начальной и конечной энтропией: .

Наибольшее количество информации получается тогда, когда полностью снимается неопределенность, причем эта неопределенность была наибольшей, т. е. вероятности всех событий были одинаковы. Это соответствует максимально возможному количеству информации , оцениваемому мерой Хартли:

где число событий;
вероятность их реализации в условиях равной вероятности событий.

Таким образом, .

Абсолютная избыточность информации — это разность между максимально возможным количеством информации и энтропией:
или .

Также используется понятие относительной избыточности: