Энтропия

Материал из Национальной библиотеки им. Н. Э. Баумана
Последнее изменение этой страницы: 15:37, 14 ноября 2016.

Энтропия — мера неопределенности и информативности группы событий, , количественно выражаемая как средняя функция множества вероятностей каждого из возможных исходов опыта.

Энтропия по Шеннону

Шеннон рассматривал события как возможные исходы некоторого опыта, составляющие полную группу событий. В этом случае энтропия — это неопределенность ситуации, возникающей в процессе опыта.

Определение энтропии

Пусть имеется возможных исходов опыта, из них разных типов и i-й исход повторяется раз и вносит информацию, количество которой оценивается как .

Тогда средняя информация, доставляемая одним опытом,равна

Поскольку количество информации в каждом исходе связано с его вероятностью и выражается в двоичных единицах (битах) как , выражение приводится к виду:

Так как отношения представляют собой частоты повторения исходов, они могут быть заменены вероятностями , откуда средняя информация в битах равна:

Полученная величина называется энтропией.

Свойства энтропии

Энтропия обладает следующими свойствами:

  1. Энтропия всегда неотрицательна, так как значения вероятностей выражаются величинами, не превосходящими единицу, а их логарифмы — отрицательными числами или нулем, что делает все члены суммы неотрицательными.
  2. Энтропия равна нулю только в том случае, когда одна из вероятностей равна единице, а все остальные — нулю. Это тот случай, когда об опыте или величине все известно заранее, и результат не дает новую информацию.
  3. Энтропия достигает максимального значения, когда все вероятности равны между собой: .
  4. Энтропия объекта , состояния которого образуются совместной реализацией состояний и , равна сумме энтропии исходных объектов и , т. е. .

Оценки количества информации

Если все события равновероятны и статистически независимы, то оценки количества информации, то значения энтропии по Хартли и Шеннону совпадают. Это свидетельствует о полном использовании информационной емкости системы. В случае неравных вероятностей, количество информации по Шеннону меньше информационной емкости системы. При вероятностях или , что соответствует полной невозможности или полной достоверности события, энтропия равна нулю.