Основные положения об информации, сигналах, сообщениях с учетом специфики дисциплины

Материал из Национальной библиотеки им. Н. Э. Баумана
Последнее изменение этой страницы: 15:41, 14 ноября 2016.

Информация

Информация

  • сведения, независимо от формы их представления, воспринимаемые человеком или специальными устройствами как отражение фактов материального мира в процессе коммуникации[1];
  • нематериальная (логическая, абстрактная) форма движения, которая генерируется мозгом в виде понятий, категорий, представлений (философия) [1];
  • любые сообщения, являющиеся объектом хранения, передачи и преобразования (в узком смысле).

Меры информации

Основной вопрос теории передачи и преобразования информации — это установление меры, количества и качества информации.

В области обнаружения и распознавания сигналов информация рассматривается в 3 аспектах: структурном, статистическом и семантическом.

В структурном аспекте рассматривается строение массивов данных и их изменение простым подсчетом информационных элементов или комбинаторным методом. Структурный подход применяется для оценки возможностей информационных систем вне зависимости от условий их применения.

При статистическом подходе используется понятие энтропии как меры неопределенности, учитывающей вероятность появления и информативность того или иного сообщения. Статистический подход учитывает конкретные условия применения систем и каналов передачи сообщений.

Семантический подход позволяет выделить полезность или ценность информационного сообщения.

Передача информации по каналу связи

Одной из центральных задач, возникающих при работе с информацией — это её передача. Условно все каналы передачи сообщений (КПС) принято делить на каналы без шума (помех) и каналы с шумом.

В случае канала с шумом сигнал на выходе представляется суммой входного сигнала и некоторой ошибки.


Рис. 1. Схема КПС

Таким образом, в задачах передачи информации по каналам с шумом основным рассматриваемым вопросом является достижение максимальной скорости передачи (максимальное использование пропускной способности КПС), в то время как при передаче через каналы с шумом основное внимание уделяется получению исходного, неискаженного сообщения.

Структурная мера информации

Структурная мера информации — подход, при котором информация рассматривается как сообщение. Элементарной единицей сообщения является символ. Символы, собранные в группы, называются словами.

Общая концепция

Структурный подход к информации применяется для оценки возможностей информационных систем вне зависимости от условий их применения.

Сообщение, оформленное в виде слов или отдельных символов, всегда передается в материально-энергетической форме (электрический, электромагнитный, акустический сигналы и т. д.). Таким образом, принимается, что сообщение – это логический носитель информации, а сигнал – физический носитель сообщения.

Сообщения и сигналы можно разделить на непрерывные и дискретные.

Функция , изображенная на рис. 1, а, может быть представлена в непрерывном (рис. 1, б) и дискретном (рис. 1, в) видах. В непрерывном виде эта функция может принимать любые вещественные значения в данном диапазоне изменения аргумента .

Рис. 1. Способы представления информации.

В конкретном виде функция может принимать вещественные значения только при определенных значениях аргумента. Каким бы малым ни выбирался интервал дискретности (расстояние между соседними значениями аргумента), множество значений дискретной функции для заданного диапазона изменений аргумента (если он не бесконечный) будет конечно (т. е. ограничено).

При использовании структурных мер информации учитывается только дискретное строение сообщения, количество содержащихся в нем информационных элементов, связей между ними. При структурном подходе различаются геометрическая, комбинаторная и аддитивная меры информации.

Геометрическая мера

Геометрическая мера предполагает измерение параметра геометрической модели информационного сообщения (длина, площадь, объем и т. п.) в дискретных единицах. Например, геометрической моделью информации может быть линия единичной длины (рис. 2, а — одноразрядное слово, принимающее значение 0 или 1). квадрат (рис. 2, б — двухразрядное слово) или куб (рис. 2, в — трехразрядное слово).

Рис. 2, a. Одноразрядное слово.
Рис. 2, б. Двухразрядное слово.
Рис. 2, в. Трехразрядное слово.

Максимально возможное количество информации в заданных структурах определяет информационную емкость модели (системы), которая определяется как сумма дискретных значений по всем измерениям (координатам).

Комбинаторная мера

В комбинаторной мере количество информации определяется как число комбинаций элементов (символов). Возможное количество информации совпадает с числом возможных сочетаний, перестановок и размещений элементов. Комбинирование символов в словах, состоящих из 0 и 1, меняет значение слов.

Рассмотрим две пары слов: 100110 и 001101, 011101 и 111010. В них произведена перестановка крайних разрядов (знаковый разряд перенесен слева направо).

Аддитивная мера

Аддитивная мера (мера Хартли), в соответствии с которой количество информации измеряется в двоичных единицах — битах, является наиболее распространенный. Для числа вводятся понятия глубины и длины .

Глубина числа () — количество символов (элементов), принятых для представления информации. В каждый момент времени реализуется только один какой-либо символ.

Длина числа () — количество позиций, необходимых и достаточных для представления чисел заданной величины.

Понятие глубины числа может быть трансформировано в понятие основания системы счисления. При заданных глубине и длине числа количество чисел, которое можно представить, .

Логарифмическая мера

Поскольку величина не всегда удобна для оценки информационной емкости, вводится логарифмическая мepа, позволяющая вычислять количество информации в битах:

Отсюда следует, что 1 бит информации соответствует одному элементарному событию, которое может произойти или не произойти. Такая мера количества информации удобна тем, что она обеспечивает возможность оперировать мерой как числом. Количество информации при этом эквивалентно количеству двоичных символов 0 или 1. При наличии нескольких источников информации общее количество информации вычисляется по формуле:

,
где количество информации в сообщении от источника .

Логарифмическая мера информации позволяет измерять количество информации и используется на практике.

Статистическая мера информации

Статистическая мера информации — подход, при котором рассматривается не само сообщение, а информация о нем (как правило, речь идёт о вероятностных величинах: например, о вероятности появления).

Основные концепции

Большую роль в рассмотрении этого вопроса сыграл К. Шеннон, детально проработав его в своей работе «Избранные труды по теории информации». Согласно его концепции, если появляется сообщение о часто встречающемся событии, вероятность появления которого близка к единице, то такое сообщение для получателя малоинформативно. Столь же малоинформативны сообщения о событиях, вероятность появления которых близка к нулю.

События можно рассматривать как возможные исходы некоторого опыта, причем все исходы этого опыта составляют полную группу событий. Шеннон ввел понятие неопределенности ситуации, возникающей в процессе опыта, назвав ее энтропией.

Связь с энтропией

В общем случае следует считать, что изменение количества информации — это уменьшение энтропии вследствие опыта или какого-либо другого акта познания. Если неопределенность снимается полностью, то информация равна энтропии: .

В случае неполного разрешения неопределённости имеет место частичная информация, являющаяся разностью между начальной и конечной энтропией: .

Наибольшее количество информации получается тогда, когда полностью снимается неопределенность, причем эта неопределенность была наибольшей, т. е. вероятности всех событий были одинаковы. Это соответствует максимально возможному количеству информации , оцениваемому мерой Хартли:

где число событий;
вероятность их реализации в условиях равной вероятности событий.

Таким образом, .

Абсолютная избыточность информации — это разность между максимально возможным количеством информации и энтропией:
или .

Также используется понятие относительной избыточности:

Энтропия

Энтропия — мера неопределенности и информативности группы событий, , количественно выражаемая как средняя функция множества вероятностей каждого из возможных исходов опыта.

Энтропия по Шеннону

Шеннон рассматривал события как возможные исходы некоторого опыта, составляющие полную группу событий. В этом случае энтропия — это неопределенность ситуации, возникающей в процессе опыта.

Определение энтропии

Пусть имеется возможных исходов опыта, из них разных типов и i-й исход повторяется раз и вносит информацию, количество которой оценивается как .

Тогда средняя информация, доставляемая одним опытом,равна

Поскольку количество информации в каждом исходе связано с его вероятностью и выражается в двоичных единицах (битах) как , выражение приводится к виду:

Так как отношения представляют собой частоты повторения исходов, они могут быть заменены вероятностями , откуда средняя информация в битах равна:

Полученная величина называется энтропией.

Свойства энтропии

Энтропия обладает следующими свойствами:

  1. Энтропия всегда неотрицательна, так как значения вероятностей выражаются величинами, не превосходящими единицу, а их логарифмы — отрицательными числами или нулем, что делает все члены суммы неотрицательными.
  2. Энтропия равна нулю только в том случае, когда одна из вероятностей равна единице, а все остальные — нулю. Это тот случай, когда об опыте или величине все известно заранее, и результат не дает новую информацию.
  3. Энтропия достигает максимального значения, когда все вероятности равны между собой: .
  4. Энтропия объекта , состояния которого образуются совместной реализацией состояний и , равна сумме энтропии исходных объектов и , т. е. .

Оценки количества информации

Если все события равновероятны и статистически независимы, то оценки количества информации, то значения энтропии по Хартли и Шеннону совпадают. Это свидетельствует о полном использовании информационной емкости системы. В случае неравных вероятностей, количество информации по Шеннону меньше информационной емкости системы. При вероятностях или , что соответствует полной невозможности или полной достоверности события, энтропия равна нулю.

Семантическая мера информации

Семантическая мера информации — подход, при котором информация (сообщение) рассматривается с точки зрения своего содержания.

Определение

Поскольку каналы передачи сообщений обрабатывают и преобразуют информацию разного содержания — от числовых данных до сочинения музыки и стихов — оценка содержания разнохарактерной информации является весьма сложной проблемой.

Среди семантических мер наиболее распространены содержательность, логическое количество, целесообразность и существенность информации.

Содержательность

Содержательность события определяется как отношение количества информации в сообщении к объёма сообщения и выражается через функцию меры содержательности отрицания события. Оценка содержательности основана на математической лoгикe, в которой логические функции истинности и ложности имеют формальное сходство с функциями вероятностей события и антисобытия в теории вероятностей.

Как и вероятность, содержательность события изменяется в пределах от 0 до 1.

Логическое количество

Логическое количество информации сходно со статистическим количеством информации и вычисляется по следующему выражению:

Отличие статистической оценки от логической состоит в том, что в первом случае учитываются вероятности реализации тех или иных событий, что приближает к оценке смысла информации.

Существенность

Существенность информации — свойство информации, которые позволяет информации влиять на решение конечного пользователя.

Целесообразность

Целесообразность информации — логарифмическая величина, учитывающая прагматику информации. Определяется как двоичный логарифм отношения вероятностей достижения цели до и после получения сообщения.

,
где вероятность достижения цели до получения сообщения;
вероятность достижения цели после получения сообщения.

Передача информации по каналу

Одной из центральных задач, возникающих при работе с информацией — это её передача. Условно все каналы передачи сообщений (КПС) принято делить на каналы без шума (помех) и каналы с шумом.

Каналы без шума

Если через канал связи без помех передается последовательность дискретных сообщений длительностью , то скорость передачи информации по каналу связи (бит/с) определяется по формуле:

,
где количество информации, содержащейся в последовательности сообщений.

Предельное значение скорости передачи информации называется пропускной способностью канала связи без помех — .

Количество информации в сообщениях максимально при равной вероятности состояний. Тогда

Скорость передачи информации в общем случае зависит от статистических свойств сообщений и параметров канала.

Пропускная способность — характеристика канала, которая не зависит от скорости передачи информации.

Количественно пропускная способность канала выражается максимальным количеством двоичных единиц информации, которое данный канал связи может передать за одну секунду.

Для наиболее эффективного использования канала связи необходимо, чтобы скорость передачи информации была как можно ближе к пропускной способности канала связи. Если скорость поступления информации на вход канала связи превышает пропускную способность канала, то по каналу будет передана не вся информация. Отсюда вытекает основное условие согласования источника информации и канала связи — .

Обычно согласование осуществляется путем соответствующего кодирования сообщений. Доказано, что если скорость информации, вырабатываемой источником сообщений , достаточно близка к пропускной способности канала , т. е. , где — сколь угодно малая величина, то всегда можно найти такой способ кодирования, который обеспечит передачу сообщений, вырабатываемых источником, причем скорость передачи информации будет весьма близка к пропускной способности канала.

Верно и обратное утверждение: невозможно обеспечить длительную передачу всех сообщений, если поток информации, вырабатываемый источником, превышает пропускную способность канала.

Если ко входу канала подключен источник сообщений с энтропией, равной пропускной способности канала связи, то считается, что источник согласован с каналом. Если энтропия источника меньше пропускной способности канала, что может быть в случае неравновероятности состояний источника, то источник не согласован с каналом, т. е. канал используется не полностью.

Согласование в статистическом смысле достигается с помощью статистического кодирования. Оно позволяет повысить энтропию передаваемых сообщений до величины, которая получается, если символы новой последовательности равновероятны. При этом число символов в последовательности будет сокращено. В результате источник информации согласуется с каналом связи.

Каналы с шумом

При передаче информации через канал с помехами сообщения искажаются и на приемной стороне нет уверенности в том, что принято именно то сообщение, которое передавалось. Следовательно, сообщение недостоверно, вероятность правильности его после приема не равна единице. В этом случае количество получаемой информации уменьшается на величину неопределенности, вносимой помехами, т. е. вычисляется как разность энтропии сообщения до и после приема:

,
где энтропия источника сообщений;
энтропия сообщений на приемной стороне.

Таким образом, скорость передачи по каналу связи с помехами

Пропускной способностью канала с шумами называется максимальная скорость передачи информации при условии, что канал связи без помех согласован с источником информации:

Если энтропия источника информации не превышает пропускной способности канала , то существует код, обеспечивающий передачу информации через канал с помехами со сколь угодно малой частотой ошибок или сколь угодно малой недостоверностью. Пропускная способность канала связи при ограниченной средней мощности аналогового сигнала:

где полоса частот канала (Гц);
средняя мощность сигнала;
средняя мощность помех (равномерный спектр) с нормальным законом распределения амплитуд в полосе частот канала связи.
Следовательно, можно передавать информацию по каналу с помехами без ошибок, если скорость передачи информации меньше пропускной способности канала, определяемой формулой для . Для скорости при любой системе кодирования частота ошибок принимает конечное значение, причем оно растет с увеличением значения . Из выражения для с следует, что для канала с весьма высоким уровнем шумов максимальная скорость передачи близка к нулю.
  1. 1,0 1,1 Информация [Электронный ресурс] : Материал из Википедии — свободной энциклопедии : Версия 77295327, сохранённая в 07:52 UTC 24 марта 2016 / Авторы Википедии // Википедия, свободная энциклопедия. — Электрон. дан. — Сан-Франциско: Фонд Викимедиа, 2016. — Режим доступа: http://ru.wikipedia.org/?oldid=77295327