Пропускная способность каналов передачи сообщений

Материал из Национальной библиотеки им. Н. Э. Баумана
Последнее изменение этой страницы: 14:56, 19 декабря 2016.


Общие положения

Пропускная способность системы передачи или извлечения информации соответственно характеризует максимально допускаемую этой системой скорость передачи или извлечения информации с заданной степенью достоверности (точности). Для количественной характеристики пропускной способности применяются различные показатели в зависимости от вида и назначения системы. Так, если СПИ содержит один канал или несколько однородных каналов (например, только телефонные каналы), то ее пропускную способность удобно оценивать в битах в секунду. Если же СПИ содержит разнородные каналы (например, телефонные и телевизионные), то в общем случае объединять потоки передаваемой по ним качественно различной информации в один общий поток недопустимо и приходится оценивать пропускную способность системы в целом не одним числом, а несколькими числами — отдельно для каждой группы каналов. При этом можно оценивать пропускную способность системы числами каналов каждого вида. Однако в ряде случаев потоки на выходах всех разнородных каналов имеют цифровой код в двоичной системе исчисления и суммируются в общий цифровой поток двоичных символов для последующей обработки в ЭВМ, и/или последующей передачи, осуществляемой другой системой. В таких случаях полезно оценивать пропускную способность системы в целом также одним числом, измеряемым в битах в секунду.

Аналогичная ситуация имеет место и в системах извлечения информации (СИИ). В ряде случаев СИИ, например радиолокатор, имеет несколько каналов, извлекающих качественно различные виды информации (о наличии или отсутствии целей, о числе и типах целей, их координатах, скоростях и т.п.). При этом суммировать все качественно различные виды информации в один общий поток и измерять его в битах в общем случае недопустимо — приходится оценивать пропускную способность СИИ другим способом, например числом целей данного вида, обслуживаемых в единицу времени или одновременно. Однако если потоки информации на выходе всех каналов СИИ имеют цифровой вид и объединяются в единый двоичный цифровой поток для последующего ввода в ЭВМ и/или дальнейшей передачи информации, то целесообразно характеризовать суммарную пропускную способность СИИ не только числом обслуживаемых целей, но и показателем, выраженным в битах в секунду.

Таким образом, в зависимости от характера и назначения си¬стемы ее пропускную способность можно оценивать одним или несколькими показателями и измерять в битах в секунду или в других единицах. В дальнейшем будем для простоты рассматривать лишь первый случай. При этом под пропускной способностью системы (СПИ или СИИ) понимается максимальное (по всем возможным источникам И информации) значение средней скорости передачи или извлечения информации, допускаемое этой системой при заданных требованиях к достоверности (точности) передачи (извлечения) информации:

Здесь

— среднее количество информации (в битах), передаваемой или извлекаемой системой за время (в секундах); — показатель достоверности (точности) передачи (извлечения) информации (Рошибки, и т.п.). В процессе проектирования приходится сравнивать различные варианты построения системы и выбирать наилучший из некоторого множества допустимых вариантов. Поэтому представляет интерес определение максимального значения пропускной способности, являющегося решением задачи

При этом в процессе отыскания максимума величины может варьироваться не только структура системы, но и значения ее параметров. Чем шире множество , т.е. чем менее жесткими являются ограничения, накладываемые в процессе решения задачи , тем большим (лучшим) будет значение величины То предельное значение величины (а значит, и величины ), которое может быть достигнуто при весьма слабых ограничениях, будем называть потенциальной (предельной теоретически достижимой) пропускной способностью и обозначать . Следовательно, по определению

где — достаточно широкое множество (класс) рассматриваемых вариантов построения системы.

Очевидно, величина будет зависеть от того, что конкретно будет пониматься под «достаточно широким множеством » или соответственно под «достаточно слабыми ограничениями вариантов построения системы». Поэтому потенциальная пропускная способность системы, равно как и другие потенциальные характеристики (например, потенциальная помехоустойчивость), существенно зависит от исходных данных, принятых при ее определении. При определении пропускной способности ( или ) в общем случае следует учитывать действие помех и других источников ошибок. Поэтому между показателями пропускной способности, точности и помехоустойчивости существует взаимная связь — пропускная способность ( и ) зависит, как правило, от допустимых значений показателей точности и помехоустойчивости.

Определение пропускной способности КПС в классической теории информации

Классическая теория информации, основы которой были заложены К. Шенноном, обычно изучается в курсе «Системы передачи информации». Мы рассмотрим лишь основные результаты этой теории, необходимые для понимания последующего материала.

Система передачи информации полагается состоящей из трех частей (рис. 1) — канала связи, а также кодера и декодера,

Рис. 1 Система передачи информации

согласующих канал с источником информации И и ее получателем (адресатом) П. В частном случае кодер и декодер могут отсутствовать. Канал может быть дискретным или непрерывным, а источник И может выдавать на своем выходе дискретные или непрерывные сообщения.

Передача дискретных сообщений по дискретному каналу. При этом источник вырабатывает информацию со средней скоростью

где — средняя скорость выработки символов источником;

"" — среднее количество информации в битах, приходящееся на один символ, называемое также энтропией или неопределенностью источника'.

Величина - называется производительностью источника. Если символы источника статистически независимы, то

где — число видов символов источника;
— вероятность появления символа .

Если между символами источника имеется статистическая связь, то уменьшается по сравнению с . Энтропия максимальна, когда все символы статистически независимы и равновероятны. При этом, как следует из ,

В отсутствие шумов дискретный канал характеризуется числом видов передаваемых им символов и допустимой средней скоростью следования этих символов.

Предположим сначала, что кодер (и декодер) отсутствует, т.е. источник И непосредственно подключен ко входу канала. Тогда пропускную способность канала нетрудно найти из общего соотношения . В соответствии с этим скорость передачи информации максимальна, если источник обладает следующими характеристиками:

Поэтому

Так как источники искажений в кодере, декодере и канале полагаются отсутствующими, то информация передается без искажений, т.е. .

Если источник не удовлетворяет условиям , т.е. не согласован с каналом, то для обеспечения передачи информации от этого источника со скоростью, равной пропускной способности канала , необходимо включить согласующие элементы — кодер и декодер. При этом по отношению к каналу источником информации является кодер. Поэтому на выходе кодера должны выполняться условия , в которых под nи, , следует понимать значения соответствующих параметров на выходе кодера.

Как доказал К. Шеннон, если производительность источника И не превышает С, осуществить такое кодирование символов источника в принципе всегда возможно. При этом источник должен вырабатывать символы со скоростью .

При наличии помех дискретный канал характеризуется не только параметрами и , но и матрицей вероятностей перехода символа на входе канала в символ на его выходе. При этом символ обозначается здесь через для того, чтобы подчеркнуть, что он появляется на выходе канала, т.е. в составе процесса , а не на его входе, где действует . Пропускная способность такого канала

где — условная энтропия, определяемая соотношением

и характеризующая уменьшение скорости передачи информации за счет действия помех в канале [в отсутствие помех ].

Соотношение , равно как и , справедливо в предположении, что статистическая связь между символами (а также между символами ) с различными индексами отсутствует.

Как доказал К. Шеннон, передачу информации по каналу со скоростью, равной его пропускной способности , можно обеспечить при сколь угодно малой вероятности ошибки (), если выполняется условие и осуществляется идеальное кодирование (и декодирование) информации, поступающей от источника И. Идеальное кодирование (и декодирование) предполагает совместную обработку последовательности сколь угодно большого числа символов и соответственно требует неограниченно большой задержки в передаче информации ().

Частным, но весьма важным случаем дискретного канала является двоичный симметричный канал без памяти, т.е. канал, в котором , вероятности ошибок одинаковы

и осуществляется независимый прием каждого символа (так называемый посимвольный или поэлементный прием). В этом случае в соответствии с , и

При этом следует иметь в виду различие между вероятностями и , т.е. соответственно вероятностью ошибочного приема каждого символа в канале и вероятностью ошибки воспроизведения информации на выходе декодера.

Благодаря наличию идеального кодирования и декодирования вероятность может быть сколь угодно малой даже при большой вероятности ошибки , т.е. и при весьма плохом в смысле помехоустойчивости канале. Однако даже при идеальном кодировании действие помех может весьма сильно снижать пропускную способность системы. Например, из следует, что при пропускная способность стремится к нулю. По мере уменьшения действия помех в канале, т.е. при уменьшении вероятности , пропускная способность стремится к , т.е. к тому значению, которое она имела бы при полном отсутствии помех. Из нетрудно убедиться, что если

т.е. при этом пропускная способность уменьшается за счет действия помех менее чем на 10%.

Анализ общих соотношений показывает, что в общем случае дискретного канала выполнение условия достаточно для того, чтобы пропускную способность канала можно было рассчитывать по той же формуле, что и в отсутствие помех, т.е. вместо можно полагать


Передача дискретных сообщений по непрерывному каналу

Непрерывным называется канал, способный передавать сигналы, непрерывные как по времени, так и по значениям в каждый момент времени. Полагается, что передаваемые по каналу сигналы имеют спектр, ширина которого равна полосе пропускания канала и длительность , такую, что . При этом передаваемые сигналы полностью характеризуются своими отсчетами, взятыми в дискретные моменты времени с временным интервалом . Поэтому передачу сигналов по непрерывному каналу можно рассматривать как передачу отсчетов, следующих со скоростью .

Значение каждого отсчета непрерывно, т.е. может иметь бесконечное число (точнее — континуум) значений даже в пределах сколь угодно малого интервала этих значений. Поэтому непрерывный канал можно рассматривать как предел дискретного канала, в котором роль передаваемых символов играют отсчеты, а число возможных видов (значений) этих символов стремится к бесконечности. Отсюда следует, что все соотношения, полученные для дискретного канала, остаются справедливыми и для непрерывного канала, если в них положить и . В частности, из следует, что в отсутствие шумов пропускная способность непрерывного канала стремится к бесконечности и, следовательно, имеет смысл определять пропускную способность непрерывного канала лишь в присутствии помех (шума). При этом формула принимает вид

где

— так называемые дифференциальные энтропии, a и — безусловная и условная плотность вероятности величины .

Формулы получены из и и поэтому справедливы лишь при отсутствии статистической связи между отсчетами. В максимум ищется по всем источникам И, т.е. по всем возможным видам распределения .

Если дисперсия величины фиксирована, то максимум энтропии имеет место при нормальном (гауссовском) законе распределения и равен

где

Если единственным источником искажений в канале является аддитивный независимый нормальный белый шум со спектральной плотностью , то из общей формулы получается

где — средняя мощность сигнала.

Формула , называемая далее основной формулой Шеннона, показывает, какую пропускную способность при передаче дискретных сообщений имеет непрерывный канал с полосой пропускания где , в котором действует аддитивный независимый нормальный белый шум с фиксированной спектральной плотностью где и задана лишь средняя мощность где сигнала, т.е. ограничений на его пиковую мощность не накладывается. Формулу часто удобно записывать в следующем виде:

где

Это нормированные (безразмерные) величины, называемые соответственно удельным {на единицу пропускной способности) расходом средней мощности сигнала и полосы пропускания системы. По формуле построена зависимость, изображенная на рис.2 сплошной линией.

Чем меньше каждая из величин (где , ), тем лучше система при прочих равных условиях. Поэтому удельные расходы (, ) можно рассматривать как показатели качества системы передачи информации, а зависимость (и соответствующую ей кривую на рис. 2) — как диаграмму обмена между этими показателями: она показывает, насколько можно улучшить (уменьшить) каждый из этих показателей качества, если допустить то или иное ухудшение (увеличение) второго показателя качества.

Рис. 2.

Поскольку, как уже отмечалось, непрерывный канал можно рассматривать как предел дискретного канала, имеющий место при , а с ростом пропускная способность дискретного канала возрастает, справедливо следующее утверждение: если в дискретном канале с полосой пропускания единственным источником искажений сообщений является аддитивный независимый нормальный белый шум со спектральной плоскостью и ограничена (значением ) лишь средняя мощность сигнала, то при увеличении числа видов символов пропускная способность канала возрастает, стремясь в пределе (при ) ,к величине, определяемой формулой . Однако даже в двоичном симметричном канале без памяти () проигрыш в величине (по сравнению со случаем ) получается сравнительно небольшим, если полоса пропускания канала относительно велика (). В общем случае, т.е. при произвольном отношении , различие между пропускными способностями непрерывного канала и двоичного симметричного канала без памяти характеризуется кривыми, приведенными на рис. 2: сплошной линией для непрерывного канала и штриховой — для двоичного. При этом зависимость для двоичного симметричного канала без памяти (штриховая линия) получена из общей формулы при следующих предположениях. Каждый из двоичных символов передается сигналом длительностью то, имеющим ширину спектра , т. е. . Форма сигналов и способ их обработки выбраны оптимальными по помехоустойчивости, т.е. обеспечивающими минимум полной вероятности ошибки приема символов при заданной средней мощности сигнала . При двоичной передаче сообщений этому соответствуют противоположные сигналы и корреляционный способ приема. В таком оптимальном по помехоустойчивости канале полная вероятность ошибки

где

Подстановка и в и приводит к зависимости, изображенной на рис. 2 штриховой линией.

Из рис. 2 видно, что при проигрыш в требуемой средней мощности сигнала в двоичном канале по сравнению с непрерывным невелик: . В пределе (при )

Соответствующие зависимости для дискретных каналов с большим числом видов символов () должны располагаться между штриховой и сплошной линиями, стремясь при к сплошной линии. Отсюда следует, что основным преимуществом непрерывного канала по сравнению с дискретным является возможность существенного уменьшения удельного расхода средней мощности при малых значениях удельного расхода полосы (). Чем больше , тем меньший выигрыш в значении βE может дать увеличение числа видов символов.

К. Шенноном было доказано, что пропускную способность , а следовательно, и можно в принципе реализовать (при передаче дискретных сообщений) со сколь угодно малой вероятностью ошибки (), если применить идеальное помехоустойчивое кодирование, основанное на преобразовании входной последовательности символов в весьма длительные () реализации передаваемого по каналу сообщения и соответственно требующее весьма большой задержки () в передаче информации от источника к потребителю.

Передача непрерывных сообщений

Непрерывные сообщения можно передавать как по непрерывному, так и по дискретному каналу (в последнем случае требуется применение пре¬образователей аналог — цифра и цифра — аналог). Для краткости ограничимся случаем передачи по непрерывному каналу (поскольку, как было показано ранее, различие в пропускных способностях непрерывного и дискретного каналов при невелико). Предполагается, что непрерывное сообщение имеет спектр, ограниченный высшей частотой , и поэтому точно описывается последовательностью отсчетов, следующих во времени со скоростью , где , т.е. . Так как сообщение непрерывно, то каждый отсчет может принимать бесконечное число значений, т. е. . Поэтому производительность такого источника бесконечно велика (). Пропускная же способность непрерывного канала при наличии шумов конечна. Поэтому передавать сообщение такого источника по каналу с шумами со сколь угодно высокой точностью невозможно даже при наличии идеального помехоустойчивого кодирования (и декодирования).

К. Шеннон доказал, что при наличии идеального помехоустойчивого кодирования (и декодирования) можно обеспечить передачу непрерывных сообщений по каналу с пропускной способностью лишь с относительным средним квадратом ошибки , определяемым из соотношения

где

Здесь по определению

— средний квадрат ошибки передачи сообщений, отнесенный к среднему квадрату передаваемого сообщения. Величина называется ε-производительностью источника, чтобы подчеркнуть, что она соответствует точной (с ) передаче по каналу не истинного сообщения источника, а сообщения , отличающегося от на величину (), средний квадрат которой равен заданной (достаточно малой) величине .

При выводе предполагалось, что сообщение имеет нормальный закон распределения и равномерный в пределах полосы [0, ] частотный спектр. Из и следует, что при оптимальном кодировании сообщения , имеющего нормальный закон распределения и спектр, равномерный в полосе [0, ] и равный нулю за ее пределами, возможно передавать сообщение по каналу с относительным средним квадратом ошибки , определяемым соотношением

Смысл этого соотношения, равно как и условия , вполне понятен: если бы пропускная способность была бесконечно большой, то при идеальном кодировании можно было бы передавать сообщение практически безошибочно (, ). При конечной пропускной способности канала обеспечить такой результат невозможно даже при идеальном кодировании — чем меньше пропускная способность канала, тем с большим средним квадратом ошибки возможно передавать по нему сообщения. Понятно также, что при этом должно играть роль не абсолютное значение пропускной способности, а ее отношение к высшей частоте в спектре сообщения.

В рассмотренном важном случае гауссовского канала, т.е. при справедливости основной формулы Шеннона , выражение принимает вид

т.е.

Отсюда следует, что при , Т.е. в отсутствие помех, . По мере уменьшения отношения ошибка монотонно возрастает.

По аналогии с удельными расходами и при передаче непрерывных сообщений удобно ввести удельные расходы вида


Рис. 3.

характеризующие расходы средней мощности сигнала и полосы пропускания канала на один герц полосы сообщения. В этих обозначениях соотношение принимает следующий вид:

или

Соотношение является эквивалентом зависимости , приведенной для дискретных сообщений. Принципиальным отличием от является наличие зависимости от допустимой ошибки . По формуле построены кривые, приведенные на рис. 3 для трех значений величины . Графики на рис. 2 и 3 показывают связь между удельными расходами средней мощности сигнала и полосы пропускания и называются поэтому диаграммами обмена между этими важными показателями качества системы. Они показывают, насколько можно в принципе улучшить (уменьшить) один из этих показателей, если допустить ухудшение (увеличение) другого показателя.

В заключение отметим, что равенство не только позволяет определить достижимое значение среднего квадрата ошибки , но и является условием согласования источника, обладающего верхней частотой сообщений , с каналом, имеющим пропускную способность :

Если источник при данной ошибке имеет производи тельность ,

то можно в принципе закодировать сообщения на выходе источника и передавать их по каналу с пропускной способностью при погрешности воспроизведения, как угодно близкой к , если только . Это невозможно, если (теорема Шеннона для непрерывного источника).

См. также