.

Квантование сообщений. Ошибки квантования. Энтропия источника сообщений (реферат)

Язык: русский
Формат: реферат
Тип документа: Word Doc
0 537
Скачать документ

11

БЕЛОРУССКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ИНФОРМАТИКИ И РАДИОЭЛЕКТРОНИКИ

кафедра РЭС

реферат на тему:

“Квантование сообщений. Ошибки квантования. Энтропия источника
сообщений”

МИНСК, 2009

Квантование сообщений. Ошибки квантования

Итак, показано, что передачу практически любых сообщений ?(t) (л(x,y) )
можно свести к передаче их отсчетов, или чисел лi = л(i t), следующих
друг за другом с интервалом дискретности t 1/2Fm (Дx ? 1/2fx, Дy ?
1/2fy). Тем самым непрерывное (бесконечное) множество возможных значений
сообщения л(t) заменяется конечным числом его дискретных значений л(i t)
. Однако сами эти числа имеют непрерывную шкалу уровней (значений), то
есть принадлежат опять же континуальному множеству. Для абсолютно
точного представления таких чисел, к примеру, в десятичной (или
двоичной) форме, необходимо теоретически бесконечное число разрядов.
Вместе с тем на практике нет необходимости в абсолютно точном
представлении значений лi, как и любых чисел вообще.

Во-первых, сами источники сообщений обладают ограниченным динамическим
диапазоном и вырабатывают исходные сообщения с определенным уровнем
искажений и ошибок. Этот уровень может быть большим или меньшим, но
абсолютной точности воспроизведения достичь невозможно.

Во-вторых, передача сообщений по каналам связи всегда производится в
присутствии различного рода помех. Поэтому принятое (воспроизведенное)
сообщение (оценка сообщения *(t) или *) всегда в определенной степени
отличается от переданного, то есть на практике невозможна абсолютно
точная передача сообщений при наличии помех в канале связи.

Наконец, сообщения передаются для их восприятия и использования
получателем. Получатели же информации – органы чувств человека,
исполнительные механизмы и т.д. – также обладают конечной разрешающей
способностью, то есть не замечают незначительной разницы между абсолютно
точным и приближенным значениями воспроизводимого сообщения. Порог
чувствительности к искажениям также может быть различным, но он всегда
есть.

С учетом этих замечаний процедуру дискретизации сообщений можно
продолжить, а именно подвергнуть отсчеты лi квантованию.

Процесс квантования состоит в замене непрерывного множества значений
отсчетов i (min, max) дискретным множеством (1),…,(m) из алфавита A
лi . Тем самым точные значения чисел i заменяются их приблизительными
(округленными до ближайшего разрешенного уровня) значениями. Интервал
между соседними разрешенными уровнями i, или уровнями квантования, =
(i+1) – (i) называется шагом квантования.

Различают равномерное и неравномерное квантование. В большинстве случаев
применяется и далее подробно рассматривается равномерное квантование
(рис.1), при котором шаг квантования постоянный: = лi – лi-1 = = const;
однако иногда определенное преимущество дает неравномерное квантование,
при котором шаг квантования i разный для различных лi (рис.2).

Рис. 1. Рис. 2.

Квантование приводит к искажению сообщений. Если квантованное сообщение,
полученное в результате квантования отсчета i = (iДt), обозначить как
лiq, то

picscalex1090100090000031a0100000200150000000000050000000902000000000400
000002010100050000000102ffffff00040000002e011800050000003102010000000500
00000b0200000000050000000c02c00340091200000026060f001a00ffffffff00001000
0000c0ffffffa6ffffff00090000660300000b00000026060f000c004d61746854797065
0000600015000000fb0240fe000000000000bc02010000000402001054696d6573204e65
7720526f6d616e000081040000002d01000008000000320a0003a208010000002c001500
0000fb02e0fe000000000000bc02010000000402001054696d6573204e657720526f6d61
6e000081040000002d01010004000000f001000008000000320a00031c08010000006900
08000000320a70032c0501000000690008000000320a2303600102000000697110000000
fb0240fe000000000000bc02010000020002001053796d626f6c0002040000002d010000
04000000f001010008000000320a0003350701000000780008000000320a00032d040100
00006c0008000000320a00033200010000006c0010000000fb0240fe000000000000bc02
000000020002001053796d626f6c0002040000002d01010004000000f001000008000000
320a00030606010000002b0008000000320a0003d502010000003d000a00000026060f00
0a00ffffffff01000000000010000000fb021000070000000000bc02000000cc01020222
53797374656d00cc040000002d01000004000000f0010100030000000000(1)

где i – разность между квантованным сообщением (ближайшим разрешенным
уровнем) лiq и истинным значением элементарного сообщения i, называемая
ошибкой квантования, или шумом квантования. Шум квантования оказывает на
процесс передачи информации по существу такое же влияние, как и помехи в
канале связи. Помехи, так же как и квантование, приводят к тому, что
оценки л*i, получаемые на приемной стороне системы связи, отличаются на
некоторую величину от истинного значения i.

Поскольку квантование сообщений приводит к появлению ошибок и потере
некоторой части информации, можно определить цену таких потерь d(, лq) и
среднюю величину ошибки, обусловленной квантованием:

picscalex1000100090000034a0100000200150000000000050000000902000000000400
000002010100050000000102ffffff00040000002e011800050000003102010000000500
00000b0200000000050000000c024002000e1200000026060f001a00ffffffff00001000
0000c0ffffffdeffffffc00d00001e0200000b00000026060f000c004d61746854797065
0000600015000000fb0240fe000000000000bc02010000000402001054696d6573204e65
7720526f6d616e000085040000002d01000008000000320a80016d0d010000002e000800
0000320a80012b0c01000000290008000000320a8001b609010000002c0008000000320a
8001a20701000000280008000000320a8001980601000000640008000000320a8001ab03
01000000290008000000320a8001700201000000710008000000320a8001970101000000
280008000000320a80014e0001000000440015000000fb02e0fe000000000000bc020100
00000402001054696d6573204e657720526f6d616e000085040000002d01010004000000
f001000008000000320a80013e0b01000000710010000000fb0240fe000000000000bc02
000000020002001053796d626f6c0002040000002d01000004000000f001010008000000
320a8001a90c01000000f10008000000320a8001f00501000000e10008000000320a8001
9204010000003d0010000000fb0240fe000000000000bc02010000020002001053796d62
6f6c0002040000002d01010004000000f001000008000000320a8001420a010000006c00
08000000320a80017b08010000006c000a00000026060f000a00ffffffff010000000000
10000000fb021000070000000000bc02000000cc0102022253797374656d00cc04000000
2d01000004000000f0010100030000000000 (2)

Чаще всего в качестве функции потерь (цены потерь) используется
квадратичная функция вида

picscalex100010009000003800100000300150000000000050000000902000000000400
000002010100050000000102ffffff00040000002e011800050000003102010000000500
00000b0200000000050000000c026003000e1200000026060f001a00ffffffff00001000
0000c0ffffffabffffffc00d00000b0300000b00000026060f000c004d61746854797065
0000800009000000fa02000010000000000000002200040000002d010000050000001402
e200a90c050000001302fe02a90c050000001402c20020080500000013021e0320081500
0000fb02e0fe000000000000bc02000000000402001054696d6573204e657720526f6d61
6e0000d3040000002d01010008000000320a36013e0d01000000320015000000fb0240fe
000000000000bc02010000000402001054696d6573204e657720526f6d616e0000d30400
00002d01020004000000f001010008000000320a6002e00c010000002e0008000000320a
6002c50501000000290008000000320a60025003010000002c0008000000320a60023c01
01000000280008000000320a6002320001000000640015000000fb02e0fe000000000000
bc02010000000402001054696d6573204e657720526f6d616e0000d3040000002d010100
04000000f001020008000000320a6002f30b01000000710008000000320a6002d8040100
0000710010000000fb0240fe000000000000bc02010000020002001053796d626f6c0002
040000002d01020004000000f001010008000000320a6002f70a010000006c0008000000
320a60024208010000006c0008000000320a6002dc03010000006c0008000000320a6002
1502010000006c0010000000fb0240fe000000000000bc02000000020002001053796d62
6f6c0002040000002d01010004000000f001020008000000320a6002ae09010000002d00
08000000320a6002ac06010000003d000a00000026060f000a00ffffffff010000000000
10000000fb021000070000000000bc02000000cc0102022253797374656d00cc04000000
2d01020004000000f0010100030000000000 (3)

В этом случае мерой ошибок квантования служит дисперсия этих ошибок. Для
равномерного N-уровневого квантования с шагом дисперсия ошибок
квантования определяется следующим образом:

picscalex108010009000003640300000200150000000000050000000902000000000400
000002010100050000000102ffffff00040000002e011800050000003102010000000500
00000b0200000000050000000c02c005c02c1200000026060f001a00ffffffff00001000
0000c0ffffffb8ffffff802c0000780500000b00000026060f000c004d61746854797065
0000400115000000fb02e0fe000000000000bc02010000000402001054696d6573204e65
7720526f6d616e000081040000002d01000008000000320ab003132c0100000069000800
0000320ab003d02801000000690008000000320a7f01461f010000004e0008000000320a
f904e41e01000000690008000000320a48013f22010000002f0008000000320a30059e22
010000002f0008000000320a2604602501000000690008000000320a7f01660601000000
4e0008000000320af904040601000000690008000000320a29015f0b010000002f000800
0000320a2901990802000000697108000000320a30055d0b010000002f0008000000320a
30059b0802000000697108000000320a40035c0f01000000710015000000fb0240fe0000
00000000bc02010000000402001054696d6573204e657720526f6d616e00008104000000
2d01010004000000f001000008000000320a4003342a01000000640008000000320a4003
af2901000000290008000000320a4003142701000000280008000000320a40031f260100
0000660008000000320a4003451e01000000290008000000320a4003781c010000004e00
08000000320a40035d1b010000002f0008000000320a4003691901000000280008000000
320a4003bd1501000000640008000000320a4003381501000000290008000000320a4003
f31201000000280008000000320a4003fe1101000000660008000000320a400349100100
0000290008000000320a4003dc0a01000000280008000000320a4003aa03010000002900
08000000320a4003700201000000710008000000320a4003970101000000280008000000
320a40034e0001000000440010000000fb0240fe000000000000bc020100000200020010
53796d626f6c0002040000002d01000004000000f001010008000000320a4003142b0100
0000780008000000320a4003d12701000000780008000000320a4003f323010000007800
08000000320a40039d16010000006c0008000000320a4003cc13010000006c0008000000
320a4003600e010000006c0008000000320a4003b50b010000006c0010000000fb02e0fe
000000000000bc02010000020002001053796d626f6c0002040000002d01010004000000
f001000008000000320a48013a2101000000440008000000320a30059921010000004400
08000000320a29015a0a01000000440008000000320a2901f707010000006c0008000000
320a3005580a01000000440008000000320a3005f907010000006c0010000000fb0280fd
000000000000bc02000000020002001053796d626f6c0002040000002d01000004000000
f001010008000000320a9d03ce1e01000000e50008000000320ad403fc2101000000f200
08000000320a9d03ee0501000000e50008000000320ad403ed0901000000f20010000000
fb02e0fe000000000000bc02000000020002001053796d626f6c0002040000002d010100
04000000f001000008000000320af9045d1f010000003d0008000000320a3005dc200100
00002d0008000000320af9047d06010000003d0008000000320a29019909010000002b00
08000000320a30059b09010000002d0010000000fb0240fe000000000000bc0200000002
0002001053796d626f6c0002040000002d01000004000000f001010008000000320a4003
1818010000003d0008000000320a40031c0d010000002d0008000000320a40038b040100
0000400015000000fb02e0fe000000000000bc02000000000402001054696d6573204e65
7720526f6d616e000081040000002d01010004000000f001000008000000320af9040820
01000000310008000000320a4801ec2201000000320008000000320a30054b2301000000
320008000000320a7602492501000000320008000000320af90428070100000031000800
0000320a29010c0c01000000320008000000320a30050a0c01000000320008000000320a
7702dd1001000000320015000000fb0240fe000000000000bc0200000000040200105469
6d6573204e657720526f6d616e000081040000002d01000004000000f001010008000000
320a40032d1a0100000031000a00000026060f000a00ffffffff01000000000010000000
fb021000070000000000bc02000000cc0102022253797374656d00cc040000002d010100
04000000f0010000030000000000. (4)

Абсолютное значение ошибки квантования не превосходит половины шага
квантования /2, и тогда при достаточно большом числе уровней квантования
N и малой величине плотность распределения вероятностей ошибок
квантования f(i) можно считать равномерной на интервале +/2 … – /2:

picscalex1000100090000031c0200000300150000000000050000000902000000000400
000002010100050000000102ffffff00040000002e011800050000003102010000000500
00000b0200000000050000000c02e005c0121200000026060f001a00ffffffff00001000
0000c0ffffffafffffff801200008f0500000b00000026060f000c004d61746854797065
0000400109000000fa02000010000000000000002200040000002d010000050000001402
9100110d050000001302ad02110d0500000014027100600b050000001302cd02600b0500
000014023303ee0b0500000013024f05ee0b05000000140213033d0a0500000013026f05
3d0a10000000fb0240fe000000000000bc02000000020002001053796d626f6c00020400
00002d01010008000000320aea04730601000000ef0008000000320a6c05730601000000
ee0008000000320a5d02730601000000ef0008000000320aad03730601000000ed000800
0000320aee01730601000000ec0008000000320ab104100c01000000b30008000000320a
0f02330d01000000a30008000000320a60030e05010000003d0015000000fb0240fe0000
00000000bc02010000000402001054696d6573204e657720526f6d616e0000ef04000000
2d01020004000000f001010008000000320ab104e710010000002e0008000000320ab104
040f010000002f0008000000320ab1049b09010000002c0008000000320a0f0226120100
00002c0008000000320a0f022710010000002f0008000000320a0f02be0a010000002c00
08000000320a0f027208010000002f0008000000320a6003270401000000290008000000
320a6003880101000000280008000000320a6003940001000000660015000000fb02e0fe
000000000000bc02010000000402001054696d6573204e657720526f6d616e0000ef0400
00002d01010004000000f001020008000000320a2105440b01000000690008000000320a
7f02670c01000000690008000000320ad003460301000000690015000000fb0240fe0000
00000000bc02000000000402001054696d6573204e657720526f6d616e0000ef04000000
2d01020004000000f001010008000000320ab104071001000000320008000000320ab104
9f0801000000300008000000320a0f022a1101000000320008000000320a0f023e070100
0000310010000000fb0240fe000000000000bc02010000020002001053796d626f6c0002
040000002d01010004000000f001020008000000320ab104750d01000000440008000000
320ab104430a01000000780008000000320a0f02980e01000000440008000000320a0f02
660b01000000780008000000320a0f02750901000000440008000000320a600345020100
000078000a00000026060f000a00ffffffff01000000000010000000fb02100007000000
0000bc02000000cc0102022253797374656d00cc040000002d01020004000000f0010100
030000000000 (5)

В результате величина ошибки квантования D(q) = уq2 определится
соотношением

picscalex100010009000003e40200000200150000000000050000000902000000000400
000002010100050000000102ffffff00040000002e011800050000003102010000000500
00000b0200000000050000000c026005002c1200000026060f001a00ffffffff00001000
0000c0ffffffb9ffffffc02b0000190500000b00000026060f000c004d61746854797065
0000200110000000fb0280fd000000000000bc02000000020002001053796d626f6c0002
040000002d01000008000000320a7d03200c01000000e50008000000320ab4033a0f0100
0000f20010000000fb02e0fe000000000000bc02000000020002001053796d626f6c0002
040000002d01010004000000f001000008000000320ad904af0c010000003d0008000000
320a2801260e010000002b0008000000320a10052e0e010000002d0010000000fb0240fe
000000000000bc02000000020002001053796d626f6c0002040000002d01000004000000
f001010008000000320a20039625010000003d0008000000320a2003c314010000003d00
08000000320a20038c04010000003d0015000000fb02e0fe000000000000bc0201000000
0402001054696d6573204e657720526f6d616e000093040000002d01010004000000f001
000008000000320a5f01980c010000004e0008000000320ad904460c0100000069000800
0000320a2801dc0f010000002f0008000000320a1005d50f010000002f0008000000320a
2003721f010000002a0008000000320a2003fd17010000002a0008000000320a9003cd13
01000000690008000000320a9003131101000000690015000000fb0240fe000000000000
bc02010000000402001054696d6573204e657720526f6d616e000093040000002d010000
04000000f001010008000000320a20031e29010000002f0008000000320a2003a0220100
00002f0008000000320a2003ae1e01000000290008000000320a2003f21b010000004e00
08000000320a2003e01a010000002f0008000000320a2003f41801000000280008000000
320a20033e16010000004e0008000000320a2003e61101000000640008000000320a2003
970b01000000290008000000320a2003db08010000004e0008000000320a2003c9070100
00002f0008000000320a2003dd0501000000280008000000320a2003ab03010000002900
08000000320a2003700201000000710008000000320a2003970101000000280008000000
320a20034e0001000000440015000000fb02e0fe000000000000bc020000000004020010
54696d6573204e657720526f6d616e000093040000002d01010004000000f00100000800
0000320ad9044a0d01000000310008000000320a28017c1001000000320008000000320a
1005751001000000320008000000320a5702012801000000320008000000320a57028321
01000000330008000000320a5702421101000000320015000000fb0240fe000000000000
bc02000000000402001054696d6573204e657720526f6d616e000093040000002d010000
04000000f001010008000000320a2003f82902000000313208000000320a20037a230200
0000313208000000320a2003b81901000000310008000000320a2003a106010000003100
10000000fb02e0fe000000000000bc02010000020002001053796d626f6c000204000000
2d01010004000000f001000008000000320a2801e20e01000000440008000000320a1005
db0e01000000440010000000fb0240fe000000000000bc02010000020002001053796d62
6f6c0002040000002d01000004000000f001010008000000320a2003f526010000004400
08000000320a2003772001000000440008000000320a2003341d01000000440008000000
320a2003c61201000000780008000000320a20030c1001000000780008000000320a2003
1d0a0100000044000a00000026060f000a00ffffffff01000000000010000000fb021000
070000000000bc02000000cc0102022253797374656d00cc040000002d01010004000000
f0010000030000000000 (6)

и соответствующим выбором шага квантования может быть сделана сколь
угодно малой или сведена к любой наперед заданной величине.

Относительно требуемой точности передачи отсчетов сообщений можно
высказать те же соображения, что и для ошибок временной дискретизации:
шумы квантования или искажения, обусловленные квантованием, не имеют
существенного значения, если эти искажения меньше ошибок, обусловленных
помехами и допустимых техническими условиями.

Так, например, при передаче речи и музыки искажения практически не
заметны, если все отсчеты случайным образом изменить на 0,1…1%, при
передаче изображений – на 1% и т.д. Даже профессиональный эксперт не
может заметить искажений в музыкальном произведении, если квантование
производится с точностью лучше 0,001% (число уровней квантования N >
100000, точность представления отсчетов – 16…17 двоичных разрядов).
Число уровней квантования сообщений в телеметрических системах зависит
от требуемой точности воспроизведения информации, а также от точности
датчиков, осуществляющих сбор этой информации. При этом превышение при
квантовании достижимой датчиками или требуемой точности нецелесообразно
из-за увеличения сложности аппаратуры и затрат на передачу. Более того,
при передаче по каналу связи с помехами могут возникать ситуации, когда
качество воспроизведения оценки сообщения л*i при более грубом его
квантовании на передающей стороне оказывается значительно лучшим, чем
для точного квантования. На этом достаточно неочевидном, но вытекающем
из общей теории передачи информации явлении в дальнейшем более подробно
остановимся.

Таким образом, показано, что передачу практически любых сообщений л(t)
(л(x,y) ) с любой наперед заданной точностью можно свести к передаче
целых чисел лiq = лq(i t), следующих друг за другом с интервалом
дискретности t 1/2Fm (Дx ? 1/2fx max, Дy ? 1/2fy max). Тем самым
непрерывное (бесконечное) множество возможных значений сообщения л(t)
(л(x,y) ) заменяется конечным множеством целых чисел из алфавита A лi q
, (i =1,2…N). Иными словами, теперь можно работать с сигналами, как с
числами, а это позволяет применять для их обработки и анализа цифровые
алгоритмы любой степени сложности, практически нереализуемые в
аналоговой форме, использовать в системах передачи информации цифровые
методы и современные цифровые интегральные технологии и т.д.

Итак, мы выяснили, что в радиотехнических системах носителями или
переносчиками информации являются электрические сигналы, формируемые
источниками этой информации. Даже в тех случаях, когда первичная
информация носит неэлектрическую природу (речь, музыка, изображения,
тексты, пакеты данных и т.д.), она в конечном итоге преобразуется в
электрические сигналы и далее сохраняется или передается по каналам
связи. Эти сигналы обычно носят непрерывный характер, то есть определены
для любого момента времени или в бесконечном числе точек своего
существования. Гораздо удобнее иметь дело с данными, имеющими конечный
размер, – например, с массивами чисел конечного размера и ограниченной
разрядности. Рассмотренная выше теорема дискретизации дает такую
возможность.

Количество информации, энтропия источника сообщений

Для сравнения между собой различных источников сообщений необходимо
ввести некоторую количественную меру, которая дала бы возможность
объективно оценить информацию, содержащуюся в сообщении. Такая мера
впервые была введена K. Шенноном в 1948 г., а затем более строго
определена А.Я. Хинчиным. Рассмотрим основы информационного подхода
Шеннона.

Всякая информация получается потребителем после приема сообщения, то
есть в результате опыта. Сообщение, получаемое на приемной стороне,
несет полезную информацию лишь в том случае, если имеется
неопределенность относительно состояния источника. Если опыт может
закончиться только одним исходом и наблюдатель заранее знает исход
опыта, то по его результату он не получает никакой информации. Например,
если сообщат, что солнце всходит на востоке, то никакой информации это
сообщение не принесет, поскольку все знают, что это верно. В таком
событии, как ежедневный восход солнца на востоке, нет ничего
неопределенного, вероятность этого события равна единице и количество
информации, приносимое сообщением о таком событии, равно нулю.
Информация появится лишь тогда, когда источник будет иметь по крайней
мере более одного возможного состояния.

Рассмотрим источник, выдающий последовательность независимых дискретных
сообщений i, каждое из которых случайным образом выбирают из алфавита
сообщения A (i) = 1, 2, 3,… K, где K – размер алфавита источника.
Такой источник будем называть источником без памяти с конечным
дискретным алфавитом. Сообщения, вырабатываемые таким источником,
называются простыми сообщениями.

В каждом элементарном сообщении i для его получателя содержится
некоторая информация. Определим количественную меру этой информации и
выясним, от чего она зависит.

До того, как связь состоялась, у получателя всегда имеется большая или
меньшая неопределенность относительно того, какое сообщение i из числа
возможных будет передано.

Совершенно очевидно, что степень этой неопределенности, или
неожиданности передачи i, зависит от вероятности передачи того или иного
сообщения. Например, если вероятность передачи какого-либо сообщения i
очень высока, то еще до передачи мы почти наверняка знаем, какое
сообщение будет передано, и его прием не принесет нам почти никакой
новой информации.

Таким образом, очевидно, что количество информации, содержащейся в
элементарном сообщении i, является некоторой функцией от вероятности
передачи этого сообщения Р(i):

J (i) = P (i) . (7)

Определим вид этой функции . Для этого потребуем, чтобы мера количества
информации J(i) удовлетворяла двум интуитивным свойствам:

1. Если выбор сообщения i заранее предопределен (Р(i) = 1 –
неопределенности нет), то количество информации в этом сообщении равно
нулю: J (i) = 1 = 0.

2. Если источник последовательно выбирает сообщения i и j и вероятность
такого выбора Р(i, j) есть совместная вероятность событий i и j, то
количество информации в этих двух элементарных сообщениях будет равно
сумме количеств информации в каждом из них.

Вероятность совместного выпадения событий i и j Р(i, j), как известно,
определяется по формуле полной вероятности

Р (i, j) = Р(i) Р(j /i) = P Q. (8)

Тогда, в соответствии с требованием (2), должно выполняться условие

P Q = (P) + (Q). (9)

Нетрудно догадаться, что функцией, удовлетворяющей этим двум
предъявляемым к ней условиям, является функция вида

J (i) = a log P(i), (10)

при этом как коэффициент a, так и основание логарифма могут быть выбраны
произвольно. Однако для удобства (чтобы количественная мера информации
была положительной) принимают a = – 1. Основание логарифма обычно
выбирают равным двум, и тогда

J (i) = – log2 P(i). (11)

Определенная таким образом единица измерения информации называется
двоичной единицей, или битом информации. Например, если какое-либо из
элементарных сообщений i может быть выбрано из алфавита и передано с
вероятностью P(i) = 1/8, то говорят, что в нем содержится log2 (1/8) = 3
бита информации.

Иногда в качестве основания логарифма выбирают e, тогда информация
измеряется в натуральных единицах, или натах.

Количество информации, содержащееся в одном элементарном сообщении i,
еще никак не характеризует источник. Одни элементарные сообщения могут
нести много информации, но передаваться очень редко, другие –
передаваться чаще, но нести меньше информации. Поэтому источник может
быть охарактеризован средним количеством информации, приходящимся на
одно элементарное сообщение, носящим название “энтропия источника” и
определяемым следующим образом:

picscalex100010009000003d80100000200150000000000050000000902000000000400
000002010100050000000102ffffff00040000002e011800050000003102010000000500
00000b0200000000050000000c02000580161200000026060f001a00ffffffff00001000
0000c0ffffffa2ffffff40160000a20400000b00000026060f000c004d61746854797065
0000000115000000fb0240fe000000000000bc02010000000402001054696d6573204e65
7720526f6d616e000081040000002d01000008000000320a0003c1150100000029000800
0000320a0003ff1201000000280008000000320a0003d21101000000500009000000320a
00032a0f030000006c6f670008000000320a0003a30d01000000290008000000320a0003
e10a01000000280008000000320a0003b40901000000500008000000320a000320040100
0000290008000000320a0003dc0101000000280008000000320a00034e00010000004800
15000000fb02e0fe000000000000bc02010000000402001054696d6573204e657720526f
6d616e000081040000002d01010004000000f001000008000000320a7003dc1401000000
690008000000320a3f010708010000004b0008000000320ab904af070100000069000800
0000320a7003be0c01000000690010000000fb0240fe000000000000bc02010000020002
001053796d626f6c0002040000002d01000004000000f001010008000000320a0003d713
010000006c0008000000320a0003b90b010000006c0008000000320a0003b40201000000
6c0010000000fb0240fe000000000000bc02000000020002001053796d626f6c00020400
00002d01010004000000f001000008000000320a00036a0e01000000d70008000000320a
00038306010000002d0008000000320a00031305010000003d0010000000fb0280fd0000
00000000bc02000000020002001053796d626f6c0002040000002d01000004000000f001
010008000000320a5d03890701000000e50010000000fb02e0fe000000000000bc020000
00020002001053796d626f6c0002040000002d01010004000000f001000008000000320a
b9041708010000003d0015000000fb02e0fe000000000000bc0200000000040200105469
6d6573204e657720526f6d616e000081040000002d01000004000000f001010008000000
320ab904b0080100000031000a00000026060f000a00ffffffff01000000000010000000
fb021000070000000000bc02000000cc0102022253797374656d00cc040000002d010100
04000000f0010000030000000000, i = 1, K. (12)

Энтропия, как количественная мера информативности источника, обладает
следующими свойствами:

1. Энтропия есть величина вещественная, ограниченная и неотрицательная.
Эти ее свойства вытекают из вида выражения для Н(), а также с учетом
того, что 0 < P(i) < 1.

2. Энтропия детерминированных сообщений равна нулю, то есть Н() = 0,
если хотя бы одно из сообщений имеет вероятность, равную единице.

3. Энтропия максимальна, если сообщения i равновероятны, то есть

P(1) = P(2) =… … . P(k) = 1/K, и тогда

picscalex100010009000003ff0100000300150000000000050000000902000000000400
000002010100050000000102ffffff00040000002e011800050000003102010000000500
00000b0200000000050000000c02000560181200000026060f001a00ffffffff00001000
0000c0ffffffa2ffffff20180000a20400000b00000026060f000c004d61746854797065
0000000109000000fa02000010000000000000002200040000002d010000050000001402
3201ba09050000001302ee03c60705000000140232013c11050000001302ee03480f1500
0000fb0240fe000000000000bc02010000000402001054696d6573204e657720526f6d61
6e000081040000002d01010008000000320a0003d117010000002e0008000000320a0003
5716010000004b0009000000320a0003b313030000006c6f670008000000320aee037b10
010000004b0009000000320a0003aa0c030000006c6f670008000000320aee03f9080100
00004b0008000000320a0003200401000000290008000000320a0003dc01010000002800
08000000320a00034e0001000000480015000000fb02e0fe000000000000bc0201000000
0402001054696d6573204e657720526f6d616e000081040000002d01020004000000f001
010008000000320a3f01160b010000004b0008000000320ab904a90a0100000069001000
0000fb0240fe000000000000bc02000000020002001053796d626f6c0002040000002d01
010004000000f001020008000000320a00034812010000003d0008000000320a00037806
010000002d0008000000320a00030d05010000003d0010000000fb0280fd000000000000
bc02000000020002001053796d626f6c0002040000002d01020004000000f00101000800
0000320a5d03970a01000000e50010000000fb02e0fe000000000000bc02000000020002
001053796d626f6c0002040000002d01010004000000f001020008000000320ab904260b
010000003d0015000000fb02e0fe000000000000bc02000000000402001054696d657320
4e657720526f6d616e000081040000002d01020004000000f001010008000000320ab904
d50b01000000310015000000fb0240fe000000000000bc02000000000402001054696d65
73204e657720526f6d616e000081040000002d01010004000000f001020008000000320a
90025a0f01000000310008000000320a9002d80701000000310010000000fb0240fe0000
00000000bc02010000020002001053796d626f6c0002040000002d01020004000000f001
010008000000320a0003b402010000006c000a00000026060f000a00ffffffff01000000
000010000000fb021000070000000000bc02000000cc0102022253797374656d00cc0400
00002d01010004000000f0010200030000000000 (13)

Как видно из последнего выражения, в случае равновероятных сообщений
энтропия растет с увеличением объема алфавита источника (ростом числа
сообщений). При неравновероятных элементарных сообщениях i энтропия,
соответственно, уменьшается.

4. Энтропия двоичного источника (K = 2) может изменяться от нуля до
единицы. Действительно, энтропия системы из двух сообщений 1 и 2

picscalex100010009000003110300000200150000000000050000000902000000000400
000002010100050000000102ffffff00040000002e011800050000003102010000000500
00000b0200000000050000000c02e00420261200000026060f001a00ffffffff00001000
0000c0ffffffd1ffffffe0250000b10400000b00000026060f000c004d61746854797065
0000000115000000fb0240fe000000000000bc02010000000402001054696d6573204e65
7720526f6d616e0000a1040000002d01000009000000320a2d045c2403000000297d2e00
08000000320a2d04912101000000280008000000320a2d04642001000000500009000000
320a2d04c21a040000006c6f677b08000000320a2d04681802000000297d08000000320a
2d049d1501000000280008000000320a2d04701401000000500008000000320a2d040c11
010000007b0008000000320a2d04f80e01000000290008000000320a2d042d0c01000000
280008000000320a2d04000b01000000500009000000320a2d046008030000006c6f6700
08000000320a2d04b50601000000290008000000320a2d04ea0301000000280008000000
320a2d04bd0201000000500008000000320a8d01702201000000290008000000320a8d01
8a1f01000000280008000000320a8d015d1e01000000500009000000320a8d01bd1b0300
00006c6f670008000000320a8d01121a01000000290008000000320a8d012c1701000000
280008000000320a8d01ff1501000000500008000000320a8d01c8130100000029000800
0000320a8d01fd1001000000280008000000320a8d01d00f01000000500009000000320a
8d01300d030000006c6f670008000000320a8d01850b01000000290008000000320a8d01
ba0801000000280008000000320a8d018d0701000000500008000000320a8d0122040100
0000290008000000320a8d01dd0101000000280008000000320a8d014e00010000004800
15000000fb02e0fe000000000000bc02010000000402001054696d6573204e657720526f
6d616e0000a1040000002d01010004000000f001000008000000320a2d04cc1901000000
2a0008000000320a2d046a07010000002a0008000000320a8d01c71a010000002a000800
0000320a8d013a0c010000002a0015000000fb02e0fe000000000000bc02000000000402
001054696d6573204e657720526f6d616e0000a1040000002d01000004000000f0010100
08000000320a2d04812301000000310008000000320a2d048d1701000000310008000000
320a2d041d0e01000000310008000000320a2d04da0501000000310008000000320a8d01
8c2101000000320008000000320a8d012e1901000000320008000000320a8d01ed120100
0000310008000000320a8d01aa0a01000000310015000000fb0240fe000000000000bc02
000000000402001054696d6573204e657720526f6d616e0000a1040000002d0101000400
0000f001000008000000320a2d04e01d01000000310008000000320a2d04ec1101000000
310010000000fb0240fe000000000000bc02010000020002001053796d626f6c00020400
00002d01000004000000f001010008000000320a2d046a22010000006c0008000000320a
2d047616010000006c0008000000320a2d04060d010000006c0008000000320a2d04c304
010000006c0008000000320a8d016320010000006c0008000000320a8d01051801000000
6c0008000000320a8d01d611010000006c0008000000320a8d019309010000006c000800
0000320a8d01b602010000006c0010000000fb0240fe000000000000bc02000000020002
001053796d626f6c0002040000002d01010004000000f001000008000000320a2d04ff1e
010000002d0008000000320a2d040b13010000002d0008000000320a2d04ca0f01000000
2d0008000000320a2d049e01010000002d0008000000320a2d043900010000003d000800
0000320a8d015723010000003d0008000000320a8d019a14010000002d0008000000320a
8d016e06010000002d0008000000320a8d010905010000003d000a00000026060f000a00
ffffffff01000000000010000000fb021000070000000000bc02000000cc010202225379
7374656d00cc040000002d01000004000000f0010100030000000000 (14)

Из последнего выражения видно, что энтропия равна нулю при P(1) = 0;
P(2) =1, или P(1) = 1; P(2) = 0; при этом максимум энтропии будет иметь
место, когда P(1) =P(2) =1/2 и ее максимальное значение будет равно 1
бит.

ЛИТЕРАТУРА

1. Лидовский В.И. Теория информации. – М., “Высшая школа”, 2002г. –
120с.

2. Метрология и радиоизмерения в телекоммуникационных системах. Учебник
для ВУЗов. / В.И. Нефедов, В.И. Халкин, Е.В. Федоров и др. – М.: Высшая
школа, 2001 г. – 383с.

3. Цапенко М.П. Измерительные информационные системы. – . – М.:
Энергоатом издат, 2005. – 440с.

4. Зюко А.Г., Кловский Д.Д., Назаров М.В., Финк Л.М. Теория передачи
сигналов. М: Радио и связь, 2001 г. –368 с.

5. Б. Скляр. Цифровая связь. Теоретические основы и практическое
применение. Изд.2-е, испр.: Пер. с англ. – М.: Издательский дом
“Вильямс”, 2003 г. – 1104 с.

Нашли опечатку? Выделите и нажмите CTRL+Enter

Похожие документы
Обсуждение

Оставить комментарий

avatar
  Подписаться  
Уведомление о
Заказать реферат
UkrReferat.com. Всі права захищені. 2000-2019