Библиотека Рефераты Курсовые Дипломы Поиск
Библиотека Рефераты Курсовые Дипломы Поиск
сделать стартовой добавить в избранное
Кефирный гриб на сайте www.za4et.net.ru

Компьютеры, Программирование Компьютеры, Программирование     Компьютерные сети Компьютерные сети

Энтропия сложных сообщений, избыточность источника. Цель сжатия данных и типы систем сжатия

Гуашь "Классика", 12 цветов.
Гуашевые краски изготавливаются на основе натуральных компонентов и высококачестсвенных пигментов с добавлением консервантов, не
170 руб
Раздел: 7 и более цветов
Пакеты с замком "Extra зиплок" (гриппер), комплект 100 штук (150x200 мм).
Быстрозакрывающиеся пакеты с замком "зиплок" предназначены для упаковки мелких предметов, фотографий, медицинских препаратов и
148 руб
Раздел: Гермоупаковка
Фонарь садовый «Тюльпан».
Дачные фонари на солнечных батареях были сделаны с использованием технологии аккумулирования солнечной энергии. Уличные светильники для
106 руб
Раздел: Уличное освещение

БЕЛОРУССКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ИНФОРМАТИКИ И РАДИОЭЛЕКТРОНИКИ Кафедра РЭС Реферат на тему: «Энтропия сложных сообщений, избыточность источника. Цель сжатия данных и типы систем сжатия» МИНСК, 2009 Энтропия сложных сообщений, избыточность источника Рассмотренные выше характеристики источника - количество информации и энтропия - относились к одному источнику, вырабатывающему поток независимых или простых сообщений, или к источнику без памяти. Однако в реальных условиях независимость элементарных сообщений, вырабатываемых источником, - явление довольно редкое. Чаще бывает как раз обратное - сильная детерминированная или статистическая связь между элементами сообщения одного или нескольких источников. Например, при передаче текста вероятности появления отдельных букв зависят от того, какие буквы им предшествовали. Для русского текста, например, если передана буква &quo ;П&quo ;, вероятность того, что следующей будет &quo ;А&quo ;, гораздо выше, чем &quo ;Н&quo ;, после буквы &quo ;&quo ; никогда не встречается &quo ;H&quo ; и т.д. Подобная же картина наблюдается при передаче изображений - соседние элементы изображения имеют обычно почти одинаковые яркость и цвет. При передаче и хранении данных часто также имеют дело с несколькими источниками, формирующими статистически связанные друг с другом сообщения. Сообщения, вырабатываемые такими источниками, называются сложными сообщениями, а сами источники - источниками с памятью. Очевидно, что при определении энтропии и количества информации в сообщениях, элементы которых статистически связаны, нельзя ограничиваться только безусловными вероятностями - необходимо обязательно учитывать также условные вероятности появления отдельных сообщений. Определим энтропию сложного сообщения, вырабатываемого двумя зависимыми источниками (подобным же образом определяется энтропия сложного сообщения, вырабатываемого одним источником с памятью). Пусть сообщения первого источника принимают значения x1, x2, x3,.xk с вероятностями, соответственно, P(x1 ), P(x2 ),. P(xk ), сообщения второго - y1, y2,.ym с вероятностями P(y1 ), P(y2 ),. P(ym ). Совместную энтропию двух источников X и Y можно определить следующим образом: , (1) где P(xi,yj ) - вероятность совместного появления сообщений xi и yj . Поскольку совместная вероятность P(xi,yj ) по формуле Байеса определяется как , (2) то выражение для совместной энтропии можно записать в следующем виде: (3) Так как передаче сообщения xi обязательно соответствует передача одного из сообщений (любого) из ансамбля Y , то (4) и совместная энтропия H(X,Y) определится как , (5) где H ( Y/xi ) - так называемая частная условная энтропия, отражающая энтропию сообщения Y при условии, что имело место сообщение xi. Второе слагаемое в последнем выражении представляет собой усреднение H ( Y/xi ) по всем сообщениям xi и называется средней условной энтропией источника Y при условии передачи сообщения X. И окончательно: H (X,Y ) = H (X) H (Y/X) . (6) Таким образом, совместная энтропия двух сообщений равна сумме безусловной энтропии одного из них и условной энтропии второго.

Можно отметить следующие основные свойства энтропии сложных сообщений: 1. При статистически независимых сообщениях X и Y совместная энтропия равна сумме энтропий каждого из источников: H (X,Y) = H (X) H (Y) , (7) так как H (Y/X) = H (Y). 2. При полной статистической зависимости сообщений X и Y совместная энтропия равна безусловной энтропии одного из сообщений. Второе сообщение при этом информации не добавляет. Действительно, при полной статистической зависимости сообщений условные вероятности P(yj/xi) и P(xi/y j) равны или нулю, или 1, тогда P(xi /yj ) log P(xi /yj ) = P(yj /xi ) log P(yj /xi ) = 0 (8) и, следовательно, H (X,Y) = H (X) = H (Y). 3. Условная энтропия изменяется в пределах 0 &l ; H (Y /X ) &l ; H (Y).(9) 4. Для совместной энтропии двух источников всегда справедливо соотношение H (X,Y ) ≤ H (X) H (Y), (0) при этом условие равенства выполняется только для независимых источников сообщений. Следовательно, при наличии связи между элементарными сообщениями энтропия источника снижается, причем в тем большей степени, чем сильнее связь между элементами сообщения. Таким образом, можно сделать следующие выводы относительно степени информативности источников сообщений: 1. Энтропия источника и количество информации тем больше, чем больше размер алфавита источника. 2. Энтропия источника зависит от статистических свойств сообщений. Энтропия максимальна, если сообщения источника равновероятны и статистически независимы. 3. Энтропия источника, вырабатывающего неравновероятные сообщения, всегда меньше максимально достижимой. 4. При наличии статистических связей между элементарными сообщениями (памяти источника) его энтропия уменьшается. В качестве примера рассмотрим источник с алфавитом, состоящим из букв русского языка а ,б, в,.,ю, я. Будем считать для простоты, что размер алфавита источника К = 25 = 32. Если бы все буквы русского алфавита имели одинаковую вероятность и были статистически независимы, то средняя энтропия, приходящаяся на один символ, составила бы H ( λ )max = log2 32 = 5 бит/букву. Если теперь учесть лишь различную вероятность букв в тексте (а нетрудно проверить, что так оно и есть), расчетная энтропия составит H ( λ ) = 4,39 бит/букву. С учетом корреляции (статистической связи) между двумя и тремя соседними буквами (после буквы “П” чаще встречается “A” и почти никогда – “Ю” и “Ц”) энтропия уменьшится, соответственно, до H ( λ ) = 3,52 бит/букву и H ( λ ) = 3,05 бит/букву. Наконец, если учесть корреляцию между восемью и более символами, энтропия уменьшится до H ( λ ) = 2,0 бит/букву и далее остается без изменений. В связи с тем, что реальные источники с одним и тем же размером алфавита могут иметь совершенно различную энтропию (а это не только тексты, но и речь, музыка, изображения и т.д.), вводят такую характеристику источника, как избыточность ρи = 1 - H ( λ ) / H ( λ )max = 1 - H ( λ )/log K , (11) где H (λ ) - энтропия реального источника, log K - максимально достижимая энтропия для источника с объемом алфавита в К символов.

Тогда, к примеру, избыточность литературного русского текста составит ρи = 1 - ( 2 бита/букву )/( 5 бит/букву ) = 0,6 . Другими словами, при передаче текста по каналу связи каждые шесть букв из десяти передаваемых не несут никакой информации и могут безо всяких потерь просто не передаваться. Такой же, если не более высокой ( ρи= 0,9.0,95) избыточностью обладают и другие источники информации - речь, и особенно музыка, телевизионные изображения и т.д. Возникает законный вопрос: нужно ли занимать носитель информации или канал связи передачей символов, практически не несущих информации, или же возможно такое преобразование исходного сообщения, при котором информация &quo ;втискивалась&quo ; бы в минимально необходимое для этого число символов? Оказывается, не только можно, но и необходимо. Сегодня многие из существующих радиотехнических систем передачи информации и связи просто не смогли бы работать, если бы в них не производилось такого рода кодирование. Не было бы цифровой сотовой связи стандартов GSM и CDMA. Не работали бы системы цифрового спутникового телевидения, очень неэффективной была бы работа I er e , а уж о том, чтобы посмотреть видеофильм или послушать хорошую музыку с лазерного диска, не могло быть и речи. Все это обеспечивается эффективным или экономным кодированием информации в данных системах. Изучению этого раздела современной радиотехники – основ теории и техники экономного, или безызбыточного, кодирования - и посвящена следующая часть нашего курса. Цель сжатия данных и типы систем сжатия Передача, хранение и обработка информации требуют достаточно больших затрат. И чем с большим количеством информации нам приходится иметь дело, тем дороже это стоит. К сожалению, большая часть данных, которые нужно передавать по каналам связи и сохранять, имеет не самое компактное представление. Скорее, эти данные хранятся в форме, обеспечивающей их наиболее простое использование, например: обычные книжные тексты, ASCII коды текстовых редакторов, двоичные коды данных ЭВМ, отдельные отсчеты сигналов в системах сбора данных и т.д. Однако такое наиболее простое в использовании представление данных требует вдвое - втрое, а иногда и в сотни раз больше места для их сохранения и полосу частот для их передачи, чем на самом деле нужно. Поэтому сжатие данных – это одно из наиболее актуальных направлений современной радиотехники. Таким образом, цель сжатия данных - обеспечить компактное представление данных, вырабатываемых источником, для их более экономного сохранения и передачи по каналам связи. Учитывая чрезвычайную важность процедуры экономного кодирования данных при их передаче, выделим ее из обобщенной схемы РТС ПИ и подробно рассмотрим в настоящем разделе нашего курса. Ниже приведена условная структура системы сжатия данных: Данные источника ® Кодер ® Сжатые данные ® Декодер ® Восстановленные данные В этой схеме вырабатываемые источником данные определим как данные источника, а их компактное представление - как сжатые данные. Система сжатия данных состоит из кодера и декодера источника. Кодер преобразует данные источника в сжатые данные, а декодер предназначен для восстановления данных источника из сжатых данных.

В соответствии с выбором меры неопределенности, неопределенность данного источника сообщении следует принять равной 1,5 двоичной единицы.   Здесь уместно подчеркнуть, что термины «сообщение», «канал связи» и т. п. понимают в И. т. очень широко. Так, с точки зрения И. т., источник сообщений описывается перечислением множества x 1 , x 2 ,... возможных сообщений (которые могут быть словами какого-либо языка, результатами измерений, телевизионными изображениями и т. п.) и соответствующих им вероятностей p 1 , p 2 ,...   Нет никакой простой формулы, выражающей точный минимум H’ среднего числа двоичных знаков, необходимого для кодирования сообщении x 1 , x 2 ,..., xn через вероятности p 1 , p 2 ,..., pn этих сообщений. Однако указанный минимум не меньше величины (где log2 a обозначает логарифм числа a при основании 2) и может превосходить её не более чем на единицу. Величина Н (энтропия множества сообщений) обладает простыми формальными свойствами, а для всех выходов И. т., которые носят асимптотический характер, соответствуя случаю H’ ® ¥, разница между H и H’ абсолютно несущественна

1. Археологический источник и база данных. Выбор модели.

2. Алгоритмы сжатия данных

3. Сжатие данных при передаче изображений

4. Компьютерные данные: типы данных, обработка и управление

5. Квантование сообщений. Ошибки квантования. Энтропия источника сообщений

6. Опыт создания Базы Данных для источников личного происхождения
7. Организация и управление данными при проектировании сложных изделий в системе V5
8. Расчет информационных характеристик источников сообщений, сигналов и каналов

9. Цели, задачи, источники анализа затрат на производство. Классификация затрат

10. Сообщение на тему: Суксцессия

11. Патриотизм–источник духовных сил воина

12. Нетрадиционные источники энергии

13. Нетрадиционные источники энергии

14. Особенности годового хода приземной температуры воздуха в разных частях Земли по данным ОА Гидрометцентра РФ

15. План статистического наблюдения и данные переписи населения

16. Расходы бюджетной системы на социальные цели

Брелок оленёнок "Rike. Принцезин Лиллифи. Prinzessin Lillifee".
Брелок олененок Rike с карабином. Отличное украшение для сумки и рюкзака.
886 руб
Раздел: Детские брелоки
Набор насадок для кондитерского мешка BE-0389/4 "Webber", 4 штуки.
Размеры: Ø3,5х2,5х4 см. Набор кондитерских насадок открывает невообразимое число возможностей сделать десерт роскошным и неповторимым
307 руб
Раздел: Кондитерские принадлежности
Фляга "S.Quire 1406YX-3", 0,18 л, сталь (цвет: серебристый с рисунком).
Очень строгий, классический, элегантный подарок для мужчины. Металлическая фляга "S.Quire", выполнена из нержавеющей стали,
773 руб
Раздел: Фляжки сувенирные

17. Источники конфликтов в сфере исполнительной власти

18. Источники земельного права

19. Декларации и цели "восточной" политики Анкары

20. Источники и кодификация права Украины в составе России в 18 ст.

21. Источники государственного (конституционного) (права Эстонии WinWord)

22. Характеристика источников Конституционного права
23. Источники международного частного права
24. Автоматизированные информационные технологии формирования, обработки и представления данных в налоговой службе

25. Неправомерное завладение автомобилем или иным транспортным средством без цели хищения

26. Институции Гая как источник римского права

27. Источники (формы) права

28. Формы и источники права

29. Цель и ценность права. Гражданское общество и государство

30. Источники права

31. Источники трудового права

32. Ударение в сложных словах немецкого языка

Папка для тетрадей "Чемпионат мира по футболу 2018. Талисман", красная, А4.
Формат: А4. Застежка: молния.
365 руб
Раздел: Канцтовары, хобби
Набор из 6 фигурок "Дикие животные Севера", арт. PH020406A15.
Этот набор игрушечных животных будет очень кстати, когда мальчик решит устроить импровизированный заповедник. В комплект входят 6 фигурок
396 руб
Раздел: Дикие животные
Набор для творчества "Топиарий новогодний" (26 см).
В набор входит: 1. Пенопластовые заготовки: шар диаметром 6 см. и диаметром 2 см. (10 штук). 2. Разноцветные листы FOM EVA и готовая
475 руб
Раздел: Поделки по созданию предметов из пластика, полимеров, стекла

33. Сниженная лексика в современном немецком языке; источники пополнения и особенности функционирования в молодежном сленге

34. Источники и этапы формирования японского традиционного искусства гэйдо

35. Даниил Иванович Хармс

36. Судьба и творчество Даниила Хармса

37. Сниженная лексика в современном немецком языке; источники пополнения и особенности функционирования в молодежном сленге

38. Источники и кодификация права Украины в составе России в 18 ст.
39. Граф А. А. Аракчеев. Современный взгляд на личность на основе анализа и сравнительной характеристики исторических источников и литературы
40. Восстание декабристов в источниках и воспоминаниях

41. Русская Правда как источник социально-политического обустройства Древнерусского государства

42. Влияние монголо-татарского нашествия на географию хозяйства, городов и путей сообщения Руси

43. Методы компьютерной обработки статистических данных. Проверка однородности двух выборок

44. Базы данных в Internet

45. Построение сети передачи данных

46. Системы, управляемые потоком данных. Язык "Dataflow Graph Language"

47. Оценка методов и средств обеспечения безошибочности передачи данных в сетях

48. Системы и сети передачи данных

Защита-органайзер для планшета (отделение для планшета + 3 кармана), 60х45 см.
Защита-органайзер для планшета (отделение для планшета + 3 кармана). Предназначена для защиты обивки сидений и для удобного хранения
503 руб
Раздел: Прочее
Подарочное махровое полотенце "23 февраля. Звезда".
Подарочное махровое полотенце. Цвет полотенца и цвет вышивки - в ассортименте! Оригинальная тематическая вышивка на полезном в хозяйстве
316 руб
Раздел: Средние, ширина 31-40 см
Экологичный стиральный порошок "Garden", без отдушек, 1350 грамм.
Благодаря входящим в состав компонентам на растительной основе средство мягко отстирывает и освежает бельё из всех видов тканей (в том
399 руб
Раздел: Стиральные порошки

49. Информация, информатика, базы данных. Периферийные устройства

50. Данные и информация

51. Форматы баз данных в автоматизированных библиографических системах

52. Динамическое представление данных

53. Проектирование и разработка баз и банков данных

54. Набор процедур манипулирования с целыми числами произвольной длины
55. База данных для учета оплаты за междугородние разговоры
56. Реляционные Базы Данных. SQL - стандартный язык реляционных баз данных

57. Программа сложной структуры с использованием меню

58. Примеры баз данных (Студенческая группа)

59. Программа сложной структуры с использованием меню

60. Работа с Базами данных в Delphi

61. Создание и описание базы данных "СТУДЕНТЫ" (Отчет по курсу "Базы данных")

62. Применение самоорганизующихся карт Кохонена для классификации и анализа пространственно распределенных неполных данных по окружающей среде

63. Базы данных Microsoft Access

64. Разработка базы данных "Культурный досуг"

Фигурка "Zabivaka Знаменосец", 9 см.
Фигурка "Zabivaka Знаменосец" в подарочной коробке (64 наклейки флагов 32-х стран-участниц в комплекте). Этот обаятельный,
389 руб
Раздел: Игрушки, фигурки
Набор цветной самоклеющейся бумаги №6, А4, 20 цветов, 20 листов.
Набор цветной самоклеющейся бумаги для детского творчества. Обычные цвета, металлик, флюоресцентные.
310 руб
Раздел: Самоклеящаяся, флуоресцентная, перламутровая и прочие
Бумага "Color copy", белая, А4, 350 гр/м2, 125 листов.
Формат: А4. Белизна: 99%. Плотность: 350 гр/м2. Класс А++. 125 листов в пачке.
708 руб
Раздел: Формата А4 и меньше

65. Разработка базы данных

66. Fox Pro - реляционная модель данных

67. Алгоритм создания базы данных складского учета

68. Разработка базы данных для объекта автоматизации: гомеопатическая аптека

69. Разработка приложений на языке VBA в среде MS EXCEL по обработке данных для заданных объектов

70. Обработка данных о студентах
71. Инструкция по эксплуатации базы данных магазина «Телевизоры» средствами Access 2000
72. Системы обработки информации - язык баз данных SQL со средствами поддержания целостности

73. Защита баз данных

74. HTML и базы данных

75. КОНСОЛИДАЦИЯ ДАННЫХ И ФИЛЬТРЫ В MicroSoft Excel

76. База данных периодического издания

77. Определение законов распределения случайных величин и их числовых характеристик на основе опытных данных. Проверка статистических гипотез

78. Решение уравнений в целых числах

79. Занятия физкультурой для беременных женщин и рожениц, страдающих избыточной массой тела

80. Гигиенические основы питания, как источник здоровья и нормального физического развития детей

Ручки капиллярные "Johanna Basford. Triplus 334", 36 цветов.
Количество цветов: 36 ярких цветов. Эргономичная форма для удобного и легкого письма. Пишущий узел завальцован в металл. Защита от
2085 руб
Раздел: Капиллярные
Портфель "Megapolis", синий.
Легкая папка-портфолио изготовлена из жесткого пластика, рассчитана на длительный срок службы. Папка служит для перевозки документов и
512 руб
Раздел: Папки-портфели, папки с наполнением
Ночник с датчиком движения "Ночной снайпер".
Маленький ночник с датчиком движения "Ночной снайпер" надежно крепится на крышку унитаза и срабатывает только при вашем
648 руб
Раздел: Ночники

81. Структура отитов у детей по данным ЛОР-отделения ПЦ НЦМ-РБ

82. Личность преступника: понятие, цели изучения, типология

83. Сущность и цели наказания в Российской Федерации

84. Источники излучения в интегрально-оптических схемах

85. Когда истощаются источники жидких топлив, чем можно их заменить?

86. Альтернативные источники энергии
87. Цель воспитания, его место в воспитательном процессе (Контрольная)
88. Цель и задачи проведения предпрактики

89. Развитие Интернета в целях образования

90. Разработка в педагогике проблемы целей воспитания

91. Цели и задачи педагогики

92. Источники статистической информации о внешней торговле зарубежных стран и международных организаций

93. Статистическая обработка экспериментальных данных

94. Структура и формирование исходных данных, необходимых для расчета параметров технологических схем

95. Расчёт сжатого стержня

96. Модернизация коробки подач радиально – сверлильного станка 2Н55 с целью увеличения подачи шпинделя с 2,5 до 3 мм на оборот

Коллекция "Гардероб".
Кукольный гардероб для одежды кукол. У гардероба две распашные дверцы, нижний ящик с откидной крышкой, внутренние полочки, перекладина для
362 руб
Раздел: Гардеробные, прихожие
Коробка подарочная "Прованс".
Коробка подарочная. Материал: мелованный, ламинированный, негофрированный картон плотностью 1100 г/м2. Отделка: полноцветный декоративный
302 руб
Раздел: Коробки
Стержень для шариковых ручек "QuinkFlow", синий, F.
Стержень для шариковых ручек "QuinkFlow". Цвет чернил: синий. Длина: 98 мм. Линия письма: F.
343 руб
Раздел: Стержни для ручек

97. Соотношение слова и изображения в комплексном аудиолингвовизуальном сообщении

98. Практический психолог и эффективность кадров. Исследование расхождений в представлениях об основных составляющих профессии между студентами и педагогическим коллективом вуза с целью оптимизации учебного процесса

99. Диаграммы Венна-Эйлера: соотношения между объемами данных понятий. Проверка правильности непосредственного умозаключения


Поиск Рефератов на сайте za4eti.ru Вы студент, и у Вас нет времени на выполнение письменных работ (рефератов, курсовых и дипломов)? Мы сможем Вам в этом помочь. Возможно, Вам подойдет что-то из ПЕРЕЧНЯ ПРЕДМЕТОВ И ДИСЦИПЛИН, ПО КОТОРЫМ ВЫПОЛНЯЮТСЯ РЕФЕРАТЫ, КУРСОВЫЕ И ДИПЛОМНЫЕ РАБОТЫ. 
Вы можете поискать нужную Вам работу в КОЛЛЕКЦИИ ГОТОВЫХ РЕФЕРАТОВ, КУРСОВЫХ И ДИПЛОМНЫХ РАБОТ, выполненных преподавателями московских ВУЗов за период более чем 10-летней работы. Эти работы Вы можете бесплатно СКАЧАТЬ.