Презентация на тему: Информационные технологии

Реклама. Продолжение ниже
Информационные технологии
Меры количества информации
Синтаксическая мера информации
Синтаксическая мера информации
Семантическая мера информации
Прагматическая мера информации
Четыре основных класса случайных процессов
Неопределенность и количество информации
Основные положения теории К. Шеннона
Клод Элвуд Шеннон Claude Elwood Shannon (30.04.1916 - 24.02.2001)
Энтропия дискретного сигнала
Энтропия и количество информации
Энтропия зависимой последовательности
Основные свойства энтропии
Энтропия непрерывных сигналов
1/15
Средняя оценка: 4.4/5 (всего оценок: 82)
Код скопирован в буфер обмена
Скачать (153 Кб)
Реклама. Продолжение ниже
1

Первый слайд презентации: Информационные технологии

Часть 3 Информация и энтропия

Изображение слайда
1/1
2

Слайд 2: Меры количества информации

Синтаксическая Семантическая Прагматическая Учитывает Способ представления информации Смысловое содержание информации Потребительские свойства информации Требует наличия Только самой информации Информации и ее пользователя Информации, пользователя и цели использования Мера

Изображение слайда
1/1
3

Слайд 3: Синтаксическая мера информации

Минимальным количеством информации является 1 бит. Эту единицу количественной меры информации впервые предложил Р. Хартли в 1928 году Количество информации по формуле Хартли: где i – количество информации (бит); N – количество элементарных сообщений. Сам термин произошел от слияния слов bi nary digi t - двоичная цифра Из формулы Хартли вытекает основное определение бита Бит равен информации, которая передается при приеме одного из двух равновероятных сообщений.

Изображение слайда
1/1
4

Слайд 4: Синтаксическая мера информации

Группа из 8 битов информации называется байт Производные единицы информации: кило байт (кбайт, кб), мега байт (Мбайт, Мб) гига байт (Гбайт, Гб) и т.д. 1 кб =1024 байта - 2 10 (1024) байтов. 1 Мб = 1024 кбайта = 2 20 (1024 x 1024) байтов. 1 Гб = 1024 Мбайта - 2 30 (1024 х 1024 х 1024)байтов. Бит - двоичная единица информации. 1 бит – это количество информации, которое можно получить при ответе на вопрос типа «да - нет» Математически бит отображается состоянием 1 или 0 одного разряда двоичной системы счисления. При получении информации в 1 бит неопределенность уменьшается в 2 раза Другие свойства бита

Изображение слайда
1/1
5

Слайд 5: Семантическая мера информации

Если S П – тезаурус пользователя; I С – количество семантической информации, то: 1. При S П  0 пользователь не понимает поступающую информацию и I С  0 2. При S П   пользователю уже известна поступающая информация и I С  0 Максимальное значение I С приобретает при таком согласовании с тезаурусом пользователя S П, когда поступающая информация с одной стороны понятна пользователю, а с другой, несет ранее неизвестные ему сведения

Изображение слайда
Изображение для работы со слайдом
1/2
6

Слайд 6: Прагматическая мера информации

Прагматическое количество информации определяется приростом экономического эффекта функционирования системы, где эта информация используется I П  (  ) = П(  /  ) - П(  ) В такой постановке единицей измерения ценности информации являются денежные единицы. Где I П  (  ) - ценность информационного сообщения  для системы управления  ; П(  ) - ожидаемый экономический эффект функционирования системы управления  ; П(  /  ) - ожидаемый экономический эффект функционирования системы управления , при условии, что для управления будет использована информация, содержащаяся в сообщении .

Изображение слайда
1/1
7

Слайд 7: Четыре основных класса случайных процессов

Дискретный случайный процесс с дискретным временем Случайный процесс общего типа Случайный процесс с дискретным временем Дискретный случайный процесс с непрерывным временем По признакам, связанным с пространством состояний и с параметром времени выделяют следующие классы случайных процессов

Изображение слайда
1/1
Реклама. Продолжение ниже
8

Слайд 8: Неопределенность и количество информации

Получение какой-либо информации всегда связано с изменением степени неосведомленности получателя Пусть мера неосведомленности равна H (  ). После получения некоторого сообщения  неосведомленность уменьшилась и стала H (  /  ). Тогда количество информации I (  ) в сообщении , определится так: I (  ) = H (  ) - H (  /  ) Количество полученной информации измеряется уменьшением неопределенности состояния системы

Изображение слайда
1/1
9

Слайд 9: Основные положения теории К. Шеннона

1. Источник информации, порождающий сообщения, должен обладать тем или иным алфавитом, который должен быть заранее известен приемнику информации 3. В качестве меры неопределенности следует использовать величину равную логарифму вероятности, взятому с противоположным знаком 2. Синтаксическое количество информации зависит, по определению, только от статистических свойств появления элементов алфавита в сообщении Этот показатель получил название информационная энтропия

Изображение слайда
1/1
10

Слайд 10: Клод Элвуд Шеннон Claude Elwood Shannon (30.04.1916 - 24.02.2001)

В 1936 году выпускник Мичиганского университета Клод Шеннон, которому было тогда 21 год, имея два диплома бакалавра - по электротехнике и по математике, сумел ликвидировать разрыв между алгебраической теорией логики и ее практическим приложением. Свои идеи относительно связи между двоичным исчислением, булевой алгеброй и электрическими схемами Шеннон развил в докторской диссертации, опубликованной в 1938 году В 1948 году опубликовал фундаментальную работу A Mathematical Theory of Communication, в которой сформулированы основы теории информации. Большую ценность представляет другая работа – Communication Theory of Secrecy Systems (1949), в которой сформулированы математические основы криптографии. C 1956 – член Национальной академии наук США и Американской академии искусств и наук. Клод Элвуд Шеннон – один из создателей математической теории информации, в значительной мере предопределил своими результатами развитие общей теории дискретных автоматов, которые являются важными составляющими кибернетики

Изображение слайда
Изображение для работы со слайдом
1/2
11

Слайд 11: Энтропия дискретного сигнала

Энтропия системы, имеющей N возможных состояний Где p (1), p (2),.... p ( i ),..... p ( N ) – вероятности появления элементов алфавита x 1, x 2,.... x i,..... x N Формула К. Шеннона Для случая, когда вероятность появления для всех элементов алфавита одинакова p (1) = p (2)...= p ( N ) = 1/ N

Изображение слайда
1/1
12

Слайд 12: Энтропия и количество информации

Из уравнения I (  ) = H (  ) - H (  /  ) при H (  /  ) = 0 получаем: I (  ) = H (  ) Количество информации, приносимое в среднем одним элементом (знаком) сообщения равно энтропии источника При использовании двоичного алфавита N = 2 и p (1) = p (2) = 0,5 это количество информации равно одному биту Так как N = m n Если сообщение содержит n разрядов и его алфавит состоит из m различных символов то при одинаковой вероятности их появления I = logN = nlogm

Изображение слайда
1/1
13

Слайд 13: Энтропия зависимой последовательности

Если появление в последовательности элемента x i зависит от того, какой элемент x j был предшествующий, а условная вероятность их совместного появления p ( i | j ), то сначала вычисляется условная энтропия Для получения безусловной энтропии источника необходимо провести усреднение по вероятностям появления элементов

Изображение слайда
1/1
14

Слайд 14: Основные свойства энтропии

Энтропия является величиной вещественной и неотрицательной 1 2 Энтропия - величина ограниченная 3 Энтропия равна 0,если вероятность одного из состояний источника информации равна 1 4 Энтропия максимальна при равной вероятности всех состояний источника информации 5 Энтропия объединенных статистически независимых источников информации равна сумме их энтропий 6 Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля состояний

Изображение слайда
1/1
Реклама. Продолжение ниже
15

Последний слайд презентации: Информационные технологии: Энтропия непрерывных сигналов

Энтропия случайной величины x, описываемой плотностью распределения вероятности p x ( x) Если возможное число реализаций случайной аналоговой величины сделать конечным и равным N, то Каждая из реализаций C 1, C 2,.... C i,..... C N будет иметь определенную вероятность появления. Тогда энтропия и среднее количество информации в каждой реализации определятся известным равенством

Изображение слайда
1/1
Реклама. Продолжение ниже