Презентация на тему: ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ

ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ПОСТАНОВКА ЗАДАЧИ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
КОЭФФИЦИЕНТ КОРРЕЛЯЦИИ
Было определение коэффициента корреляции:
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
Свойства выборочный коэффициента корреляции
Коэффициент корреляции характеризует тесноту связи
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ
Определения ТВ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
Свойства оценок максимального правдоподобия
Свойства оценок: несмещенность
Свойства оценок: состоятельность
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
Свойства оценок: эффективность
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
Теорема Гаусса-Маркова
ОЦЕНИВАНИЕ ДИСПЕРСИИ ВОЗМУЩЕНИЙ
ИНТЕРВАЛЬНЫЕ ОЦЕНКИ
ИНТЕРВАЛЬНАЯ ОЦЕНКА ЗНАЧЕНИЙ ФУНКЦИИ РЕГРЕССИИ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
Квантили T- распределения Стьюдента
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
Доверительный интервал для индивидуальных значений у
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
Квантили  2 - распределения Пирсона
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ОЦЕНКА ЗНАЧИМОСТИ УРАВНЕНИЯ РЕГРЕССИИ
ОЦЕНКА ЗНАЧИМОСТИ УРАВНЕНИЯ РЕГРЕССИИ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
Квантили F- распределения Фишера-Снедекора
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ
Квантили T- распределения Стьюдента
1/57
Средняя оценка: 4.7/5 (всего оценок: 93)
Код скопирован в буфер обмена
Скачать (1068 Кб)
1

Первый слайд презентации: ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ

Лекция №2

Изображение слайда
2

Слайд 2: ПОСТАНОВКА ЗАДАЧИ

Пусть объясняющая переменная X и объясняемая переменная Y связаны соотношением: Y = mX + b + , где m и b - детерминированные величины,  - случайное возмущение. Получены наблюдения: ( x 1, y 1 ), ( x 2, y 2 ), …, ( x n, y n ). Требуется по наблюдениям найти в некотором смысле наилучшие оценки значений m и b. Тогда оценивание Y по известному x можно производить по формуле: Далее дается два подхода к определению таких оценок и формулируются условия, при которых эти подходы дают одинаковый результат. Эта модель является регрессионной, если M x Y=mx+b, т. е. если М =0 (*)

Изображение слайда
3

Слайд 3

МЕТОД НАИМЕНЬШИХ КВАДРАТОВ (МНК) Обозначим: x i y i e i Q e - остаточная сумма поле корреляции

Изображение слайда
4

Слайд 4

МЕТОД НАИМЕНЬШИХ КВАДРАТОВ Параметры регрессии определяются из условия минимума остаточной суммы:

Изображение слайда
5

Слайд 5

МЕТОД НАИМЕНЬШИХ КВАДРАТОВ Необходимое условие экстремума: Откуда получаем нормальную систему уравнений:

Изображение слайда
6

Слайд 6

МЕТОД НАИМЕНЬШИХ КВАДРАТОВ Решая систему (2), найдем: Обозначим: Тогда из (1) получим: - выборочный коэффициент регрессии (3)

Изображение слайда
7

Слайд 7

Изображение слайда
8

Слайд 8

МЕТОД НАИМЕНЬШИХ КВАДРАТОВ С учетом этих обозначений получим: (4) Заметим, что - выборочная дисперсия Х - выборочная ковариация Хи Y s x -выборочное среднее квадратичное отклонение x

Изображение слайда
9

Слайд 9

МЕТОД НАИМЕНЬШИХ КВАДРАТОВ Из (3): прямая проходит через точку ( x i, y i )

Изображение слайда
10

Слайд 10

МЕТОД НАИМЕНЬШИХ КВАДРАТОВ При М  i =0, i=1,…,n, ( отсутствии систематических ошибок) уравнение является уравнением регрессии, т. е. Внимание! При получении МНК-оценок параметров b и m не использовалось никаких предположений о распределении X и Y.

Изображение слайда
11

Слайд 11: КОЭФФИЦИЕНТ КОРРЕЛЯЦИИ

Представим последнее соотношение в эквивалентном виде: где s x, s y - выборочные средние квадратичные отклонения x и y. Здесь используются нормированные и центрированные значения x, y. Нормирование позволяет избежать зависимости от их единиц измерения. Центрирование позволяет работать с приращениями.

Изображение слайда
12

Слайд 12: Было определение коэффициента корреляции:

Выборочный коэффициент корреляции:

Изображение слайда
13

Слайд 13

КОЭФФИЦИЕНТ КОРРЕЛЯЦИИ Обозначив получим r - выборочный коэффициент корреляции Коэффициент корреляции показывает, насколько величин s y в среднем изменится y, если x изменится на s x. Коэффициент корреляции характеризует тесноту связи X и Y.

Изображение слайда
14

Слайд 14

КОЭФФИЦИЕНТ КОРРЕЛЯЦИИ С учетом (4) получаем: Эта формула обычно используется как определение выборочного коэффициента корреляции Для расчетов по таблице наблюдений применяется формула:

Изображение слайда
15

Слайд 15: Свойства выборочный коэффициента корреляции

1. -1  r 1. Чем ближе  r  к 1, тем теснее связь. 2. При r= 1 корреляционная связь - линейная (наблюдения располагаются на прямой) 3. При r=0 связь отсутствует, линия регрессии параллельна оси ОХ.

Изображение слайда
16

Слайд 16: Коэффициент корреляции характеризует тесноту связи

Изображение слайда
17

Слайд 17

Коэффициент корреляции характеризует тесноту связи

Изображение слайда
18

Слайд 18: МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ

Согласно методу максимального правдоподобия (ММП), оценки параметров m и b уравнения регрессии следует искать как точку максимума функции правдоподобия, т. е. условной плотности вероятности распределения X и Y при заданных m и b : Для применения ММП необходимо иметь информацию о распределении X и Y.

Изображение слайда
19

Слайд 19: Определения ТВ

Изображение слайда
20

Слайд 20

По аналогии совместная плотность распределения двух случайныхз величин Х и По аналогии совместная плотность распределения двух случайных величин Х и Y

Изображение слайда
21

Слайд 21

МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ Предположим, что: X - детерминированная величина;  1, …,  n - независимые нормальные одинаково распределенные случайные величины:  i ~ N(0,  2 ). В этих предположениях соотношение Y = mX + b +  называется классической нормальной линейной регрессионной моделью (Classical Normal Linear Regression model).

Изображение слайда
22

Слайд 22

В условиях этой модели МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ

Изображение слайда
23

Слайд 23

МЕТОД МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ Для упрощения выкладок можно вместо функции (5) максимизировать ее логарифм (т. к. логарифм - монотонная функция): Из (6) следует, что при известной дисперсии  2 для нахождения оценок МП достаточно минимизировать Q e, и, следовательно, МП-оценка совпадает с НК-оценкой.

Изображение слайда
24

Слайд 24: Свойства оценок максимального правдоподобия

Состоятельность Асимптотическая эффективность Асимптотическая нормальность, для линейной регрессии - нормальность ???При нормальном распределении возмущений независимость оценок b и m (для центрированных наблюдений)

Изображение слайда
25

Слайд 25: Свойства оценок: несмещенность

МП-оценки могут иметь смещение! Оценка является несмещенной оценкой параметра , если: Математическое ожидание оценки равно оцениваемому параметру.

Изображение слайда
26

Слайд 26: Свойства оценок: состоятельность

называется состоятельной оценкой, если сходится по вероятности к : Обозначим -оценка параметра , полученная по n наблюдениям. для состоятельной несмещенной оценки выполняется закон больших чисел

Изображение слайда
27

Слайд 27

Свойства оценок: состоятельность Может использоваться для определения необходимого числа наблюдений, если задано допустимое отклонение оценки от оцениваемого параметра и допустимая вероятность отклонения. Другая формулировка закона больших чисел - неравенство Чебышева:

Изображение слайда
28

Слайд 28: Свойства оценок: эффективность

Эффективной называется оценка, обладающая минимальной дисперсией: Для несмещенных оценок: -любая другая оценка.

Изображение слайда
29

Слайд 29

Несмещенность оценок параметров регрессии формула (3) Доказательство несмещенности параметра m :

Изображение слайда
30

Слайд 30

Несмещенность оценок параметров регрессии Так как My i =mx i +b, то, после приведения подобных членов, получаем В силу детерминированности X, свойств математического ожидания и определения что и требовалось доказать

Изображение слайда
31

Слайд 31

Несмещенность оценок параметров регрессии Доказательство несмещенности параметра b : В силу свойств математического ожидания и детерминированности X, получаем: Так как и по определению имеем:

Изображение слайда
32

Слайд 32

Несмещенность оценок параметров регрессии Так как My i =mx i +b, и в силу свойств математического ожидания получаем: что и требовалось доказать

Изображение слайда
33

Слайд 33: Теорема Гаусса-Маркова

В условиях классической нормальной регрессионной модели оценки (3) имеют наименьшую дисперсию в классе всех линейных несмещенных оценок. (3) - самые эффективные оценки - Best Linear Unbiased Estimates (BLUE)

Изображение слайда
34

Слайд 34: ОЦЕНИВАНИЕ ДИСПЕРСИИ ВОЗМУЩЕНИЙ

Оценка максимального правдоподобия Несмещенная оценка Оценки b, m,  независимы где Число неизвестных параметров (m, b) ?для нормированных наблюдений

Изображение слайда
35

Слайд 35: ИНТЕРВАЛЬНЫЕ ОЦЕНКИ

Интервальной оценкой параметра  называется числовой интервал, который с заданной вероятностью  накрывает неизвестное значение параметра . - статистики (функции наблюдений), - доверительный интервал  - доверительная вероятность (надежность). Какие оценки бывают, кроме интервальных? Что такое точечная оценка? Как характеризуется точность точечной оценки?

Изображение слайда
36

Слайд 36: ИНТЕРВАЛЬНАЯ ОЦЕНКА ЗНАЧЕНИЙ ФУНКЦИИ РЕГРЕССИИ

Для нахождения интервальной оценки надо знать распределение Требуется найти доверительный интервал для M x Y. Знаем Для нахождения интервальной оценки надо знать распределение Найдем дисперсию Свойства дисперсии, неслучайность х как линейная функция y i

Изображение слайда
37

Слайд 37

ИНТЕРВАЛЬНАЯ ОЦЕНКА ЗНАЧЕНИЙ ФУНКЦИИ РЕГРЕССИИ  Распределение /2 =1- γ

Изображение слайда
38

Слайд 38

ИНТЕРВАЛЬНАЯ ОЦЕНКА ЗНАЧЕНИЙ ФУНКЦИИ РЕГРЕССИИ Используя свойства дисперсии, неслучайность х

Изображение слайда
39

Слайд 39

ИНТЕРВАЛЬНАЯ ОЦЕНКА ЗНАЧЕНИЙ ФУНКЦИИ РЕГРЕССИИ Замена  2 на s 2 приводит к распределению Стьюдента для Подставляя (8) и (9) в (7), получим: Заменяя  2 её оценкой s 2, получим следующую оценку дисперсии

Изображение слайда
40

Слайд 40

ИНТЕРВАЛЬНАЯ ОЦЕНКА ЗНАЧЕНИЙ ФУНКЦИИ РЕГРЕССИИ Можно доказать, что t- распределение Стьюдента с ( n-2) степенями свободы С вероятностью  выполняется неравенство: квантиль t- распределения Стьюдента с ( n-2) степенями свободы Доверительный интервал M x Y =1- - уровень значимости

Изображение слайда
41

Слайд 41: Квантили T- распределения Стьюдента

-t  t   x p(x) Excel: t  = СтьюдРаспОбр( , число степеней свободы)

Изображение слайда
42

Слайд 42

ИНТЕРВАЛЬНАЯ ОЦЕНКА ЗНАЧЕНИЙ ФУНКЦИИ РЕГРЕССИИ Выводы из (10), (11): Точность оценивания функции линейной регрессии зависит от значения объясняющей переменной х. Экстраполяция с использованием линейной регрессии может привести к существенным погрешностям.

Изображение слайда
43

Слайд 43

ИНТЕРВАЛЬНАЯ ОЦЕНКА ЗНАЧЕНИЙ ФУНКЦИИ РЕГРЕССИИ х у Доверительные границы

Изображение слайда
44

Слайд 44: Доверительный интервал для индивидуальных значений у

По сравнению с (10) увеличение на дисперсию возмущения

Изображение слайда
45

Слайд 45

ИНТЕРВАЛЬНАЯ ОЦЕНКА ПАРАМЕТРА ФУНКЦИИ РЕГРЕССИИ (  )

Изображение слайда
46

Слайд 46

ИНТЕРВАЛЬНАЯ ОЦЕНКА ПАРАМЕТРА ДИСПЕРСИИ ВОЗМУЩЕНИЙ

Изображение слайда
47

Слайд 47: Квантили  2 - распределения Пирсона

/2 /2 Excel:  ,n = ХИ2Обр( , n )

Изображение слайда
48

Слайд 48

Обозначим: Q e - остаточная сумма поле корреляции x i y i e i ОЦЕНКА ЗНАЧИМОСТИ УРАВНЕНИЯ РЕГРЕССИИ

Изображение слайда
49

Слайд 49: ОЦЕНКА ЗНАЧИМОСТИ УРАВНЕНИЯ РЕГРЕССИИ

Изображение слайда
50

Слайд 50: ОЦЕНКА ЗНАЧИМОСТИ УРАВНЕНИЯ РЕГРЕССИИ

Чем меньше остаточная сумма Q e, тем выше качество модели. Чем больше регрессионная сумма Q R, тем выше качество модели. Чем больше отношение Q R /Q e, тем выше качество модели. Для перехода к стандартному распределению следует рассматривать не суммы, а средние квадраты. ОЦЕНКА ЗНАЧИМОСТИ УРАВНЕНИЯ РЕГРЕССИИ

Изображение слайда
51

Слайд 51

ОЦЕНКА ЗНАЧИМОСТИ УРАВНЕНИЯ РЕГРЕССИИ Можно доказать, что В условиях теоремы Гаусса-Маркова

Изображение слайда
52

Слайд 52

ОЦЕНКА ЗНАЧИМОСТИ УРАВНЕНИЯ РЕГРЕССИИ F показывает, в какой мере регрессия лучше оценивает значение зависимой переменной по сравнению с ее средним значением При гипотеза (предположение) о незначимости регрессии отклоняется с уровнем значимости . (!) Неравенство (!) - правило (критерий) проверки гипотезы о незначимости линейной регрессии, F ,k1,k2 - критическое (пороговое) значение F,  - вероятность отклонения гипотезы при условии, что она верна - вероятность ошибки первого рода.

Изображение слайда
53

Слайд 53: Квантили F- распределения Фишера-Снедекора

 Квантили F- распределения Фишера-Снедекора Excel: F ,k1,k2 = FРаспОбр( , k1,k2 )

Изображение слайда
54

Слайд 54

ОЦЕНКА ЗНАЧИМОСТИ УРАВНЕНИЯ РЕГРЕССИИ Коэффициент детерминации: Коэффициент детерминации показывает, какая часть изменения зависимой переменной объясняется изменением объясняющей переменной. 0  R 2 1 1. Чем ближе R 2 к единице, тем лучше регрессия аппроксимирует наблюдения. 2. Если R 2 =1, то наблюдения лежат на линии регрессии. 3. Если R 2 =0, то изменение зависимой переменной полностью обусловлены неучтенными в модели факторами, и линия регрессии параллельна оси ОХ.

Изображение слайда
55

Слайд 55

ОЦЕНКА ЗНАЧИМОСТИ УРАВНЕНИЯ РЕГРЕССИИ Критерий (!) проверки гипотезы о незначимости регрессии может использовать значение R 2 : В случае парной регрессии: R 2 =r 2

Изображение слайда
56

Слайд 56

ОЦЕНКА ЗНАЧИМОСТИ УРАВНЕНИЯ РЕГРЕССИИ Другой способ оценки значимости уравнения регрессии - проверка гипотезы m=0 Правило проверки гипотезы о незначимости уравнения регрессии: гипотеза отклоняется при  t  >t ,n-2, (!!) где  - заданная вероятность ошибки 1 рода (уровень значимости) Для парной регрессии правила(!) и (!!) эквивалентны и F=t 2 Для парной регрессии значимость уравнения регрессии эквивалентна значимости коэффициента регрессии

Изображение слайда
57

Последний слайд презентации: ЛИНЕЙНАЯ ПАРНАЯ РЕГРЕССИЯ: Квантили T- распределения Стьюдента

Excel: t  = СтьюдРаспОбр( , число степеней свободы) -t  x p(x) t   

Изображение слайда