Лекция. Статистические процедуры оценки параметров линейных моделей
Несмещенность. Совпадение математического ожидания оценки параметра с его истинным значением Эффективность. Оценка считается эффективной, если она имеет минимальную дисперсию среди других оценок того же параметра Состоятельность. Оценка считается состоятельной, если свойство несмещенности выполняется при неограниченном увеличении объема выборки
Определение. Выборка – это случайный вектор, составленный из результатов наблюдений, каждое из которых суть независимая случайная величина Пусть y 1, y 2,…, y n результаты наблюдения за поведением случайной величины Y c законом распределения P y ( t,A ) Тогда выборка есть вектор, собранный из результатов наблюдений Y=(y 1, y 2,…, y n ) T Каждый элемент выборки есть случайная величина и,следовательно, имеет свой закон распределения P y (y 1, a 1,a 2,…, a k ) P y (y 2, a 1,a 2,…, a k ) ………………….. P y ( y n, a 1,a 2,…, a k );
Свойства случайной выборки: Каждый элемент выборки есть случайная величина с тем же законом распределения, что и случайная величина Y Все значения, входящие в выборку независимые величины Тогда для них справедлива теорема умножения вероятностей: P y (y 1,y 2,…, y n A )= P y (t 1, A) P y (t 2, A)… P y ( t n, A) Это выражение – закон распределения выборки Задача заключается в том, чтобы найти процедуры, с помощью которых можно найти значения параметров распределения A = F(y 1,y 2,…, y n )
Постановка задачи. Имеем уравнение множественной регрессии в виде: где: a i – неизвестные параметры модели x it – регрессоры (экзогенные переменные модели) y t – эндогенная переменная Задача. Подобрать некоторую процедуру (правило) расчета неизвестных параметров модели, которые удовлетворяли хотя бы свойству состоятельности (1.1)
Постановка задачи: Имеем случайную выборку наблюдений за поведением экономического объекта объемом n Выборка наблюдений за переменными модели (1.1) Первый индекс – номер регрессора Второй индекс – номер наблюдения (1.2) - Система уравнений наблюдений, связывающая наблюдения в выборке (1.2)
Найти: 1. Оценки параметров линейной модели множественной регрессии 2. Стандартные ошибки (СКО) оценок параметров 3. Стандартную ошибку случайного возмущения 4. Стандартную ошибку прогноза эндогенной переменной
Сформируем вектора и матрицу коэффициентов на основе системы (1.2) Y – вектор выборочных значений эндогенной переменной U – вектор выборочных значений случайного возмущения A - вектор неизвестных параметров модели X – матрица коэффициентов при неизвестных параметрах Схема Гаусса - Маркова
Карл Фридрих Гаусс Время жизни 30.04.1777 - 23.02.1855 Научная сфера – математика, физика, астрономия Андрей Андреевич Марков Время жизни 14.06.1856 - 20.07.1922 Научная сфера - математика
Теорема Если матрица Х неколлинеарна и вектор случайных возмущений удовлетворяет следующим требованиям: Математическое ожидание всех случайных возмущений равно нулю Дисперсия случайных возмущений постоянна во всех наблюдениях (условие ГОМОСКЕДАСТИЧНОСТИ ) Случайные возмущения в разных наблюдениях не зависимы Случайные возмущения и регрессоры не зависимы
Тогда наилучшей линейной процедурой оценки параметров модели (1.1 ) является: (1.3) которая удовлетворяет методу наименьших квадратов Теорема Гаусса - Маркова
Доказательство: Воспользуемся методом наименьших квадратов где (1.4) (1.5) Подставив (1.5 ) в (1.4 ) получим (1.6) Теорема Гаусса - Маркова
Для получения необходимого условия экстремума дифференцируем (7.6) по вектору параметров Откуда система нормальных уравнений для определения искомых параметров получает вид (1.7) Решение системы (7.7) в матричном виде есть Выражение (1.3) доказано Теорема Гаусса - Маркова
Докажем несмещенность оценок (1.3) Несмещенность оценки (1.3) доказана Вычислим ковариационную матрицу оценок (1.3) В результате получено выражение (1.4) Теорема Гаусса - Маркова
Построить модель типа Y=a 0 +a 1 x +u, по данным выборки наблюдений за переменными Y и x объемом n В схеме Гаусса-Маркова имеем: 1. Вычисляем матрицы ( X T X) и (X T X) -1
2. Вычисляем X T Y Система нормальных уравнений (1.7) принимает вид: Уравнение парной регрессии
3. Вычисляем оценку вектора параметров а
Вычислим дисперсии (ковариационную матрицу) параметров модели Следовательно: Уравнение парной регрессии 1.8 1.9 1.10
Расчет дисперсии прогнозирования Прогноз осуществляется в точке Z={1,z} Т Уравнение парной регрессии (1.11)
В табличном процессоре Excel Существуют как минимум две функции, позволяющих получить оценки параметров линейной модели: - ЛИНЕЙН - РЕГРЕССИЯ Функция ЛИНЕЙН размещена в разделе ФУНКЦИИ-СТАТИСТИЧЕСКИЕ Функция РЕГРЕССИЯ в разделе АНАЛИЗ ДАННЫХ
Этап 1. (Общий для использования любой из функций) На листе EXCEL набирается таблица исходных данных (таблица результатов наблюдений) Замечание. Столбец Y должен быть крайним № п.п Y i X 1i X 2i ... X ki 1 y 1 x 11 x 21 …. x k1 2 y 2 x 12 x 22 …. x k2 3 y 3 x 13 x 23 …. x k3 … … … … …. ….. n y n x 1n x 2n …. x kn Здесь y i и x ij натуральные числа n– число наблюдений k – количество регрессоров в модели
Шаг 1. Выделяются пять строк и (к+1) столбцов № п.п Y i X 1i X 2i ... X ki 1 y 1 x 11 x 21 …. x k1 2 y 2 x 12 x 22 …. x k2 3 y 3 x 13 x 23 …. x k3 … … … … …. ….. n y n x 1n x 2n …. x kn
Шаг 2. Вызывается функция ЛИНЕЙН Вместо «ОК» Набирается комбинация Cntr+Shift+Enter
В результате выделенная область заполняется следующими данными: a k …. a 2 a 1 a 0 S ak …. S a2 S a1 S a0 R 2 σ u н / д н / д н / д F test μ н / д н / д н / д RSS ESS н / д н / д н / д Параметры модели СКО параметров R 2 – коэффициент детерминации σ u – СКО случайного возмущения F test - Статистика μ = n-k-1 - степень свободы RSS – регрессионная сумма квадратов ESS – сумма квадратов ошибок
Пусть ковариационная матрица случайных возмущений имеет вид: (1. 8 )
Теорема Эйткена. Если матрица Х коэффициентов уравнения наблюдений имеет полный ранг, М( u i )=0, а матрица ковариаций случайных возмущений имеет вид (1 1.9), то наилучшие оценки параметров линейной модели множественной регрессии дает процедура: Если: Ω =E, то ( 1.9) превращается в МНК p i ≠Const, а C ij =0 – ( 1.9) превращается в ВМНК (1.9)
Частный случай:
ММП позволяет получить по крайней мере асимптотически несмещенные и эффективные оценки параметров распределения В основе ММП лежит понятие функции правдоподобия выборки Определение. Пусть имеем случайную величину Y, которая имеет функцию плотности вероятностей P y (t, a 1,a 2,…, a k ) и случайную выборку Y(y 1,y 2,…, y n )наблюдений за поведением этой величины. Тогда функцией правдоподобия выборки Y(y 1,y 2,…, y n ) называется функция L, зависящая от аргументов а= {a 1,a 2,…, a k }, и от элементов выборки как от параметров и определяется равенством:
Функция правдоподобия: Основные свойства функции правдоподобия 1. Правая часть равенства имеет смысл значения закона распределения выборки при случайных значениях параметров t 1 =y 1, t 2 =y 2,…, t n = y n Следовательно, функция правдоподобия L также случайная величина при любых значениях аргументов а= {a 1,a 2,…, a k } 2. Все значения функции правдоподобия L ≥ 0 Эти свойства являются следствием свойств выборки
Идея метода В качестве оценки неизвестного параметра принимается такое, которое обеспечивает максимум функции правдоподобия при всех возможных значениях случайной величины Y Математически это выражается так: ã j = argmax (L(a 1,a 2,…, a k, y 1,y 2,…, y n ) Очевидно, что оценка ã j зависит от случайной выборки, следовательно, ã j = f( y 1,y 2,…, y n ), где f есть процедура вычисления оценки ã j по результатам выборки
Алгоритм решения задачи Предполагается: 1. Вид закона распределения известен; 2. Функция плотности вероятности гладкая во всей области определения Последовательность решения: 1. Составляется функция правдоподобия 2. Вычисляется логарифм функции правдоподобия 3. Оценки параметров получаются в результате решения системы уравнений вида: 4. Проверяется условие максимума функции правдоподобия
Исходные предположения Уравнение имеет вид: y t =a 0 + a 1 x t + u t 2. Случайное возмущение имеет нормальное распределение с параметрами 0 и σ u 3. Для получения ММП-оценок имеем выборку из n наблюдений Тогда: Закон распределения для случайного возмущения принимает вид:
1. Функция правдоподобия получит вид: 2. Логарифм функции правдоподобия
3. Составляем уравнения для вычисления оценок a 0 и a 1 1.11 Решение системы (1.11) совпадает с выражениями (1.8) и (1.9), полученными методом наименьших квадратов
Метод проверки условия эффективности базируется на использовании неравенства Рао-Крамера Оно позволяет оценить нижнюю границу точности, с которой можно несмещенно оценить неизвестные параметры Нижняя граница соответствует минимальной дисперсии оценки Следовательно, если дисперсия полученной оценки равна нижней границе, то эта оценка удовлетворяет условию эффективности
Теорема. Для любой ковариационной матрицы любой несмещенной оценки вектора параметров «а» неравенство Рао-Крамера имеет вид: Cov ( ã,ã ) ≥ I -1 где: I – квадратная матрица, информационная матрица Фишера: Если число оцениваемых параметров равно 1, то матрица Фишера вырождается в число, которое называют информационным количеством Фишера
Замечание. Можно показать, если случайная переменная u имеет нормальный закон распределения, то оценки параметров модели будут несмещенными и эффективными. В противном случае ММП обеспечивает получение состоятельных оценок Замечание. ММП обеспечивает получение состоятельных оценок без каких-либо дополнительных условий В этом его преимущество перед МНК Необходимость знания закона распределения случайной переменной затрудняет его реальное применение
Исходные предположения Уравнение имеет вид: y t =a 0 + a 1 x t + u t 2. Случайное возмущение имеет нормальное распределение с параметрами 0 и σ u 3. Для получения ММП-оценок имеем выборку из n наблюдений Тогда: Закон распределения для случайного возмущения принимает вид:
Выводы: Применяются два основных метода для получения по крайней мере состоятельных оценок параметров линейной модели множественной регрессии: метод максимального правдоподобия и метод наименьших квадратов В общем случае получение состоятельных оценок обеспечивает процедура ОМНК, сформулированная в теореме Эиткена В условия гетероскедастичности случайных возмущений состоятельные оценки дает ВМНК (частный случай ОМНК) 4. При выполнении условий теоремы Гаусса-Маркова МНК обеспечивает состоятельные оценки
Slide-Share