Слайд 2
Множественная линейная регрессия: общая формулировка, методы оценки
Зависимая (эндогенная,
объясняемая) переменная y представляется в виде функции y=f(x1,x2,…,xk,,β1,…,βp)
от
независимых (экзогенных, объясняющих) переменных x1,x2,…,xk.
β1,…,βp – параметры модели, которые подлежат определению
В зависимости от вида функции модели делятся на
линейные
нелинейные
В зависимости от количества экзогенных переменных
на модели парной регрессии
на модели множественной регрессии
Слайд 3
Классическая линейная регрессионная модель . Общий вид
Соотношение предполагается
справедливым для всех возможных наблюдений, но мы наблюдаем только
выборку из n наблюдений.
Y – n-мерный вектор, X –матрица размерности nxk (по строкам – значения каждого из факторов в i-м наблюдении, по столбцам – значения j-го фактора в каждом из наблюдений).
Слайд 6
Другие методы оценки
Метод максимального правдоподобия
Является альтернативой МНК
Применим для
обобщенных моделей регрессии
Нелинейный метод наименьших квадратов
Для оценки нелинейных моделей
Взвешенный
метод наименьших квадратов
Для оценки моделей с гетероскедастичностью
Слайд 7
Предпосылки классической регрессионной модели с нестохастическими регрессорами
(А.1) Модель
линейна по параметрам и правильно специфицирована
Примеры линейных по параметрам
моделей:
y=α+βx+ε
ln(y)= α+βln(x)+ε
y=α+β/x+ε
Слайд 8
Предпосылки регрессионной модели с нестохастическими регрессорами
(А.2) Матрица X
–матрица размерности nxk имеет ранг k n (отсутствие
совершенной мультиколлинеарности)
Математически это означает, что для XTX имеется обратная матрица
Для простой (парной) регрессии это условие означает, что объясняющая переменная в выборке имеет ненулевую дисперсию
Слайд 9
Предпосылки классической регрессионной модели с нестохастическими регрессорами
(A.3) E(ε)
= 0 – математическое ожидание случайного возмущения равно нулю
и в среднем линия регрессии должна быть истинной
Ожидаемое значение случайного возмущения равно нулю в каждом наблюдении
Случайный член не имеет систематического смещения ни в положительную, ни в отрицательную сторону
Слайд 10
Предпосылки классической регрессионной модели с нестохастическими регрессорами
(A.4) E(εεT)=σ2I
– регрессионные остатки гомоскедастичны и нет автокорреляции
Т.е. ковариационная матрица
вектора регрессионных остатков пропорциональна единичной матрице, а значит
Все регрессионные остатки имеют одну и ту же дисперсию
Разные регрессионные остатки не коррелируют
Слайд 11
Гомоскедастичность и отсутствие автокорреляции
Ковариационная матрица вектора регрессионных остатков
Слайд 12
Теорема Гаусса- Маркова
При соблюдении предпосылок (А1)-(А4)
оценки МНК
будут BLUE оценками, то есть
наилучшими (наиболее эффективными)
Best
линейными (комбинациями наблюдаемых
Yi)
Linear
несмещенными оценками параметров регрессии
Unbiased Estimators
Слайд 13
Несмещенность оценки параметров регрессии
Повторяя оценку уравнения регрессии на
различных выборках мы ожидаем, что среднее значение полученных оценок
каждого параметра равно его истинному (теоретическому) значению
Нарушение предположения о гомоскедастичности и отсутствии автокорреляции не влияет на несмещенность оценок
Это следствие предположенияА3
Слайд 14
Несмещенность оценки дисперсии случайной составляющей
Оценка дисперсии случайной составляющей
Эта
оценка является несмещенной
Слайд 15
Свойства оценок на конечных выборках
Оценка дисперсии случайной составляющей
имеет χ2 распределение с (n-k) степенями свободы
Оценки вектора параметров
и оценка дисперсии случайной составляющей не коррелируют и независимы друг от друга
Свойства оценок важны для проведения тестов относительно неизвестных параметров регрессии
Тест Фишера на значимость уравнения в целом
Тест Стьюдента на значимость оценки параметров
Слайд 16
Понятие автокорреляции, ее причины, последствия, способы выявления и
устранения
Наличие корреляции между остатками текущих и предыдущих наблюдений
(нарушение предпосылки
А4)
Слайд 17
Исходные предпосылки обобщенной модели
(A.4) E(εεT)=σ2I (классическая регрессия)
(A.4′) E(εεT)=
σ2 Ω≠σ2I (обобщенная регрессия)
Ω – положительно определенная матрица
МНК-оценка
эфффективная
МНК-оценка остается несмещенной и состоятельной, но становится неэфффективной
Формулы для вычисления стандартных ошибок изменяются
Предположения
Следствия
Слайд 18
Ковариационная матрица вектора регрессионных остатков в случае авторегрессии
первого порядка
Слайд 19
График остатков в случае сильной положительной автокорреляции
Слайд 20
Причины автокорреляции
Ошибки спецификации модели (пропуск важной объясняющей переменной,
использование ошибочной функциональной зависимости между переменными и т.д.)
Ошибки измерений
Характер
наблюдений (например, данные временных рядов)
Слайд 21
Последствия автокорреляции
Оценки параметров остаются несмещенными
Оценка дисперсии возмущений
смещена
Смещены оценки стандартных ошибок
Некорректно определяются доверительные интервалы параметров модели
и значений эндогенной переменной
Слайд 22
Автокорреляция первого порядка
Простейший вид АК
εt = ρεt-1 +
νt
-1
АК случайная составляющая
Слайд 23
Тест Дарбина -Уотсона
H0: ρ=0 – нет АК
H1:
ρ>0 – есть положительная АК
Проверка гипотезы:
Рассчитывается тестовая статистика
По таблице
Дарбина –Уотсона находятся значения dL dU (верхняя и нижняя границы для критических значений, определяется для выбранного уровня значимости по числу наблюдений)
Слайд 24
Тест Дарбина -Уотсона
3. Сравниваем расчетное с табличным. Если
Слайд 26
Способы корректировки автокорреляции
Использование обычного МНК с коррекцией стандартных
ошибок по методу Ньюи-Веста
Использование обобщенного МНК
Нелинейный МНК
Слайд 27
Гетероскедастичность
Нарушение независимости дисперсии возмущений от номера (момента) наблюдений
(предпосылки А4)
Причины:
Неоднородность исследуемых объектов
Характер наблюдений
Последствия те же, что и
в случае автокорреляции
Слайд 29
Обнаружение гетероскедастичности
Тест Голдфельда-Квандта
Предпосылки теста:
Пропорциональность дисперсии случайного возмущения величине
некоторого регрессора Xj
Случайное возмущение распределено нормально и не подвержено
автокорреляции
Слайд 30
Тест Голдфельда-Квандта
Упорядочиваются выборочные данные по величине модуля регрессора
|Xjt|, относительно которого есть подозрение на гетероскедастичность
Отбрасываются r центральных
наблюдений
По первым и последним n` (k+1По остаткам частных регрессии вычисляются RSS1 и RSS2
Вычисляются
Fстат=RSS1/RSS2 и Fстат-1=RSS2/RSS1
Слайд 31
Тест Голдфельда-Квандта
По таблице определяется
Fкр(γ, n`-k-1, n`-k-1)
H0:
Var(εi)=σ2 (гомоскедастичность) не отвергается, если выполняются оба неравенства
Fстат
Fкр
Fстат-1 Fкр
В противном случае делается вывод о гетероскедастичности случайных возмущений
Слайд 32
Методы устранения последствий гетероскедастичности
Вывод альтернативной оценки, которая при
предположении (А4′) является наилучшей несмещенной оценкой
Сохранение МНК-оценки, но с
коррекцией стандартных ошибок
Пересмотр спецификации исходной модели
Слайд 33
Взвешенный метод наименьших квадратов
Выявляется гетероскедастичность (непостоянство дисперсии остатков)
графически
с
помощью различных тестов
В соответствии с поведением остатков подбираются «веса»
Каждое
наблюдение «взвешивается» и оценивается преобразованная модель
Слайд 34
Линейные и нелинейные модели
Линейная зависимость – Y линейна
и по переменной X и по параметрам β1 и
β2
Нелинейная зависимость 1 типа - Y нелинейна по переменной X, но линейна по параметрам β1 и β2
Нелинейная зависимость 2 типа - Y нелинейна по переменной X и нелинейна по параметрам β1 и β2
Слайд 35
Линейные и приводимые к линейным (нелинейные 1-го типа)
Слайд 36
Линеаризация производственной функции (эконометрическая модель модель)
Случайное возмущение εt
удовлетворяет условиям Гаусса-Маркова
Получено уравнение для выпуска на одного работника
в зависимости от затрат капитала на одного работника
Параметр α – эластичность выпуска по капиталу
Слайд 37
Полулогарифмическая модель
Показательная функция может быть приведена к линейному
виду логарифмическим преобразованием
Исходная модель
Здесь ν – случайная составляющая
Преобразованная модель
Здесь
ε=lnν
Слайд 38
Коэффициент регрессии β2 в этом случае интерпретируется как
относительное изменение Y в расчете на единицу абсолютного изменения
X
Если говорится о процентном изменении Y, то оценку коэффициента β2 нужно умножить на 100
Такая интерпретация справедлива при малых β2 (<0,1)
Полулогарифмическая модель
Слайд 39
ТЕСТЫ НА ФУНКЦИОНАЛЬНУЮ ФОРМУ
1. RESET тест Рамсея
2. J-тест
Дэвидсона и МакКиннона
3. PE-тест МакКиннона
4. Метод Зарембки
5. Тест Кокса-Бокса
Слайд 40
Тест Рамсея
RESET Test – Regression Specification Error Test–
тест на спецификацию (Ramsey, 1969)
Тестируется спецификация
на ошибки следующих
типов:
Пропущенные переменные: матрица содержит не все нужные переменные
Неправильная функциональная форма: переменные должны быть прологарифмированы, или взяты в квадрат и пр.
Ненулевая корреляция между регрессорами и случайным фактором, вызванная, например,
Ошибками измерений
Одновременностью (объем продаж и затраты на рекламу)
Присутствием в уравнении лагированных значений эндогенной переменной при автокорреляции остатков
Слайд 41
Тест Рамсея
При таких ошибках спецификации МНК-оценка будет смещенной
и несостоятельной
Рамсей показал, что в этом случае случайный фактор
имеет ненулевой математическое ожидание
Тест Рамсея тестирует нулевую гипотезу
Против альтернативной
