Как выбрать наилучшую линейную модель: критерий Акаике и Шварца

При построении модели, адекватно описывающей изучаемый процесс в экономике, очень важную роль играет анализ правильности ее спецификации. Отрицательно на объясняющих свойствах модели сказывается как отсутствие значимой переменной, так и избыточное присутствие незначимой.

В случае, когда в модель не включена существенная переменная (существенной называют переменную, которая должна быть в модели согласно правильной теории), наблюдаются следующие последствия:

1. Исчезает возможность правильной оценки и интерпретации уравнений.
2. Коэффициенты при оставшихся переменных становятся смещенными.
3. Стандартные ошибки коэффициентов и t-статистики некорректны и не могут быть использованы для суждения о качестве подгонки предлагаемой модели.

Например, предположим, что из модели  исключена переменная Х₂. Тогда в новой спецификации фактически рассматривается модель , где .

Если объясняющие переменные Х₁ и Х₂ коррелированы, то нарушается предпосылка теоремы Гаусса-Маркова о некоррелированности случайного члена и регрессоров, поскольку в этом случае между Х₁ и u существует ненулевая корреляция. Оценки, полученные по методу наименьших квадратов для данной модели, уже не являются эффективными среди линейных оценок.

Оценки даже не являются несмещенными, поскольку для МНК оценки коэффициента β₁ в этом случае получаем: . Наблюдается смещение .

Включение несущественной переменной в модель не приводит к смещению оценок коэффициентов, но появляется другой недостаток – растут стандартные ошибки коэффициентов. Оценки становятся статистически незначимыми.

Если точная спецификация модели неизвестна (что практически всегда и бывает), то пользуются критериями, позволяющими выбирать из некоторого множества моделей наилучшую.

Наиболее распространенными критериями является критерий Шварца (Schwarz) и критерий Акайке (Akaike). Оба критерия позволяют выбирать наилучшую модель из множества различных спецификаций. Критерии численно построены так, чтобы учесть влияние на качество подгонки модели двух противоположных тенденций.

При добавлении переменных в модель качество подгонки в общем случае увеличивается. Заметим, что число регрессоров должно быть разумным, чтобы не вызвать "искусственной подгонки" зависимой переменной объясняющими.

С другой стороны, недостаточное включение переменных в модель дает большую стандартную ошибку, и качество подгонки снижается.

Формулы для расчета критериев Akaike и Schwarz:

,
,

где  - выборочная дисперсия, К – число ограничений на степени свободы.

Значение К в этом случае равно числу независимых переменных, включая свободный член.

Таким образом, если в модели присутствует два регрессора и свободный член, то число ограничений на степени свободы будет равно трем.

Первое слагаемое представляет собой штраф за большую дисперсию, второе – штраф за использование дополнительных переменных.

Критерии рассчитываются для каждой рассматриваемой спецификации. При сравнении двух типов моделей предпочтение отдается спецификации, которая имеет наименьшие значения критериев.

Связанные определения:
Линейная регрессия
Матрица плана
Общая линейная модель
Регрессия

В начало

Содержание портала