Наилучшее линейное приближение

Рассмотрим две случайные величины  и  связанные между собой.

Такие взаимосвязанные величины часто возникают на практике, например, доход и потребление в экономике, нагрузка сети и доход компании сотовой связи и т.д.

Поставим следующую задачу: найти наилучшее линейное приближение одной величины с помощью другой.

Итак, мы наблюдаем одну случайную величину и хотим спрогнозировать другую.

Пусть, для определенности, мы хотим приблизить значения величины  значениями величины 

Иными словами, мы хотим найти линейную комбинацию вида 

(где  и  - неизвестные постоянные), дающие наилучшее приближение для случайной величины  в том смысле, что

        (*)

Минимум в правой части (*) берется по всем постоянным c₁ и c₂.

Такое приближение называется наилучшим среднеквадратическим приближением.

Оказывается, такое оптимальное приближение или прогноз одной величины по другой, действительно, можно найти.

Обратите внимание, что мы работаем только в классе линейных приближений и ищем наилучшее или оптимальное приближение в смысле (*).

Заметим также, мы не делаем никакого предположения о виде распределения случайных величин, а рассматриваем общий случай (важно, чтобы у величин существовало среднее и дисперсия).

Начнем проводить рассуждения.

 1.   Рассмотрим вначале простой случай, который позволяет прояснить суть дела.

Пусть случайная величина  есть константа.

Наилучшим среднеквадратическим приближением для  является, очевидно, среднее.

Иными словами,

Это основано на том факте, что

 2.   Рассмотрим общий случай.

Положим

       (**)

Где  

Перейдем для удобства к нормированным случайным величинам

 и 

Для любых постоянных c₁ и c₂ имеем

Видно, что минимум выражения  достигается, когда c₁ = 0 и c₂ = r:

Выражая разность  через исходные величины  и 

И, очевидно, искомая линейная комбинация  есть

Здесь a₁ и a₂ – математические ожидания случайных величин  и  и  - их дисперсии, а определенная равенством (**) постоянная r – так называемый коэффициент корреляции этих случайных величин.

Видно, что коэффициент корреляции r всегда лежит в пределах  есть просто линейная комбинация вида 

Действительно, если r=-1 или r=1, то

И, следовательно,  с вероятностью 1.

Отметим, что независимые величины являются некоррелированными, так как

Обратное, вообще говоря, неверно:

В частном случае гауссовских (нормальных) случайных величин, понятия некоррелированности и независимости совпадают.

Связанные определения:
Линейная регрессия
Матрица плана
Общая линейная модель
Регрессия

В начало

Содержание портала