Частные корреляции. Часть 3

Выборочные коэффициенты

Оценивание генеральных коэффициентов

Геометрическая интерпретация частной корреляции

Вычисление коэффициентов частных корреляций

Выборочные коэффициенты

Если при заданной выборке объема n мы подгоняем регрессию по методу наименьших квадратов, то все полученные ранее соотношения будут выполняться и для выборочных коэффициентов. Следуя нашему обычному соглашению, будем использовать r вместо p, b вместо β, и s² вместо σ² для того, чтобы отличать выборочные коэффициенты от их генеральных значений. Коэффициенты b определяются с помощью минимизации величины, аналогичной (40),

.     (45)

Как и в (21), имеем ; точно так же выполняются соотношения, аналогичные (34), (38) и (39).

Для нахождения b_1j приравниваем к нулю производные от (45) по b_1j. Получим p-1 уравнений

,

которые можно записать в виде

,     (46)

где суммирование происходит по всем n наблюдениям. Величина x_1.23...p есть остаток при подгонке регрессии (см. 9). Из (46) следует, что

,     (47)

и аналогично

,     (48)

где r есть произвольное множество общих вторичных индексов. Соотношения, подобные (47) и (48), выполняются как для выборочных остатков, так и для ошибок генеральной совокупности, но они найдут применение, главным образом, в выборочных задачах, поэтому они и выражены в терминах остатков. Упражнение 5 дает наиболее общее правило для того, чтобы опускать общие вторичные индексы при суммировании произведений остатков.

Оценивание генеральных коэффициентов

17. Так же как в случае регрессий и корреляций нулевого порядка, мы можем использовать выборочные коэффициенты в качестве оценок их истинных значений. Если рассматриваемая регрессия линейна, то из теории метода наименьших квадратов известно, что любой коэффициент b является несмещенной оценкой соответствующего β, а - несмещенной оценкой для . Однако r не является несмещенной оценкой для p. Результат, который будет получен в 22, позволит нам оценить любой частный коэффициент корреляции аналогично нормальному случаю.

Геометрическая интерпретация частной корреляции

18. Из наших результатов вытекает, что вся совокупность частных регрессий, корреляций, а также дисперсий для ковариаций ошибок или остатков полностью определяется дисперсиями и корреляциями или же дисперсиями и регрессиями нулевого порядка. Интересно взглянуть на этот результат с геометрической точки зрения.

Предположим, что у нас есть n наблюдений над p (<n) случайными величинами.

.

Рассмотрим n-мерное (евклидово) выборочное пространство. Наблюдения x_1k, ..., x_nk над k-й случайной величиной в этом пространстве будет соответствовать одна точка. Следовательно, имеется p точек, по одной на каждую величину. Обозначим эти точки Q₁, Q₂, ..., Q_p. Предположим, что иксы отсчитываются от своих средних, и пусть точка P является началом координат.

Величину можно тогда интерпретировать как квадрат длины вектора, соединяющего Q₁ (с координатами x_1l, ..., x_nl) с P. Аналогично, p_lm можно представить себе как косинус угла Q_lPQ_m, ибо

,

а это есть формула косинуса угла между PQ_l и PQ_m.

Наш результат тогда состоит в том, что все соотношения, связывающие p точек в n-мерном пространстве, могут быть выражены в терминах длин векторов PQ_i и углов между ними. Таким образом, теория частной корреляции и регрессии формально тождественна с тригонометрией некоторой совокупности точек в n-мерном пространстве.

19. Читатель, предпочитающий визуальный взгляд на мир, без труда переформулирует предыдущие уравнения, используя геометрические образы и тригонометрическую терминологию. Мы укажем только наиболее важные результаты, требующиеся для дальнейших выборочных исследований.

Заметим прежде всего, что p точек Q_i и точка P определяют (исключая, возможно, вырожденный случай) подпространство размерности p в n-мерном пространстве. Рассмотрим точку Q_1.2...p, координатами которой являются n остатков x_1.2...p. Согласно (46) вектор PQ_1.2...p ортогонален к каждому из векторов PQ₂, ..., PQ_p и, следовательно, к подпространству размерности (p-1), натянутому на P, Q₂, ..., Q_p.

Рассмотрим теперь векторы остатков Q_1.r, Q_2.r и Q_p.r, где r заменяет вторичные индексы 3, 4, ..., (p-1). Косинус угла между Q_1.r и Q_2.r, скажем θ, равен p_12.r, и каждый из них ортогонален к подпространству, натянутому на P, Q₃, ..., Q_(p-1). Пусть на Рис.1 точка M будет основанием перпендикуляра, опущенного из Q_1.r на PQ_p.r, а Q'_2.r - такой точкой на PQ_2.r, что вектор Q'_2.rM перпендикулярен к PQ_p.r. Тогда MQ_1.r и MQ'_2.r ортогональны к пространству, натянутому на P, Q₃, ..., Q_p, и косинус угла между ними, скажем φ, равен p_12.rp.

 

Рис.1. Геометрия частной корреляции.

 

Таким образом, для того, чтобы p_12.rp выразить через p_12.r, мы должны выразить φ через θ или угол между векторами PQ_1.r и PQ'_2.r - через угол между их проекциями на гиперплоскость, перпендикулярную к PQ_p.r. Опустим теперь для удобства штрих у PQ_2.r.

Далее по теореме Пифагора имеем:

.

Отсюда получаем,

и .

Следовательно, находим

или

.     (49)

Отношения и являются синусом и косинусом угла между PQ_p.r и PQ_1.r.

Косинус угла между PQ_1.r и PQ_p.r равен p_1.p.r, и, следовательно, , .

Такой же результат получается при замене индекса 1 на 2. Итак, согласно (49)

,     (50)

что вновь совпадает с (39). Таким образом, мы видим, что выражение частного коэффициента корреляции через коэффициент более низкого порядка можно представить себе как проектирование некоторого угла в выборочном пространстве на подпространство, ортогональное к переменной, фиксированной только в исходном коэффициенте более высокого порядка.

Вычисление коэффициентов частных корреляций

20. Там, где имеются только три или четыре случайных величины, мы можем вычислять частные корреляции и регрессии, исходя непосредственно из коэффициентов нулевого порядка, пользуясь соответствующими формулами из числа полученных выше.

Если же присутствует большое число переменных, то удобно систематизировать вычисления в форме определителей.

Действительно, нам нужно вычислить все миноры корреляционной матрицы C, и затем, подставляя их в формулы (6), (19) и (26), мы получим коэффициенты корреляции и регрессии, а также дисперсии остатков (или ошибок) всех порядков.

Для малых p полезны таблицы таких величин, как 1-p², и . Полезны также тригонометрические таблицы.

Например, при заданном p можно найти θ=arccosp и, следовательно, , и так далее.

The Kelley Statistical Tables (Harvard U. P., 1948) содержит значения для p=0,0001 (0,0001) 0,9999.

Два следующих примера представляют интерес с точки зрения методического использования коэффициентов корреляции и построения моделей. Эти примеры особенно интересны благодаря своей методической ясности, они дают верную методическую направленность для проведения сложных самостоятельных исследований.

Связанные определения:
Выборочный коэффициент корреляции
Корреляционный анализ
Корреляция
Коэффициент корреляции
Некоррелированный

В начало

Содержание портала