Частные корреляции. Часть 1

Введение

Частная корреляция трех величин

Частная корреляция больше чем трех величин

Введение

В данном разделе мы обсуждаем чрезвычайно важное понятие корреляции и частных корреляций. Именно эти понятия лежат в основе статистических выводов, направленных на анализ зависимостей и взаимозависимостей, что является решающим для применения статистических методов на практике.

Действительно, сила статистических методов состоит в том, что они позволяют исследовать зависимость факторов. Материалы этого раздела основаны в основном на книге Кендалла и Стьюарта "Статистические выводы и связи" и снабжены нашими комментариями.

Эти материалы могут показаться техническими, однако они содержат вывод формул, позволяющих непосредственно вычислить частные коэффициенты корреляции, а также позволяют почувствовать саму идею частных корреляций. С помощью STATISTICA Вы можете вычислить частные корреляции двумя щелчками мыши.

Итак, перейдем к систематическому изложению теории частных корреляций.

1. В случае двух нормальных или почти нормальных величин коэффициент корреляции между ними может быть использован в качестве меры взаимозависимости и это подтверждено множеством практических результатов.

Однако при интерпретации "взаимозависимости" часто встречаются следующие трудности: если одна величина коррелирована с другой, то это может быть всего лишь отражением того факта, что они обе коррелированы с некоторой третьей величиной или с совокупностью величин, которые, грубо говоря, остаются за кадром и не введены в модель.

Указанная ситуация приводит к рассмотрению условных корреляций между двумя величинами при фиксированных значениях остальных величин. Это так называемые частные корреляции.

Далее имеют место следующие естественные рассуждения.

Если корреляция между двумя величинами уменьшается, если мы фиксируем некоторую другую случайную величину, то это означает, что их взаимозависимость возникает частично через воздействие этой величины; если же частная корреляция равна нулю или очень мала, то мы делаем вывод, что их взаимозависимость целиком обусловлена собственным воздействием и никак не связана с третьей величиной.

Наоборот, если частная корреляция больше первоначальной корреляции между двумя величинами, то мы заключаем, что другие величины ослабили связь, или, можно сказать, "скрыли" (замазали) корреляцию.

Еще одна тонкость состоит в том, что корреляция не есть причинность. Иными словами, следует помнить, что даже в последнем случае нашего рассуждения мы не имеем права безапелляционно говорить о наличии причинной связи: некоторая совершенно отличная от рассматриваемых в нашем анализе величина может быть источником этой корреляции.

Как при обычной корреляции, так и при частных корреляциях предположение о причинности должно всегда иметь собственные внестатистические основания.

2. В этой области статистики временами трудно достигнуть недвусмысленных и гибких обозначений без того, чтобы они были крайне громоздкими.

Основываясь на системе обозначений Юла (1907), мы будем придерживаться среднего курса, но иногда от читателя потребуется терпение к индексам.

Попутно мы будем рассматривать также линейную регрессию.

 

Частная корреляция трех величин

3. Вначале естественно рассмотреть три величины, имеющие трехмерное нормальное распределение и в этом простейшем случае выписать формулу для вычисления частных корреляций, т.е. корреляции пары переменных при фиксированном значении третьей.

Исключим вырожденный случай и без потери общности, поскольку мы касаемся лишь корреляций, будем считать величины нормированными.

Тогда их матрица рассеяния совпадает с матрицей их корреляций, которую назовем корреляционной матрицей и обозначим C. Таким образом, если корреляция между x_i и x_j есть p_ij, то функция плотности распределения этих трех величин имеет вид

,     (1)

где C_ij - алгебраическое дополнение (i, j)-го элемента в симметричном корреляционном определителе

.     (2)

 есть элемент матрицы, обратной к C. Мы будем иногда записывать определитель или матрицу корреляций в таком виде, когда оставлено свободным место ниже главной диагонали, которое должно заполняться по симметрии.

Находим характеристическую функцию (х. ф.) этого распределения

.     (3)

4. Рассмотрим корреляцию между x₁ и x₂ при фиксированном значении x₃. Условное распределение x₁ и x₂ при заданном x₃ равно

,     (4)

где .

Из (4) видно, что при заданном x₃ величины x₁ и x₂ имеют двумерное нормальное распределение с коэффициентом корреляции

.

Ясно, что p_12.3 не зависит от фиксируемого значения величины x₃. Кроме того, сокращая на общий множитель |C| из (2) находим

.     (5)

p_12.3 называется частным коэффициентом корреляции между x₁ и x₂ при фиксированном x₃. Он симметричен относительно первичных индексов 1, 2. Его вторичный индекс 3 относится к переменной, которая фиксирована.

Хотя (5) выведено в предположении нормальности, мы теперь для любого исходного распределения определим частный коэффициент корреляции с помощью (5). Итак, по определению, для величин, отличных от нормальных, частная корреляция также вычисляется по формуле (5).

Рассмотрим теперь общий случай.

 

Частная корреляция больше чем трех величин

5. В соответствии с общей концепцией мы рассуждаем следующим образом.

Пусть имеется p-мерное невырожденное нормальное распределение, фиксируем p-2 случайных величины, то получаем частную корреляцию оставшихся двух (скажем, x₁ и x₂):

,     (6)

где C_ij - алгебраическое дополнение для p_ij в определителе

.     (7)

Подобно (5), (6) следует рассматривать как общее определение частного коэффициента корреляции между x₁ и x₂ при фиксированных x₃, ..., x_p.

6. Полезно рассмотреть ту же задачу с другой точки зрения. Обозначим f(x₁, ..., x_k | x_k+1, ..., x_p) условную совместную плотность распределения величин x₁, ..., x_k, когда x_k+1, ..., x_p фиксированы, а g(x_k+1, ..., x_p) - совместное маргинальное распределение x_k+1, ..., x_p.

Совместная х. ф. всех p величин есть

,

где  - условная совместная х. ф. для x₁, ..., x_k. Из многомерной теоремы обращения следует, что

.     (8)

Если в (8) положить t₁=t₂=...=t_k=0, то из равенства  единице получаем

.     (9)

Следовательно, после деления (8) на (9) находим

.     (10)

Этот общий результат вытекает из теоремы Барлетта (1938).

Предположим теперь, что наши p величин имеют многомерное нормальное распределение.

Тогда, используя их х. ф., преобразуем подынтегральную функцию числителя в (10):

            (11)

Теперь интеграл относительно t_k+1, ..., t_p от двух последних множителей в правой части (11) является обратным преобразованием многомерной нормальной х. ф. величин x_k+1, ..., x_p, причем x_j отсчитывается от значения . Это изменение начал координат не влияет на корреляции.

Если обозначить D корреляционную матрицу величин x_k+1, ..., x_p, то с точностью до постоянного множителя интеграл от (11) будет равен

.

Учитывая сказанное, из (10) имеем

          (12)

Таким образом, если  обозначает ковариацию между x_u и x_v в условном распределении величин x₁, ..., x_k, а  - их безусловную ковариацию, то, сравнивая в (12) коэффициенты при t_u и t_v находим

.     (13)

Это выражение получено в предположении, что исходные величины нормированы. Если теперь отказаться от нормировки, так что x_i будет иметь дисперсию , то каждое p заменится на соответствующие ему , , D^lj - на , и мы получим более общую формулу соотношения (13):

.     (14)

Равенство (14) не зависит от фиксируемых значений x_k+1, ..., x_p.

Если обозначить безусловную (k×k)-матрицу рассеяния {} через A, (k×(p-k))-матрицу {} через B' и ((p-k)×(p-k))- матрицу рассеяния, из которой D получается в результате нормировки, через E, то (14) утверждает, что условная матрица рассеяния равна

.

7. В частности, если зафиксировать только одну переменную, скажем x_p, то D_pp=1, и условная ковариация (14) тогда равна

.     (15)

При u=v из (15) находим условную дисперсию u:

.

Из двух последних формул получаем условный коэффициент корреляции того же вида, что и (5):

.

Если зафиксируем все переменные, кроме двух, скажем x₁ и x₂, то из (14) будем иметь

.     (16)

Рассматривая (7), находим, что минор элемента p₁₂, а именно

,

может быть разложен по его первой строке и столбцу в виде

,

и аналогично для миноров элементов p₁₁, p₂₂. Таким образом, (16) представимо в форме

,

что вновь совпадает с (6).

Связанные определения:
Выборочный коэффициент корреляции
Корреляционный анализ
Корреляция
Коэффициент корреляции
Некоррелированный

В начало

Содержание портала