В основе большинства задач прогнозирования, фильтрации и регулирования случайных процессов лежит проблема нахождения достаточно хорошей оценки некоторой неизвестной величины по имеющимся значениям
некоторого случайного процесса в том или ином промежутке времени
При этом обычно есть значение в текущий (или относящийся к будущему) момент времени t другого случайного процесса, как-то связанного с «наблюдаемым» процессом
,
Простейшая проблема такого рода возникает, когда речь идет о наилучшей аппроксимации величины линейными комбинациями вида
, где
-
некоторые заданные величины.
Именно, требуется найти величину , такую, что
(1)
Если ввести n- мерное линейное пространство H всех величин (с1,…,сn – произвольные действительные коэффициенты) со скалярным произведением
(2)
и соответствующим расстоянием
, (3)
то удовлетворяющая условию (1) величина геометрически означает основание перпендикуляра, опущенного из точки
на подпространство L всех величин
и однозначно определяется условием ортогональности разности
к подпространству L:
, (4)
что равносильно следующей системе линейных уравнений относительно
(5)
Рассмотрим общую задачу о приближении некоторой величины величинами
из некоторого множества L, являющегося, как говорят, гиперплоскостью.
Гиперплоскость означает следующее: для всякого элемента совокупность величин
, образует линейное пространство – вместе с любыми
содержит и их линейную комбинацию
(где с1, с2 – произвольные действительные коэффициенты).
Назовем величину наилучшим приближением для
, если
(6)
Условие (6) равносильно следующему:
при всех
(7)
Прежде чем доказать это утверждение, дадим соотношению (7) простую геометрическую интерпретацию.
Именно, если обозначить линейное пространство всех элементов
, то соотношение (7) будет означать, что скалярное произведение элементов
и
равно нулю при всех
, другими словами, разность
перпендикулярна к подпространству
.
Величину называют проекцией величины
на гиперплоскость L, а разность
- перпендикуляром (из точки
).
Отметим также, что в случае, когда гиперплоскость L сама является линейным пространством , условие (7) равносильно условию (4).
Пусть есть наилучшее приближение для
.
Очевидно,
,
где минимум берется по всем разностям .
Но совокупность таких разностей образует линейное пространство и, в частности, вместе с элементом
в
содержится элемент
, где
- действительное число.
Зафиксировав любое и положив
будем иметь
Видно, что минимум квадратичной формы достигается при
и, следовательно, коэффициент B равен нулю, т.е. выполняется условие (7).
В свою очередь, если выполнено это условие, то для любой величины имеем
Откуда видно, что есть наилучшее приближение для величины
Лемма о перпендикуляре доказана.
Отметим, что имеется лишь единственная величина , удовлетворяющая условию (7) (а значит, и условию (6)).
В самом деле, если удовлетворяют соотношениям
при всех , то, в частности,
,
и, взяв разность этих выражений, получим , т.е.
Выше мы объяснили, как найти наилучшее линейное приближение величины линейными комбинациями
некоторых заданных величин
(см. (1) – (5)).
Возникает вопрос: существует ли абсолютно наилучшее приближение удовлетворяющее условию (6), в котором минимум берется по всевозможным величинам
, являющимся функциями от заданных
?
Абсолютно наилучшее приближение величины величинами вида
дается формулой
,
где означает условное математическое ожидание величины
при фиксированных значениях
.
Очевидно, совокупность L всех величин вида , для которых
является линейным пространством.
Поскольку , то к этому пространству принадлежит и указанная в (8) величина
, являющаяся определенной функцией от значений
:
и
Для доказательства того, что величина дает абсолютно наилучшее приближение, достаточно проверить соответствующее условие (7), которое в нашем случае означает, что
Для любой величины .
Но при фиксированных по свойству условного математического ожидания имеем:
И, следовательно,
Теорема доказана.
Итак, наилучшее приближение величины величинами вида
дается формулой
Эта формула является ключевой при решении многих практических задач.
Скачать
Актуальные курсы