Кросс-проверка

Кросс-проверка представляет собой процедуру оценки точности прогнозирования с помощью данных из специальной тестовой выборки (используется также термин кросс-проверочная выборка) путем сравнения точности прогноза с той, что достигается на обучающей выборке, то есть на выборке, по которой собственно строилась модель. 

Итак, модель строится по обучающей выборке, а точность прогноза на основании модели оценивается по тестовой выборке. В идеале, когда имеется достаточно большая выборка, часть наблюдений (например, половину или две трети) можно использовать для обучающей выборки, а оставшиеся наблюдения - для тестовой. 

Если на тестовой выборке модель дает результаты того же качества, что и на обучающей выборке, то говорят, что модель хорошо прошла кросс-проверку. 

Для выполнения кросс-проверки при малых объемах выборки разработаны специальные методы, в которых тестовая и обучающая выборки могут частично пересекаться. О некоторых методах такого типа рассказано в разделе Вычислительные методы главы Деревья классификации.