Параметрические и непараметрические методы

Методы обучения, т.е. нахождения достаточно хорошей распознающей функции f  F, традиционно подразделяются на параметрические и непараметрические в соответствии с тем, просто или сложно устроено пространство F. Параметрические - это те методы, в которых F ={F(w,·)w  W} для некоторого достаточно удобного (например, евклидова) пространства параметров W и некоторой функции F:W×XY, а непараметрические - это методы, в которых, якобы, пространство F не зафиксировано заранее, а зависит от обучающего набора T. На самом деле разница между параметрическими и непараметрическими методами - только в употребляемых словах.

Полезный пример параметрических методов - методы обучения линейных распознавателей, которых даже для простейшей линейной регрессии (X =R^d, Y =R, W =R×R^d, F(w,x)=w⁰+_j=1^dw^jx^j) довольно много. Подробнее эти методы рассматриваются в разделе 2.

Практически бесполезный, но теоретически важный пример непараметрического (якобы) метода - описываемый в разделе 1.2.7 метод ближайшего соседа.