Классифика торы образов

Априорную плотность вероятности можно оценить различными спосо­бами. В параметрических методах предполагается, что плотность вероят­ности (PDF) является функцией определенного вида с неизвестными пара­метрами. Например, можно попробовать приблизить PDF при помощи га­уссовой функции. Для того чтобы произвести классификацию, нужно предварительно получить оценочные значения для вектора среднего и мат­рицы ковариаций по каждому из классов данных и затем использовать их в решающем правиле. В результате получится полиномиальное решающее правило, содержащее только квадраты и попарные произведения перемен­ных. Вся описанная процедура называется квадратичным дискриминантным анализом (QDA). В предположении, что матрицы ковариаций у всех классов одинаковы, QDA сводится к линейному дискриминантному анализу (LDA).

В методах другого типа - непараметрических - никаких предваритель­ных предположений о плотности вероятности не требуется. В методе «k ближайших соседей» (kNN) вычисляется расстояние между вновь посту­пившим образцом и векторами обучающего множества, после чего образец относится к тому классу, к которому принадлежит большинство из k его ближайших соседей. В результате этого границы, разделяющие классы, по­лучаются кусочно-линейными. В различных модификациях этого метода используются различные меры расстояния и специальные приемы нахожде­ния соседей. Иногда вместо самого множества образцов берется совокуп­ность центроидов, соответствующих кластерам в методе адаптивного век­торного квантования (L VQ).

В других методах классификатор разбивает данные на группы по схеме дерева. На каждом шаге подгруппа разбивается надвое, и в результате полу­чается иерархическая структура бинарного дерева. Разделяющие границы получаются, как правило, кусочно-линейными и соответствуют классам, со­стоящим из одного или нескольких листьев дерева. Этот метод хорош тем, что он порождает метод классификации, основанный на логических решаю­щих правилах. Идеи древовидных классификаторов применяются в методах построения самонаращивающихся нейронных классификаторов.