Распознавание образов и машинное обучение. Чтение 35. За пределами нейросетей: ядерные методы
Нейросетями машинное обучение не исчерпывается.
1. Приступаем к изучению ядерных методов, которые основаны (сюрприз, сюрприз!) на ядрах - функциях, задающих аналог метрики (скалярного произведения) на пространстве входных значений. Если в модели зависимость от входного X можно выразить только через скалярные произведения, то эти произведения можно заменить на применения ядра. Если такой ядерный трюк (энциклопедический термин) удаётся, то подобную модель фактически можно не тренировать, а вычислять регрессию или классификацию прямо по тренировочному набору данных.
“Расточительство!“ - воскликнет возмущённый читатель. С одной стороны, конечно! С другой стороны, это позволяет работать с пространствами характеристик бесконечной, и даже несчётной, размерности. Мы будем с ними работать.
2. Строим двойственное представление задачи о линейной регрессии, демонстрируя ядерный трюк.
#теорвер и #machinelearning, #иммуроран и прикладной #матан
1P.S. Не упустите уникальную возможность понаблюдать, как два математика запутались в трёх матрицах.
2P.S. Конечно же, ядра не являются метрическими тензорами. Это я заговорился.