Поддерж向量ная машина с взвешенными выборками

Введение

В этом практическом занятии мы научимся строить функцию принятия решений для взвешенного набора данных в SVM. Мы создадим модель, которая учитывает веса выборок, и другую модель, которая не учитывает веса выборок. Затем мы сравним две модели, построив их функции принятия решений.

Советы по использованию ВМ

После запуска ВМ перейдите в левый верхний угол и переключитесь на вкладку Notebook, чтобы приступить к практике в Jupyter Notebook.

Иногда вам может потребоваться подождать несколько секунд, пока Jupyter Notebook загрузится полностью. Проверка операций не может быть автоматизирована из-за ограничений Jupyter Notebook.

Если вы столкнетесь с проблемами во время обучения, не стесняйтесь обращаться к Labby. Оставьте отзыв после занятия, и мы оперативно решим проблему для вас.

Skills Graph

Импорт библиотек

Начнем с импорта необходимых библиотек.

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm

Создание данных

Мы создадим набор данных из 20 точек, где первые 10 точек относятся к классу 1, а последние 10 точек относятся к классу -1.

np.random.seed(0)
X = np.r_[np.random.randn(10, 2) + [1, 1], np.random.randn(10, 2)]
y = [1] * 10 + [-1] * 10

Создание весов выборок

Мы создадим два набора весов выборок. Первый набор весов выборок будет постоянным для всех точек, а второй набор весов выборок будет больше для некоторых выбросов.

sample_weight_last_ten = abs(np.random.randn(len(X)))
sample_weight_constant = np.ones(len(X))
sample_weight_last_ten[15:] *= 5
sample_weight_last_ten[9] *= 15

Обучение моделей

Мы создадим две модели SVM. Первая модель не будет учитывать веса выборок, а вторая модель будет учитывать веса выборок, которые мы только что создали.

clf_no_weights = svm.SVC(gamma=1)
clf_no_weights.fit(X, y)

clf_weights = svm.SVC(gamma=1)
clf_weights.fit(X, y, sample_weight=sample_weight_last_ten)

Построение функций принятия решений

Мы построим функции принятия решений для двух моделей, которые мы только что создали. Левая часть графика будет показывать функцию принятия решений первой модели, а правая - второй модели. Размер точек будет пропорционален их весу.

fig, axes = plt.subplots(1, 2, figsize=(14, 6))

xx, yy = np.meshgrid(np.linspace(-4, 5, 500), np.linspace(-4, 5, 500))
Z = clf_no_weights.decision_function(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)

axes[0].contourf(xx, yy, Z, alpha=0.75, cmap=plt.cm.bone)
axes[0].scatter(X[:, 0], X[:, 1], c=y, s=100 * sample_weight_constant, alpha=0.9, cmap=plt.cm.bone, edgecolors="black")
axes[0].axis("off")
axes[0].set_title("Constant Weights")

Z = clf_weights.decision_function(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)

axes[1].contourf(xx, yy, Z, alpha=0.75, cmap=plt.cm.bone)
axes[1].scatter(X[:, 0], X[:, 1], c=y, s=100 * sample_weight_last_ten, alpha=0.9, cmap=plt.cm.bone, edgecolors="black")
axes[1].axis("off")
axes[1].set_title("Modified Weights")

plt.show()

Резюме

В этом практическом занятии мы узнали, как построить функцию принятия решений для взвешенного набора данных в SVM. Мы создали две модели: одну, которая учитывает веса выборок, и другую, которая не учитывает веса выборок. Затем мы сравнили эти две модели, построив их функции принятия решений.