Регирессия и классификация с использованием Гауссовых процессов

Введение

В этом практическом занятии мы изучим Гауссовы процессы (Gaussian Processes, GP), метод обучения с учителем, используемый для задач регрессии и вероятностной классификации. Гауссовы процессы обладают широким функционалом и могут интерполировать наблюдения, давать вероятностные прогнозы и обрабатывать различные типы ядер. В этом практическом занятии мы сосредоточимся на Гауссовой регрессии (Gaussian Process Regression, GPR) и Гауссовой классификации (Gaussian Process Classification, GPC) с использованием библиотеки scikit-learn.

Советы по работе с ВМ

После запуска виртуальной машины (VM) кликните в левом верхнем углу, чтобы переключиться на вкладку Notebook и получить доступ к Jupyter Notebook для практики.

Иногда может потребоваться подождать несколько секунд, пока Jupyter Notebook загрузится полностью. Валидация операций не может быть автоматизирована из-за ограничений Jupyter Notebook.

Если вы сталкиваетесь с проблемами во время обучения, не стесняйтесь обращаться к Labby. Оставьте отзыв после занятия, и мы оперативно решим проблему для вас.

Skills Graph

Гауссовая регрессия (Gaussian Process Regression, GPR)

Класс GaussianProcessRegressor реализует Гауссовы процессы для задач регрессии. Для этого требуется указать априорное распределение для GP, например, функции среднего и ковариации. Гиперпараметры ядра оптимизируются в процессе подгонки модели. Рассмотрим пример использования GPR для регрессии.

from sklearn.gaussian_process import GaussianProcessRegressor
from sklearn.gaussian_process.kernels import RBF

## Создаем модель GPR с ядром RBF
kernel = RBF()
model = GaussianProcessRegressor(kernel=kernel)

## Подгоняем модель под обучающие данные
model.fit(X_train, y_train)

## Предсказываем с использованием обученной модели
y_pred = model.predict(X_test)

Примеры GPR

GPR с оценкой уровня шума: Этот пример иллюстрирует GPR с суммарным ядром, включающим WhiteKernel для оценки уровня шума в данных.

from sklearn.gaussian_process.kernels import WhiteKernel

## Создаем модель GPR с ядром RBF и WhiteKernel
kernel = RBF() + WhiteKernel()
model = GaussianProcessRegressor(kernel=kernel)

## Подгоняем модель под обучающие данные
model.fit(X_train, y_train)

## Предсказываем с использованием обученной модели
y_pred = model.predict(X_test)

Сравнение GPR и Кернел-регрессии с гребневым штрафом: И кернел-регрессия с гребневым штрафом (Kernel Ridge Regression, KRR), и GPR обучают целевую функцию с использованием "ядерного трюка". GPR обучает генеративную, вероятностную модель и может предоставлять доверительные интервалы, в то время как KRR только дает предсказания.

from sklearn.kernel_ridge import KernelRidge

## Создаем модель Кернел-регрессии с гребневым штрафом
krr_model = KernelRidge(kernel='rbf')

## Подгоняем модель KRR под обучающие данные
krr_model.fit(X_train, y_train)

## Предсказываем с использованием модели KRR
krr_y_pred = krr_model.predict(X_test)

## Сравниваем результаты с GPR
gpr_model = GaussianProcessRegressor(kernel=RBF())
gpr_model.fit(X_train, y_train)
gpr_y_pred = gpr_model.predict(X_test)

GPR на данных о CO2 на Мауна-Лоа: Этот пример демонстрирует комплексное проектирование ядра и оптимизацию гиперпараметров с использованием градиентного подъема по логарифмической маргинальной правдоподобию. Данные состоят из месячных средних концентраций CO2 в атмосфере, собранных на обсерватории Мауна-Лоа в Гавайях. Задача - построить модель зависимости концентрации CO2 от времени.

from sklearn.gaussian_process.kernels import RBF, ExpSineSquared, RationalQuadratic, WhiteKernel

## Создаем модель GPR с составным ядром
kernel = 34.4**2 * RBF(length_scale=41.8) + 3.27**2 * RBF(length_scale=180) * ExpSineSquared(length_scale=1.44, periodicity=1) + 0.446**2 * RationalQuadratic(alpha=17.7, length_scale=0.957) + 0.197**2 * RBF(length_scale=0.138) + WhiteKernel(noise_level=0.0336)
model = GaussianProcessRegressor(kernel=kernel)

## Подгоняем модель под данные
model.fit(X_train, y_train)

## Предсказываем с использованием обученной модели
y_pred = model.predict(X_test)

Гауссовая классификация (Gaussian Process Classification, GPC)

Класс GaussianProcessClassifier реализует GPC для вероятностной классификации. Он назначает априорное распределение GP для скрытой функции, которая затем сжимается с помощью связующей функции, чтобы получить вероятности классов. GPC поддерживает многоклассовую классификацию путем выполнения обучения и предсказания методом "один против остальных" (one-versus-rest) или "один против одного" (one-versus-one).

from sklearn.gaussian_process import GaussianProcessClassifier

## Создаем модель GPC с ядром RBF
kernel = RBF()
model = GaussianProcessClassifier(kernel=kernel)

## Подгоняем модель под обучающие данные
model.fit(X_train, y_train)

## Предсказываем с использованием обученной модели
y_pred = model.predict(X_test)

Примеры GPC

Вероятностные прогнозы с использованием GPC: Этот пример иллюстрирует предсказанные вероятности GPC при различных выборах гиперпараметров.

## Создаем модель GPC с ядром RBF
kernel = RBF()
model = GaussianProcessClassifier(kernel=kernel)

## Подгоняем модель под обучающие данные
model.fit(X_train, y_train)

## Предсказываем вероятности классов для тестовых данных
y_prob = model.predict_proba(X_test)

Иллюстрация GPC на наборе данных XOR: Этот пример демонстрирует применение GPC на наборе данных XOR. Мы сравниваем результаты использования стационарного, изотропного ядра (RBF) и нестационарного ядра (DotProduct).

## Создаем модели GPC с разными ядрами
isotropic_kernel = RBF(length_scale=1.0)
non_stationary_kernel = DotProduct(sigma_0=1.0)

## Подгоняем модели под набор данных XOR
isotropic_model = GaussianProcessClassifier(kernel=isotropic_kernel)
non_stationary_model = GaussianProcessClassifier(kernel=non_stationary_kernel)
isotropic_model.fit(X_xor, y_xor)
non_stationary_model.fit(X_xor, y_xor)

## Предсказываем с использованием обученных моделей
isotropic_y_pred = isotropic_model.predict(X_test)
non_stationary_y_pred = non_stationary_model.predict(X_test)

GPC на наборе данных iris: Этот пример иллюстрирует GPC на наборе данных iris с использованием изотропного ядра RBF и анизотропного ядра RBF. Показано, как различные выборы гиперпараметров могут повлиять на предсказанные вероятности.

## Создаем модели GPC с разными ядрами и подгоняем их под набор данных iris
isotropic_kernel = RBF(length_scale=1.0)
anisotropic_kernel = RBF(length_scale=[1.0, 2.0])
isotropic_model = GaussianProcessClassifier(kernel=isotropic_kernel)
anisotropic_model = GaussianProcessClassifier(kernel=anisotropic_kernel)
isotropic_model.fit(X_train, y_train)
anisotropic_model.fit(X_train, y_train)

## Предсказываем вероятности классов
isotropic_y_prob = isotropic_model.predict_proba(X_test)
anisotropic_y_prob = anisotropic_model.predict_proba(X_test)

Обзор

В этом практическом занятии мы изучили Гауссовы процессы (Gaussian Processes, GP) и их применение для задач регрессии и классификации. Мы узнали, как использовать классы GaussianProcessRegressor и GaussianProcessClassifier из scikit - learn, а также как задавать разные типы ядер для GP. Мы также рассмотрели примеры GPR для задач регрессии и GPC для задач многоклассовой классификации, демонстрируя гибкость и возможности Гауссовых процессов.