Введение
В этом практическом занятии мы изучим Гауссовы процессы (Gaussian Processes, GP), метод обучения с учителем, используемый для задач регрессии и вероятностной классификации. Гауссовы процессы обладают широким функционалом и могут интерполировать наблюдения, давать вероятностные прогнозы и обрабатывать различные типы ядер. В этом практическом занятии мы сосредоточимся на Гауссовой регрессии (Gaussian Process Regression, GPR) и Гауссовой классификации (Gaussian Process Classification, GPC) с использованием библиотеки scikit-learn.
Советы по работе с ВМ
После запуска виртуальной машины (VM) кликните в левом верхнем углу, чтобы переключиться на вкладку Notebook и получить доступ к Jupyter Notebook для практики.
Иногда может потребоваться подождать несколько секунд, пока Jupyter Notebook загрузится полностью. Валидация операций не может быть автоматизирована из-за ограничений Jupyter Notebook.
Если вы сталкиваетесь с проблемами во время обучения, не стесняйтесь обращаться к Labby. Оставьте отзыв после занятия, и мы оперативно решим проблему для вас.
Гауссовая регрессия (Gaussian Process Regression, GPR)
Класс GaussianProcessRegressor реализует Гауссовы процессы для задач регрессии. Для этого требуется указать априорное распределение для GP, например, функции среднего и ковариации. Гиперпараметры ядра оптимизируются в процессе подгонки модели. Рассмотрим пример использования GPR для регрессии.
from sklearn.gaussian_process import GaussianProcessRegressor
from sklearn.gaussian_process.kernels import RBF
## Создаем модель GPR с ядром RBF
kernel = RBF()
model = GaussianProcessRegressor(kernel=kernel)
## Подгоняем модель под обучающие данные
model.fit(X_train, y_train)
## Предсказываем с использованием обученной модели
y_pred = model.predict(X_test)
Примеры GPR
GPR с оценкой уровня шума: Этот пример иллюстрирует GPR с суммарным ядром, включающим WhiteKernel для оценки уровня шума в данных.
from sklearn.gaussian_process.kernels import WhiteKernel
## Создаем модель GPR с ядром RBF и WhiteKernel
kernel = RBF() + WhiteKernel()
model = GaussianProcessRegressor(kernel=kernel)
## Подгоняем модель под обучающие данные
model.fit(X_train, y_train)
## Предсказываем с использованием обученной модели
y_pred = model.predict(X_test)
Сравнение GPR и Кернел-регрессии с гребневым штрафом: И кернел-регрессия с гребневым штрафом (Kernel Ridge Regression, KRR), и GPR обучают целевую функцию с использованием "ядерного трюка". GPR обучает генеративную, вероятностную модель и может предоставлять доверительные интервалы, в то время как KRR только дает предсказания.
from sklearn.kernel_ridge import KernelRidge
## Создаем модель Кернел-регрессии с гребневым штрафом
krr_model = KernelRidge(kernel='rbf')
## Подгоняем модель KRR под обучающие данные
krr_model.fit(X_train, y_train)
## Предсказываем с использованием модели KRR
krr_y_pred = krr_model.predict(X_test)
## Сравниваем результаты с GPR
gpr_model = GaussianProcessRegressor(kernel=RBF())
gpr_model.fit(X_train, y_train)
gpr_y_pred = gpr_model.predict(X_test)
GPR на данных о CO2 на Мауна-Лоа: Этот пример демонстрирует комплексное проектирование ядра и оптимизацию гиперпараметров с использованием градиентного подъема по логарифмической маргинальной правдоподобию. Данные состоят из месячных средних концентраций CO2 в атмосфере, собранных на обсерватории Мауна-Лоа в Гавайях. Задача - построить модель зависимости концентрации CO2 от времени.
from sklearn.gaussian_process.kernels import RBF, ExpSineSquared, RationalQuadratic, WhiteKernel
## Создаем модель GPR с составным ядром
kernel = 34.4**2 * RBF(length_scale=41.8) + 3.27**2 * RBF(length_scale=180) * ExpSineSquared(length_scale=1.44, periodicity=1) + 0.446**2 * RationalQuadratic(alpha=17.7, length_scale=0.957) + 0.197**2 * RBF(length_scale=0.138) + WhiteKernel(noise_level=0.0336)
model = GaussianProcessRegressor(kernel=kernel)
## Подгоняем модель под данные
model.fit(X_train, y_train)
## Предсказываем с использованием обученной модели
y_pred = model.predict(X_test)
Гауссовая классификация (Gaussian Process Classification, GPC)
Класс GaussianProcessClassifier реализует GPC для вероятностной классификации. Он назначает априорное распределение GP для скрытой функции, которая затем сжимается с помощью связующей функции, чтобы получить вероятности классов. GPC поддерживает многоклассовую классификацию путем выполнения обучения и предсказания методом "один против остальных" (one-versus-rest) или "один против одного" (one-versus-one).
import numpy as np
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
X = np.linspace(0, 10, 100).reshape(-1, 1)
y = np.sin(X).ravel() + np.random.normal(0, 0.1, X.shape[0])
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
from sklearn.gaussian_process import GaussianProcessClassifier
## Создаем модель GPC с ядром RBF
kernel = RBF()
model = GaussianProcessClassifier(kernel=kernel)
## Подгоняем модель под обучающие данные
model.fit(X_train, y_train)
## Предсказываем с использованием обученной модели
y_pred = model.predict(X_test)
Примеры GPC
Вероятностные прогнозы с использованием GPC: Этот пример иллюстрирует предсказанные вероятности GPC при различных выборах гиперпараметров.
## Создаем модель GPC с ядром RBF
kernel = RBF()
model = GaussianProcessClassifier(kernel=kernel)
## Подгоняем модель под обучающие данные
model.fit(X_train, y_train)
## Предсказываем вероятности классов для тестовых данных
y_prob = model.predict_proba(X_test)
Иллюстрация GPC на наборе данных XOR: Этот пример демонстрирует применение GPC на наборе данных XOR. Мы сравниваем результаты использования стационарного, изотропного ядра (RBF) и нестационарного ядра (DotProduct).
## Создаем модели GPC с разными ядрами
isotropic_kernel = RBF(length_scale=1.0)
non_stationary_kernel = DotProduct(sigma_0=1.0)
## Подгоняем модели под набор данных XOR
isotropic_model = GaussianProcessClassifier(kernel=isotropic_kernel)
non_stationary_model = GaussianProcessClassifier(kernel=non_stationary_kernel)
isotropic_model.fit(X_xor, y_xor)
non_stationary_model.fit(X_xor, y_xor)
## Предсказываем с использованием обученных моделей
isotropic_y_pred = isotropic_model.predict(X_test)
non_stationary_y_pred = non_stationary_model.predict(X_test)
GPC на наборе данных iris: Этот пример иллюстрирует GPC на наборе данных iris с использованием изотропного ядра RBF и анизотропного ядра RBF. Показано, как различные выборы гиперпараметров могут повлиять на предсказанные вероятности.
## Создаем модели GPC с разными ядрами и подгоняем их под набор данных iris
isotropic_kernel = RBF(length_scale=1.0)
anisotropic_kernel = RBF(length_scale=[1.0, 2.0])
isotropic_model = GaussianProcessClassifier(kernel=isotropic_kernel)
anisotropic_model = GaussianProcessClassifier(kernel=anisotropic_kernel)
isotropic_model.fit(X_train, y_train)
anisotropic_model.fit(X_train, y_train)
## Предсказываем вероятности классов
isotropic_y_prob = isotropic_model.predict_proba(X_test)
anisotropic_y_prob = anisotropic_model.predict_proba(X_test)
Обзор
В этом практическом занятии мы изучили Гауссовы процессы (Gaussian Processes, GP) и их применение для задач регрессии и классификации. Мы узнали, как использовать классы GaussianProcessRegressor и GaussianProcessClassifier из scikit - learn, а также как задавать разные типы ядер для GP. Мы также рассмотрели примеры GPR для задач регрессии и GPC для задач многоклассовой классификации, демонстрируя гибкость и возможности Гауссовых процессов.