Введение
В машинном обучении мы часто оцениваем производительность классификационного модели с использованием оценки. Однако, мы также должны проверить значимость оценки, чтобы убедиться, что производительность модели не является случайной. Именно здесь пригодится тест перестановочной оценки. Он генерирует нулевую распределение, вычисляя точность классификатора на 1000 различных перестановках набора данных. Затем эмпирическое p-значение вычисляется в качестве процента перестановок, при которых полученная оценка превышает оценку, полученную с использованием исходных данных. В этом практическом занятии мы будем использовать функцию permutation_test_score
из sklearn.model_selection
для оценки значимости кросс-валидированной оценки с использованием перестановок.
Советы по работе с ВМ
После запуска ВМ нажмите в левом верхнем углу, чтобы переключиться на вкладку Ноутбук и получить доступ к Jupyter Notebook для практики.
Иногда вам может потребоваться подождать несколько секунд, пока Jupyter Notebook загрузится. Проверка операций не может быть автоматизирована из-за ограничений Jupyter Notebook.
Если вы столкнетесь с проблемами во время обучения, не стесняйтесь обращаться к Лэби. Оставьте отзыв после занятия, и мы оперативно решим проблему для вас.