简介
在本实验中，我们将学习如何使用决策树回归算法来拟合带有额外噪声观测值的正弦曲线。决策树将用于学习近似正弦曲线的局部线性回归。我们将看到，如果树的最大深度设置得太高，决策树会学习到训练数据的过于精细的细节并从噪声中学习，即它们会过拟合。
虚拟机使用提示
虚拟机启动完成后，点击左上角切换到“笔记本”标签页，以访问 Jupyter Notebook 进行练习。
有时，你可能需要等待几秒钟让 Jupyter Notebook 完成加载。由于 Jupyter Notebook 的限制，操作的验证无法自动化。
如果你在学习过程中遇到问题，请随时向 Labby 提问。课程结束后提供反馈，我们将立即为你解决问题。
导入必要的库
我们将导入必要的库和模块，包括 numpy、matplotlib 和 DecisionTreeRegressor。
import numpy as np
from sklearn.tree import DecisionTreeRegressor
import matplotlib.pyplot as plt
创建一个随机数据集
我们将使用 NumPy 创建一个随机数据集，并给它添加一些噪声。
rng = np.random.RandomState(1)
X = np.sort(5 * rng.rand(80, 1), axis=0)
y = np.sin(X).ravel()
y[::5] += 3 * (0.5 - rng.rand(16))
拟合回归模型
我们将使用两种不同的最大深度（2 和 5）来拟合回归模型。
regr_1 = DecisionTreeRegressor(max_depth=2)
regr_2 = DecisionTreeRegressor(max_depth=5)
regr_1.fit(X, y)
regr_2.fit(X, y)
进行预测
我们将使用这些模型对从 0 到 5 的一系列值进行预测。
X_test = np.arange(0.0, 5.0, 0.01)[:, np.newaxis]
y_1 = regr_1.predict(X_test)
y_2 = regr_2.predict(X_test)
绘制结果
我们将绘制结果，以直观展示模型如何拟合数据。
plt.figure()
plt.scatter(X, y, s=20, edgecolor="black", c="darkorange", label="data")
plt.plot(X_test, y_1, color="cornflowerblue", label="max_depth=2", linewidth=2)
plt.plot(X_test, y_2, color="yellowgreen", label="max_depth=5", linewidth=2)
plt.xlabel("data")
plt.ylabel("target")
plt.title("Decision Tree Regression")
plt.legend()
plt.show()
总结
在本实验中，我们学习了如何使用决策树回归算法来拟合带有额外噪声观测值的正弦曲线。我们发现，如果树的最大深度设置得过高，决策树会学习到训练数据中过于精细的细节并从噪声中学习，即出现过拟合。我们还学习了如何绘制结果以直观展示模型如何拟合数据。