有关增强学习的详细解说，读者朋友可以参阅文献[5]。本节将对监督学习和无监督学习中典型的任务，例如回归、分类、异常检测、聚类和降维等做一一介绍。 回归，是指把实函数在样本点附近加以近似的有监督的函数近似问题A（图1.5）。这里，我们来考虑一下以d次方的实数向量x作为输入，实数值y 作为输出的函数y=f(x)的学习问题。在监督学习里，这里的真实函数关系f 是未知的，作为训练集的输入输出样本{(xi, yi)}ni=1 是已知的。但是，一般情况下，在输出样本yi 的真实值f(xi) 中经常会观测到噪声。通过这样的设定，输入样本xi 就是学生向老师请教的问题，输出样本yi 是老师对学生的解答，输出样本中包含的噪声则与老师的教学错误或学生的理解错误相对应。老师的知识（无论什么样的问题，都可以做出正确的解答）与真实的函数f 相对应，使学生获得这个函数就是监督学习的最终目标。如果以¬ f 来表示学生通过学习而获得的函数，那么学生对没有学习过的问题也可以做出正确解答的泛化能力的大小，就可以通过比较函数f和¬ f 的相似性来进行分析。 分类，是指对于指定的模式进行识别的有监督的模型识别问题（图1.6）。在这里，以d 次方的实数向量x作为输入样本，而所有的输入样本，可以被划分为c 个类别的问题来进行说明。作为训练集的输入输出样本{(xi, yi)}ni=1 是已知的。但是，分类问题中的输出样本yi，并不是具体的实数，而是分别代表类别1, 2, . . . , c。在这样的任务里，得到输出类别1, 2, . . . , c的函数y=f(x)的过程，就是机器学习的过程。因此，分类问题也可以像回归问题那样，被看作是函数近似问题。然而，在分类问题中，并不存在类别1 比类别3 更接近于类别2 这样的说法。分类问题只是单纯地对样本应该属于哪一个类别进行预测，并根据预测准确与否来衡量泛化误差，这一点与回归是不同的。 A 回归是对一个或多个自变量和因变量之间的关系进行建模、求解的一种统计方法。——译者注 异常检测，是指寻找输入样本{xi}ni=1 中所包含的异常数据的问题。在已知正常数据与异常数据的例子的情况下，其与有监督的分类问题是相同的。但是，一般情况下，在异常检测任务中，对于什么样的数据是异常的，什么样的数据是正常的，在事先是未知的。在这样的无监督的异常检测问题中，一般采用密度估计的方法，把靠近密度中心的数据作为正常的数据，把偏离密度中心的数据作为异常的数据（图1.7）。聚类，与分类问题相同，也是模式识别问题，但是属于无监督学习的一种（图1.8）。即只给出输入样本{xi}ni=1 ，然后判断各个样本分别属于1, 2, . . . , c中的哪个簇A。隶属于相同簇的样本之间具有相似的性质，不同簇的样本之间具有不同的性质。在聚类问题中，如何准确地计算样本之间的相似度是很重要的课题。 A 聚类问题中经常以“簇”代替“类别”。——译者注 降维，是指从高维度数据中提取关键信息，将其转换为易于计算的低维度问题进而求解的方法（图1.9）。具体来说，当输入样本{xi}ni=1的维数d 非常大的时候，可以把样本转换为较低维度的样本{zi}ni=1。线性降维的情况下，可以使用横向量T 将其变换为zi=Txi。降维，根据数据种类的不同，可以分为监督学习和无监督学习两种。作为训练集的输入输出样本{(xi, yi)}ni=1 是已知的时候，属于监督学习，可以把样本转换为较低维度的样本{zi}ni=1，从而获得较高的泛化能力。与之相对，如果只有输入样本{xi}ni=1是已知的话，就属于无监督学习，在转换为较低维度的样本{zi}ni=1之后，应该保持原始输入样本{xi}ni=1的数据分布性质，以及数据间的近邻关系不发生变化。
