度量学习 机器学习中，对高维数据进行降维的主要目的是希望找到一个合适的低维空间，在此空间中进行学习能比原始空间性能更好。事实上，每个空间对应了在属性上定义的一个距离度量，而寻找合适的空间，实质上就是在寻找一个合适的距离度量。度量学习（metric learning）的基本动机就是直接尝试“学习”出一 ...

数据降维 在高维情形下出现的数据样本稀疏、距离计算困难等问题，是所有机器学习方法共同面临的严重障碍，被称为“维数灾难”（curse of dimensionality）。 缓解维数灾难的一个重要途径就是降维（dimension reduction），也成为“维数约简”，即通过某种数学变换将原始高维属 ...

k近邻法 k近邻法（k-nearest neighbor，k-NN）是一种基本分类与回归方法。k近邻法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，可以取多类。 k近邻法不具有显式的学习过程，实际上是利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。 k近邻法三要素：k值 ...

聚类 1. 聚类任务 在无监督学习中，训练样本的标记信息是未知的，目标是通过对无标记训练样本的学习来揭示数据的内在性质和规律，为进一步的数据分析提供基础。此类学习任务中研究最多、应用最广的就是聚类。 聚类试图将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个“簇”，通过这样的划分，每个 ...

随机森林 1. 原理 随机森林（Random Forest，RF）是Bagging的一个扩展变体。RF在以决策树为基学习器（CART）构建Bagging集成的基础上，进一步在决策树的训练过程中引入了随机属性选择。 具体来说，传统决策树在选择划分属性时是在当前节点的属性集合（假定有\(d\)个属性）中 ...

XGBoost XGBoost是大规模并行Boosted Tree的工具，也是目前较为好用的开源Boosted Tree工具包，其计算速度比常见的算法要快约10倍左右。在数据科学方面，许多选手使用XGBoost进行数据挖掘比赛；在工业界，由于其分布式版本拥有广泛的可移植性，k恶意很好地解决工业界的实 ...

泰勒公式 数学中，泰勒公式是一个用函数在某点的信息描述其附近取值的公式。如果公式足够平滑的话，在已知函数在某一点的各阶导数值的情况下，泰勒公式可以用这些导数值做系数构建一个多项式来近似函数在这一点的邻域的取值。 定义：如果\(f(x)\)在点\(x=x_0\)处具有任意阶导数，则幂级数 \[\beg ...

GBDT 1. 提升树 提升树是以分类树或回归树为基本分类器的提升方法。 1.1. 提升树模型 提升方法实际采用加法模型（即基函数的线性组合）与前向分步算法，以决策树为基函数的提升方法成为提升树（Boosting tree）。对分类问题决策树是二叉分类树，对回归问题决策树是二叉回归树。 提升树模型可 ...

AdaBoost 1. AdaBoost算法 Boosting是一种常用的统计学习方法，应用广泛且有效，在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。 AdaBoost算法是Boosting中的代表算法。对于提升方法来说，有两个问题需要解决： ...

性能度量 对学习器的泛化性能进行评估，不仅需要有效可行的实验估计方法，还需要有衡量模型泛化能力的评价标准，这就是性能度量（performance measure）。性能度量反映了任务需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果，这也意味着模型的“好坏”是相对的，什么样的模 ...