偏差与方差 1. 概念 偏差：偏差（Bias）度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力； 方差：方差（Variance）度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响； 噪声：噪声则表达了在当前任务上任何学习算法所能达到的期望泛化 ...

SMO-序列最小最优化算法 支持向量机的学习问题可以形式化为求解凸二次规划问题，这样的凸二次规划问题具有全局最优解，并且有许多最优化算法可以用于这一问题的求解。序列最小最优化算法就是其中一种。 序列最小最优化算法（sequential minimal optimization，SMO）是一种启发式算 ...

支持向量机 支持向量机（support vector machines, SVM）是一种二分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包括核技巧，使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划（ ...

决策树 决策树（decision tree）是一种基本的分类与回归方法。决策树模型呈树状结构，在分类问题中，表示基于特征对实例进行分类的过程。他可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。其主要优点是模型具有可读性，分类速度快。 学习时，利用训练数据，根据 ...

贝叶斯网 贝叶斯网（Bayesian network）也称作“信念网”（belief network），它借助有向无环图（Directed Acyclic Graph，DAG）来刻画属性之间的依赖关系，并使用条件概率表（Conditional Probability Table，CPT）来描述属性之 ...

贝叶斯分类器 1. 贝叶斯决策论 贝叶斯决策论（Bayesian decision theory）是概率框架下实施决策的基本方法。对于分类任务，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的标记。 假设有\(N\)中可能的类别标记，即\(Y = \{c_1, ...

正定矩阵的判别及性质 设实对称矩阵\(A\)，如果对于任意的实非零向量\(\pmb{x} \neq 0\)，则矩阵\(A\)是正定的。 正定矩阵的性质和判定方法： 对称矩阵\(A\)正定的充分必要条件是\(A\)的n个特征值全为正数； 对称矩阵\(A\)正定的充分必要条件是\(A\)合同于单位矩阵 ...

瑞利商与广义瑞利商 1. 瑞利商 瑞利商（Rayleigh quotient）是指函数形式如下的函数\(R(A,\pmb{x})\)： \[R(A,\pmb{x}) = \frac{\pmb{x}^HA \pmb{x}}{\pmb{x}^H\pmb{x}}\] 其中\(\pmb{x}\)为非零向量， ...

线性模型 1. 基本形式 给定由\(d\)个属性描述的示例\(x=(x_1,x_2,\cdots,x_d)\)，其中\(x_i\)是\(x\)在第\(i\)个属性上的取值，线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函数，即 \[f(\pmb{x})=w_1x_1 ...

MacOS知识点--资源路径 最近在安装Python的时候发现不同版本的链接和文件位置还存在一些差异，简单的记录一下。 Mac OS自带Python2.7，执行程序位于/usr/bin，链接到的文件位置为/System/Library/Frameworks，用户安装的Python3.5执行程序位于/ ...