概率无向图模型 概率无向图模型（probabilistic undirected graphical model），又称为马尔可夫随机场（Markov random field），是一个可以由无向图表示的联合概率分布。 1. 模型定义 图是由结点及连接结点的边组成的集合，记作\(G = (V,E)\ ...

最大熵马尔可夫模型 最大熵模型是在已知经验分布的基础上求解有关特征函数\(f(\pmb{x},y)\)的最优的\(P(y|\pmb{x})\)概率分布，但它的随机变量\(y\)有相互独立性假设，所以不能很好地描述\(\pmb{x}_i, y_{i-1}\)和\(y_i\)的关系，而HMM又有观测独立 ...

最大熵模型 在真实的语言环境里，某一观测值对应的隐藏状态有上下文环境（观测、状态）决定，引入特征函数可使我们能够自由地选取特征（观测或状态的组合）。可以说是用特征（观测组合）来代替观测，避免生成模型HMM、朴素贝叶斯的观测独立性假设的局限性。 最大熵模型（maximum entropy model） ...

隐马尔可夫模型 概率图模型大致分为两类： 第一类使用有向无环图表示变量之间的关系，称为有向图模型或贝叶斯网； 第二类使用无向图表示变量间的相关关系，称为无向图模型或马尔可夫网。 隐马尔可夫模型（Hidden Markov Model，HMM）是结构最简单的d动态贝叶斯网，可用于标注问题的统计学习 ...

半监督学习 1. 未标记样本 在现实学习任务中，我们获取到的数据大多数包含有标记数据和未标记数据，若直接使用传统的监督学习算法学习有标记数据，那么未标记数据中所包含的信息就被浪费了。同时，通常有标记数据的样本容量较小，所以学得模型的泛化能力往往不佳，我们需要思考能否在构建模型的过程中利用未标记数据。 ...

矩阵、向量求导法则 （1）行向量对元素求导 设\(\pmb{y}^T = [y_1 \cdots y_n]\)是\(n\)维行向量，\(x\)是元素，则 \[\frac{\partial \pmb{y}^T}{\partial x} = [\frac{\partial y_1}{\partial x ...

泊松分布 根据可汗学院统计学整理。 假如一个交通工程师想知道任意时刻通过街上某一点的车辆数，如在某一小时内街上某点通过100辆汽车的概率。可以定义一个变量\(X\)表示一小时内通过的车辆数，然后求出该变量的概率分布。 这里需要做如下两个假设： 街上此点任意时刻的情况没有差异（即在每个时间段内在车流 ...

计算学习理论 1. 基础知识 计算学习理论（computational learning theory）研究的是关于通过“计算”来进行“学习”的理论，即关于机器学习的理论基础，其目的是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法设计。 给定样例集\(D = \{(\pmb{ ...

稀疏表示与字典学习 在文档分类任务中，通常将每个文档看作一个样本，每个字（词）看做一个特征，其在文档中的频率或次数作为特征的取值。特征的个数也就是词汇量的个数，这样给定一个文档，相当多的字是不出现在这个文档中的，于是矩阵的每一行都有大量的零元素，对于不同的文档，零元素出现的列往往不同。 当样本具有这 ...

特征选择 1. 子集搜索与评价 对于一个学习任务来说，给定属性集，其中有些属性可能很关键，而另一些属性则可能没什么用。这里将属性称为“特征”，对当前学习任务有用的属性称为“相关特征”（relevant feature），没什么用的属性称为“无关特征”（irrelevant feature），从给定的 ...