Jensen不等式

凸函数（convex function）：设$f$是定义域为实数的函数，如果对于所有的实数$x$，$f(x)$的二次倒数大于0，那么$f$是凸函数。
凸函数性质： $$\lambda f(x_1) + (1 - \lambda) f(x_2) \geq f(\lambda x_1 + (1 - \lambda)x_2)$$

-c500

Jensen不等式：如果$f$是一个凸函数，$X$是随机变量，则： $$E[f(x)] \geq f(E[X])$$ 也可写成： $$\sum_{i=1}^N p_i f(x_i) \geq f( \sum_{i=1}^N p_i x_i )$$ 其中$\sum_{i=1}^N p_i = 1$。
当且仅当$X$为常量时，上式取等号。

利用数学归纳法证明Jensen不等式：
（1）$n=1,2$时，Jensen不等式显然成立；
（2）假设$n=k$时，Jensen不等式成立，即： $$\sum_{i=1}^N p_i f(x_i) \geq f( \sum_{i=1}^N p_i x_i )$$ 其中$\sum_{i=1}^N p_i = 1$；
那么当$n=k+1$时： $$\begin{align} \sum_{i=1}^{k+1} p_i f(x_i) &= p_{k+1} f(x_{k+1}) + \sum_{i=1}^k p_i x_i \nonumber \\ &= p_{k+1} f(x_{k+1}) + Z_k \sum_{i=1}^k \frac{p_i}{Z_k} f(x_i), & Z_k = \sum_{i=1}^k p_i \nonumber \\ & \geq p_{k+1} f(x_{k+1}) + Z_kf(\sum_{i=1}^k \frac{p_i}{Z_k} x_i), & Z_k + p_{k+1} = \sum_{i=1}^{k+1} \nonumber \\ & \geq f(p_{k+1} x_{k+1} + Z_k \sum_{i=1}^k \frac{p_i}{Z_k} x_i) \nonumber \\ &= f(p_{k+1} x_{k+1} + \sum_{i=1}^k p_i x_i) \nonumber \\ &= f(\sum_{i=1}^{k+1} p_i x_i) \nonumber \end{align}$$ 即 $$\sum_{i=1}^{k+1} p_i f(x_i) \geq f(\sum_{i=1}^{k+1} p_i x_i)$$ 其中 $\sum_{i=1}^{k+1} p_i = 1$。
说明$n=k+1$时，Jensen不等式成立。
综合（1）和（2），可知Jensen不等式成立。