Jensen不等式

凸函数（convex function）：设\(f\)是定义域为实数的函数，如果对于所有的实数\(x\)，\(f(x)\)的二次倒数大于0，那么\(f\)是凸函数。
凸函数性质： \[ \lambda f(x_1) + (1 - \lambda) f(x_2) \geq f(\lambda x_1 + (1 - \lambda)x_2)\]

-c500

Jensen不等式：如果\(f\)是一个凸函数，\(X\)是随机变量，则： \[E[f(x)] \geq f(E[X])\] 也可写成： \[ \sum_{i=1}^N p_i f(x_i) \geq f( \sum_{i=1}^N p_i x_i )\] 其中\(\sum_{i=1}^N p_i = 1\)。
当且仅当\(X\)为常量时，上式取等号。

利用数学归纳法证明Jensen不等式：
（1）\(n=1,2\)时，Jensen不等式显然成立；
（2）假设\(n=k\)时，Jensen不等式成立，即： \[ \sum_{i=1}^N p_i f(x_i) \geq f( \sum_{i=1}^N p_i x_i )\] 其中\(\sum_{i=1}^N p_i = 1\)；
那么当\(n=k+1\)时： \[\begin{align} \sum_{i=1}^{k+1} p_i f(x_i) &= p_{k+1} f(x_{k+1}) + \sum_{i=1}^k p_i x_i \nonumber \\ &= p_{k+1} f(x_{k+1}) + Z_k \sum_{i=1}^k \frac{p_i}{Z_k} f(x_i), & Z_k = \sum_{i=1}^k p_i \nonumber \\ & \geq p_{k+1} f(x_{k+1}) + Z_kf(\sum_{i=1}^k \frac{p_i}{Z_k} x_i), & Z_k + p_{k+1} = \sum_{i=1}^{k+1} \nonumber \\ & \geq f(p_{k+1} x_{k+1} + Z_k \sum_{i=1}^k \frac{p_i}{Z_k} x_i) \nonumber \\ &= f(p_{k+1} x_{k+1} + \sum_{i=1}^k p_i x_i) \nonumber \\ &= f(\sum_{i=1}^{k+1} p_i x_i) \nonumber \end{align}\] 即 \[ \sum_{i=1}^{k+1} p_i f(x_i) \geq f(\sum_{i=1}^{k+1} p_i x_i)\] 其中 \(\sum_{i=1}^{k+1} p_i = 1\)。
说明\(n=k+1\)时，Jensen不等式成立。
综合（1）和（2），可知Jensen不等式成立。