琴生(jensen)不等式

在Gan生成对抗神经网络中会用到Jensen不等式，因此做下记录。

Jensen不等式告诉我们：如果f ff是在区间[ a , b ] 上的凸函数（就是导数一直增长的函数，或者说是导数的导数大于0的函数），x 是随机变量，那么有：

也就是说函数f ff的期望大于等于期望的函数。

下面来看看怎么证明，我们假设x 1 , x 2 ， . . . . . . x n都是区间[ a , b ]内的数，且x 1 ≤ x 2 ≤ ， . . . . . . ≤ x n，则上式可以写成下面这个形式：

当n =1时，式子显然成立。

当n =2时，可以构造一个式子如下：

等式成立。

刚刚好满足n = 2 时的情况，有

等式成立！而且从证明的过程我们也可以看出，等于号只有在x 1 , x 2 ， . . . . . . x n 都相等的情况下才能取得。