最大熵模型

信息熵在PRML中的表达

下面看下信息熵在PRML中的表达

假设一个发送者想传输一个随机变量$x$的值给接受者. 在这个过程中, 他们传输的平均信息量可以通过求信息$h(x)$关于概率分布$p(x)$的期望得到.

这个重要的量叫做随机变量$x$的熵