演習問題 1.37

演習 1.37の解答です。

xy の同時エントロピー H(x,y)x のエントロピー H(x) と条件付きエントロピー H(y|x) の和であることを示す問題。
演習 1.33 でも触れましたが、条件付きエントロピー H(y|x)x を知っている時に y を知るために必要な追加の情報量なので、この問題で示す式も意味的に当然成り立つことが分かります。

prml exercise solution 1.37