情報幾何に入門した (1)

情報幾何に興味がわいたという話を以前したので、『入門情報幾何―統計的モデルをひもとく微分幾何学―』を読んでみた。その時に触れた『岩波データサイエンス Vol.3』に書いてあったことはほとんど分からなかったけど。

情報幾何は、統計モデルのパラメータの空間を多様体と見て、その上の幾何学（Riemann 計量とか affine 接続とか）を調べる分野らしい。

例えば、1次元正規分布であれば、

$$ \Xi := \{(\mu, \sigma) \mid \mu \in \mathbf{R},\;\sigma>0\} \subset \mathbf{R}^2 $$

という開集合と、

$$ S := \{p(\cdot;\boldsymbol{\xi}) \mid \boldsymbol{\xi} \in \Xi\} $$

という確率密度関数の族、ただし

$$p(x;\boldsymbol{\xi}) = \frac{1}{\sqrt{2\pi}\,\sigma}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) \quad (\boldsymbol{\xi} = (\mu, \sigma)),$$

が対応している。この $S$ は2次元統計的モデル。

さて、$S$ をどうやって Riemann 多様体と見るかというと、

$$g_{ij}(\boldsymbol{\xi}) = \mathbf{E}_{\boldsymbol{\xi}}[(\partial_i l_{\boldsymbol{\xi}}) (\partial_j l_{\boldsymbol{\xi}})]$$

（ただし $ \partial_i = \partial / \partial \xi_i $, $ l_{\boldsymbol{\xi}} = \log p(x;\boldsymbol{\xi})$, $ \mathbf{E}_{\boldsymbol{\xi}}[f] = \int f(x) p(x;\boldsymbol{\xi}) dx $）から定まる Fisher 情報行列が正定値なら Riemann 計量が定まり、それを Fisher 計量という。

多様体に Riemann 計量が定まれば、捩れがなくて計量的な affine 計量が一意に定まり、それを Levi-Civita 接続という。affine 接続の双対接続とかも定義できる。

統計的モデルに対しては、$\alpha$-接続 ($\alpha \in \mathbf{R}$) という affine 接続 $\nabla^{(\alpha)}$ が定まって、これは捩れをもたない。$S$ が指数型分布族のとき、$\nabla^{(1)}$ は平坦になる（すなわち捩れをもたず、曲率も 0）。

統計多様体とは、多様体 $M$, affine 接続 $\nabla$, Riemann 計量 $g$ の組であって、$\nabla$ とその双対接続 $\nabla^*$ がともに捩れをもたないものをいう。さらに $\nabla$ が平坦なとき（このとき $\nabla^*$ は自動的に平坦になる）、$(M,g,\nabla,\nabla^*)$ を双対平坦空間という。

双対平坦空間からはダイバージェンスと呼ばれる関数が定まる。指数型分布族 $S$ に対して、$(S,g,\nabla^{(1)},\nabla^{(-1)})$ は双対平坦空間となるが、このダイバージェンスは Kullback–Leibler ダイバージェンスとなる。

などなど。

もうちょっと勉強してみたいので、『新版情報幾何学の新展開』を買おうと思っている。