ポタージュを垂れ流す。

マイペースこうしん(主に旅行)

PRML 演習問題2.52

はてなブログtexってどんな感じだったっけというのと、mathjaxの導入でどう表示されるかの検証も兼ねた記事です。

mirucacule.hatenablog.com

この方のブログが全体的に見やすいと思ったので勝手に参考にさせていただきました。

mathjaxの導入で[ tex: ]ってのがドルマークでいけるようになったし書きやすくなった気がする。

ヘッダにコード追加するだけだとスマホはちゃんと動いてくれないみたいですね...


問題 フォン・ミーゼス分布:
$$ \begin{align} p(\theta | \theta_0,m)=\frac{1}{2\pi I_0(m)}\exp(m\cos(\theta-\theta_0)) \end{align} $$
が $m\to\infty$ でガウス分布になることを示せ。*1

ちなみに数式内の$I_0(m)$は第一種変形ベッセル関数とかいうやつらしいです。積分表示:

$$ \begin{align} I_0(m)=\frac{1}{2\pi}\int_0^{2\pi}\exp(m\cos\theta)d\theta \end{align} $$

というのは与えられています。また、問題文に$\ \xi=m^{1/2}(\theta-\theta_0)\ $なる文字$\ \xi\ $が定義されています。

証明 $\exp\ $内をTaylor展開して変形します:

$$ \begin{align} m\cos(\theta-\theta_0) &=m\cos(\xi m^{-1/2}) \\ &=m\left(1-\frac{(\xi m^{-1/2})^2}{2}+O(m^{-1})\right) \\ &=m-\frac{\xi^2}{2}+O(m^{-1}) \\ &=m-\frac{m(\theta-\theta_0)^2}{2}+O(m^{-1}) \end{align} $$

これを見ると、このフォン・ミーゼス分布が収束するのは平均が$\ \theta_0\ $で分散が $\ m^{-1}\ $ のガウス分布

$$ \begin{align} \mathcal{N}(\theta | \theta_0,m)=\left(\frac{m}{2\pi}\right)^{1/2}\exp\left(-\frac{m(\theta-\theta_0)^2}{2}\right) \end{align} $$

だと予想がつくので、比をとってその極限が$\ 1\ $となることを示すのを目標とします。とりあえず比をとったものを考えます:

$$ \begin{align} \lim_{m\to\infty}\frac{\mathcal{N}(\theta | \theta_0,m)}{p(\theta | \theta_0,m)} &=\lim_{m\to\infty}\frac{ (m/2\pi)^{1/2}\exp(-m(\theta-\theta_0)^2/2) }{ \exp(m\cos(\theta-\theta_0))/2\pi I_0(m) } \\ &=\lim_{m\to\infty}\frac{ (2\pi m)^{1/2} I_0(m)\exp(-m(\theta-\theta_0)^2/2) }{ \exp(m-m(\theta-\theta_0)^2/2+O(m^{-1})) } \\ &=\lim_{m\to\infty}(2\pi m)^{1/2}e^{-m}I_0(m) \end{align} $$

見た目すっきりした感じの式になりました。ここで$\ I_0(m)\ $を少し変形しておきます。といっても$\ \exp\ $の中身が$\ \pi\ $に関して対称なので

$$ \begin{align} I_0(m)=\frac{1}{\pi}\int_0^{\pi}\exp(m\cos\theta)d\theta \end{align} $$

にするというだけです。したがって

$$ \begin{align} \lim_{m\to\infty}(2\pi m)^{1/2}e^{-m}I_0(m) = \lim_{m\to\infty}\left(\frac{2m}{\pi}\right)^{1/2}\int_0^{\pi}\exp(-m(1-\cos\theta))d\theta \end{align} $$

と変形できます。ここで$\ e^{-u^2}\ $の形を出してあげれば$\ \displaystyle\int_0^\infty e^{-u^2}du\ $みたいになって積分結果に$\pi^{1/2}$が出るだろうというエスパーをして、$\ u^2=m(1-\cos\theta)\ $として変数変換を行うと、$\ d\theta = 2du/(2m-u^2)^{1/2}\ $などより

$$ \begin{align} \lim_{m\to\infty}\left(\frac{2m}{\pi}\right)^{1/2}\int_0^{\pi}\exp(-m(1-\cos\theta))d\theta = \lim_{m\to\infty}2\left(\frac{2m}{\pi}\right)^{1/2}\int_0^{(2m)^{1/2}}\frac{e^{-u^2}}{(2m-u^2)^{1/2}}du \end{align} $$

と変形できます。あとは計算するだけで

$$ \begin{align} \lim_{m\to\infty}2\left(\frac{2m}{\pi}\right)^{1/2}\int_0^{(2m)^{1/2}}\frac{e^{-u^2}}{(2m-u^2)^{1/2}}du &=\lim_{m\to\infty}\frac{2}{\pi^{1/2}}\int_0^{(2m)^{1/2}}\frac{e^{-u^2}}{(1-u^2/2m)^{1/2}}du \\ &=\frac{2}{\pi^{1/2}}\int_0^{\infty}e^{-u^2}du \\ &=\frac{2}{\pi^{1/2}}\cdot\frac{\pi^{1/2}}{2} \\ &=1 \end{align} $$

となるので、$\ m\to\infty\ $で$\ p(\theta | \theta_0,m)\to\mathcal{N}(\theta | \theta_0,m)\ $が示せたことになります。$\ \blacksquare\ $

www.amazon.co.jp

*1:ちなみにこの問題を書こうと思ったのは自分がゼミで発表したってのと、ちゃんと(?)証明してるのがネットになかったような気がしたので選定したという経緯がある(答案を書いた後で色々探してみたら$\exp(-\xi^2/2)$が出たあたりで終了してたりとか、ベッセル関数の級数展開バリバリ証明してるのとかでどっちもどうなの、って思った)。