一次元ガウス混合モデルのベイズ推論〜変分推論
はじめに
ガウス混合モデルによる一次元データのクラスタリングを行います。今回は変分推論を用います。
モデル
データ数およびクラスタ数をそれぞれ、$N$および$K$とします。 観測データおよび潜在変数をそれぞれ、
とします。ただし、${\bf s}_n \ (n=1 \ldots N)$はカテゴリ分布にしたがいます。
潜在変数を含めた$x_n \ (n=1 \ldots N)$の生成モデルは
となります。パラメータ${ {\boldsymbol \mu}, {\boldsymbol \lambda}, {\boldsymbol \pi} }$の事前分布は
で与えられるとします。
一次元ガウス混合モデルの同時分布は次のようになります。
変分推論
変分推論では潜在変数およびパラメータの事後分布を次のように近似します。
今回のモデルでは、潜在変数およびパラメータの近似事後分布も事前分布と同様の既知の分布として表現できます。
したがって、潜在変数$S$の近似事後分布は
となります。パラメータ${{\boldsymbol \mu}, {\boldsymbol \lambda}}$の近似事後分布はそれぞれ、
および
となります。${\boldsymbol \pi}$の近似事後分布は
となります。変分推論では潜在変数とパラメータの事後分布を互いに更新し、収束するまで繰り返します。
実験
ランダムに生成した50個のデータを用いてクラスタリングをしてみました。
