一次元ガウス混合モデルのベイズ推論〜崩壊型ギブスサンプリング
はじめに
今回もガウス混合モデルによる一次元データのクラスタリングを行います。崩壊型ギブスサンプリングを用います。
モデル
前々回と同じです。
崩壊型ギブスサンプリング
崩壊型ギブスサンプリングでは、パラメータ${{\boldsymbol \mu},{\boldsymbol \lambda}, {\boldsymbol \pi}}$を周辺化除去したモデルを考えます。
${\bf s}_n$の確率分布は次式から求めます。
右辺のはじめの項は次式を計算することになります。
積分内のパラメータの分布は次式のように求まります。
したがって、$s_{n,k}=1$となるような$k$について考えると$x_n$は次のようなスチューデントのt分布で与えられることがわかります。
続いて潜在変数の分布は次式の通りです。
ただし、
以上の結果を式$(*)$に用いると、${\bf s}_n$の分布は同様にカテゴリ分布として表現できます。
ここでも$s_{n,k}=1$となるような$k$について考えれば導出は簡単になります。
実験
前々回から同じデータを用いて学習過程を可視化してみました。
