KDOG Notebook

どうも、古くからの友人です。

一次元ガウス混合モデルのベイズ推論〜崩壊型ギブスサンプリング

はじめに

今回もガウス混合モデルによる一次元データのクラスタリングを行います。崩壊型ギブスサンプリングを用います。

モデル

前々回と同じです。

kdog08.hatenablog.com

崩壊型ギブスサンプリング

崩壊型ギブスサンプリングでは、パラメータ${{\boldsymbol \mu},{\boldsymbol \lambda}, {\boldsymbol \pi}}$を周辺化除去したモデルを考えます。

f:id:kdog08:20181012171524p:plain:h45

${\bf s}_n$の確率分布は次式から求めます。

f:id:kdog08:20181014223035p:plain:h24

右辺のはじめの項は次式を計算することになります。

f:id:kdog08:20181014205305p:plain:h45

積分内のパラメータの分布は次式のように求まります。

f:id:kdog08:20181014211135p:plain:h340

したがって、$s_{n,k}=1$となるような$k$について考えると$x_n$は次のようなスチューデントのt分布で与えられることがわかります。

f:id:kdog08:20181014221002p:plain:h110

続いて潜在変数の分布は次式の通りです。

f:id:kdog08:20181014222106p:plain:h150

ただし、

f:id:kdog08:20181014222355p:plain:h50

以上の結果を式$(*)$に用いると、${\bf s}_n$の分布は同様にカテゴリ分布として表現できます。

ここでも$s_{n,k}=1$となるような$k$について考えれば導出は簡単になります。

実験

前々回から同じデータを用いて学習過程を可視化してみました。

f:id:kdog08:20181015202751g:plain

参考文献

機械学習スタートアップシリーズ ベイズ推論による機械学習入門 (KS情報科学専門書)