KDOG Notebook

どうも、古くからの友人です。

一次元ガウス混合モデルのベイズ推論〜変分推論

はじめに

ガウス混合モデルによる一次元データのクラスタリングを行います。今回は変分推論を用います。

モデル

データ数およびクラスタ数をそれぞれ、$N$および$K$とします。 観測データおよび潜在変数をそれぞれ、

f:id:kdog08:20181012134441p:plain:h50

とします。ただし、${\bf s}_n \ (n=1 \ldots N)$はカテゴリ分布にしたがいます。

f:id:kdog08:20181012134933p:plain:h20

潜在変数を含めた$x_n \ (n=1 \ldots N)$の生成モデルは

f:id:kdog08:20181012135208p:plain:h60

となります。パラメータ${ {\boldsymbol \mu}, {\boldsymbol \lambda}, {\boldsymbol \pi} }$の事前分布は

f:id:kdog08:20181012135654p:plain:h55

で与えられるとします。

一次元ガウス混合モデルの同時分布は次のようになります。

f:id:kdog08:20181012141409p:plain:h60

変分推論

変分推論では潜在変数およびパラメータの事後分布を次のように近似します。

f:id:kdog08:20181012142152p:plain:h50

今回のモデルでは、潜在変数およびパラメータの近似事後分布も事前分布と同様の既知の分布として表現できます。

したがって、潜在変数$S$の近似事後分布は

f:id:kdog08:20181014143510p:plain:h80

となります。パラメータ${{\boldsymbol \mu}, {\boldsymbol \lambda}}$の近似事後分布はそれぞれ、

f:id:kdog08:20181012151545p:plain:h160

および

f:id:kdog08:20181012151938p:plain:h160

となります。${\boldsymbol \pi}$の近似事後分布は

f:id:kdog08:20181012152242p:plain:h90

となります。変分推論では潜在変数とパラメータの事後分布を互いに更新し、収束するまで繰り返します。

実験

ランダムに生成した50個のデータを用いてクラスタリングをしてみました。

f:id:kdog08:20181014015354g:plain

参考文献

機械学習スタートアップシリーズ ベイズ推論による機械学習入門 (KS情報科学専門書)