一次元ガウス混合モデルのベイズ推論〜ギブスサンプリング
はじめに
前回の記事と同様、ガウス混合モデルによる一次元データのクラスタリングを行います。ただし、今回はギブスサンプリングを用います。
モデル
前回と同じです。
ギブスサンプリング
ギブスサンプリングでは、潜在変数とパラメータに分けてサンプリングを繰り返します。
潜在変数$S$の事後分布は
となります。パラメータ${{\boldsymbol \mu},{\boldsymbol \lambda}}$の事後分布は
となります。続いて${{\boldsymbol \pi}}$の事後分布は
です。変分推論では期待値計算をしていましたが、ギブスサンプリングではサンプルされたデータを利用します。
実験
前回と同じデータを用いてギブスサンプリングによる学習過程を観察してみました。
