はじめに 多峰性の出力値をもつデータに対する線形回帰モデルを実装しました。ここで多峰性の出力値とは下図のようなデータのことを考えています。 緑のデータ点から青およびオレンジの実線で示された２種類の入出力の関係を見つけることが目的となります。 …

はじめに 今回もガウス混合モデルによる一次元データのクラスタリングを行います。崩壊型ギブスサンプリングを用います。 モデル 前々回と同じです。 kdog08.hatenablog.com 崩壊型ギブスサンプリング 崩壊型ギブスサンプリングでは、パラメータ${{\boldsymb…

はじめに 前回の記事と同様、ガウス混合モデルによる一次元データのクラスタリングを行います。ただし、今回はギブスサンプリングを用います。 モデル 前回と同じです。 kdog08.hatenablog.com ギブスサンプリング ギブスサンプリングでは、潜在変数とパラメ…

はじめに ガウス混合モデルによる一次元データのクラスタリングを行います。今回は変分推論を用います。 モデル データ数およびクラスタ数をそれぞれ、$N$および$K$とします。 観測データおよび潜在変数をそれぞれ、 とします。ただし、${\bf s}_n \ (n=1 \l…

はじめに Expectation propagation method(EP法)はベイズ推論の近似解を求めるための手法で、2001にMinkaが提案したようです。PRMLで紹介されているほか、GPMLでもロジスティック回帰の良い解を得るために導入されています。 手法 データ$D = \{x_1, \ldots …

はじめに ツイッター界隈でロジスティック回帰が話題になっていたので、便乗して記事にしてみました。 ロジスティック回帰の実装に関しては下の本を参考にしました。 本記事で用いたデータは下のブログを参照しました。githubに公開されていたので無断で使い…

はじめに この記事は以下の書籍の内容に依るところが大きいです。詳しい解説は以下の書籍をあたってください。 機械学習スタートアップシリーズ ベイズ推論による機械学習入門 (KS情報科学専門書)作者: 須山敦志,杉山将出版社/メーカー: 講談社発売日: 2017/…