Introduction Batch Normalizationは各層でバッチごとの入力を正規化する手法である。これにより 学習速度があがる(学習係数の値を大きく設定可能) 初期値に依存しにくくなる などの効果がある。今回は、MNISTを用いてその効果を確認した。 また、活性化関数…

はじめに おさらい $N$個の$D$次元ベクトル${\bf x}$からなる行列${\bf X}$の分散共分散行列$\Phi_{\bf X}$は対角化可能で $$ \Phi_{\bf X} = {\bf A \Lambda A}^{\mathrm T} $$ となる。ただし、$\Lambda$および${\bf A}$はそれぞれ固有値、固有ベクトルを…

はじめに 白色化(Whitening)は生データの要素間の相関をなくし、さらに分散の正規化を前処理として実行することで学習の効率化を狙うものである。 理論 次元空間における正規化されたデータ${\bf x}$ $$ {\bf x} = [ x_1 \cdots x_D ] $$ が個あるデータセッ…