キカガク（KIKAGAKU）で逆伝播を学ぶ

Photo by Alex Knight on Unsplash

前回「キカガク（KIKAGAKU）で順伝播を学ぶ」のつづき

学習内容

勾配降下法

1. ニューラルネットワークのパラメータの最適化
2. 学習率（Learning Rate）

ミニバッチ学習

1. バッチ学習
2. イテレーション
3. エポック
4. 確率的勾配降下法（stocastic gradient descent; SGD）

誤差逆伝播法

1. 合成関数の微分
2. 連鎖律（Chain Rule）
3. パラメータの更新量の算出・逆伝播

感想

出てきた数式はノートに写して計算の流れを確認した。

実際に数字を当てはめ、計算してみた。

計算結果が合わないところがあったが、どちらが正しいのか不明。

後で改めて確認してみよう。

次は キカガク（KIKAGAKU）で「ニューラルネットワークの実装（分類）」を学ぶ