Deep Learning精度向上テクニック：様々な最適化手法 #1

Deep Learning精度向上テクニック：様々な最適化手法 #1
この動画では、Deep Learningを学習する際のパラメータの更新に用いるソルバ、ミニバッチ勾配降下法、Stochastic Gradient Descentと、その改良手法としてMomentum SGD、Nesterov Accelerated Gradient、RMSprop、Adamについて解説します。

ニューラルネットワーク学習の仕組み
https://www.youtube.com/watch?v=r8bbe273vEs

前回の動画：様々なCNN #4
https://www.youtube.com/watch?v=phIyhxTOA1I

再生リスト「Deep Learning 精度向上テクニック」
https://www.youtube.com/playlist?list=PLg1wtJlhfh216rnmSv_oEDuchRjgUqxBi

再生リスト「Deep Learning入門」
https://www.youtube.com/playlist?list=PLg1wtJlhfh23pjdFv4p8kOBYyTRvzseZ3

Neural Network Console
https://dl.sony.com/ja/

Neural Network Libraries
https://nnabla.org/ja/

BGM
Prokofiev - Prelude from 12 Pieces
Prokofiev - Scherzo from 12 Pieces

Nesterov Accelerated Gradient (NAG)
A method for unconstrained convex minimization problem with the rate of convergence :math:`o(1/k2)
Yurii Nesterov

RMSprop
Lecture 6a : Overview of mini-batch gradient descent
http://www.cs.toronto.edu/~tijmen/csc321/slides/lecture_slides_lec6.pdf

Adam: A Method for Stochastic Optimization
Diederik P. Kingma, Jimmy Ba
https://arxiv.org/abs/1412.6980

On Empirical Comparisons of Optimizers for Deep Learning
Dami Choi, Christopher J. Shallue, Zachary Nado, Jaehoon Lee, Chris J. Maddison, George E. Dahl
https://arxiv.org/abs/1910.05446

#Deep Learning #Neural Network #Neural Network Console #Neural Network Libraries #Sony #AI #深層学習 #ディープラーニング #ニュールネットワーク #ソニー #人工知能 #Optimizer #Solver #Updater #最適化アルゴリズム #学習アルゴリズム #Minibatch Gradient Descent #勾配法 #ミニバッチ勾配降下法 #SGD #Stocastic Gradient Descent #確率的勾配降下法 #ミニバッチ確率的勾配降下法 #Minibatch Stocastic Gradient Descent #Momentum #Momentum SGD #Nesterov #Nesterov Accelerated Gradient #NAG #ネステロフの加速法 #RMSProp #Adam