読者です 読者をやめる 読者になる 読者になる

ウォンツテック

技術的な話や会社設立に関わる話などを適当にしていきます

Deep Learning

# Deep Learning 5

逆誤差伝搬法の数学的お勉強

高卒でもわかる機械学習 (5) 誤差逆伝播法 その1 | 頭の中に思い浮かべた時には

前回見たスライドはスライド48のあたりがイマイチ分からなかったので上記で読み直し
さらに分かりやすいです

逆誤差伝搬法は計算量を如何にして減らすかという事で、N層パーセプトロンがある場合は
N層、N-1層、N-2層と逆順に、重みの微小変化(その層の重みによる勾配法で損失関数を減少させる)をみていきます。k-1層の計算時点でk層の計算結果を利用出来るようになっているとうのがキモ


本のp.148 (5.13)の補足
 \frac{\partial L}{\partial {\bf X}} = \frac{\partial L}{\partial {\bf Y}} \cdot {\bf W}^T

この式の1要素目に着目し、図5-24のX → X・W → Yの1要素目の計算の流れを見てみると

 (x_1, x_2) \cdot (w_{11}, w_{12})^T x_1 w_{11} + x_2 w_{12} y_1

となっていてYへの出力に関しては
 \frac{\partial L}{\partial x_1} = \frac{\partial L}{\partial y_1} \frac{\partial y_1}{\partial x_1} + \frac{\partial L}{\partial y_2} \frac{\partial y_2}{\partial x_1} + \frac{\partial L}{\partial y_3} \frac{\partial y_3}{\partial x_1}

となっていて
 y_1 = x_1 w_{11} + x_2 w_{12}
 y_2 = x_1 w_{21} + x_2 w_{22}
 y_3 = x_1 w_{31} + x_2 w_{32}
を代入すると

 \frac{\partial L}{\partial x_1} = \frac{\partial L}{\partial y_1} w_{11} +  \frac{\partial L}{\partial y_2} w_{21} +  \frac{\partial L}{\partial y_3} w_{31}
 =  ( \frac{\partial L}{\partial y_1},  \frac{\partial L}{\partial y_2},  \frac{\partial L}{\partial y_3}) \cdot (w_{11}, w_{21}, w_{31})
 =  \frac{\partial L}{\partial {\bf Y}} \cdot W^T
と書ける。
W^Tは3行2列中の1列目のみ

これを他の要素( x_2)に関しても導くと 5.13 の上の式が導ける。下の式も同様な感じで導ける