Deep Learning - ウォンツテック

# Deep Learning 5

逆誤差伝搬法の数学的お勉強

高卒でもわかる機械学習 (5) 誤差逆伝播法その1 | 頭の中に思い浮かべた時には

前回見たスライドはスライド48のあたりがイマイチ分からなかったので上記で読み直し
さらに分かりやすいです

逆誤差伝搬法は計算量を如何にして減らすかという事で、N層パーセプトロンがある場合は
N層、N-1層、N-2層と逆順に、重みの微小変化（その層の重みによる勾配法で損失関数を減少させる）をみていきます。k-1層の計算時点でk層の計算結果を利用出来るようになっているとうのがキモ

本のp.148 (5.13)の補足
$\frac{\partial L}{\partial {\bf X}} = \frac{\partial L}{\partial {\bf Y}} \cdot {\bf W}^T$

この式の1要素目に着目し、図5-24のX → X・W → Yの1要素目の計算の流れを見てみると

$(x_1, x_2) \cdot (w_{11}, w_{12})^T$ → $x_1 w_{11} + x_2 w_{12}$ → $y_1$

となっていてYへの出力に関しては
$\frac{\partial L}{\partial x_1} = \frac{\partial L}{\partial y_1} \frac{\partial y_1}{\partial x_1} + \frac{\partial L}{\partial y_2} \frac{\partial y_2}{\partial x_1} + \frac{\partial L}{\partial y_3} \frac{\partial y_3}{\partial x_1}$

となっていて
$y_1 = x_1 w_{11} + x_2 w_{12}$
$y_2 = x_1 w_{21} + x_2 w_{22}$
$y_3 = x_1 w_{31} + x_2 w_{32}$
を代入すると

$\frac{\partial L}{\partial x_1} = \frac{\partial L}{\partial y_1} w_{11} + \frac{\partial L}{\partial y_2} w_{21} + \frac{\partial L}{\partial y_3} w_{31}$
$= ( \frac{\partial L}{\partial y_1}, \frac{\partial L}{\partial y_2}, \frac{\partial L}{\partial y_3}) \cdot (w_{11}, w_{21}, w_{31})$
$= \frac{\partial L}{\partial {\bf Y}} \cdot W^T$
と書ける。
※ $W^T$ は3行2列中の1列目のみ

これを他の要素( $x_2$ )に関しても導くと 5.13 の上の式が導ける。下の式も同様な感じで導ける