ディープラーニング(深層学習)を理解してみる(勾配降下法) - デジタル・デザイン・ラボラトリーな日々

はじめに

機械学習をやる上では「勾配降下法」を理解しておきたい。
「勾配降下法」で検索すると自分が書いた記事が見つかります。 yaju3d.hatenablog.jp

資料を元に書いた記事なので当時はよく理解していたわけではないですが、今、読み返すとふむふむと言ったところです。今回はもっと深く追求していきます。

機械学習は最適解を求めるのが目的です。
上記記事の八百屋の件でも、条件が当てはまる最小の値をひたすら繰り返し計算すれば求めることが出来るのですが、これを出来るだけ少ない計算で最小値を見つけるようにしたい。ここで「勾配降下法」を使うことになるわけです。

解けない連立方程式

どうせなので八百屋の問題を使います。

例題 1

リンゴ１個とミカン３個を買うと１９０円、リンゴ３個とミカン１個を買うと３３０円するようです。
リンゴ２個とミカン４個を買うといくらになるでしょうか？ f:id:Yaju3D:20160417225841p:plain

今回は数式で表してみます。次の連立方程式となります。

$\displaystyle \begin{cases} a + 3b &=& 190 \\ 3a + b &=& 330 \\ \end{cases}$

加減法で計算します。

$\displaystyle \begin{eqnarray} 3a + 9b &=& 570 \\ -) 3a + b &=& 330 \\ \\ 8b &=& 240 \\ 　　　　 b &=& 30　 \end{eqnarray}$

$\displaystyle \begin{eqnarray} a + 3b &=& 190 \\ a + 3\times30 &=& 190 \\ a &=& 190-90 \\ a &=& 100 \end{eqnarray}$

$a=100$ と $b=30$ と分かりましたので、値を入れると答えが $320$ と求まります。

f:id:Yaju3D:20160417230109p:plain f:id:Yaju3D:20160417230118p:plain

例題 2

例題 1 に対し、更にリンゴ５個とミカン７個を買うと６６０円を追加した場合
リンゴ２個とミカン４個を買うといくらになるでしょうか？
f:id:Yaju3D:20160417230234p:plain

先程と同様に連立方程式を書いてみます。

$\displaystyle \begin{cases} a + 3b &=& 190 \\ 3a + b &=& 330 \\ 5a + 7b &=& 660 \end{cases}$

先程の答えの $a=100$ と $b=30$ を入れても答えが $100\times5 + 30\times7 = 500 + 210 = 710$ となり答えの $660$ にはなりません。

f:id:Yaju3D:20160417230455p:plain

中学校で勉強する連立方程式は、未知数(パラメータの数)が２個であれば、方程式の数も２本でなければなりません。例題 2は、方程式の数が多すぎるということになります。とは言え、実際の世の中の現象は、このようにデータがバラバラなケースのほうが多いですよね。
そこで出来るだけ近い値である近似値を求めることにするわけです。