１２．ディープラーニングの中身を知ろう - keep learning blog（キープラーニングブログ）

――過去が現在に影響を与えるように、未来も現在に影響を与える。――

ディープラーニングの中身を知ろう

ディープラーニングの中身を知ろう

前回の記事の続きです。前回、パーセプトロンという最小単位のモデルをご紹介したので、今回はこれを並列多層化してディープニューラルネットワークに拡張しましょう。

keep-learning.hatenablog.jp

なお、冒頭の枕言葉は、「神は死んだ！」でおなじみのニーチェです。過去が現在に影響を与えるのは当然ですが、「こういう未来の自分になりたい」という目標設定もまた現在の自分に影響を与えている、と言いたいのでしょう（たぶん）。とはいえ、別に私はニーチェが好きというわけではなく、この言葉を選んだのは今回の記事の内容と関係しています。

ハローキティのニーチェ強く生きるために大切なこと (朝日文庫)

作者: 朝日文庫編集部
出版社/メーカー: 朝日新聞出版
発売日: 2014/08/07
メディア: 文庫
この商品を含むブログ (3件) を見る

多値分類とOne-Hotベクトル

前回は、ボルドー産ワインと山梨産ワインを判別するという分類問題を課題としました。これは分類問題の中でも最も単純な、いわゆる二値分類（Binary Classification）という問題です。今回考えたいのは、選択肢がもっとたくさんある場合、すなわち多値分類（Multi Classification）という問題です。

多値分類を行うということは、学習済みモデルの出力 $y$ は、トスカーナ産、ボルドー産、山梨産といった3つ以上の産地を表現できなければいけません。そのためには、前回のような0または1の値をとる出力 $y$ だけでは足りないことは明らかです。

そこで、多値分類の場合には分類すべき対象、すなわち産地の数だけニューロンを並列化して、以下のように番号を付けて表現します。

トスカーナ産： $y_{1}=1, \;\; y_{2}=0, \;\; y_{3}=0$

ボルドー産： $y_{1}=0, \;\; y_{2}=1, \;\; y_{3}=0$

山梨産： $y_{1}=0, \;\; y_{2}=0, \;\; y_{3}=1$

この並列化された出力 $y_{i} \; (i=1,2,3)$ のことを、まとめてOne-Hotベクトルと呼びます。One-Hotベクトルは、ベクトルのいずれかの成分だけが1で、その他の成分は0になるベクトルを意味します。言い換えると、ベクトルの要素和は必ず1になります。

パーセプトロンの並列化

出力がOne-Hotベクトルのように並列化されるということは、入力から伸びる手の数も増えることを意味します。つまり、前回の記事でご紹介したパーセプトロンの計算イメージが、以下のように拡張されます。

f:id:yuki0718:20190906184209j:plain — 並列化されたパーセプトロンの計算イメージ

これを数式で表すと、以下のようになります。

$u_{1}=x_{1}\times w^{in-out}_{1-1}+x_{2}\times w^{in-out}_{2-1}+x_{3}\times w^{in-out}_{3-1}$

$y_{1}=f(u_{1})$

$u_{2}=x_{1}\times w^{in-out}_{1-2}+x_{2}\times w^{in-out}_{2-2}+x_{3}\times w^{in-out}_{3-2}$

$y_{2}=f(u_{2})$

$u_{3}=x_{1}\times w^{in-out}_{1-3}+x_{2}\times w^{in-out}_{2-3}+x_{3}\times w^{in-out}_{3-3}$

$y_{3}=f(u_{3})$

$\displaystyle f(u_{k})=\frac{1}{1+e^{-u_{k}}}$

シグモイド関数の出力値は必ず0から1の間をとるので、一見すると多値分類のOne-Hotベクトルにも対応しているように見えます。しかしながら、この数式には大きな欠陥があります。というのも、たとえベクトルの要素 $y_{1}, \; y_{2}, \; y_{3}$ それぞれが0から1の値をとるとしても、One-Hotベクトルの性質である「ベクトルの要素和 $y_{1}+y_{2}+y_{3}$ が1になる」ことが保証されないからです。

そこで、多値分類の出力に適した活性化関数として、以下のようなソフトマックス関数（Softmax Function）を用いるのが一般的です。

$\displaystyle y_{i}=\frac{e^{u_{i}}}{e^{u_{1}}+e^{u_{2}}+e^{u_{3}}}$

ソフトマックス関数は、すべての重み付き線形結合 $u_{1}, \; u_{2}, \; u_{3}$ に依存する多変数関数であり、出力する先の番号 $i=1,2,3$ によって分子の値が異なります。そして、分母に指数関数の総和を用いているため、出力された要素の和をとると必ず1になることが保証されています。

こうして得られるソフトマックス関数の出力は、いわば機械が予測した確率を表していると解釈することができます。出力されたOne-Hotベクトルの各成分は、対象のワインがそれぞれの産地である確率を表すベクトルだと解釈して、最も確率が大きかった産地を機械の予測結果とすればよいのです*1。

パーセプトロンの多層化

多値分類で出力を3種類にするために、パーセプトロンは3つに並列化されて縦長になりました。そして、それによって入力の数 $\times$ 出力の数＝9個の重み係数が必要になりました。

もちろんこのモデルのまま学習を行うことも可能ですが、ディープニューラルネットワークのディープたるゆえんは、このパーセプトロンの縦列を今度は横方向に多層化し、重み係数の数を一気に増やして、表現力の幅を広げる点にあります*2。具体的には以下のようなイメージです。

f:id:yuki0718:20190906223241j:plain — パーセプトロンの多層化

特徴量が入ってくる入力層（Input Layer）と産地の分類を行う出力層（Output Layer）との間に、4列に並列化された2つの中間層を追加しています。中間層は隠れ層（Hidden Layer）と呼ばれ、隠れ層内にあるパーセプトロンを何列にするか、隠れ層を何層追加するか、といった事項は課題に応じて自由に決めることができます。今回は見栄えが良くなるようにこのくらいにしてみました。

隠れ層に存在するパーセプトロンのそれぞれに対しても、前回の記事で紹介したパーセプトロンの計算イメージが適用されます。例えば、隠れ層1のパーセプトロンの出力 $h_{1}, \; h_{2}, \; h_{3}, \; h_{4}$ は、以下のように計算されます。

$u^{in-h1}_{1}=x_{1} \times w^{in-h1}_{1-1}+x_{2} \times w^{in-h1}_{2-1}+x_{3} \times w^{in-h1}_{3-1}$

$h_{1}=f(u^{in-h1}_{1})$

$u^{in-h1}_{2}=x_{1} \times w^{in-h1}_{1-2}+x_{2} \times w^{in-h1}_{2-2}+x_{3} \times w^{in-h1}_{3-2}$

$h_{2}=f(u^{in-h1}_{2})$

$u^{in-h1}_{3}=x_{1} \times w^{in-h1}_{1-3}+x_{2} \times w^{in-h1}_{2-3}+x_{3} \times w^{in-h1}_{3-3}$

$h_{3}=f(u^{in-h1}_{3})$

$u^{in-h1}_{4}=x_{1} \times w^{in-h1}_{1-4}+x_{2} \times w^{in-h1}_{2-4}+x_{3} \times w^{in-h1}_{3-4}$

$h_{4}=f(u^{in-h1}_{4})$

これらはΣ記号を使って簡便に書き表すことができます。

$\displaystyle u^{in-h1}_{i}=\sum_{k=1}^{3} x_{k} \times w^{in-h1}_{k-i}$

$h_{i}=f(u^{in-h1}_{i}) \;\;\; (i=1,2,3,4)$

先ほど、多値分類の出力層ではOne-Hotベクトルの性質を保証するためにソフトマックス関数を用いるべきだと説明しました。しかし、出力層以外（隠れ層）の活性化関数に関しては特段制約はなく、任意の非線形関数を用いることができます。よって、隠れ層の活性化関数 $f(u)$ としては、とりあえずシグモイド関数 $f(u)=\frac{1}{1+e^{-u}}$ を用いることとします。

続いて、隠れ層2のパーセプトロンの出力はどう計算されるでしょうか。隠れ層2から見れば、隠れ層1の出力 $h$ が入力に当たります。よって、隠れ層2のパーセプトロンの出力 $H_{1}, \; H_{2}, \; H_{3}, \; H_{4}$ は、以下のように計算されます。

$u^{h1-h2}_{1}=h_{1} \times w^{h1-h2}_{1-1}+h_{2} \times w^{h1-h2}_{2-1}+h_{3} \times w^{h1-h2}_{3-1}+h_{4} \times w^{h1-h2}_{4-1}$

$H_{1}=f(u^{h1-h2}_{1})$

$u^{h1-h2}_{2}=h_{1} \times w^{h1-h2}_{1-2}+h_{2} \times w^{h1-h2}_{2-2}+h_{3} \times w^{h1-h2}_{3-2}+h_{4} \times w^{h1-h2}_{4-2}$

$H_{2}=f(u^{h1-h2}_{2})$

$u^{h1-h2}_{3}=h_{1} \times w^{h1-h2}_{1-3}+h_{2} \times w^{h1-h2}_{2-3}+h_{3} \times w^{h1-h2}_{3-3}+h_{4} \times w^{h1-h2}_{4-3}$

$H_{3}=f(u^{h1-h2}_{3})$

$u^{h1-h2}_{4}=h_{1} \times w^{h1-h2}_{1-4}+h_{2} \times w^{h1-h2}_{2-4}+h_{3} \times w^{h1-h2}_{3-4}+h_{4} \times w^{h1-h2}_{4-4}$

$H_{4}=f(u^{h1-h2}_{4})$

これもΣ記号を使って簡便に書き表せます。

$\displaystyle u^{h1-h2}_{i}=\sum_{k=1}^{4} h_{k} \times w^{h1-h2}_{k-i}$

$H_{i}=f(u^{h1-h2}_{i}) \;\;\; (i=1,2,3,4)$

最後に、出力層のパーセプトロンの出力も計算しましょう。出力層から見れば、隠れ層2の出力 $H$ が入力に当たります。また、活性化関数はシグモイド関数ではなくソフトマックス関数を用いて、以下のように計算できます。

$u^{h2-out}_{1}=H_{1} \times w^{h2-out}_{1-1}+H_{2} \times w^{h2-out}_{2-1}+H_{3} \times w^{h2-out}_{3-1}+H_{4} \times w^{h2-out}_{4-1}$

$\displaystyle y_{1}=\frac{e^{u^{h2-out}_{1}}}{e^{u^{h2-out}_{1}}+e^{u^{h2-out}_{2}}+e^{u^{h2-out}_{3}}}$

$u^{h2-out}_{2}=H_{1} \times w^{h2-out}_{1-2}+H_{2} \times w^{h2-out}_{2-2}+H_{3} \times w^{h2-out}_{3-2}+H_{4} \times w^{h2-out}_{4-2}$

$\displaystyle y_{2}=\frac{e^{u^{h2-out}_{2}}}{e^{u^{h2-out}_{1}}+e^{u^{h2-out}_{2}}+e^{u^{h2-out}_{3}}}$

$u^{h2-out}_{3}=H_{1} \times w^{h2-out}_{1-3}+H_{2} \times w^{h2-out}_{2-3}+H_{3} \times w^{h2-out}_{3-3}+H_{4} \times w^{h2-out}_{4-3}$

$\displaystyle y_{3}=\frac{e^{u^{h2-out}_{3}}}{e^{u^{h2-out}_{1}}+e^{u^{h2-out}_{2}}+e^{u^{h2-out}_{3}}}$

これもΣ記号を使って簡便に書き表せます。

$\displaystyle u^{h2-out}_{i}=\sum_{k=1}^{4} H_{k} \times w^{h2-out}_{k-i}$

$\displaystyle y_{i}=\frac{e^{u^{h2-out}_{i}}}{e^{u^{h2-out}_{1}}+e^{u^{h2-out}_{2}}+e^{u^{h2-out}_{3}}} \;\;\; (i=1,2,3)$

ものすごく冗長に見える式ですが、一つ一つの式自体は高校数学レベルなので、実はまったく難しくありません。このように、入力側の層から出力側の層に向かってパーセプトロンの出力を計算していくネットワーク構造を、順伝播型（Feedforward）ニューラルネットワークと呼びます。

逆誤差伝搬法（Backpropagation）

上述したとおり、順伝播型ニューラルネットワークは、以下のように出力を順次計算していくことで層から層へ出力を伝播させ、最終的なOne-Hotベクトルを出力します。

$\displaystyle u^{in-h1}_{i}=\sum_{k=1}^{3} x_{k} \times w^{in-h1}_{k-i}$

$h_{i}=f(u^{in-h1}_{i}) \;\;\; (i=1,2,3,4)$

$\displaystyle u^{h1-h2}_{i}=\sum_{k=1}^{4} h_{k} \times w^{h1-h2}_{k-i}$

$H_{i}=f(u^{h1-h2}_{i}) \;\;\; (i=1,2,3,4)$

$\displaystyle u^{h2-out}_{i}=\sum_{k=1}^{4} H_{k} \times w^{h2-out}_{k-i}$

$\displaystyle y_{i}=\frac{e^{u^{h2-out}_{i}}}{e^{u^{h2-out}_{1}}+e^{u^{h2-out}_{2}}+e^{u^{h2-out}_{3}}} \;\;\; (i=1,2,3)$

冗長だと逆に見通しが悪いので、Σ記号で書いたものをまとめました。前回の記事でもそうだったように、いったん出力が計算できれば、次のプロセスは誤差を表す損失関数を定義し、すべての重み係数について偏微分を求めることです。

損失関数は、多値分類でも以下の交差エントロピーが用いられます。

交差エントロピー $\displaystyle E=-t_{1}\log{y_{1}}-t_{2}\log{y_{2}}-t_{3}\log{y_{3}}=-\sum_{k} t_{k}\log{y_{k}}$

出力が3つ以上のOne-Hotベクトルになったことで、前回の記事と若干見た目が異なるように見えるかもしれませんが、ソフトマックス関数が要素和を1に保証しているため、本質的には前回と同じ統計量を表しています。

この損失関数の偏微分をすべての重み係数（全部で40個！）について計算すれば、それぞれについて勾配降下法の修正式 $w^{New}=w^{Old}-\eta \times \frac{\partial E}{\partial w}$ を適用し、重み係数の学習を行うことができます。

ただ、少し大変なのは、上述のとおりディープニューラルネットワークでは1つの出力に関わりを持つ変数が多数存在するため、合成関数の微分公式を適用した場合にかなり多数の項が出てきてしまうことです。もちろん、一つ一つ丁寧に式を追っていけば難しくありません。

隠れ層2から出力層への重み係数の偏微分

それでは、腕試しに $w^{h2-out}_{1-3}$ という重み係数の偏微分を計算してみましょう。合成関数の微分公式によれば、以下のようになります。

$\displaystyle \frac{\partial E}{\partial w^{h2-out}_{1-3}}=\sum_{k} \sum_{l} \frac{\partial E}{\partial y_{k}} \times \frac{\partial y_{k}}{\partial u^{h2-out}_{l}} \times \frac{\partial u^{h2-out}_{l}}{\partial w^{h2-out}_{1-3}}$

損失関数はOne-Hotベクトルの出力 $y_{1}, y_{2}, y_{3}$ すべてに依存する多変数関数なので、 $k$ についてΣ和を取っています。また、 $y$ と $u$ の関係を規定するソフトマックス関数もまた $u_{1}, u_{2}, u_{3}$ すべてに依存する多変数関数なので、 $l$ についてΣ和を取っています。

ここで、第一項の交差エントロピーの偏微分は対数関数の微分公式から

$\displaystyle \frac{\partial E}{\partial y_{k}}=-\frac{t_{k}}{y_{k}}$

であり、第二項のソフトマックス関数の偏微分は、

$\displaystyle \frac{\partial y_{k}}{\partial u^{h2-out}_{l}}=y_{l}(1-y_{l}) \;\; (k=l)$

$\displaystyle \frac{\partial y_{k}}{\partial u^{h2-out}_{l}}=-y_{k}y_{l} \;\; (k \neq l)$

となることが簡単に導けます。これらを元の式に代入すると、

$\displaystyle \frac{\partial E}{\partial w^{h2-out}_{1-3}}=\sum_{l} \left\{ (-\frac{t_{l}}{y_{l}}) \times y_{l}(1-y_{l}) + \sum_{k \neq l} (-\frac{t_{k}}{y_{k}}) \times (-y_{k}y_{l}) \right\} \times \frac{\partial u^{h2-out}_{l}}{\partial w^{h2-out}_{1-3}}$

となります。さらに、One-Hotベクトルの要素和は1になるため、真実の正解ラベル $t_{k}$ に関する和は

$\displaystyle \sum_{k \neq l} t_{k}=\left\{ \sum_{k} t_{k} \right\} -t_{l}=1-t_{l}$

と変形できます。これを利用すると元の式は、

$\displaystyle \frac{\partial E}{\partial w^{h2-out}_{1-3}}=\sum_{l} \left\{ -t_{l}(1-y_{l})+(1-t_{l})y_{l} \right\} \times \frac{\partial u^{h2-out}_{l}}{\partial w^{h2-out}_{1-3}}=\sum_{l} (y_{l}-t_{l}) \times \frac{\partial u^{h2-out}_{l}}{\partial w^{h2-out}_{1-3}}$

という驚くほどシンプルな形に整理できます。実は、ここまでの計算はどこの重み係数で偏微分するかに依らず必ず同じ計算過程を辿るので、この式はたいへん重要なチェックポイントです。

さて、チェックポイントと言いつつ、実は今回の例では最も出力層側に近い重み係数 $w^{h2-out}_{1-3}$ の偏微分を求めているため、計算はここで終了します。前節「パーセプトロンの多層化」で示した計算式を見返してみると、 $w^{h2-out}_{1-3}$ が登場するのは $u^{h2-out}_{3}=H_{1} \times w^{h2-out}_{1-3}+H_{2} \times w^{h2-out}_{2-3}+H_{3} \times w^{h2-out}_{3-3}+H_{4} \times w^{h2-out}_{4-3}$ だけだと分かります。

つまり、 $l$ に関するΣ和のうち、 $l=3$ の項 $\displaystyle \frac{\partial u^{h2-out}_{3}}{\partial w^{h2-out}_{1-3}}=H_{1}$ だけが残り、その他の項は0になるので、最終的な結果は以下のようになります。

$\displaystyle \frac{\partial E}{\partial w^{h2-out}_{1-3}}=(y_{3}-t_{3}) \times H_{1}$

なんと、これは前回の記事で紹介したWidrow-Hoffの学習規則と全く同じ形です！多値分類問題でも、活性化関数と損失関数にソフトマックス関数と交差エントロピーを使うことで、二値分類のときと同じ形式に帰結します。これを任意のニューロン番号 $i, \; j$ に一般化すれば、

$\displaystyle \frac{\partial E}{\partial w^{h2-out}_{i-j}}=(y_{j}-t_{j}) \times H_{i}$

数学的に美しい結果が導かれました。

隠れ層1から隠れ層2への重み係数の偏微分

それでは、次は一層分入力側に近づいた重み係数 $w^{h1-h2}_{3-2}$ の偏微分を計算してみましょう。上述したとおり、どこの重み係数で偏微分するかに依らず、

$\displaystyle \frac{\partial E}{\partial w^{h1-h2}_{3-2}}=\sum_{l} (y_{l}-t_{l}) \times \frac{\partial u^{h2-out}_{l}}{\partial w^{h1-h2}_{3-2}}$

このチェックポイントまでは全く同じ計算過程を辿ります。そして、今回は隠れ層1（h1）から隠れ層2（h2）への重み係数なので、計算はまだ終わりません。合成関数の微分公式を適用しましょう。

$\displaystyle \frac{\partial E}{\partial w^{h1-h2}_{3-2}}=\sum_{k} \sum_{l} (y_{l}-t_{l}) \times \frac{\partial u^{h2-out}_{l}}{\partial H_{k}} \times \frac{\partial H_{k}}{\partial u^{h1-h2}_{k}} \times \frac{\partial u^{h1-h2}_{k}}{\partial w^{h1-h2}_{3-2}}$

$u^{h2-out}_{l}$ は隠れ層2の出力 $H_{1}, H_{2}, H_{3}, H_{4}$ すべてに依存する多変数関数なので、 $k$ についてΣ和を取っています。また、 $H_{k}=f(u^{h1-h2}_{k})$ はシグモイド関数であり（ソフトマックス関数とは違って）、同じ番号 $k$ の $u^{h1-h2}_{k}$ にしか依存しないため、新しい文字列でΣ和を取ったりはしません。

ここで、前節「パーセプトロンの多層化」で示した計算式を見返してみると、 $\displaystyle u^{h2-out}_{i}=\sum_{k=1}^{4} H_{k} \times w^{h2-out}_{k-i}$ だったから、

$\displaystyle \frac{\partial u^{h2-out}_{l}}{\partial H_{k}}=w^{h2-out}_{k-l}$

また、前回の記事で紹介したシグモイド関数の微分の性質により、 $\displaystyle \frac{\partial H_{k}}{\partial u^{h1-h2}_{k}}=H_{k}(1-H_{k})$

これらを元の式に代入して、

$\displaystyle \frac{\partial E}{\partial w^{h1-h2}_{3-2}}=\sum_{k} \sum_{l} (y_{l}-t_{l}) \times w^{h2-out}_{k-l} \times H_{k}(1-H_{k}) \times \frac{\partial u^{h1-h2}_{k}}{\partial w^{h1-h2}_{3-2}}$

とシンプルに整理できました。これが第二のチェックポイントになります。最後に残った偏微分項は、隠れ層2から出力層への重み係数のときと同じように、前節「パーセプトロンの多層化」で示した計算式を見返してみると、 $w^{h1-h2}_{3-2}$ が登場するのは $u^{h1-h2}_{2}=h_{1} \times w^{h1-h2}_{1-2}+h_{2} \times w^{h1-h2}_{2-2}+h_{3} \times w^{h1-h2}_{3-2}+h_{4} \times w^{h1-h2}_{4-2}$ だけだと分かります。

つまり、 $k$ に関するΣ和のうち、 $k=2$ の項 $\displaystyle \frac{\partial u^{h1-h2}_{2}}{\partial w^{h1-h2}_{3-2}}=h_{3}$ だけが残り、その他の項は0になるので、最終的な結果は以下のようになります。

$\displaystyle \frac{\partial E}{\partial w^{h1-h2}_{3-2}}=\sum_{l} (y_{l}-t_{l}) \times w^{h2-out}_{2-l} \times H_{2}(1-H_{2}) \times h_{3}$

これを任意のニューロン番号 $i, \; j$ に一般化しつつ、和をとるインデックス $l$ を（ $i$ と見間違えないために） $k$ に変えてやれば、

$\displaystyle \frac{\partial E}{\partial w^{h1-h2}_{i-j}}=\sum_{k} (y_{k}-t_{k}) \times w^{h2-out}_{j-k} \times H_{j}(1-H_{j}) \times h_{i}$

たいへんシンプルな結果が導けました。

入力層から隠れ層1への重み係数の偏微分

もうここまでくれば、後は同じことの繰り返しだとお気づきでしょうか。隠れ層1から隠れ層2への重み係数の偏微分で「第二のチェックポイント」とした式、

$\displaystyle \frac{\partial E}{\partial w^{in-h1}_{3-2}}=\sum_{k} \sum_{l} (y_{l}-t_{l}) \times w^{h2-out}_{k-l} \times H_{k}(1-H_{k}) \times \frac{\partial u^{h1-h2}_{k}}{\partial w^{in-h1}_{3-2}}$

から出発して、 $\displaystyle \frac{\partial u^{h1-h2}_{k}}{\partial w^{in-h1}_{3-2}}$ の偏微分を合成関数の微分公式でΣ和に書き下せば、同様の議論で以下の結果を導けます。

$\displaystyle \frac{\partial E}{\partial w^{in-h1}_{i-j}}=\sum_{k} \sum_{l} (y_{k}-t_{k}) \times w^{h2-out}_{l-k} \times H_{l}(1-H_{l}) \times w^{h1-h2}_{j-l} \times h_{j}(1-h_{j}) \times x_{i}$

ここでようやく冒頭の枕言葉の真意についてお話できます。以上のように、合成関数の微分公式による式展開は、順伝播型ニューラルネットワークで出力を計算する方向とは逆方向に進んでいきます。つまり、誤差を表す損失関数 $E$ の偏微分は、出力側（未来）から入力側（過去）に向かって遡る形で計算されます。この計算規則のことを逆誤差伝搬法（Backpropagation）と呼びます。

逆誤差伝搬法は、単なる合成関数の微分公式の帰結ではありますが、現代のディープニューラルネットワークの学習規則の根幹をなす強力な計算規則です。そして、得られた式の形式から分かるように、これらの計算は二次のテンソルを使って演算すれば高速にコンピュータ処理することができます*3。

おわりに

ディープラーニングの説明は世の中に氾濫しているものの、大切なのはこうした原理をきちんと数式ベースで押さえることです。「なんだ、やっていることは最小二乗法に毛が生えたようなものじゃないか」という実体が見えてくると、それがSF映画に出てくるようなAIとは程遠いものだと容易に理解できるはずです。

ただし、だからといって甘く見てはいけません。この手法の凄さは、やっていること自体は恐ろしくシンプルなのに、表現できる幅はときに人知を軽々超えてしまうという点にあります。何しろ、プロがコンテストに出すようなモデルでは、今回紹介したような重み係数40個どころではなく、1億個を超える重み係数を学習しているのです*4。途方もない計算が中で行われ、出てきた答えは人間の想像を遥かに超えるポテンシャルを秘めています。

今日のところは以上です。稚文をお読みいただきありがとうございました。

*1:例えば、出力されたOne-Hotベクトルが $y_{1}=0.11, \; y_{2}=0.15, \; y_{3}=0.74$ だったとしたら、一番確率が高いのは3番なので、機械の予測結果は「山梨産」となります。

*2:例えば、統計学で最小二乗法という回帰分析の手法を習ったことがあると思いますが、 $ax+b$ に比べて $ax^{2}+bx+c$ とパラメータを増やした方が、より複雑なフィッティングが可能になります。一般に、最適化されるパラメータの数が増えるほど、入力から出力への因果がより複雑になり、豊かな表現が可能になります。