オートエンコーダとは
ディープラーニングの仕組みの１つに、ニューラルネットワークと呼ばれるものがあります。これは、人間の脳に存在する神経細胞を真似たものです。
オートエンコーダは、ニューラルネットワークの仕組みの１つです。入力されたデータを、後で復元できる状態に圧縮する処理を指します。Pythonで実装可能です。
通常、データを圧縮すると情報の一部が欠落します。しかし、欠損部がなくても再現できるよう、重要度の高い情報を残しておかなければなりません。
そこで、オートエンコーダでは、重要度の高い情報を洗い出し、それ以外の部分を削ぎ落します。たとえば、体格を表すのに、身長と体重の関係を二次元グラフ上のプロットで示したり、プロット結果を近似した一本の直線（一次元）で表したりすることがあります。
オートエンコーダでは、その意味を維持したままより少ない次元に落とし込むことが行われます。この作業を「次元削減」または「特徴抽出」と呼びます。
オートエンコーダの必要性
オートエンコーダはなぜ必要とされたのでしょうか。
勾配消失を解決するため
ニューラルネットワークは、入力値と出力値の間に「隠れ層」と呼ばれる圧縮状態を挟むのが特徴です。
このようにすることで、従来では不可能だった複雑な処理も可能になりました。そこで、さらに多くの隠れ層を挟むことで、より高度な処理能力が実現するのではないかと考えられるようになりました。
ところが、実際に試みたところ、かえって性能が下がりました。この方法では予測と正解の誤差のフィードバックが必要ですが、階層をさかのぼるごとに誤差が減少し、学習速度が低下したのです。この問題を「勾配消失」と言います。
オートエンコーダは勾配消失を解決する方法として期待されました。ニューラルネットワークの初期値に、オートエンコーダで学習させたものを用います。事前学習を行うことで、勾配消失による学習速度低下を防止します。
過学習を解決するため
過学習とは、特定のデータへの対応にのみ長けてしまうことです。訓練に使ったデータを完全に記憶してしまうと、処理の練習になりません。結果的に、未知のデータにはまったく対処できない状態になります。
そこで活用されたのがオートエンコーダです。オートエンコーダによりデータを粗な状態にすることで、過学習を防止します。
オートエンコーダを用いた事前学習の仕組み
オートエンコーダを用いた事前学習による、勾配消失の防止手順は以下のとおりです。
- １．層を分割する
- ネットワークを構築する多層構造を、複数の単層に分割します。入力層、隠れ層１、隠れ層２……出力層と分割され、それぞれに事前学習を行います。
- ２．入力層から学習させる
- 分割する前の構造を想定し、入力層から順に教師なし学習を行います。隠れ層１と同じサイズの訓練用隠れ層を１つだけ用意し、圧縮・出力させます。
- ３．すべての隠れ層で訓練を繰り返す
- ステップ２で得た訓練用隠れ層の値を入力値として、隠れ層１の訓練を行います。この際の訓練用隠れ層は、隠れ層２を想定し、それと同じサイズにします。この作業をすべての層で繰り返しましょう。
- ４．元のネットワークに戻す
- 学習させた層で元のネットワークを構築します。この状態で新しい層を追加して学習させると、勾配消失を防止できます。
オートエンコーダの活用方法
現在ではディープラーニングのアルゴリズムが改良され、初期値はランダム値で問題ないため、事前学習にオートエンコーダは使われていません。では、オートエンコーダはどのような場面で活用されるのでしょうか。
画像のノイズ除去
画像のノイズを除去するためには、ノイズをノイズだと認識できなければなりません。オートエンコーダにそれを学習させる方法が有効です。入力値としてノイズを混ぜた画像、正解として元の画像を与えて訓練することで、圧縮時にノイズを除去できるようになります。
こうして、オートエンコーダをデータクレンジングとして活用して得られたデータは、ほかの機械学習にも利用できます。特に分類器の作成において、ノイズのないデータは分類精度を高めるうえで欠かせない教材となります。
異常検知
ノイズ除去を学習したオートエンコーダは、異常（ノイズ）検知にも応用されます。正しく学習できていれば、何らかの異常を含むデータを処理した場合でも、オートエンコーダは異常のないデータを出力します。
つまり、入力値に異常がある場合、入力値と出力値の間に誤差が生じるということです。これを異常発生と定義し、オートエンコーダは異常検知システムとして機能します。具体的にどこに異常があるのか特定することも可能です。
クラスタリング
クラスタリングとは分類のことです。入力値がどのような特徴を持つグループに属するのかを見分けます。これにより、精度の高い異常検知が実現します。
クラスタリングに応用する際に活用するのは、教師なし学習です。正常品と異常品を、どれが正常なのかラベルを付けずに与えます。その結果、データを圧縮した潜在変数は正常品の特徴を備えたものと、異常品の特徴を備えたものにグループ分けされます。
このように確率分布的に潜在変数を取得する仕組みを、VAEと言います。この学習を経たオートエンコーダにデータを入力することで、入力値がどちらのグループに属するのか判別可能です。
一口に異常と言っても、複数のパターンがあれば、その数だけグループが作られます。つまり、対象のデータが異常品というだけでなく、どのような異常を持つかを判別できるということです。
オートエンコーダーの現状を把握し機械学習の理解を深めよう
オートエンコーダとは、データの次元を削減し、圧縮する手法です。ニューラルネットワークが機能するための仕組みの１つとして、勾配消失や過学習を防ぐ目的で提唱されました。
今ではそれらの目的で使われることはあまりありません。しかし、画像ノイズ除去や異常検知システムの仕組みとして活用されています。
ぜひ、以上を参考にして、機械学習への理解を深めてください。
