コンテンツ
Q：
人工のリカレントニューラルネットワークのトレーニングが難しいことが多いのはなぜですか？
A：
人工リカレントニューラルネットワークのトレーニングの難しさは、その複雑さに関係しています。
リカレントニューラルネットワークのトレーニングが難しい理由を説明する最も簡単な方法の1つは、フィードフォワードニューラルネットワークではないということです。
フィードフォワードニューラルネットワークでは、信号は一方向にのみ移動します。信号は、入力層からさまざまな隠れ層に移動し、システムの出力層に進みます。
対照的に、リカレントニューラルネットワークおよび他の異なるタイプのニューラルネットワークには、より複雑な信号の動きがあります。 「フィードバック」ネットワークとして分類されるリカレントニューラルネットワークは、信号を前後に移動させることができ、数値または値がネットワークにフィードバックされるネットワークにさまざまな「ループ」を含めることができます。専門家は、これを、記憶に関連するリカレントニューラルネットワークの側面と関連付けます。
さらに、リカレントニューラルネットワークに影響を与える別のタイプの複雑さがあります。この優れた例の1つは、自然言語処理の分野です。
洗練された自然言語処理では、ニューラルネットワークは物事を記憶できる必要があります。また、conで入力を取得する必要があります。他の単語の文内の単語を分析または予測するプログラムがあるとします。たとえば、システムが評価する5ワードの固定長がある場合があります。つまり、ニューラルネットワークには、これらの単語のそれぞれについての入力と、これらの単語の短所を「記憶」またはトレーニングする機能が必要です。これらおよびその他の同様の理由により、リカレントニューラルネットワークには通常、システムにこれらの小さな隠れたループとフィードバックがあります。
専門家は、これらの合併症によりネットワークのトレーニングが困難になると嘆きます。これを説明する最も一般的な方法の1つは、勾配の爆発と消失の問題を引用することです。基本的に、ネットワークの重みにより、多数のパスで値が爆発または消失することになります。
ニューラルネットワークの先駆者であるGeoff Hintonは、逆方向の線形パスにより小さな重みが指数関数的に縮小し、大きな重みが爆発すると言うことで、この現象をウェブ上で説明しています。
彼は続けて、この問題は、信号が成長または減衰する長いシーケンスとより多くのタイムステップで悪化します。重みの初期化が役立つ場合がありますが、これらの課題はリカレントニューラルネットワークモデルに組み込まれています。その問題は、特定のデザインとビルドに常に付随します。本質的に、より複雑なタイプのニューラルネットワークのいくつかは、それらを簡単に管理する能力を実際に無視しています。実質的に無限の複雑さを作り出すことはできますが、予測可能性とスケーラビリティの課題が大きくなることがよくあります。