前項では単一入力のＲＮＮ回帰ニューラルネットワーク，ＬＳＴＭ（Long short term memory長期短期記憶） を使用して時系列データの未来予測を行いました。 今回、複数入力のＲＮＮ，ＬＳＴＭを使用した時系列データの予測を行います。
一定時間間隔毎にサンプルした既存の２種の時系列データを入力し どのような出力値になるかを予測することを試みます。
入力する時系列データは、教師データが明確な ｓｉｎ波、ｃｏｓ波を使用し、ｓｉｎ＋ｃｏｓの合成波を予測します。

ＲＮＮ，ＬＳＴＭへ一定時間間隔毎にサンプルした時系列データ、ノイズｓｉｎ波、ノイズｃｏｓ波を入力し、 教師データとしてｓｉｎ波、ｃｏｓ波の加算値を使用して学習を行います。
検証ではＲＮＮ，ＬＳＴＭへノイズｓｉｎ波、ノイズｃｏｓ波のみを入力し、出力からｓｉｎｃｏｓ合成波が 出力されることを確認します。

実運用を考えた時、ノイズは常に変化し、波形の振幅、位相も、運用時の条件によって変化します。 同一波形を予測するのではなく、ノイズが変化した、振幅を変えた、位相を変えた波形をＲＮＮへ入力し、 ０.６周期分の入力波形から２周期〜３周期の波形を予測できるかを検証します。

検証として、学習時と異なるノイズ波形、振幅を変えたノイズｓｉｎ波、ノイズｃｏｓ波を ＲＮＮへ０.６周期分入力し ２周期〜３周期の波形の平均値、ｓｉｎＣｏｓ合成波を予測します。
ランダムノイズ波形を含めて予測することは無意味と思われるので、その平均値を予測します。

ＲＮＮ個数：２０、全波形分割数：１００
左図：入力振幅１.０のｓｉｎＣｏｓ合成波
中央：入力振幅０.５のｓｉｎＣｏｓ合成波
右図：入力振幅０.５の理論値ｓｉｎＣｏｓ合成波

オレンジ色：ノイズｓｉｎ波
緑色　　　：ノイズｃｏｓ波、
青色　　　：ｓｉｎＣｏｓ合成波
入力振幅１.０のｓｉｎＣｏｓ合成波(振幅は±１.４)を予測出来ました、また入力振幅を０.５へ変えましたが、理論値に近い値で予測出来ました。

学習時と異なる位相、ノイズ波形、振幅を変えたノイズｓｉｎ波を ＲＮＮへ０.６周期分入力し ２周期〜３周期の波形の平均値、ｓｉｎ波を予測します。

左図：入力振幅１.０のｓｉｎＣｏｓ合成波
中央：入力振幅０.５のｓｉｎＣｏｓ合成波
右図：入力振幅０.５の理論値ｓｉｎＣｏｓ合成波

位相と振幅を変えましたが、理論値に近い値で予測出来ました。

学習時のｏｕｔＬａｙｅｒの重みが少し変化したとき誤差の微分値、勾配の推移。

学習時のＲｎｎＬａｙｅｒの重み分布とｅｒｒｏｒの推移

今回はＬＳＴＭ（Long short term memory長期短期記憶）を使用します。 前回同様、同一波形を予測するのではなく、ノイズが変化した、振幅を変えた、位相を変えた波形をＬＳＴＭへ入力し、 ０.６周期分の入力波形から２周期〜３周期の波形を予測できるかを検証します。 学習時間は３倍程度遅くなりますが、予測精度が高くなりました。

検証として、学習時と異なるノイズ波形、振幅を変えたノイズｓｉｎ波、ノイズｃｏｓ波を ＬＳＴＭへ０.６周期分入力し ２周期〜３周期の波形の平均値、ｓｉｎｃｏｓ合成波を予測します。

ＬＳＴＭ個数：２０、全波形分割数：１００
左図：入力振幅１.０のｓｉｎＣｏｓ合成波
中央：入力振幅０.５のｓｉｎＣｏｓ合成波
右図：入力振幅０.５の理論値ｓｉｎＣｏｓ合成波

学習時と異なる位相、ノイズ波形、振幅を変えたノイズｓｉｎ波を ＬＳＴＭへ０.６周期分入力し ２周期〜３周期の波形の平均値、ｓｉｎｃｏｓ合成波を予測します。

左図：入力振幅１.０のｓｉｎＣｏｓ合成波
中央：入力振幅０.５のｓｉｎＣｏｓ合成波
右図：入力振幅０.５の理論値ｓｉｎＣｏｓ合成波

学習時のｏｕｔＬａｙｅｒの重みが少し変化したとき誤差の微分値、勾配の推移。

学習時のＬＳＴＭＬａｙｅｒの重み分布とｅｒｒｏｒの推移