ＡＩのＲＮＮ回帰ニューラルネットワークに、一定時間間隔毎にサンプルした既存の時系列データを入力し 未来どのような値になるかを予測することを試みます。
入力する時系列データは、教師データが明確な Ｓｉｎ波（Ｙ＝ｓｉｎ(Θ)）に平均０、標準偏差１の正規分布の乱数を０.１倍したノイズを加算した波形を使用します。 下図の実線が既存の時系列入力データ、破線が未来の予測データ、教師データです。

ＲＮＮ回帰ニューラルネットワークの構成です。

時系列入力データｘの重みパラメータｗ、前時刻のＲＮＮ出力Ｙを入力したＺの重みパラメータＶ
ｂはバイアス値で初期値０です。

まず、振幅±１.０、長さ６πのｓｉｎ波に、平均０、標準偏差１の正規分布の乱数を０.１倍したノイズを加算して ｎｏｉｓｅ＋ｓｉｎ波形（ノイズｓｉｎ波形）を作成します。
作成した６πのノイズｓｉｎ波形を時間軸方向に１００分割して、指定個数の連続したサンプル値を１個づつずらしながら配列へ保存します。 その配列のデータをＲＮＮへ入力して学習します。

指定個数の連続したサンプル値をＲＮＮへ入力し演算した結果は、指定個数＋１個目のサンプルデータの予測値として、 ノイズｓｉｎ波の実際の値との二乗和誤差を計算します。この誤差が小さくなるようにＲＮＮの重みパラメータを更新します。

６πのノイズｓｉｎ波を全て学習することを１Epochとして１００Epoch学習してみました。

予測方法
学習完了後、ＲＮＮにノイズｓｉｎ波形のスタート時のデータ１０個を与え、ノイズｓｉｎ波１０データから 次の１１番目の波形を予測します。
予測値をノイズｓｉｎ波の配列の最後に加え、又、配列の最初のデータを捨て、合計１０個のデータを ＲＮＮに与え次の１２番目の波形を予測します。
これを繰り返してスタート時の１０個目以降の波形を順次予測します。

下記グラフはＥｐｏｃｈが進むにつれてＲＮＮが学習し、青色のノイズｓｉｎ波に対しオレンジの予測波形が 重なっていく様子を表示しています。

RNN個数：10、中間層：20、学習係数：0.0005、Ｅｐｏｃｈ：100

青色：ノイズｓｉｎ波
オレンジ：予測波形、
青とオレンジが重なった部分：開始時のみＲＮＮへ１０個のノイズｓｉｎ波データを入力

１回目
Epoch:0/50 Error:10.997
Epoch:10/50 Error:1.144
Epoch:20/50 Error:0.905
Epoch:30/50 Error:0.865
Epoch:40/50 Error:0.834
Epoch:50/50 Error:0.807

２回目
Epoch:0/50 Error:12.052
Epoch:10/50 Error:0.988
Epoch:20/50 Error:0.787
Epoch:30/50 Error:0.702
Epoch:40/50 Error:0.650
Epoch:50/50 Error:0.605

１回目
Epoch:0/50 Error:6.011
Epoch:10/50 Error:0.305
Epoch:20/50 Error:0.291
Epoch:30/50 Error:0.278
Epoch:40/50 Error:0.280
Epoch:50/50 Error:0.272

２回目
Epoch:0/50 Error:5.463
Epoch:10/50 Error:0.331
Epoch:20/50 Error:0.310
Epoch:30/50 Error:0.299
Epoch:40/50 Error:0.300
Epoch:50/50 Error:0.292

１回目
Epoch:0/50 Error:4.619
Epoch:10/50 Error:0.743
Epoch:20/50 Error:0.405
Epoch:30/50 Error:0.386
Epoch:40/50 Error:0.297
Epoch:50/50 Error:0.285
Epoch:60/100 Error:0.266
Epoch:70/100 Error:0.239
Epoch:80/100 Error:0.241
Epoch:90/100 Error:0.207
Epoch:100/100 Error:0.185

２回目
Epoch:0/50 Error:5.270
Epoch:10/50 Error:0.956
Epoch:20/50 Error:0.461
Epoch:30/50 Error:0.361
Epoch:40/50 Error:0.313
Epoch:50/50 Error:0.279
Epoch:60/100 Error:0.280
Epoch:70/100 Error:0.223
Epoch:80/100 Error:0.212
Epoch:90/100 Error:0.187
Epoch:100/100 Error:0.196

実運用を考えた時、ノイズは常に変化し、波形の振幅、位相も、運用時の条件によって変化します。 同一波形を予測するのではなく、ノイズが変化した、振幅を変えた、位相を変えた波形をＲＮＮへ入力し、 ０.６周期分の入力波形から２周期〜３周期の波形を予測できるかを検証します。

１回目
検証として、学習時と異なるノイズ波形、振幅を変えたノイズｓｉｎ波を ＲＮＮへ０.６周期分入力し ２周期〜３周期の波形の平均値、ｓｉｎ波を予測します。
ランダムノイズ波形を含めて予測することは無意味と思われるので、その平均値を予測します。
波形が重なった部分が１周期分のサンプル値で、それ以降が赤色：予測波形となります。

フィルターではありませんので３周期分の時系列データをＲＮＮへ入力して ｓｉｎ波を出力しているわけではありません。

ＲＮＮ個数：２０、全波形分割数：１００
左図：振幅１.０のノイズｓｉｎ波形
中央：振幅０.５のノイズｓｉｎ波形
右図：振幅０.５の理論値ｓｉｎ波形

緑色：ノイズｓｉｎ波
赤色：予測波形、
緑と赤色が重なった部分：開始時のみＲＮＮへノイズｓｉｎ波データを入力
振幅１.０のｓｉｎ波を予測出来ました、また振幅を０.５へ変えましたが、理論値に近い値で予測出来ました。

学習時と異なる位相、ノイズ波形、振幅を変えたノイズｓｉｎ波を ＲＮＮへ０.６周期分入力し ２周期〜３周期の波形の平均値、ｓｉｎ波を予測します。

左図：振幅１.０のノイズｓｉｎ波形
中央：振幅０.５のノイズｓｉｎ波形
右図：振幅０.５の理論値ｓｉｎ波形

位相と振幅を変えましたが、理論値に近い値で予測出来ました。

学習時のｏｕｔＬａｙｅｒの重みが少し変化したとき誤差の微分値、勾配の推移。

学習時のＲｎｎＬａｙｅｒの重み分布とｅｒｒｏｒの推移

２回目
学習時と異なるノイズ波形、振幅を変えたノイズｓｉｎ波をＲＮＮへ １.１周期分入力し２周期〜３周期の波形の平均値、ｓｉｎ波を予測します。

ＬＳＴＭ個数：３６、全波形分割数：１００
左図：振幅１.０のノイズｓｉｎ波形
中央：振幅０.５のノイズｓｉｎ波形
右図：振幅０.５の理論値ｓｉｎ波形

学習時と異なる位相、ノイズ波形、振幅を変えたノイズｓｉｎ波をＲＮＮへ １.１周期分入力し、２周期〜３周期の波形の平均値、ｓｉｎ波を予測します。

左図：振幅１.０のノイズｓｉｎ波形
中央：振幅０.５のノイズｓｉｎ波形
右図：振幅０.５の理論値ｓｉｎ波形

学習時のＲｎｎＬａｙｅｒの重み分布とｅｒｒｏｒの推移

以上の結果からＲＮＮを使用してノイズ波形、波形の振幅、位相を変更しても、与えた１周期分の時系列データから ２〜３周期の波形を十分に予測することが出来ました。

今回はＬＳＴＭ（Long short term memory長期短期記憶）を使用します。 前回同様、同一波形を予測するのではなく、ノイズが変化した、振幅を変えた、位相を変えた波形をＬＳＴＭへ入力し、 ０.６周期分の入力波形から２周期〜３周期の波形を予測できるかを検証します。 学習時間は３倍程度遅くなりますが、予測精度が高くなりました。

検証として、学習時と異なるノイズ波形、振幅を変えたノイズｓｉｎ波を ＬＳＴＭへ０.６周期分入力し ２周期〜３周期の波形の平均値、ｓｉｎ波を予測します。
波形が重なった部分が０.６周期分のサンプル値で、それ以降が赤色：予測波形となります。

ＬＳＴＭ個数：２０、全波形分割数：１００
左図：振幅１.０のノイズｓｉｎ波形
中央：振幅０.５のノイズｓｉｎ波形
右図：振幅０.５の理論値ｓｉｎ波形

学習時と異なる位相、ノイズ波形、振幅を変えたノイズｓｉｎ波を ＬＳＴＭへ０.６周期分入力し ２周期〜３周期の波形の平均値、ｓｉｎ波を予測します。

左図：振幅１.０のノイズｓｉｎ波形
中央：振幅０.５のノイズｓｉｎ波形
右図：振幅０.５の理論値ｓｉｎ波形

学習時のｏｕｔＬａｙｅｒの重みが少し変化したとき誤差の微分値、勾配の推移。

学習時のＬＳＴＭＬａｙｅｒの重み分布とｅｒｒｏｒの推移

２回目
学習時と異なるノイズ波形、振幅を変えたノイズｓｉｎ波を ＬＳＴＭへ１.１周期分入力し ２周期〜３周期の波形の平均値、ｓｉｎ波を予測します。
波形が重なった部分が１.１周期分のサンプル値で、それ以降が赤色：予測波形となります。

ＬＳＴＭ個数：３６、全波形分割数：１００
左図：振幅１.０のノイズｓｉｎ波形
中央：振幅０.５のノイズｓｉｎ波形
右図：振幅０.５の理論値ｓｉｎ波形

学習時と異なる位相、ノイズ波形、振幅を変えたノイズｓｉｎ波を ＬＳＴＭへ１.１周期分入力し ２周期〜３周期の波形の平均値、ｓｉｎ波を予測します。

左図：振幅１.０のノイズｓｉｎ波形
中央：振幅０.５のノイズｓｉｎ波形
右図：振幅０.５の理論値ｓｉｎ波形

学習時のｏｕｔＬａｙｅｒの重みが少し変化したとき誤差の微分値、勾配の推移。

学習時のＬＳＴＭＬａｙｅｒの重み分布とｅｒｒｏｒの推移

ＬＳＴＭニューラルネットワークに、ノイズを重畳した矩形波の時系列データを入力し 未来どのような値になるかを予測することを試みます。 青色がノイズを重畳した矩形波、オレンジ色が未来の予測波形,教師データです。波形が重なっているので見えませんが 青色はノイズを重畳した矩形波です。

下図、学習時と異なるノイズ波形、振幅を変えたノイズ矩形波を ＬＳＴＭへ１.１周期分入力し ２周期〜３周期の平均波形、矩形波を予測します。
波形が重なった部分が１.１周期分のサンプル値で、それ以降が赤色：予測波形となります。

左図：振幅１.０のノイズ矩形波
中央：振幅０.５のノイズ矩形波
右図：振幅０.５の理論値矩形波

学習時と異なる位相、ノイズ波形、振幅を変えたノイズ矩形波を ＬＳＴＭへ１.１周期分入力し ２周期〜３周期の平均波形、ｓｉｎ波を予測します。

左図：振幅１.０のノイズ矩形波
中央：振幅０.５のノイズ矩形波
右図：振幅０.５の理論値矩形波

学習時のｏｕｔＬａｙｅｒの重みが少し変化したとき誤差の微分値、勾配の推移。

学習時のＬＳＴＭＬａｙｅｒのｅｒｒｏｒの推移