▶ 実 行
▶ 実行
クリア
# OpenAI Gym Certpole Q-Learning # なでしこv3版のOpen AI Gym Certpoleの環境を取り込む !「https://n3s.nadesi.com/plain/1927.nako3」を取り込む 強化学習 ●強化学習とは QENVとは変数 ENVとは変数 QENVはQENV作成 ENVはGYM作成 QENV["イテレーション数"]は0 # イテレーションを繰り返す オンの間繰り返す QENV["ゲーム数"]は0 # ゲームを繰り返す (QENV["ゲーム数"]＜QENV["イテレーションゲーム数"])の間繰り返す QENV["STATE"]はGYMリセット QENV["エピソード報酬"]は0 QENV["ステップ"]は0 続行フラグとは変数 続行フラグはオン # 1ゲーム分のステップを行う (続行フラグ=オン)の間繰り返す ACTIONとは変数 ACTIONはQENVのACTION取得 結果とは変数 結果はACTIONでGYMステップ GYM描画 次STATEとは変数 REWARDとは変数 DONEとは変数 COMPLETEとは変数 次STATEは結果[0] REWARDは結果[1] DONEは結果[2] COMPLETEは結果[3] QENV["エピソード報酬"]はQENV["エピソード報酬"]+REWARD REWARDは0 もし、DONEならば、 もし、COMPLETEならば、 REWARDは1.0 違えば REWARDは-1.0 ここまで 続行フラグはオフ 違えば REWARDは0.0 ここまで QENVのACTIONを次STATEにREWARDでQTABLE更新 QENV["STATE"]は次STATE QENVのACTIONで状態表示 QENVの報酬グラフ描画 QENV["ステップ"]はQENV["ステップ"]+1 (1.0/QENV["FPS"])秒待つ ここまで QENV["ゲーム数"]はQENV["ゲーム数"]+1 QENV["エピソード"]はQENV["エピソード"]+1 QENV["エピソード報酬履歴"]にQENV["エピソード報酬"]を配列追加 もし、(QENV["エピソード報酬履歴"]の配列要素数)＞QENV["エピソード報酬履歴最大数"]ならば、 QENV["エピソード報酬履歴"]の0を配列切取 QENV["エピソード報酬履歴起点"]はQENV["エピソード報酬履歴起点"]+1 ここまで ここまで QENV["イテレーション数"]はQENV["イテレーション数"]+1 ここまで ここまで ●(AからBまでXをNに)離散化とは Cとは変数 Dとは変数 Dは(B-A)/N Cは(X-A)/D もし、C<0ならば 0で戻る ここまで CはCの整数部分 もし、C>N-1ならば、 N-1で戻る ここまで Cで戻る ここまで ●QENV作成とは QENVとは変数 QENVは{ ETA:0.5, GAMMA:0.99, イテレーションゲーム数:20, イテレーション数:0, エピソード:0, ゲーム数:0, STATE:NULL, ステップ:0, FPS:50, エピソード報酬:0, 離散値N:[10,10,10,10], エピソード報酬履歴:[], 画面幅:描画中キャンバス["width"], 画面高:描画中キャンバス["height"], エピソード報酬履歴起点:0 } QENV["グラフX"]はQENV["画面幅"]/10 QENV["グラフY"]はQENV["画面高"]/3*2 QENV["グラフW"]はQENV["画面幅"]-QENV["グラフX"]*2 QENV["グラフH"]はQENV["画面高"]/3-20 QENV["エピソード報酬履歴最大数"]はQENV["グラフW"] QENV["QTABLE"]はQENVのQTABLE作成 QENVで戻る ここまで ●(QENVの)QTABLE作成とは Qとは変数 Qは[] (QENV["離散値N"][0]*QENV["離散値N"][1]*QENV["離散値N"][2]*QENV["離散値N"][3]*2)回繰り返す QにRNDを配列追加 ここまで Qで戻る ここまで ●(QENVのACTIONを次STATEにREWARDで)QTABLE更新とは Iとは変数 次Iとは変数 IはQENVのQENV["STATE"]からQINDEX取得 次IはQENVの次STATEからQINDEX取得 次最大Qとは変数 もし、QENV["QTABLE"][次I*2+0]＞QENV["QTABLE"][次I*2+1]ならば、 次最大QはQENV["QTABLE"][次I*2+0] 違えば 次最大QはQENV["QTABLE"][次I*2+1] ここまで Jとは変数 JはI*2+ACTION QENV["QTABLE"][J]はQENV["QTABLE"][J]+QENV["ETA"]*(REWARD+QENV["GAMMA"]*次最大Q-QENV["QTABLE"][J]) ここまで ●(QENVのSTATEから)QINDEX取得とは DSTATEとは変数 DSTATEは[ STATE[0]を-2.4から2.4までQENV["離散値N"][0]に離散化, STATE[1]を-3.0から3.0までQENV["離散値N"][1]に離散化, STATE[2]を-0.5から0.5までQENV["離散値N"][2]に離散化, STATE[3]を-2.0から2.0までQENV["離散値N"][3]に離散化 ] ((DSTATE[0]*QENV["離散値N"][1]+DSTATE[1])*QENV["離散値N"][2]+DSTATE[2])*QENV["離散値N"][3]+DSTATE[3]で戻る ここまで ●(QENVの)ACTION取得とは Eとは変数 Eは0.5*(1/(QENV["エピソード"]+1)) もし、E<RNDならば、 Iとは変数 IはQENVのQENV["STATE"]からQINDEX取得 もし、QENV["QTABLE"][I*2+0]＞QENV["QTABLE"][I*2+1]ならば、 0で戻る 違えば 1で戻る ここまで ここまで 2の乱数で戻る ここまで ●(QENVの)報酬グラフ描画とは 1に線太さ設定 黒色に線色設定 空に塗り色設定 [QENV["グラフX"],QENV["グラフY"],QENV["グラフW"],QENV["グラフH"]]の四角描画 「12px sans-serif」に描画フォント設定 描画中コンテキスト["textAlign"]は"right" 描画中コンテキスト["textBaseline"]は"middle" [QENV["グラフX"]-2,QENV["グラフY"]]に500を文字描画 [QENV["グラフX"]-2,QENV["グラフY"]+QENV["グラフH"]]に0を文字描画 描画中コンテキスト["textAlign"]は"center" [QENV["グラフX"],QENV["グラフY"]+QENV["グラフH"]+8]に(1+QENV["エピソード報酬履歴起点"])を文字描画 [QENV["グラフX"]+QENV["グラフW"],QENV["グラフY"]+QENV["グラフH"]+8]に(QENV["エピソード報酬履歴起点"]+QENV["エピソード報酬履歴最大数"])を文字描画 Xとは変数 Yとは変数 報酬とは変数 Xは0 報酬でQENV["エピソード報酬履歴"]を反復する 青色に塗り色設定 青色に線色設定 Yは報酬/500*QENV["グラフH"] [QENV["グラフX"]+X,QENV["グラフY"]+QENV["グラフH"]-Y,1,1]に四角描画 XはX+1 ここまで ここまで ●(QENVのACTIONで)状態表示とは 「16px sans-serif」に描画フォント設定 描画中コンテキスト["textAlign"]は"right" 描画中コンテキスト["textBaseline"]は"middle" [120,10]に「エピソード:」を文字描画 [180,10]にQENV["エピソード"]を文字描画 [260,10]に「ステップ:」を文字描画 [300,10]にQENV["ステップ"]を文字描画 [350,10]に「操作:」を文字描画 Mとは変数 ACTIONで条件分岐 0ならば、 Mは「←」 ここまで 1ならば、 Mは「→」 ここまで 違えば、 Mは「？」 ここまで ここまで [370,10]にMを文字描画 ここまで ●RNDとは 『Math.random』を[]でJS関数実行で戻る ここまで