連續(xù)狀態(tài)—動作空間下強化學習方法的研究.pdf

1、作為一類具有多學科交叉特點的機器學習方法，強化學習在復雜的決策優(yōu)化和控制問題中具有廣泛的應用背景。但對于大規(guī)模或連續(xù)狀態(tài)和動作空間的馬氏決策問題，強化學習面臨著“維數(shù)災”問題，從而限制了強化學習方法的進一步推廣應用。為此，本文主要在大規(guī)模和連續(xù)空間下強化學習的理論及算法方面進行系統(tǒng)深入的研究。本文的主要內容和研究成果如下： 首先，研究了離散狀態(tài)和離散動作空間的強化學習問題，提出了一種基于資格跡機制的加權遞歸最小二乘多步Q學習算法

2、，能夠實現(xiàn)在線增量式學習，有效提高了算法的計算效率，并運用離散鞅理論對算法的收斂性進行了分析。 其次，針對具有連續(xù)狀態(tài)空間下的控制問題，設計出一種自適應的強化學習算法。在Actor-Critic框架下，用一個歸一化RBF網絡同時逼近Critic的值函數(shù)和Actor的策略函數(shù)。由于Actor和Critic對網絡輸入層和隱層資源的共用，使得算法比較簡單，同時實現(xiàn)了對狀態(tài)空間的在線、自適應構建。 第三，提出了一類連續(xù)狀態(tài)與連續(xù)

3、動作空間下的加權Q學習算法。利用RBF網絡實現(xiàn)標準的Q學習，完成對離散動作效用值的逼近，然后采用加權規(guī)則對離散動作的效用值進行加權，得到作用于系統(tǒng)的連續(xù)動作，從而實現(xiàn)了將Q學習的應用擴展到具有連續(xù)動作空間的控制問題。 第四，利用模糊推理的可理解性與RBF網絡的學習能力，首先構建了一類基于模糊RBF網絡的模糊強化學習體系結構，然后基于此體系結構，分別設計出模糊Actor-Critic學習和模糊Q學習。這兩種學習算法具有泛化性能好、