python - 开放式AI健身房Cartpole的政策梯度方法

我是强化学习的初学者，正在尝试实施策略梯度方法以使用Tensorflow解决Open AI Gym CartPole任务。但是，我的代码似乎运行得非常慢。第一集以可接受的速度运行，但是从第二集开始非常慢。为什么会这样，我该如何解决这个问题？

我的代码：

import tensorflow as tf
import numpy as np
import gym

env = gym.make('CartPole-v0')

class Policy:
    def __init__(self):
        self.input_layer_fake = tf.placeholder(tf.float32, [4,1])
        self.input_layer = tf.reshape(self.input_layer_fake, [1,4])
        self.dense1 = tf.layers.dense(inputs = self.input_layer, units = 4,
                                  activation = tf.nn.relu)
        self.logits = tf.layers.dense(inputs = self.dense1, units = 2,
                                  activation = tf.nn.relu)
    def predict(self, inputObservation):
        sess = tf.InteractiveSession()
        tf.global_variables_initializer().run()
        x = tf.reshape(inputObservation, [4,1]).eval()
        return (sess.run(self.logits, feed_dict = {self.input_layer_fake: x}))

    def train(self, features_array, labels_array):
        for i in range(np.shape(features_array)[0]):
            print("train")
            print(i)
            sess1 = tf.InteractiveSession()
            tf.global_variables_initializer().run()
            self.cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels = labels_array[i], logits = self.logits))
            self.train_step = tf.train.GradientDescentOptimizer(0.5).minimize(self.cross_entropy)
            y = tf.reshape(features_array[i], [4,1]).eval()
            sess1.run(self.train_step, feed_dict={self.input_layer_fake:y})

agent = Policy()
train_array = []
features_array = []
labels_array = []
main_sess = tf.InteractiveSession()
tf.global_variables_initializer().run()

for i_episode in range(100):
    observation = env.reset()

    for t in range(200):
        prevObservation = observation
        env.render()

        if np.random.uniform(0,1) < 0.2:
            action = env.action_space.sample()
        else:
            action = np.argmax(agent.predict((prevObservation)))

        observation, reward, done, info = env.step(action)
        add_in = np.random.uniform(0,1)
        if add_in < 0.5:
            features_array.append(prevObservation)
            sarPreprocessed = agent.predict(prevObservation)
            sarPreprocessed[0][action] = reward
            labels_array.append(sarPreprocessed)
        if done:
            break

    agent.train(features_array, labels_array)
    features_array = []
    labels_array = []

任何帮助是极大的赞赏。

最佳答案

自从我看过这种尝试实现Policy Gradients以来已经有一段时间了，但是据我所记得，问题是我在train函数中使用了循环。

当我遍历features_array中的每个元素时，虽然数组的长度不断增长（features_array从未设置回[]），但程序速度变慢。取而代之的是，我应该以“批处理”的方式进行培训，同时定期清除features_array。

我在这里实现了更简单的香草政策梯度算法版本：
https://github.com/Ashboy64/rl-reimplementations/blob/master/Reimplementations/Vanilla-Policy-Gradient/vanilla_pg.py

可以在此处找到称为PPO（近端策略优化）的性能更好的改进算法（仍基于策略梯度）的实现：
https://github.com/Ashboy64/rl-reimplementations/tree/master/Reimplementations/PPO

关于python - 开放式AI健身房Cartpole的政策梯度方法，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/46597809/