这一篇介绍重头戏：多智能体强化学习。多智能体要比之前的单智能体复杂很多。但也更有意思。
13. Multi-Agent-Reiforcement-Learning
13.1 多智能体关系设定
- 合作关系 Full Cooperative Setting
- 竞争关系 Full Competitive Setting
- 合作和竞争的混合 Mixed Cooperative & Competitive
- 利己主义 Self-Interested
a. 完全合作关系
- agents 的利益一致，合作去获取共同的回报；
- 如工业机器人共同装配；
b. 完全竞争关系
- 一个 agent 的收益是另一个 agent 的损失；
- 如机器人搏斗，零和博弈；
c. 合作竞争混合
- 既有合作，也有竞争；
- 如足球机器人；
d. 利己主义
- 每个 agent 只考虑最大化自身利益，不关心别人的利益；
- 比如股票的自动交易；
13.2 专业术语
下面在多智能体的背景下更新一下先前的概念：
a. state / action / state transition
假设系统中有 n 个 agents，S 表示状态，用 \(A^i\) 表示 第 i 个agent 的动作
状态转移函数 : \(p(s'|s,a^1,...,a^n)=\mathbb{p}(S'=s'|S'= s',A^1=a^1,...,A^n = a^n)\)
这个函数是隐藏的，即只有环境知道，而人不知道。
多智能体问题的难点就是，下一状态 S' 会受到所有 agents 的 动作的影响。
b. Rewards
- 有 n 个 agents ，每一轮就会有 n 个奖励，用 \(R^i\) 表示第 i 个 agent 的奖励；
- 在合作的情境下：每个 agent 的奖励都相等；
- 在竞争的情境下：一个 agent 的奖励是另一个 agent 奖励的损失：\(R^1 \propto -R^2\)
- agent 获得的奖励不仅仅取决于本身的动作，还取决于 其他 agent 的动作；
c. Returns
用 \(R^i_t\) 来表示第 i 个 agent 在 t 时刻获得的奖励；
则 第 i 个 agent 在时刻 t 的回报 Return 表示为：
\(U_t^i=R_t^i+R^i_{t+1}+...+...\)
折扣回报是加权和：
\(U_t^i = R^i_t+\gamma \cdot R_{t+1}^i +\gamma^2\cdot R_{t+2}^i + ...\)
d. Policy Network 策略网络
- 用神经网络近似策略函数 \(pi\)；
- 第 i 个 agent 的策略网络记为： \(\pi(a^i|s;\theta^i)\)，所有网络结构可以相同；
- 在一些情况下，不同agent的网络参数可能一样，因为它们彼此是可以替换的；
- 在更多场景中，策略网络不能互换，不同 agent 的功能不同。
e. 奖励和回报 随机性的来源
- 奖励 \(R_t^i\) 依赖于当前状态 \(S_t\) 和 所有 agent 当前的动作 \(A_t^1,A_t^2,...,A_t^n\)
- 状态的随机性来自于状态转移函数 p；
- \(A_t^i\) 的随机性 来自于 策略函数，具体问题中是策略网络 \(\pi\)；
- 回报 \(U_t^i\) 依赖于t 时刻开始所有的 奖励：
- 未来所有的状态 \({S_t,S_{t+1},...}\)
- 未来所有的动作 \(A_t^i,A_{t+1}^i,A_{t+2}^i,...\)
f. 状态价值函数
第 i 个 agent 的状态价值函数 是:\(V^i(s_t;\theta^1,...,\theta^n)=\mathbb{E}[U^i_t | S_t=s_t]\)
对 \(U_t\) 求期望后，就消除掉了未来的状态以及所有 agent 的动作，这样 \(V^i\) 只依赖于 当前状态 \(s_t\)
动作 \(A^j_t\) 是随机的，根据策略函数 \(\pi\) 来随机抽样选择：\(A^j_t\sim\pi(\cdot | s_t;\theta^j)\)；
所以第 j 个策略网络会影响状态价值函数 \(V^i\)
13.3 多智能体策略学习的收敛问题
Convergence , 收敛.
- 收敛的意思是，无法通过改变策略，来获得更大的价值回报；如果所有的 agent 都找不到更好的策略，说明已经收敛，可以停止训练；
a. 单智能体的策略学习
单智能体的策略网络只有一个：\(\pi(a|s;\theta)\)
状态价值函数：\(V(s;\theta)\)；
对 V 关于状态 s 求期望，得到目标函数： \(J(\theta)=E_s[V(s;\theta)]\)
消掉了 状态 s；因为只依赖于 θ，所以可以用于评价策略好坏， J 越大，则说明策略越好。
策略网络的参数学习方式为最大化目标函数 J：$ \max\limits_{\theta} J(\theta)$
策略网络的收敛条件为目标函数不再增加。
b. 多智能体的策略学习
如果有多个 agents，判断收敛的条件就是 纳什均衡。
在多智能体问题上直接应用单智能体的 算法 并不好，可能会不收敛，原因：
c. 在 m-agents 问题上应用 s-agent 方法
系统中有 n 个 agent，假设独立和环境交互，即每个 agent 都可以独立观测到 环境的状态 s、接收环境给的奖励 r，进而计算 a并执行；
接着用策略梯度算法更新各自的策略网络，就相当于 n 个 agents 的策略学习的叠加，并且彼此之间没有直接联系。
下面说明一下这种思路为什么不行：
假设第 i 个智能体的策略网络为： \(\pi(a^i|s;\theta^i)\)
第 i 个智能体的状态价值函数为：\(V(s;\theta^1,...,\theta^n)\)
目标函数为：\(J(\theta^1,\theta^2,...,\theta^n)=\mathbb{E}[V(s;\theta^1,\theta^2,...,\theta^n)]\)
当 \(agent^i\) 要提高自己的回报，即学习第 i 个策略网络的参数，就是最大化目标函数：\(\max\limits_{\theta^i}J^i(\theta^1,..,\theta^n)\)
注意这里的目标函数 \(\max\limits_{\theta^i}J^i(\theta^1,..,\theta^n)\)，对于每个 agent 都不相同。
当一个智能体通过策略学习更新了策略，会通过环境影响其他智能体的目标函数，这样整体的策略学习可能永远无法收敛；
即，每个 agent 都不是独立的，每个 agent 都影响了下一个状态，下一个状态的改变反过来又改变了 agent 的策略。
那么我们应当如何处理多智能体的强化学习呢？
13.4 多智能体学习方法
因为 agents 之间会互相影响，所以最好在 agents 之间做通信来共享信息，而 agents 之间的通信方式主要分为 中心式 和 去中心式。
a. 去中心化
Fully decentralized. 即 agents 都是独立的个体，每个 agent 独立与系统交互，用自己观测到的状态和奖励更新自己的策略；彼此之间不交流，不知道别人的动作。
13.3 中已经介绍了这种方式的不足。
b. 中心化
所有 agent 都把信息传给中央控制器，中央控制器收集所有的状态和奖励，由中央统一做出决策，agent 自己不做决策，即 定于一尊。
c. 中心化训练 & 去中心化执行
这种方式 agents 各有各的策略网络；而训练时有中央控制器，中央统一收集信息帮助 agents 训练，训练结束后就由各自的策略网络作决策，不再需要中央控制器。
下面以比较常用的 Actor-Critic 来介绍多智能体强化学习的实现细节。
13.5 不完全观测
Partial Observation.在多智能体强化学习中，通常假设智能体是不完全观测的，即只能观测到局部状态，不能观测到全局的状态。
- 把 \(agent^i\) 观测到的状态记为 \(o^i\)，在不完全观测时， \(o^i\neq s\)
- 完全观测时，\(o^1=...=o^n=s\)
13.6 完全去中心化
每个 agent 独立与环境进行交互，独立训练自己的策略网络，跟之前的单智能体强化学习基本相同，训练结束后，每个 agent 用自己的策略网络来作决策。把观测到的 \(o^i\) 输入，输出动作的概率分布，抽样得到动作并执行 \(a^i\)。
如何用去中心化实现 Actor-Critic ？
- 每个 agent 上都搭载了计算设备，如 CPU、GPU；
- 在每个 agent 上都部署策略网络 Actor \(\pi(a^i|o^i;\theta^i)\) 和价值网络 Critic \(q(o^i,a^i;w^i)\) ；训练思路与此前的 Actor-Critic 相同。
- agent 独立运行，不做通信;
- 但 agents 之间的联系不能忽略，这样做效果不好。
13.7 完全中心化
n 个 agents 与环境交互，将观测到的 状态和奖励 都上报给 中央控制器，由中央的策略网络来作决策，中央把决策发给每个 agent 。
agents上面没有策略网络，不能自己作决策，只听中央控制器的。
训练也是在中央控制器进行，用所有观测到的的状态和奖励来训练策略网络。
执行时，也需要中央控制器训练出的 n 个策略网络，网络结构相同，具体参数可能不同。
如何用中心化实现 Actor-Critic ？
- 中央控制器接收到 所有的动作 \(a\) 和 状态 \(o\)，以及所有的奖励；
- 中央控制器上有 n 个策略网络和 n 个价值网络，对应 n 个agents；
- 策略网络 \(\pi(a^i|o_{all};\theta^i)\)，输入是所有的观测值 o，输出是动作概率值；通过概率抽样执行动作；
- 价值网络 \(q(o,a;w^i)\)，评价对应的策略网络的决策好坏；
- 用策略梯度算法来训练策略网络；
- 用 TD算法 训练 价值网络；
- 结束训练后，中央控制器用策略网络来作决策：
- agents 上报 状态\(o_{all}\)，中央输入 策略网络，抽样得到动作 \(a^i\)
- 把 \(a^i\) 传达到 第 i 个 agent，命令其执行；
中心化的好处是收集全局的信息，可以面向所有 agents 做出好的决策。但缺点主要在于执行速度慢，无法做到实时决策。
13.8 中心化训练 & 去中心化执行
- 每个 agent 都有策略网络，训练的时候使用 13.7 中心化训练的方式，执行时不需要中央控制器，用自己的策略网络，基于局部观测来做出决策。
- 这个方式目前比较流行，模型也有很多种，下面介绍一种 Actor-Critic 方法：
- 参考文献：
- 每个agent上都布置自己的策略网络 \(\pi(a^i|o^i;\theta^i)\)，输入是agent自己的局部观测 状态 \(o^i\) ,不依赖其他 agents。
- 中央控制器上有 n 个价值网络 \(q(o,a;w^i)\)，对对应的策略网络进行评价，帮助训练策略网络；输入是所有的动作和状态；价值网络的结构相同，但是参数不同；
- 训练时中央控制器收集所有的观测、动作和奖励；
- 完成训练，每个 agent 独立作决策。
训练方式：
中央控制器上训练的价值网络，使用TD算法进行更新，输入：
- \(a=[a^1,a^2,...,a^n]\)
- \(o=[o^1,o^2,...,o^n]\)
- 注意，只需一个奖励 \(r^i\)
输出用TD算法拟合 TD target，即为 \(q^i\).
agent 端训练的策略网络在中央控制器的价值网络提供的 q 下进行训练；输入为：
- \(a^i\)、\(o^i\)、\(q^i\)
- 不需要其他 agents 的信息。
用策略梯度算法 更新 \(\theta_i\)；
执行过程：
不再需要中央控制器，只基于各自的局部观测与策略网络来做出决策。
13.9 参数共享
在本文举例的 Actor-Critic 中，有：
- n个策略网络：\(\pi(a^i|o^i;\theta^i)\)
- n个价值网络：\(q(o,a;w^i)\)
- 训练的参数是 \(\theta,w\)
- 第 i 和第 j 两个神经网络，共享参数的意思是，\(\theta^i=\theta^j,w^i=w^j\)
- 是否共享参数取决于情境
- 功能不同的 agents 之间不能共享：如足球机器人
- 功能相同的 agents 之间可以共享：如无人车