1.什么是人工智能对齐
人工智能对齐（AI Alignment）指让人工智能的行为符合人的意图和价值观。
图 ChatGPT的不对齐行为
2.为什么要研究人工智能对齐
根据人工智能对齐的定义，所有的人工智能问题（包括AI伦理、AI治理、可解释性AI，甚至是最基本的回归和分类问题）都可以算是人工智能对齐问题。那么为什么学术界还要发明“人工智能对齐”这个新概念？研究“人工智能对齐”这个新概念有什么价值呢？
随着机器学习模型规模的不断变大以及神经网络的大量应用，人类已经无法完全理解和解释人工智能的某些行为。例如，用于围棋AlphaGo下的某些棋迄今也不能被人类所完全理解。在未来，有可能会出现全方面碾压人类的人工智能（比如《流浪地球》里的MOSS）。。
3.人工智能对齐的常见方法
人工智能对齐离不开人的接入。人对人工智能系统进行评估和反馈，可以确认人工智能中不对齐的情况，并指导其进行改进。
人工智能对齐的方法包括模仿学习和人类反馈强化学习。ChatGPT就采用了这些对齐方法。
ChatGPT训练步骤 图片来源
上图是ChatGPT的训练步骤图
步骤一利用收集到的数据进行监督学习，这一部分就是在用模仿学习进行人工智能对齐。不过，ChatGPT的训练团队认为，仅仅用模仿学习并不能完全达到要求。
为此，ChatGPT的训练过程进一步地使用了人类反馈强化学习。步骤图中的第二步和第三步就用到了人类反馈强化学习。
第二步通过人类的反馈构建奖励模型。
在利用反馈进行奖励模型对齐的训练过程中，对于每个样本，先由语言模型输出几个备选的回答，然后再由人类对这些回答进行排序。这样的做法与直接让用户提供参考答案相比，更能够激发语言模型本身的创造力，也能使得反馈更快更省钱。
第三步利用奖励模型进行强化学习。
延伸阅读
《强化学习：原理与Python实战》
肖智清 著
解密ChatGPT关键技术PPO和RLHF