第3章 多种机器学习方法在赛车AI中的综合应用

3.1 游戏AI简介

本章以研发高强度的竞速赛车AI为目标，介绍遗传算法、监督学习和强化学习在赛车AI中的研究和应用，并分析其优劣势。本章介绍赛车AI的常规制作方案，用简单的样例展示了赛道数学模型和赛车行驶控制，并引出AI参数调优问题。因为赛车AI的参数通常比较多且耦合，因此靠人工调参很难达到理想的效果。利用遗传算法进行程序自动化调参，则可以解决人工调参的问题，得到能力不错的赛车AI。

近几年机器学习技术发展迅速，在游戏领域取得了不错的效果。例如，腾讯的《王者荣耀》、《穿越火线手游》和《QQ飞车手游》等游戏都应用了深度学习技术以实现高强度的AI。《王者荣耀》的游戏AI“绝悟”是一个策略协作AI，在5V5模式中战胜过职业联队；游戏内上线的“绝悟”AI挑战模式，提供多个难度的AI给玩家挑战，可以满足玩家与职业选手挑战的需求。《穿越火线手游》通过“AI剧情模式”，让玩家跟随剧情，挑战实力堪比职业选手的智能AI对手，一步步地提升玩家能力。《QQ飞车手游》同样在剧情模式、车神挑战等玩法中使用高强度赛车AI，给玩家设置有梯度的挑战目标，提升玩家游戏体验。

游戏AI主要使用的是监督学习和强化学习两种机器学习方案。监督学习是指通过样本学习建立一个模型，并依此模型推测新的实例。强化学习是指基于环境的反馈而行动，训练一个模型以得到最大化的预期利益。本章以训练赛车AI模型为例，介绍监督学习和强化学习的基础知识及落地过程中可能面临的挑战，并对它们的应用进行简要分析，以便缺少相关知识的游戏从业人员了解这两项技术。