近日,2023年IEEE游戏大会(Conference on Games, CoG) 足球AI竞赛正式公布了比赛结果,网易互娱AI Lab成功卫冕,分别以2182.09分和2053.84分的成绩再度包揽了5v5和11v11两个赛道的冠军,并以高于亚军450.87分和562.45分的绝对优势取得了断崖式领先。值得一提的是,在主赛道11v11的两轮正赛共计420场比赛中,网易互娱AI Lab取得了420场全胜的碾压式战绩,以场均净胜超过20球的成绩击败了来自众多知名企业和顶尖学府的AI团队,相较上一届比赛中的表现也取得了大幅提升,再度彰显了实验室在游戏AI方面的技术硬实力。
比赛 |
队伍 |
成绩 |
5v5 |
网易互娱AI Lab |
2182.09 |
亚军团队 |
1731.22 |
|
11v11 |
网易互娱AI Lab |
2053.84 |
亚军团队 |
1491.39 |
IEEE游戏大会是游戏人工智能领域的国际顶会,汇聚了来自全球游戏AI领域内的研究和开发人员,共同探讨游戏技术与设计相关的前沿话题和未来趋势。本次IEEE游戏大会下设的足球AI竞赛已连续举办两届,吸引了包括来自哔哩哔哩、字节跳动、清华大学、中科院等众多工业界和学术界的顶尖队伍,竞争非常激烈。
本届足球AI竞赛设置了5v5和11v11双赛道。其中,5v5赛道要AI学会控制除了守门员之外的4名队员,而11v11赛道则要AI学会控制包含守门员在内的全部11名队员。在策略层面上,智能体需要在无法准确预知其他智能体的行动时进行决策,并与其他智能体进行良好配合,如适时进行截断、阻挡、突破和反击;在宏观层面上,智能体还需要在进攻策略和防守策略之间找到平衡,其中所涉及的团队协作和竞争对抗十分复杂,这都对AI训练提出了挑战。
面对以上难题,网易互娱AI Lab使用了已经在公司内部验证多次的、从零开始的深度强化学习方案进行智能体训练,从而极大提升了智能体的强度,并令其表现出了极为流畅的传接配合。其中,在强化学习部分,实验室使用了PPO(近端优化算法)在CTCE(中心化训练中心化推理)模式下进行自博弈训练,所用的策略网络主体现由Transformer和LSTM两大模块构成。整个队伍的决策现在可以在经过神经网络推理后一次性全部输出,减少了推理所需算力从而极大地加速了训练过程。同时,得益于自研的分布式深度强化学习框架,训练过程加入了和数百种不同风格的对手进行对战的模拟场景。最终,网易互娱AI Lab的智能体能够在此次比赛中面对各种未知对手的情况下稳定取胜,而且相较于其他参赛队伍也表现出了更加多样的策略,例如下底传中、防守反击、战术犯规等真实足球比赛中的常见战术。
网易互娱AI Lab在开局取得球权后在面对多名防守队员的情况下连续精准传球,光速破门
除了竞赛中的竞技对战功能,游戏AI还能被应用于游戏冷启动的友好陪玩、平衡性测试等场景,前者可帮助提升玩家的游戏体验,而后者则能在游戏开发中帮助降低成本并提升效率。网易互娱AI Lab的游戏AI相关技术应用了前沿的模仿学习、强化学习、进化学习算法等,目前已经在多款游戏中落地,满足各类游戏场景需求。从理论到实践、从简单到困难,网易互娱AI Lab将持续通过游戏AI技术带给玩家更为精彩的体验,赋予游戏全新的价值。