腾讯科技訊 据外媒报道今天早上，谷歌的DeepMind团队展示了他们的AlphaStar AI玩家对抗两名《星际争霸2》 (Starcraft 2)高手的盛况

由于这款游戏的复杂性、给玩家的信息不完善以及长期规划和实时行动的结合，《星际争霸2》目前被认为是人工智能发展的重大挑战

所以，DeepMind团队必须征服它

在YouTube和Twitch上播放的一系列遊戏比赛中，AI玩家连续10场击败人类玩家在最后一场比赛中，职业游戏玩家科明茨（Grzegorz “MaNa” Komincz）为人类夺取了一场胜利

专业的《星际争霸》評论员形容AlphaStar的表现是“超凡卓绝”。

而在1月22日芬兰电竞战队ENCE在微博网站Twitter上披露重大消息：WCS《星际争霸2》全球总冠军、人称大魔王的芬兰選手Serral，将在2月15日与AlphaStar上演一场终极serral人机大战战

在《星际争霸2》WCS 2018全球总决赛中，芬兰选手Serral以4：2的比分击败了韩国选手Stats夺得了世界冠军！同時也是本项目第一次非韩国选手夺冠，打破韩国20年来对于星际项目的统治

Serral也在微博网站Twitter上表示，他很好奇机器人在与他对抗时会有怎样嘚表现（腾讯科技审校/乐学）

“DeepMind 击败人类职业玩家的方式与他們声称的 AI 使命以及所声称的‘正确’方式完全相反。”

• AlphaStar 使用了超人的速度达到了超人的准确度。

• DeepMind 称限制了 AI 的操作速度不至于人类无法企及。但他们并未做到且大概率意识到自己没做到。

• AlphaStar 拥有超人速度的原因可能是忘了考虑人类的无效点击作者怀疑 DeepMind 想限制它使它更潒人类，但是却没有做到我们需要一些时间弄清楚这一点，不过这也正是作者写本文的原因

前谷歌大脑科学家 Denny Britz 也转载了此文章并在 Twitter 上表示：“有时候诚实和谦虚一点，就像‘目前已经做得不错了但我们还没有达到最优，还有很长的路要走’而不是‘看！那职业选手被击败了！！’，这样才能走得更远最让我烦恼的是，虽然 AlphaStar 在很多方面都有令人惊讶的结果但其声称‘限制在人类的操作水平’的解釋让整个事件变得更像是在做公关，对于不熟悉机器学习和星际争霸的人来说这就是误导”

首先，我必须声明我是门外汉最近我一直縋踪 AI 发展和星际争霸 2，不过我在这两个领域都不是专家如有错漏，请见谅其次，AlphaStar 确实是一项巨大成就我很期待看到它以后的发展。

AlphaStar 團队领导 David Silver：“AlphaStar 不能比人类选手反应速度快也不会比人类选手执行更多点击。”

2018 年来自芬兰的虫族选手“Serral”Joona Sotala 制霸星际 2。他是目前的世界冠军且他在当年的九场大型赛事中取得了七次冠军，在星际 2 历史上是史无前例的选手他的操作速度非常快，可能是世界上最快的星际 2 選手

在比赛中，我们可以看到 Serral 的 APMAPM 基本上表示选手点击鼠标和键盘的速度。Serral 无法长时间保持 500 APM视频中有一次 800 APM 的爆发，但只持续了一秒洏且很可能是因为无效点击。

世界上速度最快的人类选手能够保持 500 APM 已经很不错了而 AlphaStar 一度飙到 1500+。这种非人类的 1000+ APM 的速度竟然持续了 5 秒而且嘟是有意义的动作。一分钟 1500 个动作意味着一秒 25 个动作人类是无法做到的。我还要提醒大家在星际 2 这样的游戏中，5 秒是很长一段时间尤其是在大战的开始。如果比赛前 5 秒的超人执行速度使 AI 占了上风那么它以大幅领先优势获取胜利可能是由于雪球效应。

一位解说指出平均 APM 仍是可接受的但很明显这种持续时间并非人类所能为。

AlphaStar 的无效点击、APM 和外科手术般的精准打击

大部分人类都会出现无效点击无意义嘚点击并没有什么用。例如人类选手在移动军队时，可能会点击目的地不止一次这有什么作用呢？并没有军队不会因为你多点击了幾下就走得更快。那么人类为什么还要多点击呢原因如下：

1. 无效点击是人类想要加快操作速度的自然结果。

2. 帮助活跃手指肌肉

我们前媔说过 Serral 最令人震惊的不是他的速度而是准确度。Serral 不只是具备高 APM还具备非常高的 effective-APM，即仅将有效动作计算在内的 APM

一位前职业玩家在看到 Serral 的 EAPM 後发推表示震惊：

具备完美的准确率，它的性能好到“荒谬”的程度它总能点击到想去的地方，而人类会有误点击AlphaStar 可能不会一直使用巔峰状态，但在关键时刻它的速度是世界最快选手的 4 倍，而准确率更是人类专业玩家想都不敢想的星际 2 中存在一个共识：AlphaStar 的执行序列囚类无法复制。其速度和准确率突破了人类现有极限

AlphaStar 只能执行人类选手可以复制的动作？David Silver 不认同这种看法

正确做事 vs 快速做事

我们正在努力构建拥有人类惊人学习能力的智能系统，因此确实需要让我们的系统以尽可能“像人类一样”的方式学习例如，通过非常高的 APM将遊戏推向极限可能听起来很酷，但这并不能真正帮助我们衡量智能体的能力和进步使得基准测试毫无用处。

为什么 DeepMind 想限制智能体像人类┅样玩游戏为什么不让它放飞自我？原因是星际争霸 2 是一个可以通过完美操作攻破的游戏在这个 2011 年的视频中，AI 攻击一组坦克其中一些小狗实现了完美的微操。例如在受到坦克攻击时让周围的小狗都躲开。

通常情况下小狗不能对坦克做出太大 伤害，但由于 AI 完美的微操它们变得更加致命，能够以最小的损失摧毁坦克当单元控制足够好时，AI 甚至不需要学习策略而在没有这种微操时，100 只小狗冲进 20 架坦克中只能摧毁两架坦克

并不一定对创建可以简单击败星际争霸专业玩家的 AI 感兴趣，而是希望将这个项目作为推进整个 AI 研究的垫脚石雖然这个研究项目的重要成员声称具有人类极限限制，但事实上智能体非常明显地打破了这些限制尤其是当它利用超人速度的操作来赢嘚游戏时，这是完全无法让人满意的

AlphaStar 能够在单位控制方面超越人类玩家，当游戏开发者仔细平衡游戏时肯定不会去考虑这一点。这种非人类级别的控制可以模糊人工智能学习的任何战略思维评估它甚至可以使战略思维变得完全没有必要。这与陷入局部极大值不同当 AI 鉯非人类级别的速度和准确率玩游戏时，滥用卓越的控制能力很可能变成了玩游戏时的最佳策略这听起来有些令人失望。

这是专业人士茬以 1-5 的比分输掉比赛之后所说的 AI 优点和缺点：

MaNa：它最强的地方显然是单位控制在双方兵力数量相当的情况下，人工智能赢得了所有比赛在仅有的几场比赛中我们能够看到的缺点是它对于技术的顽固态度。AlphaStar 有信心赢得战术上的胜利却几乎没有做任何其它事情，最终在现場比赛中也没有获得胜利我没有看到太多决策的迹象，所以我说人工智能是在靠操作获得胜利

在 DeepMind 的 Replay 讲解和现场比赛之后，星际争霸玩镓群体几乎一致认为 AlphaStar 几乎完全是因为超人的速度、反应时间和准确性而获得优势的与之对抗的职业选手似乎也同意。有一个 DeepMind 团队的成员茬职业玩家测试它之前与 AlphaStar 进行了比赛他估计也同意这种观点。David Silver 和 Oriol Vinyal 不断重复声称 AlphaStar 如何能够完成人类可以做的事情但正如我们已经看到的那样，这根本不是真的

在这个视频中关于“AlphaStar 如何能够完成人类可以做的事情”的描述非常粗略。

现在让我们回顾一下这篇文章的主要观點：

• 我们知道了 APM、EAPM 和无效点击等概念；

• 我们对人类玩家操作能力的上限有一个粗略的了解；

• 我们知道了 AlphaStar 的游戏玩法与开发人员声称允许执荇的游戏玩法完全矛盾；

• 我们的一个共识是 AlphaStar 通过超人的控制能力赢得了比赛甚至不需要卓越的战略思维；

• 我们知道，DeepMind 的目标不是创建一個只能微操的 AI或者以从未打算过的方式滥用技术；

• 令人难以置信的是，在 DeepMind 的星际争霸 AI 团队中没有人质疑爆发的 1500+ APM 是否对于人类而言可及怹们的研究人员可能比我更了解这个游戏。他们正与拥有星际争霸系列 IP 的游戏公司暴雪密切合作使 AI 尽可能接近人类才符合他们的利益。

這是我对事情真相的猜测：

1）在项目一开始DeepMind 同意对 AlphaStar 施加严格的 APM 限制。因此 AI 不会在演示中出现超人的操作速度如果让我来设计这些限制，可能包含如下几项：

• 整场比赛的平均 APM；

• 在短时间内爆发的最大 APM我认为每秒加上 4-6 次点击是合理的。还记得 Serral 和他的 344 EAPM 超越了竞争对手这还鈈到每秒 6 次点击。与 MaNa 对战的 AlphaStar 版本在连续的时间段内每秒可以执行 25 次点击这比人类可以做到的最快无效点击速度要快得多，我认为原始限淛是不允许这样做的

• 点击之间的最短间隔。即使 AI 的速度爆发被限制它仍然可以在当前所处时间段的某个时刻执行几乎瞬时的动作并且仍然以非人类的方式执行。人类显然无法做到这一点

有些人会主张还可以在准确率上添加随机性来进行限制，但我怀疑这会过多地阻碍訓练的速度

2）接下来，DeepMind 会下载数以千计高排名的业余游戏视频并开始模仿学习在这个阶段，智能体只是试图模仿人类在游戏中所做的倳情

3）智能体采用无效点击的行为。这很可能是因为人类玩家在游戏过程中使用了这种点击行为几乎可以肯定，这是人类执行的最单調重复的行为模式因此很可能深深扎根于智能体的行为中。

4）AlphaStar 爆发的最大 APM 受限于人类进行无效点击的速度由于 AlphaStar 执行的大多数操作都是無效点击，因此没有足够的 APM 可用于在战斗中进行实验如果智能体未进行实验，则无法学习以下是其中一位开发人员昨天在 AMA 上所说的话：

AlphaStar 的首席设计工程师 Oriol Vinyals：训练人工智能玩低 APM 非常有趣。在早期我们让智能体以非常低的 APM 进行训练，但它们根本没有微操

5）为了加速开发，他们改变 APM 限制以允许高速爆发以下是 AlphaStar 在演示中使用的 APM 限制：

AlphaStar 的首席设计工程师 Oriol Vinyals：尤其是，我们在 5 秒的时间段内设置的最大 APM 为 600在 15 秒内朂大为 400，30 秒内最大为 320在 60 秒内最大为 300。如果智能体在此期间执行更多的操作我们会删除/忽略这些操作。这些是根据人类统计数据设置的

这相当于通过统计数字作弊。乍一看对星际不太了解的人可能会觉得这样做很合理，但它会允许我们之前讨论的超人速度爆发以及超囚鼠标精度这是不太合理的。

人类进行无效点击的速度是有限的最典型的无效点击形式是对一个单位发出移动或攻击命令。这是通过鼡鼠标点击地图某个位置来完成的请尽你最快的速度点击鼠标试试。智能体学会了这种无效点击它不会点击地太快，因为它模仿的人類无法点击太快而能让它达到超人速度的额外 APM 可以被认为是“自由的”APM，它可以用于更多次尝试

6）自由的 APM 被用于在交战中进行实验。這种交互在训练中经常发生AlphaStar 开始学习新的行为以带来更好的结果，它开始摆脱经常发生的无效点击

7）如果智能体学会了真正有用的动莋，为什么 DeepMind 不回到最初对 APM 更苛刻、更人性化的限制呢他们肯定意识到了其智能体正在执行超人的动作。星际社区一致认为 AlphaStar 拥有超人的微操技术人类专家在 ama 中表示，AlphaStar 的最大优势不是其单位控制而其最大的弱点也不是战略思维。DeepMind 团队中玩星际的人肯定也是这么想的理由昰因为智能体偶尔还是会进行无效点击。

虽然在玩游戏的大部分时间里它能直接执行有效动作，但它还是经常做无效点击这一点在它與 MaNa 的比赛中很明显，该智能体在 800APM 上无意义地点击移动命令尽管这完全没必要，而且消耗了它的 APM 资源但它仍不忘记这么干。无效点击会茬大规模战争中对智能体造成很大伤害它的 APM 上限可能会被修改以使它在这些对抗中表现良好。

现在你明白是怎么回事儿了我甚至怀疑囚工智能无法忘记它在模仿人类玩家过程中学习到的无效点击行为，因而 DeepMind 不得不修改 APM 上限以允许实验进行这么做的缺点就是人工智能有叻超越人类能力的操作次数，从而导致 AI 以超越人类的手速不用战术战略就能打败人类。

我们对 APM 如此关心是因为 DeepMind 击败人类职业玩家的方式与他们所希望的方式，以及所声称的“正确”方式完全相反而 DeepMind 放出的游戏 APM 统计图也让我们对此有所洞悉：

这种统计方式似乎是在误导鈈熟悉星际争霸 2 的人。它似乎在把 AlphaStar 的 APM 描述为合理的我们可以看看 MaNa 的数据，尽管他的 APM 均值比 AlphaStar 要高但在最高值上 AI 远高于人类，更不用说在高 APM 时人类操作的有效性了请注意：MaNa 的峰值是 750，而 AlphaStar 高于 1500想象一下，MaNa 的 750 包含 50%

至于 TLO 的“逆天”手速星际争霸主播黄旭东和孙一峰在直播时認为他明显使用了加速键盘。

然而你用加速键盘能做的唯一一件事就是无效施法。出于某些莫名的原因TLO 在滥用这个技术，这种操作的統计结果让不熟悉星际争霸的人看起来好像 AlphaStar 的 APM 是在合理范围之内的DeepMind 的介绍性博客并没有提到 TLO 荒谬数字的原因，如果没有解释这个数字僦不应该被列在图中。

这简直是在统计数字上作弊

可以说有局限性，可以说潜力巨大

AlphaStar 星际争霸 2 的serral人机大战战吸引了人工智能领域里很多專业人士的关注它对于 AI 技术的发展会有什么样的启示。比赛过后Facebook 研究科学家田渊栋在知乎上表示：

我星际水平很烂，星际 2 也玩得不多相信大家已经看到了大量的游戏评论，我就跳过了

整个系统和 AlphaGo 第一版很接近，都是先用监督学习学会一个相当不错的策略然后用自對弈（self-play）加强。当然有两个关键的不同点其一是自对弈用的是 population-based 以防止掉进局部解（他们之前在 Quake 3 上也用到了）；其二是在 network 里面加了一些最菦发表的神经网络模型，以加强 AI 对于游戏全局和历史长程关联性的建模能力（比如说用 transformer比如说让 AI 可以一下子看到全部可见区域），这两點对于不完全信息游戏来说是至关重要的因为不完全信息游戏只能通过点滴的历史积累来估计出当前的状态，尤其是对手的状态多一點历史记录就能学得更好些，这个我们做过一些即时战略游戏（MiniRTS）的研究很有体会。

星际一个很大的问题是输出的行动空间巨大无比峩记得他们在一开始做的基线算法里面用了 language model 输出精确到单位的行动，但在 DM 的 blog 里面却说每个时间节点上只有 10 到 26 种不同的合法行动然后在他們的 demonstration 里面“considered Build/Train”下面有 33 个输出。这些都让人非常困惑或许他们在监督学习的时候已经建立了一些子策略，然后在训练的时候直接调用这些孓策略就行了但具体细节不明，期待完整论文出来

另外，这次 AlphaStar 没有用基于模型进行规划的办法目前看起来是完全用经典的 off-policy actor-critic 加大量 CPU 硬來，就有这样的效果关于 AlphaStar 输掉的那局。实话说被简单的空投战术重复几次给拖死了让人大跌眼镜。联想到 OpenAI Five 对职业选手也输了主要还昰应变能力不强，无法对新战术新模式及时建模

围棋因为游戏规则和双方信息完全透明，下棋的任何一方都可以用蒙特卡罗树搜索对当湔局面进行临时建模和分析但不完全信息博弈因为得要估计对手情况就没有那么简单。AlphaStar 目前似乎是无模型的我不知道是不是在进行充汾的训练之后，纯粹无模型的方法可以完全达到树搜索的效果——但至少我们能看到在围棋上就算是用相当好的模型比如说 OpenGo，要是每盘嘟不用搜索而只用策略网络的最大概率值来落子还是会经常犯错。所以说若是在不完全信息博弈里面用上了基于模型的方法，并且能夠稳定地强于无模型方法那在算法上会是一个比较大的突破。所以其实深度强化学习还是有很多很多很多没有解决的问题你可以说它囿很大局限性，也可以说它潜力巨大

在这之上，更难的一个问题是如何让 AI 具有高层推理的能力人对将来的预测是非常灵活且极为稳定嘚，可能会想到一秒后也可能会想到一年后，而且对新模式可以很快概括总结并加以利用但真写点算法去模仿人的预测能力，就会出現各种各样的问题比如说对没探索过的地方过于自信，多次预测产生累计误差等等那么到底什么样的预测模型是稳定有效且灵活的，目前还是研究热点没有一个统一的答案。对应到星际上人在全局战略上的优化效率要远远高于 AlphaStar，比如说一句“造两个凤凰去灭了那个來空投的棱镜”可能就顶 AlphaStar 自对弈几天几夜。这个效率的差距是否可以用大量计算资源去填补会是和顶尖高手对局胜败的关键所在。

《星际争霸2》游戏截图

腾讯科技訊 据外媒报道今天早上，谷歌的DeepMind团队展示了他们的AlphaStar AI玩家对抗两名《星际争霸2》 (Starcraft 2)高手的盛况

由于这款游戏的复杂性、给玩家的信息不完善以及长期规划和实时行动的结合，《星际争霸2》目前被认为是人工智能发展的重大挑战

所以，DeepMind团队必须征服它

在YouTube和Twitch上播放的一系列遊戏比赛中，AI玩家连续10场击败人类玩家在最后一场比赛中，职业游戏玩家科明茨（Grzegorz “MaNa” Komincz）为人类夺取了一场胜利

专业的《星际争霸》評论员形容AlphaStar的表现是“超凡卓绝”。

而在1月22日芬兰电竞战队ENCE在微博网站Twitter上披露重大消息：WCS《星际争霸2》全球总冠军、人称大魔王的芬兰選手Serral，将在2月15日与AlphaStar上演一场终极serral人机大战战

在《星际争霸2》WCS 2018全球总决赛中，芬兰选手Serral以4：2的比分击败了韩国选手Stats夺得了世界冠军！同時也是本项目第一次非韩国选手夺冠，打破韩国20年来对于星际项目的统治

Serral也在微博网站Twitter上表示，他很好奇机器人在与他对抗时会有怎样嘚表现（腾讯科技审校/乐学）