2016年世界トップクラスの囲碁棋士を破り、AIの可能性を広く一般に知らしめた「AlphaGo」。このAlphaGoがその後も進化を続けていることはあまり知られていない。
2016年3月に韓国のリ・セドル九段を破った後、2017年5月に中国で開催された「Future of Go Summit」で当時世界ランキング1位の中国人棋士、柯潔（かけつ）九段にも勝利。しかし、AlphaGoを開発したDeepMindは、この対局を最後にAlphaGoを引退させることを発表した。
世界ランキング1位の棋士を破ったことで、DeepMindの囲碁AI研究はいったん落ち着くかに見えたが、DeepMindは同年10月に学術誌NatureでAlphaGoを超える囲碁AI「AlphaGo Zero」を発表し、関係者の注目を集めた。
AlphaGoは人間の対局データを学習し強化されたAI。一方、AlphaGo Zeroは人間の対局データではなく、AI自身が解決策を導く方法で強化。AlphaGo ZeroとAlphaGo旧モデルの対局では、前者の学習スピードと強さが際立つ結果となっている。
DeepMind社ウェブサイトによると、AlphaGo Zeroはリ・セドル九段を破ったAlphaGoモデルを3日で超え、柯潔九段を破ったモデルを21日で超えたという。さらに40日で、AlphaGoのすべての旧モデルを超え、実質世界最強になったと記載されている。
またDeepMindは2017年12月に、AlphaGo Zeroを一般化し「AlphaZero」というアルゴリズムを開発。囲碁だけでなく、将棋やチェスにも応用できるAIだと説明している。特定のゲームで進化したAIはそのゲームだけでなく、他の領域にも応用できることを示す画期的な事例と見て取ることができる。
実際をこれを前後して、ゲーム上でのAI開発の動きが活発化しており、AIの開発動向を知る上で無視できないものになっている。
今回は、ゲーム分野でのAI開発事例を紹介しながら、ゲームAIがどのように進化しているのか、その最新動向をお伝えしたい。
DeepMindが取り組むAlphaGoの次の挑戦、舞台はビデオゲームへ
ゲームAI開発の近年のトレンドは、囲碁やチェスなどのシンプルなボードゲームを超え、より複雑なビデオゲームにシフトしている。複雑性が高い環境で強化されたAIは、現実世界への応用可能性が高くなるからだ。
AlphaGoを開発したDeepMindは、2019年1月に人気のリアルタイム・ストラテジー（RTS）ゲーム「スタークラフト2」をプレイするAI「AlphaStar」を公開した。
スタークラフト2は、海外ではeスポーツの大会が頻繁に開催されるほどの人気を誇るビデオゲーム（WindowsとMac OSに対応）。日本語版が販売されていないため、日本での普及は限定的となっているが、韓国版と台湾版があり、欧米だけでなくアジアを含め世界各国で親しまれている。
スタークラフト2はストーリーモードや協力モードなどいくつかのモードがある。eスポーツでは1対1の対戦モードがよく使用されている。
DeepMindは、この対戦モードでプロのeスポーツプレイヤーに勝利することを目的にAlphaStarを開発しているのだ。
宇宙開発がテーマとなるスタークラフト2。対戦モードでは、相手プレイヤーの宇宙基地をすべて破壊すると勝つというルールになっている。
シンプルなルールであるが、そのプロセスにおいてさまざまな要素が重なり、囲碁やチェスにはない複雑性を生み出している。AIが人間のプロプレイヤーに勝利するには、これらの複雑性を加味した戦略を立て、行動することが求められる。
DeepMindは、AI開発でスタークラフト2を選んだ理由をいくつか挙げている。1つは、唯一にして最良の戦略が存在しないということ。複雑な環境の中で、常に戦略を考えなければならないという現実に近い状況が、AIの進化に好ましいと考えられているのだ。
情報の非対称性があるこも重要なポイントだ。囲碁やチェスでは相手の状況がすべて見えるが、スタークラフト2では相手の重要な情報は見えないようになっている。
このほか長期的な戦略計画を立てる必要性やリアルタイムであることなどが重要視されている。複雑性が高いためシンプルな因果関係でゲームの成り行きを予測することは難しく、そのことを加味した長期的戦略を練ることが求められる。
また囲碁やチェスではプレイヤーのターン、相手のターンと、ゲーム内のアクションが交互に実施されるのに対し、スタークラフト2ではどちらのアクションもリアルタイムに進んでいくため、連続的な分析とアクションが必要になる。
DeepMindのウェブサイトによると、AlphaStarはすでに数名のトッププレイヤーと対戦し、5本勝負で5−0のストレート勝利を収めるまでに至っているという。
イーロン・マスク氏らが創設したAI研究組織もビデオゲームに注目
RTSだけでなく、異なるタイプのビデオゲームでもゲームAIの開発が進められている。
イーロン・マスク氏らが創設したAI研究組織OpenAIが取り組んでいるのはマルチプレイヤー・オンライン・バトルアリーナ（MOBA）型ゲーム「Dota2」のゲームAI開発だ。
Dota2も日本語対応が追いついていないため日本での普及は限定的だが、海外では広く知られている人気MOBA型ゲーム。Dota2のチャンピオンシップ「The International」は、世界最高賞金額のeスポーツ大会といわれていることからも、その注目度の高さをうかがうことができるだろう。
OpenAIが開発するDota2対応のゲームAIは「OpenAI Five」と呼ばれ、2016年11月に開発が開始された。
Dota2は5人でチームを組み、相手チームの陣地にある「Ancient」と呼ばれる建物を破壊すれば勝ちとなるゲーム。一見シンプルなゲームだが、選択できるキャラクターは100体を超え、それぞれに特殊能力があり、さらには使用できるアイテムも多く、ゲームの展開を予想するのは囲碁やチェスに比べ難しくなる。
当初は、同じ条件でトッププレイヤーと勝負することは難しく、1対1の対戦や限定条件のもとで学習を重ねてきた。1日で100年分以上の学習が可能となる環境の中で進化を遂げたため、頭角を現すまで時間はそれほどかかっていない。
2018年6月頃には、5人対戦でアマチュア・セミプロチームに勝てるレベルに到達。2018年8月に開催されたThe Internationalのエキシビションではトッププロのチームと対戦し負けたものの、2019年4月にはThe International（2018）の優勝チームOGに勝利している。
OpenAI Fiveで得られた知見は、OpenAIが目指す「人類に優しいAI」の開発に寄与することが期待されている。たとえば、OpenAIが開発しているロボットハンド「Dactyl」。OpenAI Fiveで使用されたのと同じ強化学習アプローチが採用されており、指の細かい動きを再現することが可能だ。
ビデオゲーム上で進化したAIが現実世界にどのような影響をもたらすのか。今後の展開から目が離せない。
文：細谷元（Livit）