人工知能（AI）の進化に伴い、個々のモデルの性能を正確に測定することがますます困難になってきている。こうした課題に対応するため、Googleは米国時間8月4日、「Game Arena」を発表した。
同社のブログ投稿によると、これは、AIモデルがさまざまな戦略ゲームで競い合うことで、「その能力を検証可能かつ動的に測定する」ことを目的としたオープンソースのプラットフォームだという。
Game Arenaは、Google傘下のプラットフォームである「Kaggle」上にホストされている。Kaggleは、機械学習の研究者たちがデータセットを共有したり、さまざまな課題に挑戦して競い合ったりする場として広く知られている。
この取り組みは、AI分野が人工汎用（はんよう）知能（AGI）に近づきつつある中で、モデルの能力を測定する新たなテスト手法を模索する研究の一環でもある。AGIとは、一般的に人間の脳と同等の認知タスクをこなすことができる理論上のシステムと定義されている。
Game Arenaの狙いは、既存のAIモデルの能力を押し広げると同時に、それらの性能を分析するための明確で制約のある枠組みを提供することにある。
同社はブログ投稿で、「ゲームは成功の明確であいまいさのないシグナルを提供する」と述べている。「ゲームの構造化された性質と測定可能な成果は、モデルやエージェントの評価に最適なテスト環境となる。戦略的思考、長期的な計画、そして知的な対戦相手に対する動的な適応など、ゲームがモデルに要求する多様なスキルは、問題解決能力としての一般的な知性を測る強力な指標となる」
さらに重要なのは、ゲームがスケーラブルであるという点である。難易度を容易に引き上げることができるため、理論的にはモデルの能力をさらに高めることが可能となる。Googleは、「目標は、モデルがより強力な競争相手と対峙（たいじ）することで難易度が増していく、拡張可能なベンチマークを構築することだ」と述べている。
最終的には、この取り組みがゲームの領域を超えた進展につながる可能性もある。Googleは、モデルがゲームプレーに熟達するにつれて、技術の可能性に対する理解を再構築するような驚くべき新戦略を示すかもしれないと指摘している。また、ゲームにおける計画、適応、そしてプレッシャー下での推論能力は、科学やビジネスといった、より経済的に実用的な分野で複雑な課題を解決するために必要な思考と類似しているとも述べている。
AIとゲームの関係は、今に始まったことではない。AIという分野は、20世紀半ばにゲーム理論とともに発展してきた。ゲーム理論とは、競合する主体間の戦略的相互作用を数学的に研究する学問である。現在のAIモデルは、基本的に自分自身と何百万回もゲームを繰り返しプレーし、あらかじめ定められた目標（次のテキストのトークンを予測することや、現実世界の物理を描写する動画を生成することなど）をどれだけ達成できたかに基づいて性能を洗練させていく。
ゲームは、AI研究者がモデルの性能や能力を評価するための重要なベンチマークとして、長年にわたり活用されてきた。例えば、Metaの「Cicero」は、人間がプレーしたボードゲーム「Diplomacy」の何百万ものゲームを分析するように訓練された。CiceroはLLMを用いて、Diplomacyをプレーする際に人間が発言すると考えられる言葉をタイプすることでゲームを進行させた。その性能は、人間ユーザーとのゲームプレーを通じて、戦略的な意思決定能力と自然言語によるコミュニケーション能力によって評価された。
また、ゲームは一般の人々にとっても理解しやすい文脈を提供する。例えば、AIモデルが人間の専門家を凌駕（りょうが）してコンピューターコードのデバッグを行ったと聞いても、非専門家にはそのすごさが伝わりにくいかもしれない。しかし、チェスのグランドマスターがコンピューターに敗北したと聞けば、1997年にIBMの「Deep Blue」がGary Kasparov氏を破ったときのように、感情的なインパクトは非常に大きい。
さらに、ゲームはアルゴリズムの新たで予期せぬ振る舞いを明らかにする手段にもなる。AIの歴史の中でも特に有名で、時に物議を醸した瞬間のひとつが、2016年に「AlphaGo」が囲碁のチャンピオンであるLee Sedol氏と対戦した際の「Move 37」である。この一手は当初、人間の専門家たちを困惑させ、「論理に反している」とまで言われた。しかし、ゲームが進むにつれて、この手が実は型破りで創造的な妙手であり、AlphaGoがSedol氏に勝利するためのカギとなったことが明らかになった。
提供：Google
この記事は海外Ziff Davis発の記事を朝日インタラクティブが日本向けに編集したものです。
ZDNET Japan 記事を毎朝メールでまとめ読み（登録無料）
WACOCA: People, Life, Style.