AgentGartenの「4ラウンド」は、2019年の数百万回と何が違うのか

2019年のかくれんぼの研究では、隠れる側が小屋を作るまでに約2500万エピソード、探す側が斜面で壁を越えるまでには約1億エピソードかかりました。2026年10月8日に、AgentGartenの技術報告が公開されました。同じかくれんぼを1対1で順番に動く形にした設定で、小屋は4ラウンドまでに、斜面の利用は10ラウンドまでに現れたといいます。ただし、報告自身が断っているとおり、直接の効率の比ではありません。この記事では、条件の違いと、エージェントの何が変わったのかを読みます。

コードで書いた世界を、映像で見せる#

AgentGartenの中心は、世界の状態の持ち方と、見せ方の分担です。

ゲームエンジンと動画生成モデルには、それぞれ次の特徴があります。ゲームエンジンやシミュレータは、状態とルールがコードで明示されており、検査も編集もできる点が強みです。ただし見た目を多様にするには、3Dの素材づくりと描画の仕組みが要ります。一方、動画を生成するモデルは見た目が豊かですが、状態や物理の規則が生成した映像の中に暗黙に含まれるだけで、直接確かめたり直したりできません。

AgentGartenは両方を組み合わせた枠組みです。世界の状態とルールは場面ごとのプログラムにあり、エンジンが管理します。エンジンは各時点の深度と表面の向き（法線）を出力します。それに外観の参照画像、テキスト、過去の映像を合わせて、エージェントに見せる映像を作るのが、全ての世界で共有する「ニューラルレンダラー」です。状態はエンジンにあるため、レンダラーの誤差は世界の状態に積もりません。記録した試行を、別の見た目やカメラで撮り直せる点も利点です。報告は公開用の対話版として、ボウリング、PK戦、木箱の金庫パズルといった、ルールがコードだけに書かれたブラウザゲームも挙げています。キーボード、マウス、ゲームパッドの入力が世界を進め、映像が世界の唯一の見え方になります。

世界の状態を動画モデルの外に置き、モデルは描画だけを担う、という分担自体は先行研究にもあります。報告は自分たちの違いとして、条件が深度や法線であること、短いブロックごとに実時間で生成して、行動を途中でも入れられること、世界が完全に実行できる環境であることを挙げています。

レンダラーは事前学習済みの動画モデルを幾何条件に合わせ、「Adversarial Forcing」という蒸留で学習しています。H100 1枚で、480×832の映像を毎秒35フレーム超で生成できると報告されています。比較対象のSelf Forcingでは、30秒ほどの映像で表面の模様が繰り返され、細部が失われたのに対し、Adversarial Forcingは質感と細部を保ちました。ただしこの比較は図による目視で、数値の指標は示されていません。

経験はplaybookというメモに残る#

かくれんぼの設定は、隠れる側と探す側が順番に動く1対1の形です。各エージェントが受け取るのは一人称の映像だけで、物体の座標も、相手の見ている映像も渡されません。行動は移動や物体の操作をする短いPythonプログラムとして出し、結果を再び映像で確かめます。

学習は次の手順を1ラウンドとして繰り返します。

1. 各役割が、自分の行動プログラムと、見ることを許された映像を振り返る
2. 失敗の原因を見つけ、1ファイル1教訓のMarkdown（skill file）として、役割ごとのメモ（playbook）に足す
3. 次のラウンドは新しい会話で始まり、目的・使える操作・制限だけを書いたタスクファイルと、過去のplaybookを受け取る

playbookの例は、報告の図に載っています。隠れる側のcheck_shelter.mdは「カメラからの見え方だけでなく、中へ入る経路を守ること」という教訓です。探す側のobject_control.mdは「物体を操れているかを、小さな実験で確かめること」、ramp_landing.mdは「斜面を使う経路には3つの区切りがあること」を書いています。タスクファイルには解き方を書きません。1ラウンドは5ゲームで、最初のplaybookは空です。2019年の研究では、経験が方策ネットワークの重みに入り、報酬をもとに更新されました。AgentGartenの論文は、経験の置き場所をplaybookだと整理しています。エージェントの重みを更新するかどうかには、触れていません。エージェントには、事前学習済みのモデルが使われています。論文はかくれんぼの実験で使った事前学習済みエージェントの出典として、OpenAIのGPT-6 Astraのモデル文書を挙げています。

かくれんぼと4つの世界の結果#

かくれんぼでは、隠れる側が4ラウンドまでに板で囲いを作り、探す側が10ラウンドまでに斜面を運んで壁を越えました。同じ手順を、ほかの4つの世界でも4ラウンドずつ試しています。牧羊の犬は自分の目の高さから、一車線の橋の車は運転席のフロントガラス越しの映像だけで動きます。

世界と課題	指標	1回目	2回目	3回目	4回目
犬との交流（60秒間、犬の関心を保つ）	関与スコア	13	14	19	19
一車線の橋（2台が、1台分の幅の橋の両端を入れ替える）	両車が渡り終えるまでの秒数（小さいほど良い）	71	68	45	41
牧羊（4頭の羊を囲いに入れ、5秒保つ）	100点満点のスコア	60	90.1	87.6	88.3
採石場の重機（360秒以内に岩を運び、駐車する）	100点満点のスコア	30	0	30	90.9

結果の数字には、次の3つの条件が付きます。

1点目は、比べている相手が違うことです。2019年のエージェントは、乱数の重みから始め、物体の位置と速度という内部状態を入力にしていました。AgentGartenのエージェントは、物体や道具についての一般的な知識を持ち、映像だけから行動します。論文は後者の課題を「抽象的な知識を、閉ループの行動に結び付けること」と説明しています。

2点目は、各ラウンドが1エピソードであることです。表は世界ごとの終了時の指標を、ラウンドごとに1回測った結果で、同じ条件を繰り返したときのばらつきは示されていません。

3点目は、改善が一方向ではないことです。牧羊は2回目が最高で、その後わずかに下がっています。採石場は2回目に0点まで落ちてから、4回目に90.9点まで上がっています。指標は世界ごとに定義が違うため、世界をまたいだ比較はできません。

限界と、論文が挙げる今後の課題#

論文の「今後の課題」の節には、現状の制約が書かれています。レンダラーに渡す条件は深度と法線だけなので、幾何に表れない状態は、映像に反映されません。回転している車輪と止まっている車輪は、区別できません。

報告の中の世界は一つずつ作られたものです。次の段階として、コーディングエージェントに世界を書かせることを挙げ、その世界が「エージェントが時間を使う価値のあるものか」を、練習の前に自動で確かめたいとしています。世界が増えれば、メモの管理も課題になります。今回のplaybookは世界ごとで、全文を読める長さです。多数の世界で、どの教訓を残し、統合し、捨てるかは、未解決です。

また、これはMirroSの技術報告として、arXivに1版だけ出ているものです。査読についての記載は見つかりませんでした。

評価をコードに置き、経験をテキストで渡す#

この報告から実務に持ち帰れるのは、結果の数字より、設計の形だと私は考えています。評価の基準（スコアや制限時間）を、エージェントの外にあるコードに置いていること。経験を、読み返せるテキストにして、次の担当に渡していること。この二つは結果の数字とは別に、設計として参照できます。

ただし、4ラウンドの結果が別の課題にも当てはまるかは、この報告からは分かりません。