1. はじめに：世界モデルは新しいルールを何回見れば覚えられるのか
本記事では、2026年11月に arXiv で公開された論文「How Many Exposures Does a World Model Need? Learning Unseen Game Mechanics at Test Time」（Onoda, Kawano, Takashiro, Hayashi, Third Intelligence / 東京大学）を解説します。テーマは、世界モデル（World Model）が初めて見る環境のルールを、何回の観測で予測できるようになるかです。
World Model（世界モデル：環境が次にどう変化するかを予測するモデル）は、エージェントが頭の中で行動を試したり、計画を立てたりするための土台です。ただし、通常の世界モデルは対象の環境で 10⁴〜10⁸ 回もの相互作用を集めて学習します。初めて入る環境では、そこまでのデータは集まりません。
この論文は、インタラクティブなゲームのベンチマーク ARC-AGI-3 を舞台に、次の 3 つを提案しています。
- MechEval：ゲームのルール（メカニクス）ごとに、何回目の観測で正しく予測できるようになったかを測る評価方法
- WARC：他のゲームで事前学習し、プレイ中は 1 ステップごとに重みを更新する 3,500 万パラメータの Vision Transformer
- WARC-Agent：WARC を探索エージェントに組み込み、実際にゲームをプレイさせたもの
本記事を読むと、テスト時学習（Test-Time Training）で世界モデルを「その場で」適応させる考え方、評価の設計の工夫、そして結果の読み方と限界がわかります。機械学習の基礎（Transformer、勾配降下法、交差エントロピー）を学んだ方を対象にしています。
2. 背景：ARC-AGI-3 と「スキル獲得の効率」
2-1. ARC-AGI-3 とは
ARC-AGI は、François Chollet 氏が提唱した「知能とは新しいスキルを獲得する効率である」という考え方に基づくベンチマークです。ARC-AGI-1・2 は入力グリッドから出力グリッドを当てる静的なパズルでしたが、ARC-AGI-3 は操作して遊ぶインタラクティブなゲームになりました。
ARC-AGI-3 の各ゲームは次のような環境です。
- 画面（フレーム）は 64×64 のマスで、各マスは 16 色のいずれか
- 行動は最大 5 種類のキー入力か、マスのクリック
- ゲームは決定的（同じ状態で同じ行動をすれば同じ結果）で、行動したときだけ状態が変わる
- 各ゲームは複数のレベルからなり、隠れたゴールに到達すると次のレベルに進む。次のレベルでは同じルールが新しい配置で適用される
エージェントはルールの説明を一切受け取らず、遊びながらルールとゴールを見つける必要があります。評価では、人間と比べてどれだけ少ない行動数でレベルをクリアできたかが問われます。
2-2. なぜ世界モデルが必要か
ゲームを効率よく探索するには、「この行動をしたら何が起きるか」を予測できると有利です。たとえば、押しても何も起きないボタンを何度も押すのは無駄ですし、壁にぶつかる方向に何度も進むのも無駄です。世界モデルはこの予測を担います。
ただし、新しいゲームでは少ない観測からルールを学び、まだ見ていない状況にも当てはめる必要があります。論文はこの「少ない観測での適応」を正面から測る仕組みがなかった点を問題にしています。エージェントの最終スコアだけを見ると、世界モデルの学習の良し悪しと、探索や計画の良し悪しが混ざってしまうためです。
3. 用語の定義：メカニクス・露出・テスト時学習
3-1. メカニクス（mechanic）
論文では、ゲームのルールをメカニクスという単位に分けます。メカニクスは「ある条件が成り立ったときに、ある対象をこう変える」という条件付きのルールです。たとえば「プレイヤーが上キーで上に 1 マス動く」「移動するたびに残り歩数のバーが 1 つ減る」「特定のタイルに乗るとピースが回転する」などです。
ゲームの状態遷移は、そのステップで発火したメカニクスの変化をまとめて適用したものとして書けます。
ここで sₜ は時刻 t の隠れた状態、aₜ は行動、T は遷移関数です。Mₜ はそのステップで条件 cₘ が成り立った（発火した）メカニクスの集合、eₘ はメカニクス m が対象に与える変化、⊕ はプログラムが定める順序で変化を状態に適用する操作を表します。つまり、ゲームのダイナミクスを学ぶことは、メカニクスを 1 つずつ学ぶことに等しいというのが論文の立場です。
3-2. 露出（exposure）
あるメカニクスが発火した 1 回を、そのメカニクスへの 1 回の露出と数えます。時刻 t における露出数 kₘ(t) は、それより前にメカニクス m が発火したステップの数です。
露出数はモデルに依存しません。人間のプレイ記録を同じ順番でたどれば、どのモデルも同じメカニクスを同じ回数だけ見ることになります。そのため、異なる手法を「同じ露出数」でそろえて比較できるのがこの指標の利点です。
3-3. テスト時学習（Test-Time Training）
通常、世界モデルは学習が終わったら重みを固定して使います。これに対してテスト時学習は、テスト時に入ってくるデータに対しても自己教師ありの損失で重みを更新します。
ゲームのように入力が 1 ステップずつ届く場合、モデルはまず次のフレームを予測し、そのあと実際の次フレームを見てから重みを更新します。
θₜ は時刻 t のモデルの重み、η は学習率、L は次フレーム予測の損失、oₜ はフレーム、aₜ は行動、h はモデルが読む直近のフレーム数です。更新した重みはそのまま次のステップに引き継がれます。重みそのものが「これまでに学んだこと」を保持する記憶として働くわけです。
4. MechEval：メカニクス単位で学習の速さを測る
4-1. 画面全体の正解率では測れない理由
次フレームの予測精度を「画面全体のマスの正解率」で測ると、問題が 2 つあります。
- 1 つ目は、ほとんどのマスは 1 ステップで変化しないことです。論文によると、直前のフレームをそのままコピーするだけで 98.8% のマスが当たります。
- 2 つ目は、ゲーム全体で平均すると、頻繁に発火するメカニクスの影響が大きくなり、まれなメカニクスの学習状況が見えなくなることです。
そこで MechEval は、メカニクスごとに「そのメカニクスが変化させたマス」だけで予測を採点します。
4-2. アノテーションの作り方
ARC-AGI-3 の各ゲームはプログラムなので、どのステップでどのルールが働いたかをプログラムから直接読み取れます。著者らは公開されている 25 ゲームのうち 20 ゲームについて、まずゲームのコードと画面遷移から自然言語でメカニクスを記述し（107 項目のコードブック）、それをゲームのプログラムと記録で検証しました。そのうえでゲームのプログラムにログ出力を組み込み、各ステップでどのメカニクスが発火し、どのマスを変化させたかを記録しています。
最終的に、20 ゲーム・69 メカニクス・279 本の人間のプレイ記録（レベル 2 を初めてクリアした時点で打ち切り）が評価対象になりました。1〜2 回しか起きない変化（そのレベル唯一の鍵を拾うなど）は後から予測する機会がないため、記録の中央値で 3 回以上発火するメカニクスだけを残しています。
4-3. メカニクス精度と EtC
時刻 t にメカニクス m が発火したとき、その発火で色が変わるマスの集合を Cₘ(t) とします。予測フレーム ôₜ₊₁ を、このマスだけで採点したものがメカニクス精度です。
g はマスの位置、1[・] は括弧内が正しければ 1、誤りなら 0 を返す関数です。同じ露出数 k の発火で平均をとると、そのメカニクスの学習曲線が得られます。
学習曲線を 1 つの数字にまとめるために、論文は心理学や動物学習の研究で使われる「基準到達までの試行数（trials to criterion）」を借りています。EtC（Exposures to Criterion）は、学習曲線がその後ずっと 80% 以上を保つようになる最初の露出数 k です。最後の露出の時点で 80% を下回っているメカニクスは「未到達（n.r.）」とします。平均精度ではなく「いつから安定して当たるようになったか」を表す指標です。
4-4. 評価の手順
評価では、すべてのモデルが人間のプレイ記録を同じ順番でたどります。各ステップで、そのステップの遷移で更新する前に次フレームを予測し、その予測を採点します。探索の仕方はモデルによって変わらないため、ダイナミクスの学習だけを切り分けて比較できます。
5. WARC：1 ステップごとに重みを更新する世界モデル
5-1. ベースになった VARC
WARC は、ARC-AGI-1・2 の静的パズルを画像から画像への変換問題として解いた VARC（「ARC Is a Vision Problem!」）を土台にしています。VARC は Vision Transformer でマスごとの色を予測し、新しいパズルでは 2〜4 個のお手本（とその回転・反転・色替えのコピー）でテスト時学習をしてから答えます。
WARC の主な違いは学習の順番です。VARC が「お手本で学んでから答える」のに対し、WARC はゲームの遷移を 1 つ予測しては、その遷移で学ぶことを繰り返します。また、VARC にあったタスクごとのトークンを持たないため、新しいゲームについて学んだことはすべて重みに入ります。
5-2. モデルの構成
| 項目 | WARC の設定 |
|---|---|
| アーキテクチャ | Vision Transformer（幅 512、10 ブロック、8 ヘッド） |
| パラメータ数 | 約 3,500 万（35M） |
| 入力 | 直近 3 フレームと行動（h = 3） |
| パッチ | 2×2 マス × 3 フレームの 3D パッチ（同じマスの時間変化を 1 トークンにまとめる） |
| 行動の扱い | すべてのブロックを行動で条件付け |
| 出力 | マスごとに 16 色の確率分布。最も確率の高い色を予測フレームとする |
| 損失 | 次フレームの負の対数尤度（マスごとの交差エントロピーの和） |
| 事前学習 | 他のゲームの人間のプレイ記録 |
複数フレームを読むのは、1 枚の画面だけでは見えない状態変数があるためです。また、ゲームを識別するトークンは入れていません。新しいゲームには ID がなく、画面を見ればどのゲームかはわかるからです。
5-3. ストリーム上での学習
WARC は遷移を 1 つ観測するたびに、勾配ステップを 20 回行います。ミニバッチ（8 件）は、直近 10 件の遷移、それ以前からランダムに選んだ 20 件の遷移、それらを 90 度ずつ回転させた拡張コピーから作ります。古い遷移を混ぜるのは、新しいメカニクスを学ぶ間に、すでに学んだメカニクスを忘れないようにするためです（リプレイ）。
回転による拡張では、クリック位置を画面と一緒に回転させ、4 つの移動キーも付け替えます。これは「4 つのキーが上下左右の移動に対応する」という仮定に基づいています。最適化には事前学習と同じ Muon と AdamW を一定の学習率で使い、オプティマイザの状態も更新をまたいで引き継ぎます。
6. 実験結果：未知のゲームのメカニクスをどれだけ速く学ぶか
6-1. 比較した手法
公開 25 ゲームを 3 つのフォールドに分け、評価するゲームを事前学習に含めない形で比較しています。
- Episodic retrieval：これまでの遷移を保存し、同じ 3×3 の近傍と同じ行動のときに続いた色を返す。ルールを学ばず「検索」で足りるかを確かめる
- WARC（frozen）：事前学習済みで、テスト時に更新しない
- WARC（scratch）：事前学習なしで、テスト時に更新する
- WARC（GRU）：3 フレームの代わりに畳み込み GRU で記録全体を読み、更新しない。再帰的な状態で重み更新を置き換えられるかを確かめる
- DreamerV3：代表的な潜在空間の世界モデル。同じ条件で事前学習し、テスト時の更新も行う
6-2. 主な結果
論文の Table 1 から主な数値を抜き出すと次のとおりです（69 メカニクス）。
| 手法 | 全露出での精度 | EtC の中央値 | 未到達の割合 | 誤編集率 |
|---|---|---|---|---|
| Episodic retrieval | 32.9% | 109 | 76.8% | 0.08% |
| WARC（frozen） | 18.4% | 114 | 85.5% | 0.11% |
| WARC（scratch） | 35.0% | 105 | 51.2% | 1.15% |
| WARC（GRU） | 24.0% | 87 | 84.1% | 0.24% |
| DreamerV3 | 25.9% | 114 | 90.8% | 3.07% |
| WARC | 69.1% | 74 | 18.8% | 0.11% |
誤編集率（False-edit rate）は、本来変化しないマスを「変化する」と予測した割合です。
要点は次のとおりです。
- WARC は5 つに 4 つのメカニクスで 80% 以上の精度に到達し、その精度を記録の最後まで保ちました。到達したもののうち半数は、約 80 回の露出、つまり 1 回のプレイの中で基準に達しています。
- 更新しない WARC（frozen）で基準に達したのは 69 のうち 10 メカニクス（約 7 分の 1）だけでした。事前学習だけでは足りず、テスト時の更新が効いていることがわかります。
- 精度の向上は、ゲーム全体に慣れたからではなく、各メカニクス自身の遷移から来ています。あるメカニクスが発火した遷移を更新用のバッファから除くと、更新回数が同じでもそのメカニクスの精度は frozen と同程度にとどまりました。
- Episodic retrieval は主にカウンター系のメカニクスで基準に達しましたが、多くのメカニクスは過去の遷移を検索するだけでは予測できませんでした。
7. 暗記か汎化か：見たことのない状況への当てはめ
7-1. 他の記録への転移
精度が高くても、見た遷移を丸暗記しているだけかもしれません。そこで論文は、キー操作のメカニクス 15 個とクリック操作のメカニクス 16 個について次の実験をしています。
1 本の記録で WARC を適応させ、あるメカニクスに k 回露出したあと、更新せずに同じゲームの別の記録で予測させます。予測は「適応に使った記録で同じキー・同じ場所、または同じクリックを見ていた（既見）」「見ていなかった（未見）」「適応した記録が到達していないレベル 2」の 3 つに分けて集計します。
丸暗記なら、既見の予測しか改善しないはずです。結果は、未見の予測も露出とともに上がり、10〜19 回の露出でキーは約 80%、クリックは約 70% に達しました。ただし既見のキー操作のほうが予測しやすく、学んだ内容の一部は見た状況に特化しています。また、レベル 2 ではキーは未見と同程度まで近づいた一方、クリックは約 40% にとどまりました。
7-2. 具体例と副作用
論文の Figure 4 では、上に 1 回動いたのを見ただけで、初めての左への移動を正しく予測する例が示されています。クリックについても、2 枚のタイルが反応するのを見たあと、まだクリックしていない別のタイルの反応を予測できています。frozen や DreamerV3 はこれらを外しています。
一方で副作用も報告されています。物体の動き方を学んだあと、初めて壁や他の物体にぶつかる場面でも「動く」と予測してしまい、予測の中で物体が障害物をすり抜けます。この場面で変化しないはずのマスを正しく保てた割合は、WARC が 58%、frozen が 89% でした。ルールを一般化した結果、例外条件を学ぶ前に過剰に適用してしまうわけです。
8. 何が学習の速さを決めるのか：アブレーション
8-1. 事前学習
事前学習なしの WARC（scratch）は全露出での精度が 35.0%（WARC は 69.1%）で、半数のメカニクスが基準に達しませんでした。事前学習のデータを増やす実験では、ゲームの種類を増やすと誤差が着実に下がる一方、1 ゲームあたりの記録数は 2 本を超えるとほとんど効きませんでした。同じデータ量なら、多様なゲームで学ぶほうが有利だということです。
8-2. 勾配更新と再帰状態
速く学ぶには、遷移ごとの勾配更新が必要でした。更新を 5 遷移に 1 回に減らすと、直近の露出が学ばれず、最初の 4 露出での精度が 10.5 ポイント下がりました。
同じ遷移を読む再帰状態（WARC（GRU））は、更新なしでは 16% のメカニクスしか基準に達せず、勾配更新の代わりにはなりませんでした。ただし同じ方法で更新すれば WARC と同程度になります。論文は、文脈内学習（in-context adaptation）は多くの環境での事前学習によって現れることが知られているため、この結果は 16〜17 ゲームという規模での事前学習に限った話だと断っています。
8-3. 全パラメータ更新と LoRA
更新するのは全パラメータでなくてもかまいません。論文の Table 2 では、ランク 64 の LoRA（低ランク適応）は全露出での精度が 1.4 ポイント低いだけで、最初の 4 露出ではむしろ 3.8 ポイント高くなりました。一方、最後の 2 ブロックだけ、あるいは条件付け（modulation）層だけを更新すると精度が大きく落ちました。
| 変更点 | 全露出での精度の変化 | 最初の 4 露出での変化 |
|---|---|---|
| 事前学習なし | −34.1 | −28.2 |
| 5 遷移ごとに更新 | −1.7 | −10.5 |
| LoRA（ランク 64） | −1.4 | +3.8 |
| 最後の 2 ブロックのみ更新 | −4.6 | −6.7 |
| modulation 層のみ更新 | −9.4 | −7.2 |
9. 予測から実際のプレイへ：WARC-Agent
9-1. エージェントの構成
予測が正確になっても、エージェントがうまく行動できるとは限りません。そこで論文は、既存のグラフ探索エージェントを簡略化したものに WARC を組み込みました。探索器はフレームをハッシュ化して状態として記録し、まだ試していない行動がある状態へ既知の経路で戻ります。
WARC は、まだ試していない行動それぞれについて次のフレームを予測し、そのレベルでまだ見たことのない画面になりそうな行動を優先させます。有望な候補はさらに 1 ステップ先まで予測します。行動選択の仕組み自体は手作りで、WARC は行動の並べ替えだけを担います。
9-2. 結果
公開 25 ゲームを 10 シードずつ、最初の 1,000 行動で評価した結果が次の表です。RHAE（Relative Human Action Efficiency）は、ARC-AGI-3 の公式の行動効率スコアです。
| エージェント | レベル 1 クリア率 | レベル 2 クリア率 | RHAE |
|---|---|---|---|
| ランダム | 10.4% | 0.0% | 0.045 |
| 学習型 CNN（StochasticGoose） | 18.4% | 0.0% | 0.099 |
| 探索器のみ | 31.6% | 5.6% | 0.149 |
| 探索器 + WARC（frozen） | 34.4% | 4.4% | 0.181 |
| WARC-Agent | 46.0% | 8.4% | 0.455 |
| 探索器 + 正解の世界モデル（上限） | 61.6% | 26.8% | 1.392 |
WARC-Agent は探索器単体の RHAE を 0.15 から 0.46 へ約 3 倍にしました。frozen では 0.18 にとどまるため、向上の大部分はテスト時学習によるものです。プレイの様子を見ると、探索器単体は反応しないタイルを何度もクリックしたり、スタート付近の同じ通路を歩き回ったりしますが、WARC-Agent は反応するタイルや未訪問の場所へ移っていきます。
正解の世界モデルを使うと RHAE は 1.39 まで上がるため、世界モデルの精度が上がればスコアはまだ伸びる余地があります。なお、Kaggle の ARC-AGI-3 コンペの非公開ゲームでは、提出したエージェントのスコアは 0.20 でした。この提出では 1 ゲームあたり約 280 秒の制限があり、1 行動に約 0.74 秒（大半は遷移ごとの 20 回の勾配ステップ）かかるため、1 ゲームで行える行動は約 380 回に限られます。
10. 実務への示唆：テスト時学習をどう使うか
ここからは論文の主張ではなく、解説者による補足です。
10-1. 「事前学習 + その場での小さな更新」という設計
この論文の結果は、多様な環境での事前学習で「学び方の土台」を作り、本番では少量のデータで重みを少しずつ更新するという設計が、少ない観測での適応に有効であることを示しています。これはゲームに限らず、ユーザーごと・現場ごとにルールが少しずつ違う業務システムの予測モデルや、設備ごとに挙動が違う製造ラインの異常検知など、「本番環境で初めてわかる癖」がある問題に通じる考え方です。
LoRA でも全パラメータ更新とほぼ同じ効果が得られた点は、実装面で重要です。低ランクの差分だけを更新すれば、環境ごとの差分を小さく保存したり、問題があれば元の重みに戻したりしやすくなります。
10-2. 評価指標の設計から学べること
MechEval の考え方は、モデル評価一般に応用できます。「直前の値をコピーするだけで 98.8% 当たる」という状況は、時系列予測や変更検知でもよく起きます。全体の平均精度ではなく、実際に変化した部分だけで採点する、ルールや事象の種類ごとに分けて見る、何回目の観測で安定したかを見るという 3 点は、モデルが本当に学んでいるかを確かめるうえで参考になります。
10-3. 本番で使うときの注意点
テスト時に重みを更新するモデルを運用する場合は、通常のモデルにはない注意点があります。入力データが誤っていたり、悪意のある入力が混ざったりすると、それもそのまま学習してしまいます。更新前の重みを保存して戻せるようにする、更新の量や頻度に上限を設ける、更新後の精度を監視するといった仕組みが必要です。また、論文の副作用（壁のすり抜け）のように、一般化しすぎた予測が出ることも想定しておく必要があります。
11. 論文に対する評価と限界
11-1. 論文が主張している限界
論文自身が挙げている限界は次のとおりです。
- MechEval が対象とするのは、変化を単一の物体に帰属できる 20 ゲームのレベル 1・2 だけである
- 人間のプレイ記録が到達した状況でしか採点していないため、「基準に到達した」ことは「ルールを一般的に学んだ」ことより弱い主張である
- ゲームのゴール（レベルごとに変わる）はモデル化していない
- プレイ実験の行動選択は手作りで、主張は世界モデルに関するものであり、エージェントに関するものではない。正解の世界モデルを使っても 5 ゲームでは 1 レベルもクリアできない
- 結果はすべて、64×64 の離散的で決定的なゲームという 1 つのベンチマークから得たものである。連続値や確率的なダイナミクスで同じように機能するかは検証していない
11-2. 解説者からの補足
この論文の価値は、手法そのものよりも「適応の速さを、モデルに依存しない露出数でそろえて比較する」という評価の枠組みにあると考えます。ゲームのプログラムから正解を読み取れる ARC-AGI-3 だからこそ可能な設計で、論文も述べているとおり、ロボットのシミュレーターなど、どのルールが発火したかを記録できる環境なら同じ方法で評価できます。
一方で、80 回の露出は「1 回のプレイの中」とはいえ、人間がルールを理解するのに必要な回数と比べると多いと感じる方もいるでしょう。また、1 行動に約 0.74 秒かかる計算コストは、時間制限のある実運用では無視できません。Kaggle の非公開ゲームのスコア（0.20）が公開ゲームでの結果（0.46）を大きく下回っている点も、未知の環境への一般化にはまだ課題があることを示しています。
12. まとめ：テスト時学習で世界モデルを「その場で」適応させる
本記事では、未知のゲームのメカニクスを世界モデルが何回の露出で学べるかを測った論文を解説しました。要点は次のとおりです。
- ゲームのルールをメカニクスに分け、その発火回数（露出）でそろえて予測精度を比べる評価方法 MechEval を提案した
- 他のゲームで事前学習し、遷移ごとに重みを更新する世界モデル WARC は、未知のゲームの 5 つに 4 つのメカニクスで 80% 以上の精度に達し、その半数は約 80 回の露出で到達した。更新しない場合に到達したのは約 7 分の 1 だった
- 学んだ内容は見たことのない位置・方向・別の記録にも転移しており、単なる暗記ではない
- 学習の速さは、多様なゲームでの事前学習と、遷移ごとの勾配更新から来ている。LoRA による更新でもほぼ同じ効果が得られた
- WARC を探索器に組み込んだ WARC-Agent は、探索器単体の公式スコアを 0.15 から 0.46 へ約 3 倍にした
世界モデルを「一度学習したら固定して使う」ものではなく、「使いながら学び続ける」ものとして設計する考え方は、エージェント AI の研究で今後さらに重要になると考えられます。
13. 参考文献・関連研究
- How Many Exposures Does a World Model Need? Learning Unseen Game Mechanics at Test Time（Onoda et al., arXiv, 2026）
- WARC（コード・重み・Kaggle 提出用ノートブック）（Third Intelligence, GitHub, 2026）
- ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence（ARC Prize Foundation, arXiv, 2026）
- ARC-AGI-3（ARC Prize Foundation）
- ARC-AGI-3 Scoring Methodology（ARC Prize Foundation）
- On the Measure of Intelligence（François Chollet, arXiv, 2019）
- ARC Is a Vision Problem!（Hu et al., arXiv, 2025）
- Test-Time Training with Self-Supervision for Generalization under Distribution Shifts（Sun et al., ICML, 2020）
- The Surprising Effectiveness of Test-Time Training for Few-Shot Learning（Akyürek et al., arXiv, 2024）
- LoRA: Low-Rank Adaptation of Large Language Models（Hu et al., arXiv, 2021）
本記事は 2026年11月時点で公開されている文献・情報に基づく解説です。
