S-Spaceとは？画像認識AIの内部に存在する3次元空間表現
近年、画像と言語を同時に処理するマルチモーダル大規模言語モデル（Multimodal Large Language Model：MLLM）は、物体認識、画像理解、視覚的質問応答などで高い能力を示しています。
例えば、机の上にコップとリンゴが置かれた画像を入力し、「リンゴはコップの右側にありますか？」と質問すると、AIは画像内の位置関係を分析して回答できます。
しかし、ここで重要な疑問が生まれます。
AIは本当に物体の位置関係を内部で表現しているのでしょうか。それとも、大量の画像と言語の学習から得た統計的なパターンを利用しているだけなのでしょうか。
この問題に対して、2026年に発表された研究「S-Space: Exploring Spatial Workspace in Multimodal Language Models」は、マルチモーダルLLMの内部表現に、水平・垂直・距離に対応する3次元の線形部分空間が存在することを報告しました。
研究者たちは、この空間表現をS-Space（Spatial Workspace）と呼んでいます。
S-Spaceは、モデルが画像から読み取った物体の相対位置を保持し、必要に応じて空間推論に利用できる内部表現として捉えられます。
さらに研究では、この内部表現を書き換えると、入力画像を変更していないにもかかわらず、AIが回答する物体の位置関係が変化することも確認されました。
これは、単に空間情報を読み取れるという相関的証拠にとどまらず、その内部表現がモデルの空間判断に因果的に関与していることを示す重要な結果です。
1. 研究背景：なぜAIの空間認識は難しいのか
1-1. 画像認識と空間推論は異なる
画像認識AIの代表的な能力には、物体の分類、物体検出、画像キャプション生成などがあります。
しかし、空間推論（Spatial Reasoning）では、画像に何が写っているかだけでなく、物体がどこに存在し、それぞれがどのような幾何学的関係を持つかを理解する必要があります。
例えば、次のような課題が挙げられます。
- 物体Aは物体Bの左側にあるか。
- どちらの物体が観察者に近いか。
- カメラを180度回転させた場合、左右関係はどう変化するか。
- 画像に写っていない物体の位置を周辺情報から推定できるか。
- 複数の画像から共通した空間配置を理解できるか。
こうした問題は、物体認識に加えて、座標表現、参照座標系、幾何変換などの能力を要求します。
特に難しいのが、観察者の視点が変化した場合の位置関係の再計算です。
例えば、正面から見て左側に存在する物体が、反対側から見た場合にも左側に存在するとは限りません。
この課題を正しく解くには、元の視点での位置関係を理解し、新しい視点に対応する座標変換を行う必要があります。
1-2. 従来の研究で指摘された問題
2025年にICMLで発表された「Why Is Spatial Reasoning Hard for VLMs?」では、Vision-Language Modelの空間推論エラーとAttentionの振る舞いが分析されました。
研究では、空間関係の判断を誤る際に、モデルのAttentionが関連性の低い物体へ向かってしまうケースがあることが報告されています。
また、2026年の「Why Far Looks Up」では、画像内の垂直方向と奥行きが内部表現で混同される傾向が検証されました。
自然画像では、地面上の遠方の物体ほど画像の上側に現れやすいという透視投影上の傾向があります。
AIがこの相関に強く依存すると、「画像の上側にある物体は遠い」という単純化された推論を行い、例外的な場面で誤認識する可能性があります。
S-Space研究は、こうした空間推論の問題を出力結果だけでなく、モデル内部の表現から解明しようとする研究です。
2. S-Spaceの基本構造：高次元空間の中にある3つの軸
2-1. Transformerの内部表現
Transformerを利用するマルチモーダルLLMでは、画像情報と言語情報がトークン表現としてモデル内部で処理されます。
各トークンは、単一の数値ではなく、多数の成分を持つ高次元ベクトルによって表現されます。
層番号をl、トークン位置をtとすると、内部表現を次のように定義できます。
h(l,t) ∈ R^dここで、dはモデルの隠れ状態の次元数です。
このベクトルには、物体の名称、形状、色、文脈、他の物体との関係など、多様な情報が分散して保持されていると考えられます。
S-Space研究では、この高次元ベクトルの中に、物体の空間座標を線形に読み出せる方向が存在するという仮説を検証しました。
2-2. 3つの空間方向ベクトル
S-Spaceを構成するのは、次の3つの方向ベクトルです。
- vx：水平位置を表す方向（左・右）
- vy：垂直位置を表す方向（下・上）
- vz：距離を表す方向（遠い・近い）
各方向ベクトルも、モデルの隠れ状態と同じd次元空間に属します。
vx, vy, vz ∈ R^dこれらが張る線形部分空間を、次のように表します。
S = span{vx, vy, vz}spanとは、与えられたベクトルの線形結合によって構成される空間を意味します。
3つの方向が線形独立であれば、Sは3次元の線形部分空間になります。
重要なのは、モデル全体が3次元で動作しているわけではないという点です。
モデルは高次元の特徴空間で計算を行っています。その内部から、空間的位置に関係する3つの方向を同定できるということです。
2-3. 内部表現から座標を読み出す
研究では、物体名に対応するトークンの内部表現を各方向ベクトルへ射影し、空間座標に相当するスカラー値を取得します。
x = vx^T h(l,t)
y = vy^T h(l,t)
z = vz^T h(l,t)ここで、上付きのTは転置を意味します。
それぞれの内積によって、隠れ状態が特定の空間方向にどの程度対応しているかを測定します。
例えば、リンゴとコップの内部座標を取得した場合、水平座標の差を利用して左右関係を推定できます。
Δx = x_apple - x_cup
Δx > 0 → リンゴはコップより右側
Δx < 0 → リンゴはコップより左側同様に、垂直方向と距離方向についても比較できます。
ただし、これらの値は現実世界のメートル単位の位置座標そのものではありません。
あくまでモデル内部から読み出した相対的な座標指標です。また、研究では水平・垂直方向に画像平面上の座標を利用しており、奥行きに伴う透視投影の影響を完全に分離した世界座標系を復元したわけではありません。
3. S-Spaceはどのように発見されたのか
3-1. 空間的な質問とLogit差分
研究者たちは、物体の位置に関する質問に対して、モデルがどのような内部情報を利用して回答しているかを調べました。
例えば、次の質問を考えます。
Is the apple to the left or right of the cup?モデルの出力では、候補となる単語に対してLogitと呼ばれるスコアが計算されます。
水平方向については、次の差分を定義します。
s_x = logit(right) - logit(left)この差分が大きいほど、モデルは「right」という回答を相対的に強く支持していると解釈できます。
同様に、垂直方向と距離方向についても、対になる方向語のLogit差分を定義します。
3-2. 勾配を使って空間方向を特定する
次に、回答スコアが物体トークンの内部表現に対してどの程度敏感かを調べます。
そのために用いられるのが、勾配（Gradient）です。
∇h s_gこの勾配は、隠れ状態を微小に変化させたとき、方向gに関する回答スコアがどのように変化するかを表します。
例えば、ある内部方向へ物体表現を変化させたときに「right」の支持が強まるのであれば、その方向は水平位置の判断に関係している可能性があります。
ただし、単純に勾配を取得するだけでは、質問文の表現や物体の属性などの影響が混入する場合があります。
3-3. 物体間の役割差分を利用する
そこで研究では、比較対象となる2つの物体の勾配差を利用します。
a(p,g) =
(∇h_query s_g - ∇h_reference s_g) / 2この操作は、Role-Antisymmetrization（役割に関する反対称化）に相当します。
例えば、リンゴを基準物体と比較物体で入れ替えた場合、空間関係の符号は反転します。
その一方で、質問全体に共通する特徴や一部の文脈依存成分は、差分を利用することで打ち消されると期待されます。
さらに複数の画像、質問テンプレート、物体の順序を利用して平均を求め、個別の質問表現に依存しにくい方向ベクトルを構成します。
v_g = normalize(E[a(p,g)])normalizeはベクトルを単位長へ正規化する操作です。
原研究ではCOCO画像から構築した6,000組の物体ペアを利用し、3つの空間軸にそれぞれ2,000組を割り当てています。
各軸について、複数の質問テンプレートと物体順序を組み合わせて勾配を平均化することで、空間方向を抽出します。
これは一般的な教師あり線形プローブとは異なり、モデル自身の回答スコアに対する感度を利用して方向を発見する方法です。
4. 実験1：内部座標は現実の物体配置と対応しているのか
研究では、取得したS-Spaceの座標と、画像中の物体の実際の配置情報との対応関係を検証しました。
評価では、COCOに加えて、CV-Bench、EmbSpatial-Bench、SpatialTunnelなどの空間理解ベンチマークが利用されています。
対象となるモデルには、Molmo2-ER、MolmoAct2、およびQwen系列のモデルが含まれます。
4-1. 連続的な座標情報の存在
モデル内部から取得した水平・垂直・距離の座標と、正解となる位置関係を比較したところ、研究では相関が確認されました。
これは、AIが単に「左」「右」の2分類に相当する情報だけを保持しているのではなく、位置の連続的な違いを表現していることを示唆します。
例えば、画像中の物体A、B、Cの水平位置が順番に並んでいる場合、それぞれの内部表現も対応する方向に沿って配置される傾向があります。
4-2. 座標比較だけで空間質問に回答できる
さらに研究者たちは、モデルが通常生成する自然言語の回答を利用せず、S-Spaceから読み取った座標の差だけで空間質問に回答する実験を行いました。
例えば左右関係であれば、2つの物体の水平座標の大小のみを比較します。
この単純な方法でも、複数のベンチマークで高い正答率が確認され、モデルの直接回答に匹敵する結果が得られました。
つまり、内部表現には、空間質問へ回答するために利用できる情報が保持されていると考えられます。
5. 実験2：S-Spaceを書き換えるとAIの回答は変わるのか
S-Space研究で特に重要なのが、因果介入（Causal Intervention）による検証です。
内部表現から空間座標を読み出せるだけでは、モデルが実際にその表現を利用しているとは限りません。
そこで研究では、物体トークンの内部状態を操作し、空間判断が変化するかを調べました。
5-1. Activation Steeringによる座標操作
Activation Steeringとは、ニューラルネットワークの中間活性を特定方向へ変化させ、出力への影響を調べる技術です。
S-Spaceにおいては、物体の内部表現を水平方向や距離方向へ移動させる操作に相当します。
概念的には、水平方向の操作を次のように表せます。
h' = h + α vxここでαは操作量です。
正の方向へ変化させれば、物体の内部的な水平位置を右側へ移動させる操作として解釈できます。
ただし、これは理解のための簡略式です。実際の論文では、対象座標を反事実的な値に変更し、他の表現成分を可能な限り保持する介入を検証しています。
5-2. 画像を変更せずに位置判断が変化
実験では、入力画像や質問文を変更せずにS-Spaceの座標成分へ介入した結果、空間関係についての回答が予測可能な方向に変化しました。
例えば、内部の水平関係を反転させると、モデルの回答も「左」から「右」へ変化する傾向が確認されています。
同様に、上下関係や近距離・遠距離の判断も対象軸の操作に影響されます。
これは、空間座標に対応する内部成分が、後段の空間判断に関与していることを支持します。
5-3. 色などの非空間情報は比較的保持される
さらに重要なのは、S-Spaceを操作した場合でも、物体の色など、空間と直接関係しない判断が比較的維持されたことです。
仮に内部表現の変更が単にモデル全体の計算を破壊しているだけなら、空間以外の質問にも大きな影響が現れるはずです。
しかし、実験では主に対象とする空間判断が変化しました。
この結果は、S-Spaceが空間情報に対してある程度選択的な役割を持つことを示しています。
ただし、非空間情報が完全に独立していることや、すべての介入で他の能力が保持されることまで証明されたわけではありません。
6. 実験3：S-Spaceは空間に関する質問をしていない場合にも存在するのか
S-Spaceが特定の質問にのみ反応して生成される表現であれば、その適用範囲は限定的です。
研究では、空間比較の質問だけでなく、単一物体への質問や非空間的な質問でも、同じ空間方向から位置情報を読み出せるかを調べました。
例えば、次のような質問です。
What color is the apple?この質問はリンゴの色を尋ねており、位置については一切質問していません。
それでも、物体トークンの内部表現からS-Spaceを利用して位置情報を取得できることが確認されました。
この結果は、S-Spaceが空間質問に応答する瞬間だけに形成される一時的な特徴ではなく、モデル内部に比較的持続的に存在する空間表現である可能性を支持します。
また、異なるデータセットや複数視点の条件でも、同定した空間方向が有効であることが検証されています。
7. 見えていない物体まで空間内に配置できる
S-Space研究では、画像中に直接写っていない対象についても興味深い結果が報告されています。
例えば、ゴールキーパーがボールへ向かって飛び込んでいる画像で、ボールそのものが画面外に存在する場合を考えます。
研究では、画像の動作情報や文章から推定されるボールの位置が、S-Space内の対応する方向に表れる事例が確認されました。
ほかにも、犬のリード、トンネルへ延びる線路などの手がかりから、画像外の対象を空間的に位置づける事例が紹介されています。
これは、S-Spaceが単なる物体検出結果の一覧ではなく、視覚情報と文脈情報を統合した空間表現として機能し得ることを示唆します。
7-1. 観察者自身の位置
研究では、画像に直接写っていない観察者を指す「you」という表現が、距離軸の近い側に対応するという結果も示されました。
これは自己中心座標系（Egocentric Reference Frame）と整合的な振る舞いです。
自己中心座標系とは、観察者自身を基準として物体の方向や位置を定義する座標系を指します。
例えば、人間が「右側に椅子がある」と表現する場合、その右側とは観察者の向きに依存します。
S-Spaceでは、この観察者に依存する空間的関係が、内部表現に反映される可能性が示されています。
8. 空間と言語の結びつき：物理的な左と抽象的な左
S-Spaceは視覚的な物体配置だけでなく、言語的な意味との関連も示しました。
例えば、英語のleftとrightは、物理的な左右方向を示すだけでなく、政治的な立場を表す言葉としても利用されます。
研究では、政治的な概念を表す語の内部表現をS-Spaceの水平方向へ射影したところ、政治的な左・右の意味と物理的な左右方向が対応する傾向が報告されました。
これは、物理空間の概念と抽象的な言語概念が、モデル内部で一部の表現方向を共有している可能性を示します。
ただし、AIが政治思想を実際の物理的位置として理解していることを意味するわけではありません。
むしろ、言語学習によって形成された意味的な結びつきが、空間表現にも影響していると解釈するのが適切です。
8-1. 方角と画像上の方向の混同
この意味的な結びつきは、空間推論の誤りにつながる場合もあります。
例えば、画像の右方向が常に東であるとは限りません。
地図が北を上に向けている場合には右が東になりますが、カメラや観察者の向きによって、その対応関係は変わります。
研究では、eastが内部の右方向、northが上方向に対応するなど、方角と画像上の方向が部分的に結びついていることが分析されました。
こうした内部表現の重なりは、参照座標系を正しく切り替える必要がある場面で、推論エラーを引き起こす要因の一つと考えられます。
9. 最大の発見：AIは位置を把握できても座標変換が苦手
S-Space研究が提示した特に重要な論点が、空間知覚（Spatial Perception）と空間計算（Spatial Computation）の分離です。
モデル内部に正しい位置情報が存在していることと、その情報を使って視点変換などを正確に実行できることは同じではありません。
9-1. 視点変換に必要な計算
例えば、2次元平面上の座標を角度θだけ回転する場合、回転行列を利用できます。
[x'] [ cosθ -sinθ ] [x]
[y'] = [ sinθ cosθ ] [y]180度回転であれば、通常の平面座標系では次のようになります。
x' = -x
y' = -y3次元空間では、回転軸や観察者の方向に応じた3次元回転行列を適用します。
ただし、S-Spaceの3軸は画像平面位置と距離から構成されているため、一般的な直交世界座標系と完全に同一視できるわけではありません。
研究の視点変換実験でも、読み出した表現を課題に適した形で扱い、明示的な座標回転を利用しています。
9-2. SpinBenchを使った実験
研究では、異なる視点から物体の位置関係を判断するSpinBenchを利用しました。
比較されたのは、モデル自身が直接回答する方法と、S-Spaceから座標を取得して外部で回転処理を行う方法です。
Molmo2-ERについて、研究では次の結果が報告されています。
| 推論方法 | 正答率 |
|---|---|
| モデルの直接回答 | 60.96% |
| S-Space読み出し＋外部座標回転 | 94.52% |
同一モデルを基にした比較で、正答率に33.56ポイントの差が生じました。
これは、モデル内部に有用な空間情報が存在していても、モデル自身による空間変換が十分に正確ではない可能性を示しています。
なお、これは特定モデル・特定ベンチマークにおける結果であり、すべてのマルチモーダルLLMで同じ改善幅が得られるという意味ではありません。
9-3. Chain-of-Thoughtでも完全には解決しない
Chain-of-Thought（CoT）は、途中の推論過程を利用して複雑な問題の正答率を高める手法です。
研究では、Qwen3.6-27BがCoTを利用する条件で83.56%の正答率を示したことも報告されています。
しかし、推論を長くしても空間変換の誤りが完全になくなるわけではありませんでした。
研究者たちは、推論中に物体表現の空間座標が新しい視点へ徐々に変化する様子も分析しています。
つまり、モデルが内部で視点変換を試みている兆候は存在するものの、その処理が常に正確に実行されるとは限りません。
この発見は、自然言語による推論能力の改善だけでなく、幾何学的な計算を確実に実行する仕組みの重要性を示しています。
10. ロボティクスとPhysical AIへの応用
S-Space研究は、画像質問応答だけでなく、ロボットやPhysical AIの研究にも重要な示唆を与えます。
ロボットが現実世界で物体を操作するためには、対象物の存在を認識するだけでは不十分です。
対象の位置、接近方向、把持すべき部位、周囲の障害物との関係などを理解する必要があります。
10-1. Vision-Language-Actionモデルとの関係
Vision-Language-Action（VLA）モデルは、視覚と言語の情報を利用して行動を出力するAIモデルです。
研究では、Molmo2-ERから行動学習を経たMolmoAct2系列を比較し、行動学習がS-Spaceの幾何学的表現に与える影響を分析しました。
例えば、ケトル全体と持ち手のような、物体と機能部位の奥行き関係が評価されています。
InstructPartを利用した実験では、次の結果が示されています。
| モデル | 奥行き判断の正答率 |
|---|---|
| Molmo2-ER | 63.1% |
| MolmoAct2-Pretrain | 67.1% |
| MolmoAct2 | 69.0% |
この結果は、行動に関する学習が物体の機能部位と空間的位置の表現を改善する可能性を示しています。
10-2. 今後のシステム設計への示唆
S-Spaceの研究結果からは、マルチモーダルLLMのすべての計算を自然言語生成に任せる必要はない、という設計上の示唆が得られます。
例えば、将来的な空間推論システムでは、次のような役割分担が考えられます。
- 視覚モデルが画像から物体や位置関係を推定する。
- 内部空間表現から利用可能な座標情報を取得する。
- 幾何学的計算モジュールが座標変換や距離計算を実行する。
- 推論モデルが計算結果を利用して判断や行動計画を行う。
- 必要に応じて、新しい観測情報によって空間表現を更新する。
このような構成は、ロボット制御、環境理解、視覚ナビゲーション、複数視点での物体追跡などに応用できる可能性があります。
ただし、これらは研究成果から考えられる将来的な応用方向であり、S-Spaceだけで実用的なロボットの空間認識問題が解決されたわけではありません。
11. S-Space研究の限界と今後の課題
今回の研究は、マルチモーダルLLMの内部構造を理解するうえで重要ですが、いくつかの限界にも注意する必要があります。
11-1. 完全な3D世界モデルの発見ではない
S-Spaceの3軸は、水平・垂直・距離という3種類の空間情報に対応しています。
しかし、これだけでAI内部に物理的に正確な3次元世界モデルが構築されていると断定することはできません。
カメラの透視投影、物体の遮蔽、実世界のスケール、姿勢推定などについては、別の表現や計算が必要になる場合があります。
11-2. 空間軸が完全に独立しているとは限らない
自然画像には、画像内の垂直位置と奥行きのように、統計的な相関が存在します。
そのため、内部の空間方向が完全に分離された表現として学習されるとは限りません。
複数の方向が部分的に重なったり、非空間的な意味と結びついたりする可能性があります。
11-3. 因果介入は空間理解の完全な証明ではない
内部座標への介入によって回答が変化したことは、重要な因果的証拠です。
しかし、それだけでモデルが人間と同じような空間認識を持っていることや、すべての空間判断をS-Spaceのみで実行していることまでは証明できません。
モデル内部には、S-Space以外にも空間判断を支える特徴や計算経路が存在している可能性があります。
11-4. モデル間の一般化には継続的な検証が必要
研究では複数の公開モデル系列でS-Spaceに相当する表現が分析されています。
一方、アーキテクチャ、学習データ、モデル規模が異なるすべてのAIで、同等の3次元表現が存在するかは今後の検証課題です。
また、2026年10月時点のarXiv版はプレプリントであり、今後の追試や査読により解釈や結論が更新される可能性があります。
12. まとめ：AIが空間を理解する仕組みの解明に向けて
S-Space研究は、マルチモーダルLLM内部に、物体の水平位置、垂直位置、距離を線形に読み出せる3次元の表現部分空間が存在することを報告しました。
研究では、その内部座標が実際の物体配置と対応すること、空間的な質問以外でも読み取り可能であること、内部表現の操作が空間判断を変化させることなどが示されています。
さらに、モデル内部の空間情報を明示的な幾何計算へ利用すると、モデル自身による自然言語ベースの空間推論よりも高い性能を示すケースが確認されました。
この結果が示唆するのは、AIの能力を考えるうえで、情報を内部に表現する能力と、その情報を適切に操作する能力を区別する必要があるということです。
S-Spaceは、AIの内部表現を観測し、操作し、失敗原因を分析するための研究上の手掛かりとなります。
今後、Mechanistic Interpretability（機械論的解釈可能性）の研究が進むことで、マルチモーダルAIやPhysical AIの空間認識・推論能力を、より体系的に理解し改善する方法が発展していくと期待されます。
参考文献・関連研究
- Shi, Z. et al. (2026). S-Space: Exploring Spatial Workspace in Multimodal Language Models. arXiv:2610.13527.
- MirroS Team (2026). S-Space: Exploring Spatial Workspace in Multimodal Models. Research Blog and Technical Report.
- MirroS-Lab. S-Space GitHub Repository. Source Code and Experimental Configurations.
- Min, C. et al. (2026). Why Far Looks Up: Probing Spatial Representation in Vision-Language Models.
- Chen, S. et al. (2025). Why Is Spatial Reasoning Hard for VLMs? An Attention Mechanism Perspective on Focus Areas. ICML 2025.
- Zhang, Z. et al. (2025). Do Vision-Language Models Represent Space and How? Evaluating Spatial Frame of Reference under Ambiguities. ICLR 2025.
本記事は2026年10月時点で公開されている研究論文・技術報告をもとに作成しています。研究で観測された結果と将来の応用可能性を区別して解説しています。
