Chameleon: 场景记忆赋能机器人长程操作 | AI 论文深潜

1
2
3

任务："去厨房把微波炉关上，然后把杯子放进水槽"

步骤 1: 打开微波炉门 → 步骤 2: 关闭微波炉门 → 步骤 3: 拿起杯子 → 步骤 4: 放入水槽

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

┌─────────────────────────────────────────────────────────┐
│  情景记忆缓冲区 (Episodic Memory Buffer)                │
├─────────────────────────────────────────────────────────┤
│  t-5: [末端执行器位置，抓握状态，任务阶段]               │
│  t-4: [末端执行器位置，抓握状态，任务阶段]               │
│  t-3: [末端执行器位置，抓握状态，任务阶段]               │
│  t-2: [末端执行器位置，抓握状态，任务阶段]               │
│  t-1: [末端执行器位置，抓握状态，任务阶段]               │
│  t:   [当前观测 → 决策]                                 │
└─────────────────────────────────────────────────────────┘

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

┌─────────────────────────────────────────────────────────┐
│  场景记忆地图 (Scene Memory Map)                        │
├─────────────────────────────────────────────────────────┤
│  ┌─────┬─────┬─────┬─────┐                             │
│  │ 厨房 │ 客厅 │ 走廊 │ 卧室 │  ← 语义标签              │
│  ├─────┼─────┼─────┼─────┤                             │
│  │ 3D  │ 3D  │ 3D  │ 3D  │  ← 体素特征                  │
│  │ 特征 │ 特征 │ 特征 │ 特征 │                             │
│  └─────┴─────┴─────┴─────┘                             │
│                                                         │
│  即使机器人转身，仍"记得"身后的环境布局                    │
└─────────────────────────────────────────────────────────┘

1
2

决策输入 = f(当前观测，语言指令，场景记忆，情景记忆)
动作 = Policy(决策输入)

1
2

视觉输入 → ViT/ResNet → 视觉特征 (768 维)
语言指令 → Transformer → 语言特征 (512 维)

1
2

当前位置 → 查询场景记忆 → 局部 3D 特征 (256 维)
时间步 t → 检索情景记忆 → 历史动作序列 (128 维×N)

1
2
3
4
5

融合输入 = Concat(视觉特征，语言特征，场景特征，情景特征)
         = 768 + 512 + 256 + (128×N) 维
         
注意力权重 = Softmax(Q·K^T / √d) · V
决策表示 = Transformer 块 (融合输入)

1
2

动作分布 = MLP(决策表示)
执行动作 = Sample(动作分布) 或 Argmax(动作分布)

1

P(动作 | 当前观测) — 马尔可夫假设

1

P(动作 | 当前观测，历史动作序列，环境地图) — 非马尔可夫

1
2
3
4
5
6
7
8

任务："把微波炉里的杯子拿出来"

t=0: 走向微波炉 (记忆：目标=微波炉)
t=1: 打开微波炉门 (记忆：门状态=打开中)
t=2: 伸手进微波炉 (记忆：门已打开，手在内部)
t=3: 抓取杯子 (记忆：已接触杯子)
t=4: 取出杯子 (记忆：杯子在手中，门仍打开)
t=5: 关闭微波炉门 (记忆：杯子已取出，需关门)

1
2
3
4
5
6

场景：微波炉门半开

无记忆：无法判断是"正在打开"还是"正在关闭"
有记忆：
  - 如果记忆中"手向外拉" → 判断为"正在打开"
  - 如果记忆中"手向内推" → 判断为"正在关闭"

1
2

传统：感知 → 决策 → 行动
新一代：感知 → 记忆检索 → 记忆融合 → 决策 → 行动

1
2

马尔可夫：当前观测决定一切
非马尔可夫：历史 + 当前共同决定

1
2

单一策略：Policy(观测)
记忆增强：Policy(观测，记忆)

1
2
3

短期记忆：最近动作（秒级）
中期记忆：当前任务（分钟级）
长期记忆：环境布局（小时/天级）

1
2

原始记忆：[动作 1, 动作 2, ..., 动作 100]
压缩后：[任务阶段 1 完成，任务阶段 2 进行中]

1

任务 A 学到的环境地图 → 复用于任务 B

1

视觉记忆 + 听觉记忆 + 触觉记忆 → 更丰富的世界模型