当 LLM 学会「记忆、推理和规划」：Language Agent 的三大核心能力

如果你问 2024 年最火的 AI 话题是什么，答案一定绕不开"Agent"。Bill Gates 说它是继命令行和图形界面之后计算史上最大的革命，Sam Altman 宣布"2025 年将是 Agent 元年"。但与此同时，也有人嗤之以鼻：“现在的 Agent 不过是套了一层薄壳的 LLM，距离实用还差得远。”

谁对谁错？这篇文章带你从头理解：语言智能体到底是什么，它如何记忆、如何推理、如何规划——以及它今天能做到什么、还差在哪里。

---

什么是"Agent"，语言智能体又是什么？

最朴素的定义来自 Russell & Norvig 的《AI: A Modern Approach》：“一个通过传感器感知环境、通过执行器作用于环境的智能系统。” 按这个定义，Atari 游戏里的 DQN、下围棋的 AlphaGo、接语音指令的 Siri 都是 Agent。

早期的文本 Agent（比如 1966 年的 ELIZA）靠手工规则模拟心理咨询师，只能在极窄的领域工作。2015 年前后，LSTM-DQN 类的神经 Agent 能够用强化学习玩文字游戏，但仍需要大量特定训练，泛化能力极差。

今天我们说的"语言智能体（Language Agent）"，是一个以语言为核心手段——既用语言推理，也用语言与外部世界沟通的新型 Agent。它和"单纯 LLM"的区别在于：LLM 只是一个强大的文本预测器，而 Language Agent 把这个预测能力嵌入一个感知-行动-反思的完整回路里。

三代 Agent 的演化对比

	逻辑 Agent	神经 Agent	语言 Agent
表达能力	低，受限于形式语言	中等，小型 NN 能编码的范围	高，几乎涵盖所有可言说的世界
推理方式	逻辑推导，严格但僵硬	参数推断，随机且隐式	语言推断，模糊但灵活
适应能力	低，依赖人工知识库	中等，数据驱动但样本效率低	高，LLM 的强先验 + 语言泛化

值得注意的是，LLM 内部只有一种机制——生成 token——来完成感知、直觉判断和符号推理这三件原本分属不同认知系统的事。这和人类不一样：人类看到一张妈妈蹲在碎碗前质问孩子的图片，瞬间就能感知到情绪和因果关系，而 LLM 需要逐词生成"看起来男孩很后悔，女人的表情显示出惊讶和担忧"——每一步都需要前向计算，每一步都"费力"。

---

第一大核心能力：记忆（Memory）

“记忆是一切。没有它，我们将一无所有。"——埃里克·坎德尔（诺贝尔医学奖，记忆神经基础研究）

为什么 Agent 需要记忆？

当前 LLM 的"记忆"只是 context window——它就像一个只能记住最近几千字的工作记忆。然而真实任务往往跨越很长的时间和大量事件流，context window 根本装不下。即便装得下，模型也很难从几千个 token 里精准找到"3 天前我在哪里放了那把钥匙"这样的细节。

我们需要的是长期记忆（Long-Term Memory，LTM）：能跨越多个会话持久保存，随时读写。

三类长期记忆内容

受人类认知科学启发，长期记忆可以按存储内容分成三类：

1. 情节记忆（Episodic Memory） 对应"我发生过什么事”。

以 Stanford 的 Generative Agents 实验为例——研究者在一个模拟小镇里放了 25 个 LLM 驱动的 NPC，每个 NPC 都有一条不断增长的"事件流"（比如"8:00 起床，8:30 吃早餐，9:00 开始写论文…"）。由于 context window 无法容纳所有历史，他们设计了一个检索机制：每条记忆按**近期性（最近发生）、重要性（情感权重）、相关性（与当前问题的语义相似度）**三个维度打分，取分最高的记忆放入 context。这样 NPC 就能在对话中自然地"想起"几天前发生的相关事情。

2. 语义记忆（Semantic Memory） 对应"我知道什么"，是对事件的抽象和总结。

同样在 Generative Agents 里，Agent 会定期对情节记忆做"反思（Reflection）"：通过 LLM 推理，把零散的事件提炼成更高层次的洞见（“Klaus 对他的研究工作非常有热情”），并写入记忆库。这些高层洞见在后续决策中起着比原始事件更关键的作用。

3. 程序记忆（Procedural Memory） 对应"我会做什么"，是可执行的技能。

Voyager（一个用 LLM 自主玩 Minecraft 的 Agent）把每一项学到的技能编写成 JavaScript 代码，存入"技能库"。每次遇到新任务，先用 embedding 检索最相关的技能，再组合或改写来解决新问题。这是一种以代码为载体的程序记忆。

RAG 是现阶段的事实标准，但远不够

**检索增强生成（RAG）**是目前最常见的 LTM 方案——把外部知识库（维基百科、文档库）当作"只读的长期记忆"，在回答问题时临时检索相关段落塞进 context。

但 RAG 有两个根本性问题：

• 只能读别人写的记忆：知识库是他人编写的，未必符合 Agent 自己的经历和推理风格；
• 标准检索在多跳问题上容易失败：例如"哪位斯坦福教授研究阿尔茨海默症的神经科学？"——答案需要关联两个实体（教授姓名和研究方向），而基于向量相似度的检索只能找到"最相关的段落"，不擅长跨实体的关联推理。

HippoRAG：向人脑学习的长期记忆架构

NeurIPS 2024 的 HippoRAG 受海马体索引理论启发，把人脑记忆的三个区域映射到 AI 系统上：

• 新皮质（LLM）：负责感知和推理，用 Open IE 从文本中抽取三元组（比如"Thomas 研究阿尔茨海默症"、“斯坦福雇用了 Thomas”）；
• 嗅周皮层（检索编码器）：把实体和关系编码成向量，作为新皮质和海马体之间的"桥"；
• 海马体（知识图谱 + Personalized PageRank）：把抽取的三元组构建成知识图谱，通过图上的随机游走实现模式补全（pattern completion）——从"斯坦福"和"阿尔茨海默症"出发，沿图游走到"Thomas"。

实验结果：在多跳 QA 基准上，HippoRAG 的 Recall@5 达到 72.9%，比最强的向量检索方法 ColBERT（65.6%）高出 7 个百分点；配合 IRCoT 多步检索后进一步提升到 78.2%。

记忆的统一视角：学习即写入

最后，记忆不只是外部数据库的概念。从更广的角度看，“Agent 学到了东西"可以用多种形式写入记忆：

• 微调模型权重：把知识烧入参数（最彻底，但改起来最贵）；
• 优化 prompt 模板：把经验总结成更好的 system prompt，跨任务复用；
• 改进 Agent 的代码库：技能库的更新（如 Voyager）；
• 写入可检索的事件日志：Generative Agents 的情节记忆流。

---

第二大核心能力：推理（Reasoning）

“THINK."——Thomas J. Watson，IBM 创始人

什么叫 Agent 的"推理”？

对于 LLM 来说，推理就是中间生成——在给出最终答案之前，先生成一系列中间 token，这些 token 构成推理的"内心独白”。对于 Agent 来说，这些中间生成本质上是内部行动——它们不改变外部世界，只更新 Agent 的内部 context。

这里有个关键的哲学问题：推理到底有没有用，为什么有用？

推理帮助 Agent 更好地行动

想象一个 Agent 在厨房做菜，发现盐用完了。如果没有推理，它只能看到"盐罐空了"这个状态，然后直接映射到某个行动。但加上推理，Agent 会想：“这道菜需要咸味，盐没了，可以用酱油替代，酱油在右边的柜子里……“然后才去开柜子。

推理让观测到行动的映射变得可泛化、可解释，而不是死记硬背的条件反射。

行动反过来帮助推理

但纯推理也有盲点。问一个 2021 年训练的模型"现在英国首相是谁”，它会自信地给出过时答案。推理时的幻觉（hallucination）在闭合系统里无法自我纠正。

这就是行动更新推理的价值：通过搜索引擎查询、数据库查找、工具调用等外部行动，Agent 可以获取最新知识，实时纠正推理的前提。

ReAct：推理与行动交织

ReAct（Reason + Act）是把这个思路形式化的经典工作（ICLR 2023）。它的做法是：在 prompt 格式上，把思考（Thought）和行动（Action）交替编排，形成一个循环。

来看一个具体例子——问题是"除了 Apple Remote，还有什么设备能控制它最初设计来交互的那个程序？”

• 纯推理（CoT）：模型直接推断"Apple Remote 最初设计用于 Apple TV"，然后说 iPhone/iPad/iPod Touch 也能控制 Apple TV——答案错误，因为它记错了，Apple Remote 其实设计用于 Front Row 软件，不是 Apple TV。
• ReAct：
  • Thought 1：我需要先搜索 Apple Remote 找到它原本设计交互的程序。
  • Action 1：Search[Apple Remote]
  • Obs 1：（搜索结果）"……最初设计用于控制 Front Row 媒体中心程序……"
  • Thought 2：Apple Remote 设计用于 Front Row。我需要搜索 Front Row。
  • Action 2：Search[Front Row] → 找不到，相似词条有 Front Row (software)
  • Action 3：Search[Front Row (software)]
  • Obs 3：Front Row 是苹果的媒体中心软件，可通过 Apple Remote 或键盘功能键控制。
  • Thought 4：答案是键盘功能键。✅ 正确

ReAct 的精髓在于：推理帮助 Agent 决定下一步搜什么（避免盲目行动）；搜索结果更新推理的知识基础（避免幻觉堆叠）。

推理的技术内涵：扩展了行动空间

从形式化角度看，传统 Agent 的行动空间 $A$ 由外部环境定义（比如"点击"、“输入”、“滚动”）。ReAct 把行动空间扩展为：

$$ \hat{A} = A \cup \mathcal{L} $$

其中 $\mathcal{L}$ 是所有可能的语言序列。每一个 “Thought” 动作 $\hat{a}_t \in \mathcal{L}$ 只更新内部 context，不触发外部环境响应。

这使得推理行动空间是无限大的，但 LLM 从海量人类文本中学到了强大的"推理先验"，可以相对高效地在这个无限空间里导航——这也是为什么 LLM 时代推理变得如此重要的原因。

---

第三大核心能力：规划（Planning）

“如果你不计划，你就是在计划失败。"——本杰明·富兰克林

什么是 Language Agent 的规划？

经典 AI 规划（比如机器人路径规划）有一个共同特点：目标是形式化的，行动空间是离散且有限的，规划算法（如 A*）可以给出保证最优的解。

但现实中的 Language Agent 面对的规划问题截然不同：

• 目标描述是模糊的自然语言：比如"帮我规划一个预算 6000 美元、带宠物友好住宿的西雅图到加州五日游”。
• 行动空间是开放的：能点哪些按钮、能调用哪些 API、能发哪些搜索，在不同网站上完全不同。
• 目标是否达成很难自动判断：不像国际象棋有输赢，很多任务的"完成"需要人类主观判断。

三种规划范式及其权衡

（a）反应式（Reactive） 模型对每一步直接做决策，没有显式的前瞻规划。

• 优点：快，实现简单；
• 缺点：目光短浅，容易陷入局部最优，一步错步步错。

（b）带真实交互的树搜索（Tree Search with Real Interactions） 在真实环境中展开多条候选行动路径（类似 MCTS），探索后回溯，选择最优路径。

• 优点：系统性探索，理论上能找到更优解；
• 缺点：真实网络操作很多是不可逆的（比如确认了一个购买，没法撤销）；还有隐私和安全风险；而且每次探索都需要实际执行，非常慢。

（c）基于世界模型的规划（Model-Based Planning） 用 LLM 预测"如果我执行这个行动，接下来会发生什么"，在这个虚拟模型里做搜索，确定了最优路径再去真实环境执行。

• 优点：不用真实执行就能探索，更快、更安全、更系统；
• 缺点：需要一个好的"世界模型"——能准确预测环境状态转移的模型。

WebDreamer：LLM 作为互联网的世界模型

关键问题来了：谁能当这个世界模型？ 过去受限于动态网页的无穷变化，没人能预先手工写出这么个模型。

TMLR 2025 的 WebDreamer 给出了一个令人眼前一亮的答案：LLM 本身就可以充当网页世界的世界模型。

因为 LLM 在预训练时见过海量网页截图、操作录像、HTML 描述，它对"点击这个按钮之后会发生什么"有相当准确的预测能力。

WebDreamer 的工作流分两阶段：

• Stage I：模拟（Simulation） 给定任务（“在数据存储分类里找最便宜的 512GB 硬盘”），LLM 对候选的几个操作路径分别预测后续状态，然后打分（比如点击"办公产品"预测出的状态评分 0.4，点击"电子产品"→“电脑配件"的路径评分 0.8）。
• Stage II：执行（Execution） 选评分最高的路径，在真实浏览器中实际执行。

这样就把昂贵的"在真实环境里反复试探"换成了"在 LLM 的想象里快速模拟”，大幅提升了效率和安全性。

规划所需的工具：从搜索到旅行助理

真实的规划任务需要大量外部工具。以 ICML 2024 的 TravelPlanner 为例——用户说"我要从西雅图去加州，11 月 6 日到 10 日，预算 6000 美元，全套房，宠物友好"，Agent 需要调用：

• CitySearch：查加州有哪些城市
• FlightSearch：查航班（西雅图到旧金山没有直飞，换洛杉矶找到 120 美元的航班）
• AccommodationSearch：过滤全套房 + 宠物友好
• RestaurantSearch、AttractionSearch：充实行程

同时还要满足"常识约束"（城市路线合理、餐厅多样化、不同日程不冲突等）。这需要 Agent 把工具调用和规划逻辑结合起来，不是简单调用一次 API 就能搞定的。

---

把三者串联起来：Language Agent 的全景框架

现在可以把记忆、推理、规划放在一起，理解 Language Agent 的完整架构了：

短期记忆（context window） 是推理的舞台。Agent 在 context 里"思考"，交替生成 Thought 和 Action，形成内部推理链。

长期记忆（外部存储 / 模型权重） 是知识的仓库。它通过 RAG/HippoRAG 等机制把历史经验、外部知识、习得技能在需要时注入 context。

规划 是对未来行动序列的组织。它决定：接下来做什么，以什么顺序做，万一失败了怎么改路线。强模型可以更"反应式"（每步 prompt 一次直接决策）；弱模型则更依赖显式的树搜索或世界模型辅助。

除了这三个核心能力，Language Agent 还有大量正在快速发展的方向，包括：多模态感知、工具调用、多 Agent 协作、持续学习、安全对齐、具身化……

---

我们还站在起点

最后引用 Sutton 的 Bitter Lesson 精神：别把太多人类的特定知识硬编进系统，要找到能随算力扩展的通用方法。 记忆、推理、规划三大模块正在朝这个方向演进——更少的手工规则，更多的自适应机制。

从 ELIZA 到 ReAct，从 RAG 到 HippoRAG，从手写 PDDL 规划到 WebDreamer 的 LLM 世界模型，这条路走了 60 年，而语言 Agent 真正腾飞不过是最近三五年的事。如 Bill Gates 所说，这可能是计算史上最大的革命——但它还远未成熟，正等着下一代研究者去填满那张核心能力的地图。