Weile Luo
文章 标签 分类 关于我
Weile Luo

目录

Multimodal Agents：当大模型睁开眼睛看世界

 收录于 博客
   约 4285 字   预计阅读 9 分钟 

文本大模型（LLM）虽然拥有强大的逻辑推理能力，但它们天生是“盲”的。现实世界中的绝大多数任务（如浏览网页、操作软件、理解图表）都高度依赖视觉信息。因此，将大模型升级为 多模态智能体（Multimodal Agents），让它们“睁开眼睛看世界”，成为了当前 AI 领域最核心的突破口之一。

本文将系统性地梳理多模态智能体的技术演进路线：从底层的视觉架构基础，到大型多模态模型（LMMs）的构建方式，再到它们如何在复杂的 Web 环境中执行任务。

1. 视觉架构基础：如何让模型“看懂”图像？

要把图像喂给基于 Transformer 的语言模型，核心问题是： 如何将二维的图像表示为一维的向量序列（Token Embeddings）？

1.1 Vision Transformer (ViT)

2021 年的 ViT 彻底改变了计算机视觉。它的核心思想极其简单粗暴：将一张图像切分成多个固定大小的图像块（Patches，比如 16x16 像素），然后把每个 Patch 展平并线性映射为一个向量，最后直接送入标准的 Transformer 中。

Vision Transformer (ViT) 架构图
Vision Transformer (ViT) 架构图
ViT 证明了：只要数据量和算力足够大，Transformer 完全可以替代传统的 CNN（卷积神经网络），并且能够通过注意力机制（Attention）精准聚焦到与任务相关的图像区域。

1.2 跨模态对齐：CLIP 与 BLIP

仅仅把图像变成向量还不够，我们还需要让 图像向量和文本向量在同一个语义空间中对齐。

  • CLIP（Contrastive Language-Image Pre-training）： 在此之前，图像模型的训练往往依赖人工标注的固定类别（如 ImageNet 的 1000 个分类）。OpenAI 打破了这一限制，直接从互联网上抓取了 4 亿对“图像-文本”数据。

    • 具体怎么做？ CLIP 包含两个独立的神经网络：一个 图像编码器（如 ResNet 或 ViT）和一个 文本编码器（Transformer）。在训练时，给定一个 Batch（比如 32768 对图文），模型分别提取出 32768 个图像向量和 32768 个文本向量。然后，计算它们两两之间的余弦相似度，形成一个 $32768 \times 32768$ 的矩阵。

    • 对比学习目标： 在数学上，CLIP 优化的是一个 对称的 InfoNCE 损失函数（Symmetric Cross-Entropy Loss）。假设在一个 Batch 中有 $N$ 对图文，$\boldsymbol{I}_i$ 和 $\boldsymbol{T}_i$ 分别是第 $i$ 个图像和文本经过编码器并 L2 归一化后的特征向量。模型需要同时最小化“图像到文本”和“文本到图像”的对比损失：

      $$ \mathcal{L}_{I \rightarrow T} = -\frac{1}{N} \sum_{i=1}^N \log \frac{\exp(\boldsymbol{I}_i \cdot \boldsymbol{T}_i / \tau)}{\sum_{j=1}^N \exp(\boldsymbol{I}_i \cdot \boldsymbol{T}_j / \tau)} $$

      其中 $\tau$ 是一个可学习的温度超参数（Temperature parameter）。这个公式的本质是最大化分子（对角线上真正配对图文的余弦相似度），并最小化分母（矩阵中所有不配对图文的相似度惩罚）。

    • Zero-shot 奇迹： 因为文本编码器见过海量的自然语言描述，推理时，你只需要把所有可能的类别名称（如“一只猫”、“一辆车”）变成文本向量，然后看哪一个文本向量和当前输入图像的向量相似度最高即可。这种方式让模型甚至能认出它在特定训练集中从未见过的物体。

CLIP 架构图
CLIP 的对比学习预训练过程
  • BLIP（Bootstrapping Language-Image Pre-training）： CLIP 的双塔架构（两个编码器完全独立，只在最后算个内积）虽然检索速度极快，但缺乏深度的图文特征融合，因此 只能做匹配，不能做生成。
    • 架构升级： BLIP 引入了更复杂的跨模态注意力机制（Cross-attention）。它不仅包含单模态的编码器，还包含一个 基于图像的文本编码器（用于深度图文匹配）和一个 基于图像的文本解码器（用于直接生成图像描述 Caption）。
    • CapFilt 机制： 互联网上的图文对往往充满噪音（比如一张狗的图片配文是“周末好开心”）。BLIP 的核心贡献是让模型“左脚踩右脚”实现自举（Bootstrapping）：先用解码器为网络图片生成合成字幕（Captioner），再用编码器过滤掉那些图文不匹配的噪音数据（Filter），从而得到极其干净的训练数据。

2. 大型多模态模型（LMMs）的构建

有了视觉编码器后，如何将其与强大的 LLM 结合？目前主要有两条技术路线。

2.1 拼接式架构（Non-native VLMs）

这是目前最常见、成本最低的做法（如 LLaVA、Mini-GPT4）。因为从头训练一个多模态大模型太贵了，学术界想出了一个聪明的办法：直接把现成的视觉模型（如 CLIP）和语言模型（如 Llama）“缝合”起来。

  • 架构： 图像 $\rightarrow$ 预训练好的视觉编码器（提取出 ViT 向量） $\rightarrow$投影层（Projector） $\rightarrow$ 强大的 LLM。
    • 这里的 投影层 就像一个“翻译官”。因为视觉编码器输出的向量维度（比如 768 维）和 LLM 接受的词向量维度（比如 4096 维）不同，且语义空间不通。投影层通常是一个简单的线性层或 MLP，负责把视觉信号翻译成 LLM 能听懂的“外语”。
  • 两阶段训练管线：
    1. 特征对齐阶段（Alignment）： 此时冻结视觉编码器和 LLM 的所有参数，只训练中间那个薄薄的投影层翻译官。目标是让 LLM 看到图像向量时，能准确输出对应的基础词汇（比如看到猫的图片，能输出 “cat”）。
    2. 指令微调阶段（Instruction Tuning）： 解冻 LLM（或使用 LoRA），使用高质量的图文问答数据（如 LLaVA-Instruct 包含 15 万条人工构造的复杂指令数据）对模型进行微调。这一步是为了让模型不仅能认出“这是一只猫”，还能回答“这只猫为什么看起来很生气？”这种需要复杂逻辑推理的问题。

2.2 原生多模态模型（Native Multimodal Models）

拼接式架构虽然便宜，但有一个致命弱点：作为“眼睛”的视觉编码器（如 CLIP）在预训练时为了追求全局匹配， 丢失了很多细粒度信息。这导致拼接出来的模型往往不擅长数数（数不清图里有几个人），也不擅长阅读图片里的密集文字（OCR 能力差）。 因此，业界开始探索 从头开始（From scratch）同时混合多模态数据训练 的 LLM（如 Qwen-VL 家族）。

  • 早期融合（Early Fusion） vs 晚期融合（Late Fusion）：
    • 传统的拼接做法属于 Late Fusion（晚期融合），图像先被一个庞大的视觉编码器“咀嚼”过，提取出高级特征后才喂给 LLM。
    • Early Fusion（早期融合） 则极其激进：完全抛弃独立的视觉编码器！ 就像 ViT 一样，直接将图像切成原始的像素块（Patches），通过一个极简的线性层映射后，直接和文本 Token 混合在一起，一股脑送入 LLM 中，让 LLM 自己去学怎么看图。
  • Scaling Laws（缩放定律）的惊人发现： ICCV 2025 的研究表明，在小规模参数下，带有独立视觉编码器的模型（Late Fusion）略占优势，因为视觉编码器自带了很好的先验知识；但在大规模参数下，Early Fusion 和 Late Fusion 的表现几乎完全一致。这意味着 在未来，我们可能根本不需要专门的图像编码器，一个纯粹的、统一的 Transformer 就能无缝处理所有模态的数据。

3. 多模态智能体（Multimodal Agents）实战

当 LMM 具备了视觉理解能力后，我们就可以将其部署为 Agent，让它在真实的图形界面（GUI）中执行任务。

3.1 为什么纯看 HTML 源码不够用？

在早期的智能体测试（如 WebArena）中，Agent 只能读取网页的 HTML 源码（DOM 树）。但这种方式有三大硬伤：

  1. 源码极度混乱： 现代网页的 HTML 往往被前端框架压缩和混淆过，充满了无意义的 <div> 嵌套。
  2. 丢失动态交互： 很多交互元素（如鼠标悬停才弹出的菜单、JavaScript 动态加载的弹窗）在静态 HTML 中根本无法正确体现。
  3. Token 爆炸： 一个稍微复杂点的网页，其 HTML 源码动辄超过 10 万个 Token，极大地消耗了 LLM 的上下文窗口和推理算力。

因此， VisualWebArena 引入了纯视觉输入。Agent 可以直接“看”到网页的截图，这不仅大幅压缩了输入信息，还使得 Agent 能够处理诸如“这个二手商品的外观是否有瑕疵”等纯视觉任务。

3.2 视觉定位神器：Set-of-Mark (SoM)

虽然多模态模型能看懂网页截图，但当你命令它“点击右上角的购物车”时，它很难输出精确的屏幕坐标(x, y)。 **因为大模型本质上是“文科生”，它们对连续的二维空间几何坐标非常不敏感。**Set-of-Mark (SoM) 完美解决了这个问题：它通过前端脚本，在网页截图的所有可交互元素（按钮、链接、输入框）上，直接覆盖一层带有数字的标签（Marks）。 这样一来，模型就不需要去猜坐标了。它只需要输出“ 点击数字 15 ”，就能实现 100% 精准的视觉定位（Visual Grounding）。SoM 巧妙地将一个困难的“空间几何问题”转化为了大模型最擅长的“文本多选题”。

在真实的 Web 任务中，Agent 经常会犯错，比如陷入死循环（在两个页面间反复点击跳转）或过早放弃。传统的单线思考模式（如 ReAct）就像是“蒙着眼睛走迷宫”，一旦走错一步，就会导致“局部决策引发全局失败（Local Decisions; Global Consequences）”。

为此，研究者引入了 树搜索（Tree Search） 机制，让 Agent 具备了“后悔药”：

  • 最佳优先搜索（Best-first search）： Agent 不再只走一条路，而是同时探索多个分支。如果发现当前页面不对，它可以进行 回溯（Backtracking），退回到上一个正确的页面重新选择其他按钮。

  • 价值函数（Value Function）： 面对指数级爆炸的网页跳转路径，必须引入一个价值函数来对当前的中间状态进行打分和重排序（Rerank）。比如评估“当前页面距离买到目标商品还有多远？”。 在数学表达上，Agent 在当前网页状态 $s_t$ 下，会生成多个候选动作 $a \in \mathcal{A}$。价值函数 $V(s)$ 或状态-动作价值 $Q(s, a)$ 会对每个分支进行评分，引导 Agent 优先探索得分最高的路径：

    $$ a^* = \arg\max_{a} Q(s_t, a) $$

    如果当前状态 $s_t$ 的最大预期价值低于某个阈值，Agent 就会触发回溯机制，放弃当前死胡同。

  • 核心挑战： 树搜索非常缓慢；更致命的是，真实网页中的很多操作是 不可逆的（Destructive actions）（比如你不能随便点击“确认付款”或“发送邮件”然后再回溯），这给智能体的安全探索带来了极大的挑战。

3.4 突破数据瓶颈：互联网级合成训练

目前顶尖的 LLM 在 VisualWebArena 上的表现依然落后人类近 69%。核心瓶颈在于： 缺乏高质量的 Agent 交互数据。 最新的研究（如 Towards Internet-Scale Training For Agents）提出了一种绝妙的方案： 用 Llama 自己生成并验证合成任务。

  • 给定一个真实的网址，让 LLM 提出一个普通用户可能会执行的合理任务。
  • 通过这种方式，研究人员在 15 万个真实网站上生成了海量的合成轨迹。
  • 实验证明，加入这些合成数据后，Agent 的泛化能力和任务成功率实现了翻倍的提升（+156%）。

总结

多模态智能体正在经历从“文本盲人”到“视觉全才”的蜕变。从底层的 ViT 和 CLIP，到拼接式与原生的多模态大模型，再到结合了 Set-of-Mark 视觉定位与树搜索的 Web Agents。

尽管目前 Agent 在长视距规划和不可逆操作上仍面临挑战，但随着合成数据的爆发式增长和底层架构的统一，未来我们必将看到能够熟练操作 Photoshop、Excel 甚至自动完成复杂网购的通用多模态助理。


更新于 2026-06-23
 LLM Agent
返回 | 主页