企业官网建设流程全解析

本文系统梳理了ViLBERT、Q-Former、LLaVA、Qwen3-VL等前沿多模态模型，从交互拓扑、表示形式、训练目标等六个维度剖析其设计逻辑。文章重点介绍了双流Cross-Attention、单流拼接、CLIP对比式对齐等主流路线，并深入探讨了Qwen2-VL的动态分辨率、LLaVA的投影后拼接等关键技术。此外，还涵盖了数据工程、推理部署及评测方法，为AI工程师和程序员提供了全面的大模型学习框架。

★

面向 AI 工程师、研究生和多模态系统开发者的系统版综述。本文覆盖 ViLBERT、Q-Former、LLaVA、Qwen3-VL、Omni、视觉 RAG、Grounding、Vision-Language-Action 与 3D 世界模型，从交互拓扑、表示形式、训练目标、位置编码、系统成本和输出能力六个维度，解释多模态模型为什么这样设计。

图 1：多模态模型的核心融合机制与并行架构路线。

0. 结论先行

多模态融合的核心不是把视觉向量“翻译成文字”，也不是把两个向量直接拼接。它要解决的是一组同时存在的约束：

语义对齐 + 粒度对齐 + 位置对齐 + 训练目标对齐 + 计算预算对齐

今天常见的生成式 VLM，大体遵循：

视觉编码器 → 视觉-语言连接器 → LLM / MoE Decoder → 文本、语音、坐标或动作

差异主要集中在三个位置：

1. 视觉信息压缩成多少 token；

2. 视觉信息只在输入层注入，还是进入 LLM 的中间层；

3. 模型是否只理解，还是还要生成图像、语音并执行动作。

4. 先纠正“两个空间不能做 Attention”

文本 embedding 与视觉 embedding 的预训练分布不同，但 Attention 的计算不是直接拿原始坐标做内积：

Q = X @ Wq K = Y @ Wk V = Y @ Wv S = softmax(Q @ K.transpose(-1, -2) / sqrt(d_head)) O = S @ V

Wq/Wk/Wv是可学习的投影矩阵，所以不同模态不需要共享原始坐标语义。真正的问题是模型是否获得了足够的数据和结构，学习下面的映射：

文本 token “猫” → 图像中哪些 patch / region 图像 patch “车轮” → 语言中哪些概念、关系和动作 视频帧 t=5s → 音频在同一时间的声学事件

工程上最重要的四个错位是：

2. 用统一数学框架描述多模态模型

设文本 token 为T ∈ R^(L_t × d_t)，视觉 token 为V ∈ R^(L_v × d_v)，音频 token 为A。一个通用的多模态模型可以写成：

V' = E_v(image/video) A' = E_a(audio) Z_v = C_v(V') # visual connector / merger Z_a = C_a(A') # audio connector H0 = Interleave(T, Z_v, Z_a) # 按模态和时间组织序列 Hn = Transformer(H0, position_ids, attention_mask) Y = Head(Hn) # language / speech / grounding head

其中：

• E_v/E_a负责单模态感知；
• C_v/C_a负责维度、分布和 token 数量对齐；
• Interleave决定不同模态的相对顺序；
• position_ids决定模型是否知道二维空间和时间；
• Head决定模型输出文本、语音、坐标还是 mask。

2.1 为什么 token 数量是系统问题

自注意力的计算和显存大致随序列长度平方增长：

Attention FLOPs ≈ O(L² · d) KV Cache ≈ O(L · n_layers · d)

如果一张图片产生 256 个视觉 token，20 帧视频就可能带来 5120 个 token；如果是动态高分辨率文档，数量还会更高。因此视觉 token 压缩并不是“为了好看”，而是决定能否部署的核心变量。

3. 路线一：双流 Cross-Attention

代表模型：ViLBERT、LXMERT。

图 2：ViLBERT 的视觉流和语言流通过 co-attentional Transformer 交互。来源：Lu et al., 2019，ViLBERT。

单层可以抽象为：

H_t' = SelfAttn(H_t) H_t = CrossAttn(Q=H_t', K=H_v, V=H_v) H_v' = SelfAttn(H_v) H_v = CrossAttn(Q=H_v', K=H_t, V=H_t)

3.1 预训练任务

ViLBERT 使用 masked multimodal modeling 和 image-text alignment；LXMERT 进一步使用 MLM、masked object prediction、cross-modality matching 和 VQA。

3.2 工程权衡

优点：模态内编码器可以独立设计，Cross-Attention 位置明确。

缺点：两个流都要运行，交互后通常不能简单缓存；如果视觉 token 数量很大，跨模态注意力的复杂度约为O(L_t · L_v · d)。

它们今天仍然有遗产：Flamingo 的 gated Cross-Attention、Perceiver Resampler 和很多视觉 Adapter 都可以看成双流思想的变体。

4. 路线二：单流拼接

代表模型：UNITER、Oscar、ViLT。

[CLS] text_1 ... text_L [IMG_1] ... [IMG_N] [SEP]

UNITER 的典型预训练任务是：

这里要避免把 MOC 写成 UNITER 的标准核心任务。不同论文可能使用相似的 object consistency 任务，但 UNITER 原论文的主线是 MLM、MRM、ITM 和 WRA。

ViLT 的贡献是移除区域检测器，直接将图像 patch 与文本 token 送入统一 Transformer，减少视觉预处理成本。

5. 路线三：CLIP/SigLIP 的对比式对齐

对比学习的目标不是生成文本，而是建立共享 embedding 空间：

i = normalize(image_encoder(images)) t = normalize(text_encoder(texts)) logits = i @ t.T / temperature loss_i = cross_entropy(logits, labels) loss_t = cross_entropy(logits.T, labels) loss = (loss_i + loss_t) / 2

CLIP 适合检索、零样本分类和作为视觉骨干；它没有 token 级别的细粒度交互，也没有开放式文本生成能力。SigLIP 使用 pairwise sigmoid loss，避免显式构造全局 softmax，适合大规模训练中的 batch 扩展。

6. 路线四：Q-Former 与 Perceiver 桥接

代表模型：BLIP-2、InstructBLIP、Flamingo 的 Perceiver Resampler。

图 3：BLIP-2 用 Querying Transformer 连接冻结图像编码器和冻结 LLM。来源：Li et al., 2023，BLIP-2。

Q-Former 的目的可以写成一个信息瓶颈：

L_v 个视觉 token → M 个 Query token → LLM

其中M << L_v。理想情况下，Query 保留与语言任务最相关的信息，同时抑制视觉冗余。

但压缩有代价：细粒度 OCR、空间定位和小物体识别可能损失信息。因此，Query 数量应该根据任务和分辨率选择，而不是固定成“经验最优 32”。

7. 路线五：LLaVA 的投影后拼接

代表模型：LLaVA、LLaVA-1.5、LLaVA-OneVision。

图 4：LLaVA 通过 MLP Projector 将视觉 token 映射到 LLM hidden space。

class Projector(nn.Module): def __init__(self, vision_dim, llm_dim): super().__init__() self.net = nn.Sequential( nn.Linear(vision_dim, llm_dim), nn.GELU(), nn.Linear(llm_dim, llm_dim), ) def forward(self, x): return self.net(x)

如果维度是1024 → 4096 → 4096，参数量约为：

1024×4096 + 4096×4096 ≈ 21M

不是 4M。LLaVA 的成功来自视觉骨干、强 LLM 和高质量视觉指令数据的组合，而不是 projector 单独具有强表达能力。

7.1 训练阶段

第一阶段通常冻结视觉编码器和 LLM，只训练 projector，让视觉 token 进入 LLM 的 hidden distribution。

第二阶段进行视觉指令微调，可采用全参数训练、LoRA 或部分解冻。训练时要正确处理：

• <image>占位符替换；
• visual token 的 position ids；
• causal attention mask；
• 只在 assistant answer 上计算 language loss；
• 多图片和视频的分隔符。

8. 路线六：动态分辨率、Patch Merger 与 M-RoPE

代表模型：Qwen2-VL、Qwen2.5-VL。

Qwen2-VL 动态分辨率

图 5：Qwen2-VL 将不同分辨率图像和视频映射为可变长度视觉 token。来源：Qwen Team, 2024，Qwen2-VL。

Qwen2-VL 的视觉 token 数量由输入分辨率决定，而不是所有图片固定成 256。Patch Merger 将相邻 2×2 patch 合并后，再映射到 LLM hidden dimension。

M-RoPE 将位置拆成：

文本 token： (t, h, w) = (position, position, position) 图片 patch： (t, h, w) = (0, row, col) 视频 patch： (t, h, w) = (frame, row, col)

Qwen2.5-VL 在动态分辨率 ViT、Window Attention、绝对时间编码和长视频处理上进一步增强。因此应把 Qwen2-VL 和 Qwen2.5-VL 分开讨论。

9. 路线七：Qwen3-VL 的 DeepStack

图 6：Qwen3-VL 将多层视觉特征通过 merger 注入 LLM 对应层。来源：Qwen Team, 2025，Qwen3-VL。

Qwen3-VL 的关键改进包括：

• SigLIP-2 视觉编码器；
• 动态原生分辨率；
• Interleaved-MRoPE；
• DeepStack 跨层视觉注入；
• 文本化视频时间戳；
• Dense 与 MoE 多种规模；
• 最长 256K 上下文。

DeepStack 的思想是让视觉编码器多个层级的特征进入语言模型多个层级，而不是只在输入 embedding 处注入一次：

for v_state, block in zip(vision_intermediates, target_llm_blocks): visual = merger(v_state) hidden = block(hidden, visual_residual=visual)

这不是简单的“低层视觉对应低层语言、高层视觉对应高层推理”定律，而是一个可训练的跨层残差通道。层映射、特征选择和 merger 结构都应以具体实现为准。

10. 路线八：Thinker-Talker 全模态模型

10.1 Qwen2.5-Omni

图 7：Qwen2.5-Omni 的多模态输入、Thinker-Talker 双核和流式输出。来源：Qwen Team, 2025，技术报告。

文本 + 图像 + 音频 + 视频 ↓ Thinker 多模态理解与文本生成 ↓ Talker 多码本语音 token 生成 ↓ Codec / DiT

TMRoPE 的目标是让视频帧和音频块拥有统一的时间参照。它处理的是编码器输出的块状表示，不是把 16 kHz 原始采样点逐个输入 Transformer。

10.2 Qwen3-Omni 与 Qwen3.5-Omni

Qwen3-Omni 使用 Thinker-Talker MoE、多码本语音 codec 和低延迟流式生成。Qwen3.5-Omni 进一步报告 Hybrid-Attention MoE、256K 上下文和 ARIA 文本-语音单元动态对齐。

Omni 路线的系统瓶颈不只是模型 FLOPs，还包括：

• 音频和视频 encoder 的首包延迟；
• codec 解码延迟；
• 音视频缓存和滑动窗口；
• 文本输出与语音输出的一致性；
• 用户打断时的状态回收。

11. 四个不能遗漏的并行分支

Flamingo：门控 Cross-Attention + Perceiver Resampler

适合图文交错上下文和 few-shot，多模态信息不必全部塞入输入层。

CogVLM：Visual Expert 深层注入

在 Attention 和 FFN 内部加入视觉专家，代表“模型中间层深度融合”。

Chameleon / Emu3：离散 token 统一建模

将图像、视频和文本全部变成离散 token，用统一 next-token prediction 同时做理解与生成。

Janus / Janus-Pro：理解和生成视觉解耦

共享 Transformer，但使用不同视觉编码路径服务于语义理解和像素级生成。

DeepSeek-VL2：MoE、动态切图和 MLA

重点优化高分辨率视觉输入、专家路由和 KV Cache 效率。

12. 训练配方：模型结构只是成功的一半

一个可复现的生成式 VLM 往往包含以下阶段：

阶段 A：单模态预训练

视觉编码器通过分类、对比学习或图像-文本数据获得语义表示；LLM 完成语言预训练。

阶段 B：模态连接器预训练

冻结视觉编码器和 LLM，只训练 projector、Q-Former 或 merger。目标是减小表示分布差异。

常见损失是：

L_connector = λ_lm L_CausalLM + λ_itm L_ITM + λ_itc L_ITC

阶段 C：视觉语言预训练

扩大图文、OCR、文档、视频和 grounding 数据，逐步解冻 LLM 或只使用 LoRA。

阶段 D：指令微调

数据形式通常是：

{ "image": "document.png", "conversation": [ {"role": "user", "content": "表格中的总金额是多少？"}, {"role": "assistant", "content": "总金额为 12,480 元。"} ] }

阶段 E：偏好优化或强化学习

对视觉推理、坐标、工具调用和可验证答案使用 DPO、GRPO、RLVR 或任务专用 reward。

13. 数据工程：性能差距经常来自数据而不是结构

技术团队最容易低估的是数据质量。一个多模态数据管线至少要处理：

• 图片与文本去重；
• OCR 质量过滤；
• 低分辨率和水印检测；
• 语言和文化覆盖；
• 长宽比与分辨率分桶；
• 视频帧采样和时间戳标注；
• 对话中图片位置的一致性；
• 版权、隐私和安全过滤。

尤其要避免把所有数据都转成“图片描述”。如果训练集中缺少图表、表格、空间关系、反事实和多轮对话，模型就很难获得这些能力。

14. 推理和部署：从架构到系统

14.1 Token 预算

部署时应该把视觉 token 当成上下文预算的一部分：

总上下文 = 文本 token + 视觉 token + 视频 token + 输出 token

动态分辨率模型需要设置min_pixels/max_pixels或等价阈值，防止一张超大图片吞掉整个上下文。

14.2 KV Cache

视频场景中，KV Cache 往往比视觉 encoder 更快成为瓶颈。可以考虑：

• 帧采样和关键帧选择；
• patch/token pooling；
• sliding-window attention；
• KV quantization；
• 多轮会话中的视觉缓存复用。

14.3 量化

视觉 token 和文本 token 的分布不完全相同。统一量化 scale 可能造成视觉精度下降，实践中可以使用 modality-specific quantization 或对视觉 projector 单独保留更高精度。

14.4 训练时的显存估算

粗略估计 Transformer 激活显存时，至少要考虑：

参数 + 梯度 + optimizer states + activations + KV / temporary buffers

不要只用“参数量 × 2”估计多模态训练成本。高分辨率和长视频带来的激活量经常比 projector 参数更重要。

15. 评测不能只看一个总分

建议把能力拆成六组：

工程评估还应记录：

• 首 token 延迟；
• 首音频包延迟；
• 每秒 token 成本；
• 峰值显存；
• 长视频吞吐；
• 失败后恢复能力；
• 坐标和动作的任务成功率。

16. 八条主线之外的并行路线

前面的八条路线主要围绕“视觉或音频如何进入语言模型”。但多模态研究还有一些不能简单塞进这条时间线的分支。它们解决的问题不同，很多还能与 LLaVA、Qwen-VL 或 Omni 组合使用。

16.1 Encoder-Decoder 多模态模型

代表模型：PaLI / PaLI-X、Pix2Struct、OFA、Donut、UDOP。

这类模型不是把视觉 token 直接拼到 decoder-only LLM 的输入末尾，而是采用：

视觉编码器 + 文本编码器 → Encoder → Autoregressive Decoder

PaLI 使用视觉编码器和 mT5 类语言模型；Pix2Struct 面向网页截图、图表和结构化文档；Donut 则尝试绕过传统 OCR，直接从文档图像生成结构化文本。

它们特别适合文档理解、图表问答和图像到结构化序列的任务。

16.2 原生 Patch Decoder

代表模型：Fuyu-8B，以及部分 PaliGemma、Pixtral 设计。

Fuyu 的思路是把图片切成 patch 后直接线性投影到 Decoder 的输入空间：

image patches → linear projection → decoder-only Transformer

它弱化了独立视觉编码器的角色，更接近“视觉 patch 原生进入语言模型”。不过 PaliGemma 和 Pixtral 仍然包含视觉编码器，因此更适合作为 LLaVA 投影路线的扩展，而不是完全独立的范式。

16.3 统一多模态 Embedding

代表模型：ImageBind、LanguageBind、AudioCLIP。

ImageBind 尝试把图像、文本、音频、深度、热成像和惯性传感器映射到同一个 embedding 空间：

image / text / audio / depth / IMU → shared embedding space

这类模型不一定生成文本，但非常适合跨模态检索、视频搜索、多传感器匹配和多模态 RAG。

16.4 Late Interaction 与视觉文档检索

代表模型：ColPali、ColQwen2、Qwen3-VL-Embedding、Qwen3-VL-Reranker。

这类系统不会把一整页文档压成一个向量，而是保留 patch 或 token 级表示：

文档页面 → patch embeddings 文本查询 → token embeddings ↓ token-level late interaction

工程上通常采用“两阶段检索”：Embedding 模型负责快速召回，Reranker 负责精细排序。相比 OCR 后的纯文本检索，视觉检索能保留表格、版面、字体和图片结构。

16.5 理解与视觉生成的混合目标

代表模型：Transfusion、Show-o、Emu、Janus-Pro。

文本适合自回归 next-token prediction，而图片更适合扩散或并行去噪。因此有一类模型尝试共享 Transformer，同时使用不同生成目标：

文本 → Autoregressive loss 图像 → Diffusion / discrete visual-token loss

Transfusion 将文本自回归目标和图像扩散目标放进同一个多模态训练框架；Show-o 则探索自回归和离散扩散的统一。它们与 Emu3 的“全部离散 token 化”、Janus 的“理解/生成视觉编码解耦”并不相同。

16.6 Grounding、Segmentation 与空间输出

代表模型：KOSMOS-2、Ferret、Shikra、GLaMM、LISA、Qwen3-VL-Seg。

这类模型的输出不只是自然语言，还包括：

对象名称 + bounding box 对象名称 + point 对象名称 + segmentation mask 对象名称 + 空间关系

常见系统结构是：

VLM 语义推理 → 坐标 / 点 / 框 → detector / SAM / mask decoder

它是视觉 Agent、机器人和工业检测系统的重要基础。

16.7 音频原生与语音对话模型

代表模型：SpeechGPT、SALMONN、Qwen2-Audio、Moshi、GLM-4-Voice、MiniCPM-o。

语音模型大体分为两类：

级联式：Speech → ASR → Text LLM → TTS 原生式：Audio codec tokens → Multimodal Transformer → Audio codec tokens

级联式方案成熟、可控，但容易丢失情绪、音色、停顿和环境声；原生式方案可以直接利用声学信息，更适合实时对话和语音打断。

16.8 Vision-Language-Action 具身智能

代表模型：PaLM-E、RT-2、OpenVLA、π0、Octo。

它们的输入包括图像、视频、深度、机器人状态和语言指令，输出则是动作或轨迹：

视觉观察 + 语言任务 + 机器人状态 ↓ Vision-Language Policy ↓ Action Tokens

RT-2 的关键思想是把机器人动作表示成类似语言 token 的序列，让视觉语言模型直接预测动作。此时多模态融合的目标已经从“回答问题”转向“改变环境状态”。

16.9 3D 与空间世界模型

代表方向：3D-LLM、LEO、SpatialVLM、3D-VLA。

这类模型将深度、点云、多视角图像和语言结合起来，建模物体尺寸、距离、相对位置、可达性和导航路径。与二维 VLM 相比，视觉 token 还需要携带真实空间几何，而不仅是图像平面坐标。

16.10 Token Pruning 与动态路由

代表技术：TokenLearner、ToMe、FastV、TokenPacker、PyramidDrop。

这不是新的融合拓扑，而是可叠加在任何 VLM 上的效率路线：

高分辨率视觉 token → 重要性评分 → 保留关键 token

它能降低 Attention、KV Cache 和跨模态连接器的成本。动态分辨率解决“生成多少 token”，Token Pruning 解决“生成后保留哪些 token”，两者应当分开讨论。

16.11 并行路线总表

17. 选型建议

18. 最终判断：未来不是一个“万能融合层”

多模态模型的未来更可能是组合式架构：

动态视觉 token + 多尺度 / 多层视觉特征 + MoE 路由 + 长上下文注意力 + 统一空间-时间位置编码 + grounding / tool use + 语音 codec 与流式解码

不同机制分别解决不同问题：

• Cross-Attention 解决选择性交互；
• Query/Perceiver 解决视觉 token 压缩；
• MLP Projector 解决低成本接入 LLM；
• M-RoPE/TMRoPE 解决空间和时间坐标；
• DeepStack/CogVLM 解决中间层信息不足；
• MoE 解决模型容量与激活成本；
• Thinker-Talker 解决理解与实时表达之间的冲突。
• Late Interaction 解决视觉文档检索的精细匹配；
• Vision-Language-Action 解决从感知到动作的闭环；
• Token Pruning 解决高分辨率和长视频的推理成本。

真正成熟的全模态系统，不是“能看图、听音频、读文字”这么简单，而是能够在统一的时空表示中完成感知、推理、生成、定位和行动，并且有可控的成本与可验证的失败边界。

最后

当下AI大模型是当下实打实的优质风口，岗位缺口大、发展前景广、薪资待遇突出，对比内卷严重、涨薪晋升困难的传统技术岗，是普通人转行逆袭的绝佳选择。

但很多想要入局大模型领域的朋友，都面临无系统学习路径、无实战资源、求职无方向的难题，一个人硬啃最容易走弯路、浪费大量时间精力。这里我结合多年一线实战与教学经验，整理出一套零基础大模型专属资料，包含：

• 系统化学习路线图（零基础到精通）
• 大模型学习书籍 & 文档（电子版）
• 2026 最新行业报告
• 项目实战 & 配套源码
• 大厂面试真题

需要的朋友，微信扫描下方 CSDN 官方认证二维码免费领取，保证 100% 免费。

👇👇扫码免费领取全部内容👇👇

下面简单介绍一下资料包含的内容：

1、大模型系统化学习路线图

专属定制从零基础入门到企业级实战的全阶段学习体系，划分清晰的四大学习阶段，规避碎片化学习弊端，适配新手

2、0基础到进阶视频教程

配套完整高清实操教程，覆盖Prompt提示工程、RAG知识库搭建、Agent智能体开发、模型微调、部署落地等核心知识点，所有课程搭配实操演示，零基础也能轻松看懂、上手实操。

3、大模型学习书籍 & 文档

汇总30+本行业经典AI、大模型、深度学习精选书籍，涵盖理论原理、开发实战、算法基础、AI产品思维等各类内容

4、AI大模型最新行业报告

整理2024-2026年最新大模型行业白皮书、市场分析报告，清晰展现行业发展趋势、技术迭代方向、岗位需求变化，帮助学习者精准把握行业风口，找准学习和就业方向

5、大厂面试真题

汇总了常见的AI大模型面试问题、知识点梳理和面经参考，方便求职时针对性准备。

6、大模型项目实战 & 配套源码

包含GPT应用开发、RAG私有知识库、智能问答系统等多个企业级实战项目，配套完整可运行源码，从简易Demo到完整商业应用全覆盖，帮助学习者将理论转化为落地实战能力，积累项目经验。

7、适合谁学？

• 传统后端 / Java / 前端开发，想转型 AI 应用
• 大学生、应届生，想拿更好的 offer
• 产品经理、运营，想武装职业竞争力
• 技术负责人，想给团队落地提效

学习是反人性的，但回报是真金白银。技术会更新，赛道会切换，但只要你先动手，机会就永远站在你这边。

8、这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

想要入局AI大模型赛道、抢占行业红利的朋友，微信扫描下方CSDN官方认证二维码，即可100%免费领取全套学习资料！