☰
【论文解读】DeltaV:用“视觉增量“重新定义多模态推理——从全图生成到状态演化的范式跃迁
2026/10/12 1:17:39 网站建设 项目流程

论文:DeltaV: Thinking with Visual State Updates in Unified Large Multimodal Models
作者:Pengjie Wang, Linger Deng 等(华中科技大学 & 小米 MiLM Plus)
项目主页:https://github.com/Pengjie-W/DeltaV

一、为什么需要这篇论文?

当前的多模态大语言模型(MLLMs)在通用视觉-语言任务上已展现出强大能力,但面对需要多步视觉推理的复杂任务——如具身智能规划、科学问题求解、空间推理——仍然力不从心。为了突破这一瓶颈,研究者们提出了交错式多模态推理(Interleaved Multimodal Reasoning)的思路:在文本推理的过程中,穿插生成中间视觉状态(如棋盘局面变化、几何作图步骤、迷宫路径标记),形成"思考-画图-再思考"的推理链。

统一大型多模态模型(ULMMs)为这种推理范式提供了端到端的框架——它在一个模型内同时完成语言推理和视觉生成。然而,现有ULMMs存在一个根本性的效率瓶颈:每一步中间视觉状态都被当作一张完整图像来生成。

这带来了两个严重问题:

  1. 视觉token冗余:以384×384分辨率为例,Chen等人的模型需要576个token生成一张图;在1024×1024分辨率下,Han等人的模型甚至超过10,000个token。而一步文本推理通常只需5

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询