企业官网建设流程全解析

1. 先弄明白：双臂具身VLA到底在解决什么问题

想理解双臂具身VLA，别急着翻论文。我第一次看到这个词的时候也愣了半天——视觉、语言、动作，三个八竿子打不着的领域，怎么硬凑到一个模型里？后来自己动手做了几轮双臂操作实验，慢慢才品出味道：这个方向的本质，是把机器人从“按指令重复动作的机械臂”变成“能听懂人话、看懂场景、自己琢磨怎么动手的智能体”。如果你对双臂机器人、具身智能、VLA这些词感兴趣，这篇文章就是一份我从零开始梳理出来的参考笔记，尽量把来龙去脉讲透。

1.1 具身智能的“手”和“脑”是怎么分工的

先说具身智能。这个概念很好理解：一个智能体如果想在物理世界里干活，光有会算的脑袋不够，它得有身体，得有手有脚，能感知、能移动、能改变物体状态。过去几十年我们搞机器人的方式，基本是“感知-规划-控制”三段式：摄像头看到物体，算法解算出位姿，再靠运动规划生成轨迹，最后发给底层控制器去执行。这套思路在固定的流水线上非常成熟，但一旦到了开放环境，比如让你清理一张堆满杂物的桌子，桌子上的物品类别千奇百怪，摆放角度各不相同，传统的规则式感知和手工设计的抓取策略就崩溃了。

双臂具身智能，就是在这个背景下被推到前台的。两条手臂意味着更大的工作空间、更灵巧的操作方式，也意味着更复杂的状态协同。比如“双手端盘子”这个动作，两只手必须同时靠近盘子两侧，保持水平，并且随着托盘移动同步调整姿态。换成单臂干这事，只能靠吸盘或者特殊夹具，通用性大打折扣。所以，双臂不是单纯地把单臂复制两份，而是把任务空间扩大了一个维度。

脑子干什么？脑子负责做决策：根据当前的视觉信息和语言指令，决定下一步手该往哪儿挪、手指该不该闭合。传统方法里，这一步被拆解成目标检测、状态估计、轨迹规划、阻抗控制等多个模块，每个模块各自为战，误差一层层累积。VLA的思路则是把这一步揉成一个神经网络：输入图像和文本，直接输出动作或者动作参数，端到端。这样设计的好处是减少了中间模块的人工干预，让模型从数据里自己学出“看到什么情况，做什么动作”的映射关系。

1.2 VLA不是“视觉加语言加动作”这么简单

VLA是Vision-Language-Action三个单词的缩写，中文通常叫“视觉-语言-动作模型”。从组件表面看，它就是三个模块拼接：一个视觉编码器，负责把图像变成特征；一个语言编码器，负责把指令变成特征；一个动作解码器，负责把特征变成关节目标或末端位姿。如果只是堆模块，那也不稀奇。关键的设计思想在于“统一”：早期工作倾向于把视觉、语言和动作放到同一个Transformer结构里，让它们共享注意力机制，互相影响。

为什么这个“互相影响”很重要？我给你举个具体例子。指令是“把红色杯子放到蓝色托盘里”，视觉中出现了两个红色杯子和一个蓝色托盘，模型不能只提取物体的类别和坐标，它必须理解指令里的“红色”指的是哪一个，“放”这个动作牵涉到哪个物体，“到蓝色托盘”的意图是什么。如果视觉和语言模块是独立的，再把结果简单拼接，很容易出现指令和图像错位的乌龙。而统一建模可以让语言特征去“查询”图像特征，图像特征反过来约束语言理解——这就形成了具身智能中常说的“跨模态对齐”。

动作部分也不例外。动作不像语言和图像那样是静态信息，它是一段连续的时间序列，通常包含几十乃至几百个控制步。有的VLA把动作离散成Token，当作语言一样生成；有的则直接用连续回归。不同的动作表征方式，直接影响了模型能表达的技能复杂度和控制的平滑程度。所以，VLA的核心难点不在“都有什么模块”，而在“模块之间怎么耦合、动作怎么表示”。

1.3 为什么偏偏要强调双臂

单臂机器人现在已经很成熟了，商业场上到处都是工业机械臂。那为什么做VLA的研究者，越来越把目光投向双臂？表面原因是很多任务本质上需要两个抓手：比如拧瓶盖时一只手扶瓶身、一只手旋转；比如拉开抽屉后还要用另一只手去拿里面的东西；再比如双手协作递送一个较长物体。这些行为在人类的日常经验里太自然了，以至于很少有人意识到，单臂模拟它们需要多么复杂的夹具和压紧策略。

从模型学习的角度看，双臂带来的挑战是质变而不是量变。双臂的动作维度翻倍，状态空间更大，而且两条手臂之间存在不可忽略的物理耦合：它们可能共同抓取同一个物体，也可能需要在空间中避免互相碰撞。如果模型把两条臂当作完全独立的个体去输出动作，很容易产生“左手往前推，右手也往前推”的僵硬行为。真正需要的是模型学出双臂动作的联合分布，让一条臂的动作成为另一条臂的上下文。这个思路，跟VLA里视觉和语言的跨模态交互异曲同工，也是现在双臂VLA研究中最值得关注的部分。

2. 来历：从语言模型到机器人策略，一条清晰的主线

VLA不是凭空掉下来的。它的技术脉络可以追溯到十年前就开始积累的很多工作，只是当时大家没有把它统称为VLA。我学习这个领域的历程，就是沿着“语言模型→视觉语言模型→机器人动作模型”这条线走了一遍。

2.1 语言模型带来的“常识”红利

在很多人的印象里，大语言模型只是聊天对话的工具。但如果你想做一个能干活儿的机器人，语言模型提供的恰恰是机器人最缺的东西——世界常识。举个例子，一台扫地机器人看到“脏袜子”，如果它有足够的文本知识，它知道袜子是软的、不应该用真空吸尘器去吸，而应该用机械手捡起来；看到“鸡蛋”，它也知道这是个易碎品，抓取时要减速。这种知识很难靠纯视觉数据获得，因为图像里没有“易碎”这个标签，但文本里有。

最早一批尝试把语言模型引入机器人任务的工作，做的其实很朴素：用语言模型做一个任务规划器，把“做一杯咖啡”分解成“拿杯子-放咖啡粉-注水-搅拌”这样的子任务列表，再交给底层脚本执行。这种方式已经能展现出一些智能，但问题是语言模型生成的是高层次符号计划，跟底层的关节运动脱节。你让它“拿杯子”，它不知道臂应该在什么高度、以什么角度去抓。

2.2 视觉语言模型成为“眼睛”

再后来，视觉语言模型出现了。它把图像和文本对齐到同一个语义空间，可以回答“图里有什么”“物体在什么位置”这类问题。研究者很快意识到，这可以作为机器人感知系统的高效替代品。过去需要用目标检测器、分割网络、姿态估计器分别训练好几个模型，视觉语言模型一个网络全包了，而且对开放式类别很友好，不是只能识别训练过的那几十类物体。

不过，视觉语言模型依然停留在“看”和“说”的层面。让它输出一份对场景的描述文字，它说得头头是道；让它指挥机械臂去改变场景，它就无能为力了。从“说”到“做”这一步缺口，正是VLA要补齐的。

2.3 动作输出：从词元到连续控制

把一个神经网络接到机械臂上，这件事其实在强化学习和模仿学习里已经做了很多年。传统的机器人模仿学习，输入通常是一个图片和当前关节角度，输出是一个期望的关节力矩或者末端位置增量。网络大多是小型的卷积网络或者全连接网络，能够拟合的技能非常有限。智能一点的方案是门控策略，用多个专家模块来处理不同阶段的动作，但依然依赖人工设计。

转折点发生在Transformer结构全面渗透到机器人领域之后。Transformer可以把图像、文本、动作都“Token化”，Token变成了通用的表达语言。既然语言可以是Token，图像patch可以是Token，那为什么动作分量不能是Token？一旦动作被Token化，就可以用训练语言模型的那套 next-token prediction 目标，去训练机器人策略了。这个思路直接催生了一批采用“语言模型框架做机器人控制”的技术路线——它们不需要复杂的强化学习奖励设计，只需要收集大量带有指令标注的“图像-文本-动作”三元组数据，然后让模型模仿人类操作者的行为即可。

2.4 早期端到端机器人模型的积累

在VLA这个概念流行之前，已经有一批端到端机器人模型在实验室里迭代。它们的共同特点是：放弃了传统规划器中大量的手工状态机，让网络直接从高维输入映射到低维指令。有些工作针对单一任务，比如“插销插入插孔”；有些工作尝试做多任务，让同一个策略模型学习“挪杯子”“推盘子”“叠毛巾”等多类操作。虽然任务范围还很小，但证明了“端到端学习”在物理世界中走通的可能性。

这些早期探索踩了不少坑，也留下几条宝贵经验，后来的VLA基本都继承了。第一条经验：模仿学习对数据质量极其敏感，遥操作采集时哪怕多抖两下，模型也会把抖动当作要复现的动作。第二条经验：视觉输入的干扰很致命，换了光照或者背景，模型成功率会断崖式下降。第三条经验：动作频率不能太慢，低频控制会让机器人看起来像抽疯，而且在接近目标时容易震荡。这些经验直接影响了一个现代VLA应该如何设计网络结构、如何预处理数据、如何在固定频率下输出动作。

3. 核心部件拆解：一个现代VLA是怎么组成的

说了一堆背景，现在开始拆解现代VLA的内部结构。虽然各家实现细节有差异，但大体上都可以看作四个部分的组合：多模态编码器、动作表征层、策略解码器、训练目标。搞懂这四个部分，你就理解VLA的骨架了。

3.1 多模态编码器：如何压缩图像和文字

输入的第一站是编码器。图像编码器一般用现成的视觉Transformer或者卷积网络，把一张或多张视图变成一组特征向量。这里有个关键细节：机器人场景往往需要多视角信息，比如一个正前方摄像头加一个手腕上的摄像头，前者看全局布局，后者看手部细节。VLA需要同时融合多个视角，而不是简单拼接。常用的做法是给不同视角都做位置编码，再让注意力机制自己决定当前任务该重点看哪个角度。

文字编码器好玩一些。你当然可以把语言指令交给独立的文本编码器，但很多VLA干脆直接用大语言模型的前几层来编码文本，甚至把文本和视觉直接挤在同一个预训练模型里。这么做的好处是模型天然拥有很强的语言理解能力；代价是显存占用大，推理速度慢。对双臂机器人来说，两条臂的观察数据本身也多一倍，视觉编码器部分的计算量尤其需要注意。

3.2 动作Token化：把连续控制变成离散序列

动作表征是VLA设计里分歧最大的地方。早期一派坚持连续回归：直接把网络最后一层输出当成关节角度的增量或者末端位姿，并配合一个均方差损失函数来训练。这个方法实现简单，但容易造成动作突变，因为神经网络回归出来的连续值缺乏约束。

另一派走离散化路线，把每个动作维度（比如7自由度的关节角度，加上一个夹爪开关）在预定范围内均匀切分成若干区间，每个区间当一个Token。动作就变成了一串离散Token，像生成文本一样。然后模型用自回归方式逐个预测这些Token，最后再把Token映射回物理值。离散化的好处是模型可以复用语言模型成熟的高维词表学习能力，输出自然稳定；坏处是量化误差会限制控制的精度。比如切分256个区间，一个从0到1米的位移只能精确到约4毫米，对一些精细装配任务来说可能不够用。

后来还有一派用扩散模型来生成动作，思路是先从噪声中逐步去噪得到动作序列。扩散策略在表达非模态动作分布上很有优势，能拟合多峰的行为模式，比如“既可以从左绕过障碍，也可以从右绕过障碍”。现在不少双臂操作策略已经把扩散模型作为动作解码器，效果比简单回归好不少。

3.3 双臂策略的特殊设计：共享与独立之间找平衡

如果是单臂，策略网络输出一个机械臂的动作就够了。到了双臂，网络输出维度直接翻倍。这时候最忌讳的做法是把两条臂完全独立地接入同一个主干网络，然后各自输出。这样网络没有显式建模两条臂的相关性，学出来的动作常常是“左手不管右手”。

好的双臂VLA会引入两个方面的约束。第一个是联合动作空间：把所有关节角度拼成一个长向量，当作一个单一输出，而不是拆成两个动作流。这样模型在预测右手动作时，左手动作的Token也作为上下文参与了计算。第二个是碰撞损失：训练时除了任务奖励，还会加一个新的惩罚项，当两条臂的连杆中心距离小于某个阈值时进行惩罚，逼着模型主动学习避让。

此外，还有主从式结构。模型先预测“主手”的动作（比如抓住瓶子的那只手），再根据主手和目标的位置预测“从手”的动作（比如拧盖子的那只手）。这种显式的因果依赖，在拧瓶盖、拧螺丝这类的双手配合任务上非常有效，因为这类任务本身就存在明确的动作顺序。

3.4 损失函数与训练目标：模仿之外还有什么

VLA的训练最基础的目标是模仿学习，也就是让模型输出的动作尽量接近人类演示的动作。这个目标用最大似然估计来表示，条件概率取对数。如果动作是离散Token，就是标准的交叉熵损失；如果动作是连续量，就是均方误差；如果用了扩散模型，则是去噪损失。

但光靠模仿不够。人类演示覆盖不了所有可能的状态，比如物体被碰倒、摆错了位置、手臂被意外阻挡。这时候就要结合强化学习来微调：让模型在仿真环境里自己探索，用任务达成率作为奖励信号，让策略学会从失败中纠正。也有一些方案引入“语言奖励”，让一个视觉语言模型当裁判，判断当前状态距离指令目标还有多远。

还有一个很实用的辅助损失：预测下一时刻的视觉帧，或者预测当前状态下抓取点的位置。这类辅助任务可以迫使模型学习到更结构化的空间知识，而不是死记硬背动作轨迹。我在实际项目里发现，加了视觉重建损失之后，模型应对桌面杂乱场景的鲁棒性有明显提升，虽然提升幅度不大，但胜在训练成本低。

4. 现阶段发展：模型、数据、训练三条线同时往前跑

VLA这个概念从提出到现在，大概只经历了两三年密集迭代，但进展非常快。如果只读最新论文，很容易迷失在细节里。我觉得现阶段的发展可以从三条线去理解：模型功能越来越强、数据来源越来越广、训练方式越来越灵活。

4.1 模型范式之争：自回归、扩散，还是两阶段

当前主流范式大致分成三个阵营。第一阵营继承语言模型传统，把动作Token化后自回归生成，比如早期的具身大模型范式中，经常借一个预训练好的语言模型，把图像也切成Token当作上下文输入，然后输出动作Token。这种方案的优势是语言能力极强，擅长处理长尾指令，甚至可以跟用户对话解释自己在干什么。缺点是推理速度慢，因为动作Token是一个接一个生成的，而机器人控制又要求高频输出。

第二阵营是扩散模型。扩散策略不需要自回归，它一次性生成一段动作序列，采样速度快很多，而且天然表达多峰分布。很多双臂操作，特别是需要柔顺动作的，现在都更偏向扩散策略。它的劣势是对语言指令的理解相对弱一点，因为扩散模型不是为文本生成的场景设计的，要跟语言模型拼接才行。

第三阵营是两阶段方案：先把视觉语言模型当作一个“规划器”，输出一组高层动作语义，比如“把左臂移动到杯子把手处”、“合拢手指”；再把这一段语义翻译成底层关节轨迹。这其实是把VLA拆成了两个模型，好处是各自可以独立优化，坏处是高层的规划不一定能反映到真实的运动学约束上。这类方案在复杂的双手长任务上很常见，因为长于动作拆解，但短于精细执行。

个人的体会是，这三者边界正在模糊。现在很难找到“纯自回归”或者“纯扩散”的模型，大量工作在做混合：用自回归大模型规划动作子任务，用扩散策略去生成底层轨迹。这种搭配后来被证明是兼顾语义和高频控制的有效方案。

4.2 数据从哪里来：真机演示、仿真合成、互联网预训练

数据是整个VLA训练最大的瓶颈。机器人领域不像NLP，网上有海量文本；也不像计算机视觉，网上有海量图片。机器人示教数据需要有人实际去操作机械臂，一条条录下来，成本极高。尤其是双臂任务，数据采集的难度直接翻倍：操作者要同时操控两只机械臂的手柄，保持动作协调，而且很难一个人同时做得好。所以现阶段的数据策略普遍是“三条腿走路”。

第一条腿是真实遥操作数据。质量最高，包含真实物理接触和真实场景变化，是任何仿训练都无法替代的。但现在的主流做法是降低采集成本，用主从遥操作设备让采集者通过手柄甚至VR设备来演示任务。一些团队还会对采集到的轨迹做后处理，比如平滑滤波、去除异常抖点，这样能减轻模仿难度。

第二条腿是仿真数据。在物理引擎里随机摆场景，用脚本或者强化学习自动生成大量演示。仿真数据的优势在于便宜、并行、可以自动标注真值。但它的缺陷也很致命：视觉域差距非常大。仿真里渲染出来的物体表面、光照、阴影，和现实世界总有一种“假”的感觉。为了缓解这一点，越来越多工作开始使用域随机化，随机改变颜色、纹理、光照，让模型学会忽略视觉上的次要变化，只关注几何结构和语义。此外，还有一类“合成到真实”的迁移方法，先仿真训练，再用少量真实数据微调，效果很香。

第三条腿是互联网数据。互联网上没有直接的机器人动作数据，但有无数的图片、视频、文本。VLA可以把互联网数据用来预训练视觉编码器和语言编码器，让模型先具备物体识别和语义理解能力，再在机器人数据上微调。这种两阶段做法现在几乎成为标配。

4.3 训练流程：先预训练，再微调，还要对齐

把这三种数据串起来的，是一个很清晰的训练流程。第一步，用互联网规模的图文数据和语言数据，预训练一个视觉语言多模态模型。此时模型能识别物体、理解指令，但不输出动作。第二步，把动作解码器接到预训练模型上，用一批百万级的、带动作标注的机器人演示数据，做多任务模仿学习微调。这一步让模型学会“根据图像和文字输出动作”。

到了这一步，VLA已经可以工作了，但距离“稳”还有差距。第三步是效果调优。一种做法是加入人类反馈，让模型生成动作后由人工打分，再用强化学习优化；另一种做法是让模型在仿真环境里自己跑，用任务奖励去微调。第三步通常需要设计不少细节，比如奖励怎么稀疏怎么稠密、避免模型退化成“只会模仿不会调整”。

我在实践中的感受是，前两步决定模型上限，第三步决定模型能落地的下限。很多看着很惊艳的VLA demo，其实都在第二步就停了，到了真实场景中一旦碰到未曾见过的角度或者光照就不灵。真正可用的系统，必须在第三步投入足够精力。

4.4 双臂VLA的专项进展：先对齐，再协作

双臂VLA不是简单把单臂数据翻一倍。它的专项发展有几个有意思的方向。第一个是“共享视觉-独立动作”的网络结构：视觉特征在两条臂之间共享，以便模型统一感知全局；而动作头则保持独立，允许两条臂的动力学参数不同。这个结构在很多双臂数据集中已经验证了有效性。

第二个研究方向是双臂协同的语义控制。过去的双臂技能往往绑定特定任务，比如“双手端盘子”或“双手开瓶子”。现在的研究者希望用语言来命令一种“协作模式”，比如跟机器人说“帮我把这块木板托住”，模型能够理解这是“双手从下方支撑”而不是“双手从两侧抓”。这意味着双臂控制需要更深的任务理解，而不仅仅是反应式的坐标映射。

第三个方向是双臂的“镜生训练”：只采集单臂技能，然后用数据增强生成镜像的双臂动作，来减少双臂演示数据的采集压力。比如只录了左手抓东西的轨迹，把它沿机器人中轴镜像翻转，就得到右手抓东西的轨迹。再比如录了一条双臂任务，可以通过左右调换来扩充两条臂的角色互换样本。这些方法在一定程度上缓解了双臂数据稀缺问题，但要注意运动学约束——镜像并非物理上完全等价，遇到不对称任务时需要谨慎。

5. 双臂VLA落地时的硬骨头

说完了概念，说说真正动手做项目时容易踩的那些坑。VLA听起来高大上，但一落地，全是看似琐碎却又致命的实际问题。我把自己做双臂任务时踩过的和围观过的坑整理一下，希望能帮你少走弯路。

5.1 数据采集：遥操作才是最累的环节

数据采集这件事实在太容易被低估。网上很多视频展示VLA怎么出色地完成各种任务，而大家往往忽略视频背后成百上千次人类演示。单臂数据采集已经让人臂酸了，双臂采集更是一种折磨。用双手遥操作手柄做一次“整理桌面”任务，要同时协调两只手去挑拣物体，连续做几十条，身体上是真会出汗的。

除非你只是重复同一个机械动作，否则采集过程一定要尽量避免动作抖动。我观察到一个规律：一个人上午精神好时采集的数据质量明显高于下午疲劳时。模型学风格，你累的时候采集的轨迹里带着飘忽，模型就学会飘忽。因此，数据采集最好固定到同一个操作者、同一个时间段。如果多人协作采集，我建议至少保持手柄配置一致。

对于双臂任务，还建议把“协作行为”单独记录标注。比如这个片段里，两条臂是同时开工，还是一主一从？如果模型看不到这个标记，就会倾向于平均地学，把同时协作和顺序工作混在一起，结果两种模式都做不好。

5.2 双臂自碰撞：仿真里没留意，真机上就翻车

双臂系统最大的物理问题就是两条臂会撞到一起。传统单臂系统不需要关心自碰撞，顶多是机械臂和场景里的固定障碍物碰撞。但双臂工作时，由于两条臂在同一空间内运动，它们之间的冲突概率非常高。特别是VLA这种端到端模型，它不像规划器那样有碰撞检测模块可以主动避障，输出稍微不协调就会发生机械臂和机械臂撞在一起，轻则卡住，重则损坏设备。

保险起见，如果使用商用双臂平台，一般会开启底层运动学限制；但很多研究平台没有这个保护，只靠模型自己学。我建议在训练数据里刻意加入一些“双壁靠近但不可以碰撞”的场景，让模型见过“贴着但没碰到”的状态。更进一步，所有双臂VLA项目都应该在真机实验前，跑一遍基于运动学的仿真检查，排除掉大部分物理不合理的动作序列。哪怕你的模型没有显式的碰撞感知模块，这一步也能帮你提前发现输出异常。

5.3 泛化与幻觉：VLA也会“说一套做一套”

VLA继承了语言模型的所有优点，也继承了它的所有缺点，包括幻觉。我第一次让模型执行“把左边第二个杯子拿过来”，模型信誓旦旦输出一个抓取动作，结果抓向一个不存在的区域时，我很崩溃。后来才发现，模型其实并没有数清“第二个”这个概念，它只是在文本上见过“左边”，但没有真正和当前画面对齐。解决这个问题，最直接的手段是数据增强：把同一个任务放到不同物体个数、不同排列下反复演示，让模型学会真正的计数和空间关系，而不是死记位置。

另一类泛化问题是视觉干扰。桌面上有大量无关物体时，模型容易看着看着就选错了注意力。一个经验是多给一些“负向示例”，也就是带指令的数据里故意放入干扰物体，同时给出正确的动作，这会让模型的注意力更容易关注目标而忽略背景。如果只训练干净背景，一上真实桌子大概率会失败。

5.4 部署和实时性：模型很大，机器人很急

机器人控制跟聊天不一样，你没法等模型慢慢思考。VLA的推理延迟必须符合控制频率的要求。对于绝大多数机械臂，至少需要每秒10到15次的控制指令，如果模型推理一次要两三百毫秒，控制频率就会掉到四五赫兹，这时候机械臂的运动会感觉非常迟钝，甚至带滞后感。

优化方案有很多。动作Token的自回归生成是最大瓶颈，因为每个Token只能串行解码。有人把动作分辨率降低，比如只预测一个动作块（Action Chunk）里的几个关键点，然后再插值细分；有人用并行解码，一个位置的所有Token同时预测；还有人直接蒸馏成一个小模型，把小模型部署到机器人上，虽然精度损失一些，但换来两倍以上的速度提升。我在项目里倾向的做法是“动作块+蒸馏”，先把大VLA在服务器上生成一批离线轨迹，然后拿这些轨迹去训练一个小巧的动作扩散模型，部署在本地推理，效果和实时性都能兼顾。

6. 我个人对现阶段VLA走势的几个观察

综述写到这，不聊点主观判断就太可惜了。这两年VLA的进展确实快，但快不代表已经成熟。我内心对这个领域有几个比较强烈的感受，分享出来供你参考。

6.1 通用智能的底座，还是先落在“理解”上

很多同行争论，到底VLA的未来是更大的模型还是更好的数据。我的看法是，先把“理解”做透了，动作就会水到渠成。你看人类小孩学做家务，不是先学机械控制，而是先听懂话、看懂场景，然后动作自然就逐渐熟练。现在的VLA模型，恰好是在“动作”上投入了太多精力，而忽视了“理解”的深度。很多模型本质上是个“条件反射网络”——看到某一类图像就直接输出既定的轨迹，指令换一种说法，它就懵了。

所以我更关注如何提升VLA的场景理解能力。比如让模型能够解释“为什么要这样抓”，或者能够在失败之后重新规划。这种对物理状态和语言意图的联合推理能力，才是真正通用的前提。动作输出的质量当然重要，但那可以靠底层控制器和扩散策略去兜底。

6.2 数据依然是回没写完的答卷

尽管数据来源已经多元化，但双臂VLA的数据缺口还是肉眼可见。我觉得未来一年里，更值得做的是数据“合成”与“自动扩增”的高效工具，而不是继续堆人工采集。我们能不能让机器人在仿真里自己尝试一万次，然后把成功的轨迹和失败的轨迹都记录下来，用来训练一个更强大的策略？这里的关键在于如何判断“成功”，以及如何把仿真学到的技能稳定迁移到真机。个人觉得，跨域迁移比数据采集本身更有价值。

6.3 双臂的“协调智能”需要更多理论支撑

现在双臂VLA的很多成果，其实是在借用单臂的网络结构，然后加一个更大的输出头。这是可以work，但并不优雅。到底两条臂的决策应该共享多少参数、谁该是主谁该是从、这些关系是否应该由任务本身动态决定而不是固定结构指定，这些问题至今没有统一答案。我经常看到同一个任务，有的团队用“分头策略”跑得很好，有的团队坚持“联合策略”也跑得很好，说明结构选择高度依赖数据和任务的具体分布。而这恰恰说明，双臂协调的归纳偏置还缺少真正的理论指导，留了很多坑等着人去填。

7. 写在最后

做了一段时间双臂具身VLA，我最深的体会是：这个方向真正的门槛不在于懂一个模型结构，而在于能同时理解机器人的物理约束、视觉语言的语义基础、甚至数据采集的人因工程。一会儿跟底盘控制纠缠，一会儿跟Tokenization较劲，一会儿又得操心遥控操作手柄能不能少累一点。你的身份不停切换，就像在同时开好几条斗争线。

如果你正准备入坑，我给一个很实际的建议：别急着从零实现一个VLA，也别一上来就跑双臂。先买一台便宜的桌面单臂，采几百条数据，把一个开源VLA跑通，记录它成功和失败的样子。然后加上一条手臂，看看之前模型结构会不会崩。这个流程虽土，但能帮你积累非常真实的体感——哪些参数是致命的，哪些变量又是完全没影响的。

再补充一个小技巧：训练双臂VLA的时候，把“关节速度惩罚”的权重调高一点。因为双臂动作空间大，网络很容易输出一些速度波动很大的动作，看着不自然，也容易加剧机械结构磨损。我试过在网络末端加一个简单的速度平滑层，推理时对相邻动作做指数滑动平均，低通一下，控制效果顺滑很多，这个改动小，对成功率没有副作用，建议你直接抄作业。