企业官网建设流程全解析

论文笔记：FAST：Efficient Action Tokenization for Vision-Language-Action Models

背景

视觉-语言-动作模型（VLA）的常见做法，是把连续的机器人动作切成离散 token，然后像写文本一样用自回归 Transformer 逐个吐出来。RT-2、RT-2-X、OpenVLA 都属于这一类，其中 OpenVLA 沿用 RT-2 的做法：把 7 维动作的每一维独立分成 256 个 bin，逐时间步展开成 token 序列。

这套方案的好处是工程上极其顺滑——动作 token 直接复用 VLM 已有的词表和自回归解码器，不用改动任何模型结构。但它有一个被长期忽视的前提：它只在低频数据上好用。

论文给出了一个很有说服力的旁证：OpenVLA 在低频的 BridgeV2、RT-1 数据上表现良好，却一直难以拟合高频的 DROID 数据集。问题出在信号本身——对一个平滑的动作信号，控制频率从 5 Hz 提到 50 Hz，时间步之间的位移就缩小了 10 倍，于是相邻动作 token 几乎相同。

自回归模型的训练信号恰恰正比于当前 token 给定前缀后的边际信息量I ( T i ∣ T 1 : i − 1 ) I(T_i \mid T_{1:i-1})I(Ti​∣T1:i−1​)。在高频动作上这个量趋近于零，模型很快学会"抄上一个 token"这个平凡映射，损失照样下降，但学不到任何东西。论文用一个合成实验把这条因果链坐实了（Fig. 3）：让模型预测过四个随机点的三次样条插值，把采样率从 25 提到 800，分 bin 方案的 MSE 陡增，最终退化成照抄第一个动作；而数据分布本身复杂度完全没变。

论文链接：arXiv:2501.09747（Pertsch 等，Physical Intelligence / UC Berkeley / Stanford）

中心思想

FAST（Frequency-space Action Sequence Tokenization）的出发点不是"把 token 数压下来"，而是上面那条因果链：

机器人动作信号必须先压缩，才能压低相邻 token 的冗余、把每个 token 的边际信息量抬起来。

一旦每个 token 都携带真实的新信息，"下一个 token 预测"这个目标才重新变得有信息量，自回归 VLA 才终于能在灵巧、高频任务上被正常训练起来。

这条思路有清晰的学科来源：文本领域用 BPE 压缩，图像领域用 DCT 压缩（JPEG），语音领域用频谱图或向量量化——动作本身就是一条时序信号，应该按信号压缩的方式去处理。FAST 把 DCT 搬到动作上，再用 BPE 把稀疏的频域系数压成稠密的 token 流。

一个必须澄清的认知：token 数减少是结果，不是目的。论文里最硬的证据其实来自训练侧——π0-FAST 训练 GPU 小时数比扩散版 π0 少 5×；而在推理侧，自回归解码反而比扩散更慢（详见「特点」）。

主要方法

1. 前提：动作分块（action chunking）

策略输出的是"动作块"a 1 : H a_{1:H}a1:H​——连续H HH步、∣ A ∣ |\mathcal{A}|∣A∣维的动作序列，而不是单步动作，这能保证时间一致性并抑制复合误差。需要强调的是，动作分块是既有的做法（RT-H、Diffusion Policy、π0 等），不是 FAST 的贡献；FAST 要解决的是"怎么把这一整块动作高效地变成 token"。

朴素方案即分 bin 离散化，对H HH步、∣ A ∣ |\mathcal{A}|∣A∣维动作逐元素分箱后展平：

T a ( a 1 : H ) = [ T 1 , 1 , … , T 1 , D , … , T H , 1 , … , T H , D ] \mathcal{T}_a(a_{1:H}) = [T_{1,1}, \dots, T_{1,D}, \dots, T_{H,1}, \dots, T_{H,D}]Ta​(a1:H​)=[T1,1​,…,T1,D​,…,TH,1​,…,TH,D​]

用N = 256 N=256N=256个 bin 时，一个动作块的 token 数就是H × ∣ A ∣ H \times |\mathcal{A}|H×∣A∣——50 Hz、14 维的双臂折衣服任务直接变成700 个 token，训练和推理都不可接受。

2. FAST 编解码流水线

论文的完整流程见 Algorithm 1，四步全部可逆：

① 归一化。对每个动作维度，取训练集第 1 与第 99 分位数映射到[ − 1 , 1 ] [-1, 1][−1,1]。用分位数而非 min-max，是为了对大规模数据集中偶发的异常动作鲁棒；同时也方便跨本体、不同动作量纲的数据集统一处理。

② DCT。对每个动作维度沿时间轴单独做一维 DCT：

C = D C T ( a 1 : H ) C = \mathrm{DCT}(a_{1:H})C=DCT(a1:H​)

低频系数刻画信号的整体形状，高频系数对应尖锐的跳变。由于真实动作信号平滑，绝大多数能量集中在少数低频系数上。DCT 是解析变换（相比 VQ 类学习式压缩），实现简单、计算极快、超参极少。

③ 量化——注意不是"非均匀"量化。论文用的是对所有系数统一的 scale-and-round：

C ˉ = r o u n d ( γ ⋅ C ) , γ = 10 \bar{C} = \mathrm{round}(\gamma \cdot C), \quad \gamma = 10Cˉ=round(γ⋅C),γ=10

本质上是把量化步长定为1 / γ 1/\gamma1/γ：γ = 10 \gamma=10γ=10时步长为 0.1，绝对值小于 0.05 的系数就被四舍五入归零。因此γ \gammaγ越大 → 步长越细 → 保真度越高但压缩率越低，反之则压得更狠。它是压缩率与重建保真度之间的唯一旋钮，论文实测不敏感，所有单数据集实验统一取γ = 10 \gamma=10γ=10。

④ 展平 + BPE。量化后得到一个∣ A ∣ × H |A| \times H∣A∣×H的稀疏系数矩阵，大部分元素是 0。展平策略有两种：column-first（每一列 = 同一动作维度的低频系数排在一起，各维度的低频分量先出）或 row-first（整行 = 单个动作维度的全部分量）。论文选前者，因为先预测刻画整体形状的低频分量能让策略 rollout 更稳定。

BPE 把整条整数序列当作"字节"训练码本，反复合并最高频的符号对，把零值和跨维度的常见系数组合压成定长码表中的 sub-token。选 BPE 而不是 Huffman 或 Lempel-Ziv，是因为只有 BPE 能给出固定大小的输出词表，便于直接嫁接进 VLM 现有词表。作者也承认这里存在替换空间。

⑤ 解码（推理时）：token → BPE 解码 → 反量化 → 逆 DCT → 还原a 1 : H a_{1:H}a1:H​。全流程可逆，论文称解码很快。

整个 tokenizer 只有两个超参：舍入尺度γ \gammaγ和 BPE 词表大小（统一取 1024）。

3. Token 压缩率

论文在同等重建精度下与朴素分 bin 对比（Table I，全部为 1 秒动作块）：

更有意思的是第二层发现：FAST 在所有域上都稳定产出约 30 个 token / 每臂 / 每块（双臂 60）。压缩比随频率升高而增大，说明它去除的确实是冗余；而绝对 token 数几乎与数据频率无关，说明FAST 找到的表征长度近似反映了动作信号本身的复杂度。

4. FAST+：通用动作 tokenizer

FAST 唯一需要学习的组件是 BPE 码本，换数据集要重训（通常只要几分钟，但确实增加了使用摩擦）。为解决这个问题，作者在约100 万条真实 1 秒动作块上训练了一个通用 tokenizerFAST+，覆盖单臂、双臂、移动机器人，关节与末端执行器两类动作空间，以及各种控制频率。

FAST+ 以黑盒形式直接用于任意机器人动作块，实测在训练时完全未见过的数据集上（涵盖灵巧手、人形、移动操作、UMI 等）压缩率仍达 2×，多项更高；用它训练策略，性能与逐数据集训练的 FAST tokenizer 紧咬（图 6），可作为强默认选项。官方以 HuggingFaceAutoProcessor发布，三行代码即可调用，并提供tokenizer.fit(action_dataset)在自有数据上快速重训。

特点（优缺点）

优点

• 诊断准确，方案对症。把"高频动作训不动"归因到 token 间冗余导致的边际信息量坍塌，并用合成插值实验（Fig. 3）干净地隔离出 tokenization 这一个变量——这比单纯调超参有价值得多。
• 压缩率随频率收益递增。5 Hz 上 1.75×，50 Hz 上 13.2×，恰好打在使用朴素分 bin 最吃力的区间。
• 全解析、无额外网络。只有两个不敏感的超参；作为对比，FSQ（VQ-VAE 的简化版）虽是同类压缩思路，但需要训练编码网络且重建质量对结构与超参敏感。实验显示FAST 训练出的策略优于 FSQ，且在灵巧真实机器人任务上差距更明显，却简单得多、无需独立网络。
• 与 backbone 正交。改造成 OpenVLA（Prismatic-7B）+ FAST 后，它在 T-shirt folding 上从"训不动"变为"能训"，说明可直接套到任何预训练自回归 VLA 上，不需要改模型结构。
• 真正打开了新任务域。首个能在 DROID 上训出强 generalist 策略、并在完全未见环境（新桌面、新背景、新物体、新视角、新桌高）中零样本泛化的自回归 VLA——同一个 checkpoint 还能跨三所大学校园稳定工作，甚至不需要任何 co-training 或微调。BPE 消融也显示，去掉 BPE 后策略变差（但仍优于朴素分 bin），原因是大量重复的 0 token 稀释了学习信号并拖慢推理。
• 工程细节考虑周到：词表集成方式是覆盖 VLM 中最少被使用的 token；本体感受（proprioceptive）状态作为输入仍沿用 256 分 bin——论文明确指出简单分 bin 对输入信号足够，需要精细 tokenization 的是动作输出。

缺点

• 推理反而更慢，这是本文的诚实短板。在 RTX 4090 上，扩散版 π0 预测 1 秒动作块约100 ms，而 π0-FAST 需要约750 ms——原因有二：自回归要解 30–60 个 token（扩散只要 10 步），且要动用完整的2B 参数语言模型骨干，而扩散版只用300M 参数的 action expert。论文坦承这没影响其在静态操作任务上的性能，但评测效率显著下降；对动态场景是否可接受，作者留给未来工作（推测解码、量化、定制 kernel 等 LLM 侧加速手段）。
• 有损压缩，重建误差由γ \gammaγ控制——但方向常被搞反。论文诚实指出压缩并非无损。关键在于注意γ \gammaγ的方向：γ \gammaγ越大，量化步长越细，压缩率越低而保真度越高；想压得更狠就得调小γ \gammaγ，代价是高频细节先丢。此外还有一条常见误解需要纠正："高频精细化任务上传统分 bin 比 FAST 更强"是不成立的。附录 B 明确指出 FAST 在低保真度下不如 VQ 类 tokenizer，但在更高重建保真度上扩展性好得多，因此更适合精细控制问题——在高频精细化场景恰恰是 FAST 的强项区，FAST 的策略性能全面压过朴素分 bin（Table Bussing 20 Hz、T-Shirt Folding 50 Hz 上朴素分 bin 完全训不动）。
• γ \gammaγ与保真度的定量关系缺失。把γ \gammaγ调到极小以追求压缩比，高频系数会被整体抹平，突变时刻的精细控制会丢失；论文把这条压缩-重建权衡曲线放在附录 Fig. 12（横轴输出 token 数、纵轴 Reconstruction Error），正文未给出任何定量建议，使用者需自行标定。
• BPE 码本仍是唯一的学习组件。FAST+ 大幅缓解但没有消除这个问题：新机器人形态或分布差异极大的数据仍可能需要fit()重训。论文也坦承 FAST+ 在灵巧手、人形、移动机器人等形态上只验证了离线压缩能力，尚未验证真实策略性能。
• 收益高度依赖任务频率。在 5 Hz 的 BridgeV2 上只有 1.75×，对以低频为主的场景（大量桌面抓放类任务）收益有限，方法价值主要在高频灵巧操作。
• 重建误差没有给出可落地的数值。这是最需要补充的信息：Table I 的压缩比是在"同等重建精度"下测的，但这个精度本身没有以动作空间的物理量（弧度、厘米）给出；附录 Fig. 12 也只是把"Reconstruction Error"对"输出 token 数"画成曲线，三种方法（FAST / 朴素分 bin / FSQ）在同一条曲线上扫。论文从未直接回答"某个γ \gammaγ下末端位姿误差是多少"，因此对精度敏感的抓取、插拔类任务，使用者仍必须自己做一遍重建误差标定，这一步的工程成本被论文低估了。
• 与蒸馏的兼容性未被讨论。FAST 改变了动作 token 表示与词表，如果要用教师信号做蒸馏，师生输出空间必须同构才能对齐 logits——这是实践中的真实约束，但论文通篇未涉及 KD/蒸馏场景。
• 先验设计带来路径依赖：column-first 展平、先预测低频分量被论文定为更优解，但这是在其评测集上经验选出的，未做系统性理论分析。

一句话总结：FAST 的贡献不是"把动作 token 变短"，而是证明了动作 tokenization 的质量直接决定自回归 VLA 能否学到东西；DCT + BPE 这条轻量压缩路径把高频灵巧操作从"完全训不动"变成了可行区间，代价是推理延迟从 100 ms 涨到 750 ms。