企业官网建设流程全解析

Trace: A Two-Channel Robust Attribution Watermark for LLM-Agent Trajectories

论文重点

本文提出TRACE，一个面向LLM Agent轨迹的双通道归属水印方案，通过叠加选择通道（selection channel）和计数通道（tally channel），同时抵御删除攻击和重写攻击。这是首个在行为选择上无失真、在删除下自同步、在重写下无条件不变的水印方案。

核心研究内容

问题定义

LLM Agent通过分销商（reseller）触达终端用户。分销商可能将开发者的Agent重新包装后以自己的品牌出售，或用更便宜的模型替换底层模型。当归属权发生争议时，唯一可用的证据是轨迹日志（trajectory log）——即工具调用、观察结果和执行动作的记录，而非模型的推理过程。问题在于，分销商对这份证据拥有完全的读写权限，现有Agent水印方案无法在这样的威胁模型下存活。

具体而言，分销商可通过两种操作破坏水印：

1. 删除攻击：删除日志中的记录（如观察记录），使依赖位置的水印失同步
2. 重写攻击：改写观察文本、重命名工具，改变日志内容但保持骨架结构不变

两类攻击对水印设计提出了截然相反的要求——删除攻击要求密钥基于内容（位置被删除后丢失），重写攻击要求密钥基于位置（内容可被任意修改）。没有单一密钥能同时满足这两个需求。

创新方法

TRACE的核心洞察是：一条轨迹有足够的空间容纳两个水印。

选择通道（Selection Channel）：

• 载体：每个决策组中选择的具体行为（action）
• 密钥来源：前序内容的局部上下文ctxi := enc(Ai-1) || key1
• 实现方式：通过指数竞赛（exponential race）对Agent的原始分布进行无失真采样——每个候选行为获得一个密钥驱动的随机时钟，时钟最先响应的行为胜出
• 关键性质：采样分布严格等于Agent原始分布（Theorem 5.1），因此不影响任务成功率；删除仅影响相邻一个决策组的密钥（blast radius one），检测器可在下一个决策组重新同步

计数通道（Tally Channel）：

• 载体：每个决策组包含的记录数量
• 密钥来源：组在轨迹骨架中的位置
• 实现方式：在决策组后追加上下文无关的冗余记录，数量由位置密钥决定
• 关键性质：计数和密钥都是轨迹骨架（skeleton）的函数——骨架由决策/观察标签序列构成，重写攻击无法改变标签——因此该通道在任意强度的重写攻击下严格不变（Theorem 5.3）

两个通道使用独立的密钥，互不干扰，且分别针对删除和重写攻击设计。

理论保证：

• 选择通道的检测信号以决策熵为代价：每个决策至少贡献其熵的一半，确定性决策贡献为零（Theorem 5.2）
• 同时擦除两个通道的代价是：攻击者必须破坏轨迹骨架，且至少改变常数比例的组内容（Theorem 5.4）

研究成果

论文在ToolBench和ALFWorld两个基准上进行了评估：

TRACE在零失真（不改变Agent原始行为分布）的前提下实现了强归属能力，这是其与现有方案最本质的区别。

实际落地应用的可能性

高度可行。TRACE的设计紧贴真实商业场景：

• 分销商场景：任何通过第三方分销的Agent服务都面临归属风险，TRACE提供了一种无需信任分销商的归属验证手段
• 合规与审计：当Agent行为造成损害时，TRACE可帮助确定责任归属
• 无需修改推理过程：水印嵌入在决策层，不触及模型内部的推理轨迹，部署侵入性极低
• 日志/执行一致性审计：检测器支持从分销商发布的日志和从执行重构的分组两个来源进行验证，两者差异本身就是篡改证据

技术细节

1. 轨迹建模

Agent轨迹定义为带标签的有限序列τ := (e₁, ..., e_T)，每个记录带有角色标签ρ(e_t) ∈ {dec, obs}。骨架s(τ) := (ρ(e₁), ..., ρ(e_T))是标签序列本身。重写攻击不改变骨架。

决策边界分组：将轨迹划分为连续块g₁, ..., g_m，每个块包含恰好一个dec记录及其后直到下一个dec记录之前的所有obs记录。记k_i为第i个组中obs记录的数量。

2. 选择通道：指数竞赛

上下文构建：

ctx_i := enc(A_{i-1}) || key₁ ctx₁ := bootstrap || key₁

其中enc是动作身份序列的保序编码。

候选行为评分：

r_b := DRBG(key = H(ctx_i), nonce = b) ∈ (0,1), b ∈ B_i

每个候选行为b获得一个由密钥驱动的伪随机值。

选择规则（指数竞赛）：

b_i := argmin_{b∈B_i} (-ln r_b) / P_i[b] = argmax_{b∈B_i} r_b^{1/P_i[b]}

每个候选行为运行自己的密钥驱动时钟，Agent选择最先响应的行为。

检测统计量：

φ_i := -ln(1 - r_{b_i})

当轨迹未加水印时，φ_i ~ Exp(1)。汇总有效组：

X₁ := Σᵢ φᵢ, z₁ := (X₁ - n) / √n

z₁服从上Gamma尾分布，用于假设检验。

3. 计数通道：基于骨架的冗余记录

计数通道的密钥和计数都是骨架s(τ)的函数。由于重写攻击不改变骨架，该通道在重写下严格不变。

4. 伪随机基础

两个通道共享一个确定性随机数生成器，使用HMAC-SHA512实现。嵌入器和检测器从相同输入重新计算相同值，不传输任何侧信息。

研究设定

威胁模型

Provider（防御方）：

• 持有密钥(key₁, key₂)
• 在决策时嵌入TRACE水印
• 目标：以预设的假阳性率判定轨迹是否由其Agent生成

Reseller（攻击方）：

• 无密钥：无法伪造水印，只能试图移除
• 无重执行：只能编辑已记录的日志，不能重新执行
• 效用与一致性约束：编辑后的日志必须仍然有用且一致

实验设置

综合分析

理论贡献的深度

TRACE在理论层面的贡献值得特别关注。现有Agent水印方案大多通过实验测量鲁棒性，而TRACE提供了结构性的理论保证：

1. 精确的零假设分布：两个检测器的零假设分布是精确的（exact null laws），而非渐近近似
2. 熵下界：无失真可检测性的代价被量化为每个决策至少一半的熵——这意味着在确定性决策（熵为0）的场景下，选择通道无法携带信号，这一定量刻画了水印能力的根本边界
3. 联合擦除定理：任何同时沉默两个通道的攻击必须编辑骨架，且至少改变常数比例的组内容

与现有工作的对比

TRACE区别于所有现有工作的核心在于其威胁模型：攻击者就是持有证据的一方。传统的日志签名可以证明日志的完整性，但无法归因于一个已被编辑过的轨迹——分销商只需丢弃提供者的签名。TRACE的 behavioral watermarking 是在更广泛的 provenance 架构中的一个互补信号——当持有记录的当事人本身就是 adversary 时，这个信号仍然有效。

设计哲学：互补嵌入

TRACE最精妙的设计在于两个通道的互补性：

• 选择通道的内容密钥使其在删除下自同步，但在重写下脆弱
• 计数通道的位置密钥使其在重写下不变，但在删除下脆弱
• 两者叠加后，任何单一攻击只能破坏其中一个通道，而同时破坏两个通道的代价极高

这种设计让人联想到SLICE在图像水印中的思路——将信号绑定到不同的语义因素上，使它们在互补的攻击下失效。

实践应用

1. Agent服务分销场景

如果您的Agent通过第三方平台（如API市场、云服务商）分销，TRACE可在无需信任分销商的前提下提供归属验证：

• 在服务端嵌入水印后，所有发出的轨迹自动携带归属信息
• 当分销商声称某条轨迹来自其自研系统时，您可通过检测器验证真实来源

2. 合规审计场景

对于受监管的Agent应用（如金融交易、医疗决策、安全响应）：

• 审计人员可在事后从日志中提取水印信号，确认行为是否来自声称的Agent
• 日志与执行的一致性审计可检测分销商是否篡改了记录

3. 部署注意事项

• 密钥管理：选择通道和计数通道使用独立密钥，建议分别存储在不同的安全环境中
• 熵感知：在确定性决策较多的场景（如规则驱动的Agent），选择通道的检测能力会下降——此时计数通道提供补充保障
• 短轨迹处理：短轨迹的信号较弱，论文通过显式 pooling rate 处理了这一问题
• 不依赖推理轨迹：TRACE只读取和标记执行轨迹（工具调用、观察、动作），不触及可能被隐藏或加密的推理过程

参考资料来源

• 原始论文：Trace: A Two-Channel Robust Attribution Watermark for LLM-Agent Trajectories