企业官网建设流程全解析

题目：Agentic TokenCom: A Chain-of-Agents Framework for Multimodal Token Communications

作者：江沸菠, 毛磊，董莉，王可之，潘存华，AbbasJamalipour

来源：IEEE Transactions on Cognitive Communications and Networking, vol. 12, pp. 12051-12064, 2026, doi: 10.1109/TCCN.2026.3732515.

论文地址：https://ieeexplore.ieee.org/abstract/document/11686051（查看全文请点击原文链接）

摘要：在6G网络中，面对动态信道条件和异构资源约束，现有语义通信系统难以实现具有可组合性和泛化能力的端到端优化。为应对这一挑战，本文提出智能体化词元通信（Agentic Token Communication），这是一种由推理链与执行链构成的分层式智能体链自主框架。该框架将TokenCom的结构设计与实例化过程由静态、一次性的配置方式转变为可规划、可评估、可反思且可迭代的自演进过程。首先，本文构建了端到端多模态TokenCom系统模型，并总结了三种大语言模型（Large Language Model，LLM）Token编解码模式。在此基础上，本文将Agentic TokenCom的运行过程建模为工作流结构选择与组件实例选择的联合优化问题。在记忆模块的支持下，上层推理链由规划智能体、评估智能体和反思智能体构成闭环，用于生成工作流结构并对其进行持续优化；在所生成工作流结构的约束下，下层执行链针对不同模态与任务需求，动态完成模型选择、参数配置和接口对齐。实验结果验证了所提出框架的有效性与可行性。

1. 引言

面向沉浸式交互、超可靠低时延通信和海量连接等新兴6G应用，以比特级无差错传输为核心的传统通信范式在频谱效率、能量消耗和端到端时延等方面正逐渐逼近其性能极限。语义通信以任务为导向，仅传输对理解、决策和控制具有实质性贡献的语义信息。这一机制能够有效减少冗余开销，并显著提升弱信道和资源受限场景下的端到端系统效用。通过联合优化信源压缩、信道编码和任务推理，语义通信有望支撑一种深度融合感知、传输与生成的新型通信模式，并成为实现6G原生智能的关键技术基础。

然而，在大模型时代，现有语义通信仍面临若干关键局限。一方面，语义表示通常基于面向特定任务或场景定制的编码器构建，限制了系统的跨任务泛化能力和结构可组合性。另一方面，语义符号与物理传输之间尚未形成统一且标准化的接口，这不仅增加了端到端协同设计的难度，也限制了系统对动态环境和多智能体协作的适应能力。与此同时，大语言模型（Large Language Model，LLM）和多模态大语言模型（Multimodal Large Language Model，MLLM）中的词元序(Token)列能够天然表征层次化语义并支持跨任务推理，因而在表示标准化、可传输性和可重构性方面具有显著优势。基于上述认识，本文提出一种称为TokenCom的词元通信框架。该框架将词元作为基本传输单元，通过通信链路传递并对齐模型层面的语义状态，从而实现面向任务的鲁棒重构与协同智能。

因此，TokenCom与语义通信在信息单元的表现形式和编解码机制方面存在显著差异。TokenCom采用连续词元或离散词元作为基本信息单元，直接传输由多模态大语言模型生成的语义压缩结果和推理结果。该框架能够对文本、图像和音频进行统一词元化，并进一步利用多模态大语言模型基于上下文的生成能力恢复缺失词元，从而在动态场景中表现出更强的泛化能力和重构能力。然而，上述优势也会增加系统实现的复杂度，并对协同设计提出更高要求。TokenCom与语义通信之间的对比如表1所示。

表1：TokenCom与语义通信的比较

尽管TokenCom利用词元承载模型层面的语义状态，为跨模态传输和生成式重构提供了新的实现路径，但现有研究仍处于早期阶段，与面向动态网络和复杂业务的可持续自主优化之间仍存在明显差距。在6G场景中，这一差距尤为突出，因为信道质量、任务目标和终端资源均具有时变性和异构性。因此，现有TokenCom框架在动态适应和系统级协同方面主要存在以下局限。

1）静态工作流范式：现有大多数TokenCom系统采用静态、一次性的工作流设计范式，即在通信开始前预先设定词元压缩、传输和恢复流程，并在整个任务执行过程中保持不变。当通信环境或业务条件发生变化时，此类方法通常缺乏在线性能评估和误差归因机制，因而难以在执行过程中对预先设定的工作流进行自适应优化。

2）任务与模型强耦合：传统TokenCom方法通常在设计阶段固定模态处理流程和任务类型，随后针对特定模态与任务构建专用的语义表示和编码机制。在这种设计模式下，系统无法根据实际的模态特征和任务需求进行动态适配，从而限制了TokenCom在多模态、多任务场景中的通用性和可扩展性。

3）缺乏资源感知设计：现有TokenCom系统通常假设词元编码、推理和解码均在固定位置执行，并依赖统一的模型规模和执行流程完成通信任务。此类设计未能显式刻画发送端与接收端在计算能力、时延和能量消耗等方面的异构性，因而难以在词元表示质量与系统资源开销之间实现灵活权衡。

为解决上述问题，本文提出一种基于智能体链的Agentic TokenCom框架。通过引入由推理链和执行链构成的分层式多智能体协作机制，该框架将TokenCom的结构设计与实例化过程转化为可规划、可评估且可迭代的自主优化过程。具体而言，该框架能够在信道条件、任务目标和资源约束动态变化的情况下，自动生成并持续演进TokenCom系统配置。本文的主要贡献概括如下。

1）反思驱动的自演进推理链：在上层推理链中，本文设计了一种由规划智能体、评估智能体和反思智能体协同实现的工作流生成机制，推动TokenCom由静态、一次性的结构选择方式转变为反思驱动的自演进过程。通过引入工作流层面的性能评估和误差归因反馈，系统能够在不改变任务目标的前提下，对当前工作流进行局部修正和迭代优化，从而在时变信道和不确定业务条件下持续提升语义通信性能与结构适应能力。

2）模态与任务自适应执行链：在推理链所生成工作流结构的约束下，下层执行链能够根据具体的模态类型和任务需求，自适应选择适当的模型进行实例化。通过将模型选择由静态配置转变为受工作流约束的动态决策过程，系统能够针对不同的模态特征和任务形式，灵活调用具备相匹配词元表示能力的编码模型、投影模型和推理模型，从而确保实例化后的TokenCom系统能够在既定工作流下有效支持多模态理解或生成任务。

3）资源感知的工作流编排：本文进一步提出一种面向异构终端资源的工作流编排机制，由推理链与执行链共同设计TokenCom中的关键词元编解码模块。具体而言，推理链根据发送端和接收端的资源状况，规划词元编解码模块的部署位置；执行链则选择规模和复杂度适宜的模型，实现输入级、中间层级或输出级词元编解码。通过上述方式，所提出的框架能够在词元抽象层级与系统执行开销之间实现动态平衡。

本文其余部分安排如下：第二节回顾相关研究；第三节介绍TokenCom的系统模型；第四节详细阐述所提出Agentic TokenCom框架的关键设计；第五节介绍实验设置并报告性能评估结果；第六节对全文进行总结。

2. 相关工作

2.1 大语言模型赋能的语义通信

Zhao等提出了LaMoSC，一种由大语言模型驱动的视觉语义通信系统。针对仅依赖单一视觉特征时低信噪比条件下解码不准确的问题，LaMoSC同时引入视觉特征和文本特征，并通过注意力机制在端到端编解码网络中对两类特征进行深度融合，从而重构原始视觉信息。Guo等研究了基于大语言模型的理解层语义通信。该方法首先将视觉数据转换为自然语言描述，随后利用预训练大语言模型量化语义重要性并进行语义纠错。Cao等提出了MLLM-PSC，该方法利用多模态大语言模型支持多模态语义理解与生成，并将文本语义作为统一的中间表示。此外，该方法采用少样本学习保护敏感语义信息，数值结果验证了所提方法的有效性。

2.2 智能体化语义通信

Güler等提出了语义通信博弈框架，通过引入能够以对抗或协作方式影响接收端的外部智能体，刻画多方交互条件下语义传输与决策之间的耦合关系，从而为面向智能体的语义通信提供了一种可分析的博弈论建模范式。Zhou等研究了面向多智能体协作的GPT语义信息提取通信。为减少冗余观测信息和过高的信令开销，该方法利用大语言模型从观测数据中提取关键语义信息，并以自然语言形式进行表示，从而实现更加紧凑的语义消息交换。Yang等构建了一种智能体驱动的生成式语义通信框架，通过强化学习实现语义提取与语义采样之间的自适应权衡。结合跨模态语义表示和预测式解码，智能体能够根据任务上下文与信道条件组织可传输的语义内容。

2.3 词元通信

Qiao等提出了TokCom，将异构信息表示在统一的词元空间中，并在通信双方利用基于Transformer的处理机制挖掘词元之间的上下文关联。面向多模态、多任务通信，Jiang等构建了一种基于视觉语言模型的TokenCom系统。该系统结合双分辨率视觉词元化、双向注意力融合和基于KAN的模态投影器，生成紧凑且实现语义对齐的视觉词元。在此基础上，该研究进一步提出视觉语言模型与信道编码的联合设计方案，以提升无线信道条件下的任务性能。Lee等研究了语义保持的词元分组与封装，并提出SemPA-GBeam算法，以优化平均词元相似度。

然而，现有研究尚未系统总结TokenCom中词元编码器的工作范式，也未提出相应的自动化设计方法。为弥补这一研究空白，本文构建了一种由智能体人工智能驱动的TokenCom优化框架，旨在通过自动化推理链与执行链之间的协同，完成TokenCom的设计与优化。

3.系统模型

本节提出一种基于多模态大语言模型的端到端多模态TokenCom框架。所提出的系统将多模态大语言模型中的词元作为基本传输单元。在发送端，系统联合执行多模态词元化与语义对齐，并通过物理信道传输编码后的词元；在接收端，系统首先进行鲁棒的词元恢复与解码，随后完成跨模态去词元化。通过上述机制，所提出的框架能够在复杂信道条件下支持多模态理解与生成任务。完整TokenCom系统的总体架构如图1所示。

图1：TokenCom系统的组成结构

3.1 系统说明

本文考虑一种支持多模态输入的通信系统，其输入模态包括图像、视频和音频等。对于任意一种输入模态，发送端的输入均由原始模态信号与相应的文本指令或查询两部分组成。其中，原始模态信号可以是图像、视频或音频信号。

3.2 发送端

发送端由模态词元化器、输入投影器、大语言模型词元编码器和信道编码器构成。

1）模态词元化器(Tokenizer)：首先，模态词元化器将原始模态输入编码为多模态嵌入词元，从而获得与相应模态相关的词元特征嵌入。模态词元化器可根据具体的模态类型进行灵活选择。

2）输入投影器：为了将模态特征映射至文本特征空间并实现语义对齐，本文引入输入投影器，将模态词元特征转换为以相应模态为条件的软提示。随后，将生成的软提示与文本指令经文本词元化器处理后得到的文本嵌入词元进行拼接，并将拼接后的词元序列共同输入大语言模型骨干网络。对于由原始模态数据和目标文本组成的多模态训练样本，输入投影器通过最小化条件文本生成损失进行训练。该损失通常采用词元级交叉熵损失，旨在促使大语言模型根据多模态输入生成与给定文本指令在语义上保持一致的文本输出。

3）大语言模型词元编码器：接收到由模态软提示和文本嵌入词元组成的多模态输入后，大语言模型骨干网络执行多模态词元编码与推理，并输出两类词元：一类用于文本生成任务，另一类用于相应模态的多模态生成任务，后者将进一步用于跨模态内容生成。根据大语言模型在TokenCom系统中的部署位置，大语言模型词元编码器可分为以下三种形式：

a）嵌入词元(Embedding Token)编码器：当大语言模型部署于接收端时，输入投影器生成的嵌入词元不再经过进一步编码，而是直接进入信道编解码过程。在此情况下，词元编码器仅依据经过对齐的模态软提示和文本嵌入词元构建输入级语义表示，本质上采用恒等语义映射，不对输入词元作进一步变换。

该方案不依赖大语言模型的内部推理结果，仅传输多模态嵌入词元，适用于强调低时延和低计算复杂度，同时接收端具备充足计算能力、能够完成大语言模型完整推理的场景。此时，所传输的语义仍处于词元化层级，并未显式包含大语言模型的推理与生成结果。接收端采用与该编码模式相对应的嵌入词元解码方式。

b）注意力词元(Attention Token)编码器：为了传输经过大语言模型深层多模态融合和部分推理后获得的中间语义表示，可以从大语言模型的中间层提取隐藏状态，并将其构造成注意力词元。当大语言模型被拆分部署于发送端和接收端时，注意力词元由一组中间层产生的隐藏状态构成。所生成的注意力词元已经融合多模态信息，并包含部分推理轨迹。与嵌入词元相比，注意力词元具备更强的语义表示能力，同时能够避免传输完整推理结果所引入的冗余。此外，该设计支持在发送端与接收端之间协同分担大语言模型的计算任务。接收端采用与该编码模式相对应的注意力词元解码方式。

c）任务词元(Task Token)编码器：当大语言模型部署于发送端时，任务词元直接由大语言模型最终层的输出构成，其中包括用于文本生成的词元以及用于相应模态生成的词元。

该方案直接以任务级输出词元作为通信对象，因而具有最高的语义抽象程度，尤其适用于面向下游任务的通信场景。接收端仅需执行少量或无需执行大语言模型推理，只需完成语义等价映射。相应地，该模式对信道鲁棒性和差错控制能力提出了更高要求。

d）统一表述：上述大语言模型词元编码器可通过统一的模式选择机制进行描述。系统能够根据实际需求，从嵌入词元编码、注意力词元编码和任务词元编码三种模式中选择适当的编码方式，以生成待传输的词元序列。

4）信道编码器：信道编码器将词元序列直接映射为适合通过物理信道传输的复值符号序列，其具体映射过程由信道编码器的可训练参数决定。

3.3 物理信道

本文采用基带等效物理信道模型。以TokenCom中常用的线性信道模型为例，接收信号由信道作用后的发送符号与噪声共同构成。发送符号需要满足平均功率约束，其平均发送功率不得超过系统规定的最大值。噪声采用零均值复高斯分布建模，其协方差由噪声方差决定。对于加性高斯白噪声信道，信道增益是确定性的，并可归一化为单位矩阵；对于瑞利衰落信道或莱斯衰落信道，信道增益矩阵中的元素则被建模为随机衰落系数。

3.4 接收端

接收端由信道解码器、大语言模型词元解码模块、输出投影器和模态去词元化器构成。

1）信道解码器：信道解码器首先对接收信号进行解码，从含噪物理信号中重构并获得估计的词元序列。该解码过程由信道解码器的可训练参数决定。

2）大语言模型词元解码器：与发送端的大语言模型词元编码器相对应，接收端的大语言模型词元解码器同样包括三种形式。

a）嵌入词元解码器：在该模式下，经过信道解码的嵌入词元被用作大语言模型的初始输入，并在模型中逐层向前传播，直至最终解码层，以获得任务词元状态。输入包括经信道解码恢复的多模态嵌入词元和文本嵌入词元。大语言模型最终层生成的任务词元作为词元解码的最终结果。

b）注意力词元解码器：在该模式下，注意力词元已经位于大语言模型的内部语义空间。因此，接收端无需重新执行输入嵌入或语义对齐，而是将信道解码后恢复的注意力词元作为中间状态，直接通过大语言模型的后续网络层继续执行前向传播，直至获得最终的任务词元状态。

c）任务词元解码器：任务词元由大语言模型的输出层生成，因此已经对应于高层任务语义。接收端无需对恢复后的文本生成词元或多模态生成词元执行额外处理，而是通过恒等语义映射，将其直接视为与大语言模型最终层输出等价的任务词元表示。

d）统一表述：上述三种解码方式可通过统一的模式选择机制进行描述。系统可以根据发送端采用的词元编码形式，选择相应的嵌入词元解码、注意力词元解码或任务词元解码方式，从恢复后的词元序列中获得最终任务词元状态。

3）多模态输出投影：对于多模态生成任务，系统首先从最终任务词元状态中提取用于控制目标模态生成的任务词元。随后，输出投影器将这些词元映射至与多模态生成器兼容的条件特征空间，从而实现文本语义空间与目标模态条件空间之间的对齐。输出投影器以目标模态生成器内部文本编码器产生的文本指令条件特征作为训练目标，例如由CLIP文本编码器生成的条件特征。其训练过程旨在最小化投影器输出与目标模态生成器所使用的文本条件嵌入之间的均方误差。

4）去词元化器(Detokenizer)：对于文本生成任务，去词元化器根据最终任务词元状态生成文本输出。该模块通常由语言模型输出头和后续解码策略组成，其中解码策略可以采用基于Softmax的解码、贪心解码或束搜索。该模块将最终隐藏状态投影至词表空间，并据此生成最终文本。对于多模态生成任务，多模态去词元化器根据输出投影器生成的条件特征生成目标模态内容。该模块可以采用Stable Diffusion、Zeroscope和AudioLDM等扩散生成模型。

3.5 端到端优化目标

1）任务级语义理解损失：TokenCom采用交叉熵损失约束接收端输出与真实标签之间的一致性。该损失通常为标准的词元级交叉熵损失，用于衡量系统的端到端语义理解性能。

2）信道级互信息损失：除端到端任务损失外，TokenCom还在信道编解码过程中引入互信息损失，以增强词元在含噪信道中的可恢复性。该损失基于发送语义词元与恢复词元之间互信息的估计下界构建，其互信息可以通过可学习的互信息估计器获得，例如MINE或基于变分下界的估计器。通过最小化互信息损失，系统在等效意义上最大化发送语义词元与恢复词元之间的互信息，从而提升词元序列经过物理信道传输后的信息保持能力。

3）联合端到端优化目标：综合上述损失，TokenCom通过联合优化任务级语义理解损失、输入投影对齐损失、输出投影对齐损失和信道级互信息损失，实现端到端训练。参与联合优化的部分包括信道编码器与信道解码器、多模态输入投影器、输出投影器，以及大语言模型骨干网络中用于端到端训练或微调的部分参数，例如低秩适配模块和适配器模块。

其中，多模态输入投影器负责将模态特征映射至统一的文本语义空间，输出投影器负责将大语言模型生成的多模态任务词元映射至目标模态生成器的条件空间。不同损失项对应的正权重用于协调任务性能、对齐精度与信道鲁棒性之间的权衡。

4.Agentic TokenCom框架

Agentic TokenCom采用分层式智能体链架构，由上层推理链和下层执行链组成。在给定任务目标、信道条件和资源约束的情况下，推理链负责对TokenCom的工作流结构进行规划、评估与反思，从而实现通信流程的自演进设计。在推理链生成的结构约束下，执行链动态选择并实例化用于词元编码、推理和解码的具体模型，进而将抽象工作流转化为可执行的TokenCom系统。Agentic TokenCom框架的整体架构如图2所示。

图2：Agentic TokenCom框架的体系架构

4.1 总体框架

本文将TokenCom的自动化系统构建问题建模如下：在给定模态集合、任务集合、计算与时延预算以及信道统计信息等多重约束的条件下，系统需要自动推导包含多模态大语言模型核心组件的工作流，并在其中显式插入信道编解码模块。此外，系统还需要为工作流中的每个组件选择规模与功能适宜的具体模型实例。在通信约束和资源约束下，该系统的目标是最大化端到端多模态理解性能与跨模态生成性能。

1）系统需求描述：系统需求描述由模态配置、任务需求、资源预算、信道统计信息和通信约束共同组成。其中，模态配置包括图像、视频和音频等；任务需求包括文本生成任务、多模态生成任务或二者的组合；资源预算用于表征终端侧或基站侧可用的计算能力与存储能力；信道统计信息包括信噪比、可用带宽、衰落类型和目标误码率；通信约束则包括最大词元序列长度和端到端时延上限等。

2）工作流与组件：工作流是按照TokenCom系统的语义处理过程与通信流程组织而成的有向功能模块序列。通常，该工作流依次包含文本词元化器和相应模态的词元化器、多模态输入投影器、发送端大语言模型词元编码模块、信道编码器、物理信道、信道解码器、接收端大语言模型词元解码模块、输出投影器，以及面向文本和目标模态的去词元化器。

其中，多模态输入投影器负责将模态特征与文本语义空间对齐；发送端与接收端的大语言模型模块分别承担词元编码和解码功能，其是否启用及具体部署位置由TokenCom的执行模式决定；输出投影器负责将大语言模型生成的多模态词元映射至目标模态生成器的条件空间；文本去词元化器和目标模态去词元化器则分别用于生成最终文本和目标模态内容。因此，系统模型所定义的TokenCom处理流程在Agentic TokenCom框架中被抽象为工作流，该工作流由推理链生成，并由执行链完成实例化。

4.2 推理链：工作流生成与优化

推理链由规划智能体、记忆模块、评估智能体和反思智能体组成，其中各智能体均由具备复杂推理能力的大语言模型实现。借助从记忆模块中检索得到的历史经验，推理链生成满足系统需求与约束的候选工作流，并对其端到端性能进行评估。随后，反思智能体根据评估结果诊断并调整工作流结构，并将优化后的结构及其性能写回记忆模块，从而推动TokenCom架构持续演进并不断提升系统性能。

1）记忆建模：记忆模块用于存储TokenCom系统的历史构建经验，其内容包括模态配置、任务需求、信道条件和资源预算与工作流结构选择之间的映射关系，以及系统在实际部署过程中观测到的性能指标。当接收到新的系统需求描述时，记忆模块执行相似性检索，从历史记录中提取与当前需求最为相似的若干项历史策略，为后续工作流规划提供经验依据。

2）规划智能体：在系统需求描述与历史记忆先验的共同约束下，规划智能体按照其规划策略生成候选工作流。为获得具有差异性的候选方案，工作流生成过程还会引入一定的随机性或采样策略。所生成的工作流不仅规定TokenCom系统应包含的组件及其执行顺序，还会根据任务需求、信道条件以及发送端和接收端的计算能力选择适当的词元模式。当大语言模型主要部署于接收端时，系统选择嵌入词元模式；当发送端与接收端协同执行拆分推理时，系统采用注意力词元模式；当任务处理主要在发送端完成时，系统采用任务词元模式。完成工作流规划后，系统进入第二层执行链，对工作流进行具体实例化。

3）评估智能体：对于已经完成实例化的候选工作流，评估智能体从多目标优化角度计算综合评分，以衡量其整体性能。该评分综合考虑多类任务质量预测指标，包括理解准确率、生成质量、峰值信噪比、CLIPScore和语义一致性，同时还考虑数据压缩效率、端到端时延以及违反系统约束所产生的惩罚项。所得评分为后续反思与工作流结构优化提供量化依据。

4）反思智能体：反思智能体根据评估结果对当前候选工作流进行误差归因，并生成相应的优化指令。诊断信息可能包括：词元序列过长导致大语言模型推理时延超出预算、信道错误造成语义一致性下降，以及生成模型规模过大而无法部署于终端等。随后，规划智能体根据反思智能体生成的反馈更新规划策略。同时，本轮推理与评估过程中获得的系统需求、候选工作流、性能评分和诊断信息将作为新的经验样本写回记忆模块。

在实际实现中，记忆模块采用容量受限的先进先出队列，而非无限增长的存储库。当队列容量达到上限时，系统会先移除最早存入的记录，再写入新的经验样本。经过多轮迭代后，推理链逐步形成由工作流生成、性能评估、结果反思和结构优化构成的闭环优化机制，并最终从可行工作流空间中选出综合评分最高的工作流结构。该可行工作流空间由所有满足系统需求以及结构、资源和通信约束的工作流组成。

4.3执行链：工作流实例化

执行链由一组组件智能体构成。与推理链负责工作流结构决策不同，执行链主要负责具体的实现决策。对于推理链生成的工作流，执行链依次对各个组件执行模型选择、参数配置、接口对齐与部署映射，从而完成组件实例化，并生成可执行的TokenCom系统实例。

1）基于组件智能体的模型选择：对于工作流中的各个组件，系统分别建立候选实现集合。在给定系统需求描述和工作流结构的情况下，组件智能体从候选集合中选择效用最高的组件实现。该效用函数遵循推理链中评估智能体采用的多目标评分机制，用于量化各候选模型作为相应组件时所带来的质量增益及其违反系统约束的风险。

为保证系统结构的可解释性、可验证性和可复现性，执行链按照以下顺序完成工作流实例化：首先实例化模态词元化器和输入投影器，随后确定大语言模型骨干网络，并依次配置信道编码器、物理信道、信道解码器、输出投影器和模态去词元化器。

大语言模型骨干网络一经选定，其内部结构也随之确定，包括文本词元化器、大语言模型词元编码器、大语言模型词元解码器和文本去词元化器。因此，选择大语言模型骨干网络也会自动确定上述四个模块的具体结构。

2）候选模型库与约束条件：各组件智能体根据工作流需求和系统资源约束，从相应的候选模型库中选择最适宜的模型实现。词元预算、模型输入输出一致性和对齐质量等模块约束，将直接影响最终所选模型的规模与架构。

a）模态词元化智能体：模态词元化智能体负责实例化模态词元化器，其候选模型库涵盖具有代表性的多模态编码架构：

• 图像模态：ViT-H/14、CLIP-ViT、EVA-CLIP和ConvNeXt；
• 视频模态：TimeSformer、ViViT和InternVideo-Enc；
• 音频模态：HuBERT、BEATs、Whisper-Enc和wav2vec 2.0。

其关键约束在于，词元粒度和词元序列长度必须满足工作流规定的词元预算，以避免产生语义冗余和不可控的下游推理开销。

b）输入投影智能体：输入投影智能体负责实例化输入投影器，其候选模型库包括以下常用投影器架构：

• 线性投影器、多层感知机投影器和交叉注意力投影器；
• Q-Former、P-Former和MQ-Former；
• 词元池化和GroupViT。

该组件需要满足两项关键约束：一方面，所生成软提示的长度必须与选定大语言模型的上下文窗口相兼容；另一方面，跨模态对齐质量必须满足评估智能体设定的语义一致性要求。

c）大语言模型智能体：大语言模型智能体负责实例化文本词元化器、词元编码器、词元解码器和文本去词元化器。其候选模型库涵盖主流大语言模型和小语言模型，包括：

• 仅解码器大语言模型：LLaMA、Qwen和DeepSeek；
• 仅编码器大语言模型：BERT；
• 小语言模型：Phi和Gemma。

该组件需要确保发送端词元编码器与接收端词元解码器在结构上严格对应，并保证其语义表示能力能够覆盖任务集合的需求。此外，词元编码器与词元解码器的模型规模和推理时延还必须满足发送端与接收端的计算预算和能量预算。

d）信道编码智能体：信道编码智能体负责实例化信道编码器，其候选模型库包括以下主流信道编码方案：

• 低密度奇偶校验码和极化码；
• 联合信源信道编码。

其关键约束在于，所采用的编码方案必须满足信道带宽、信噪比和目标误码率要求，以及系统规定的码率与频谱效率约束。

e）信道解码智能体：信道解码智能体负责实例化信道解码器，其候选模型库包括以下主流信道解码方法：

• 面向极化码的置信传播译码、连续消除译码和连续消除列表译码；
• 面向低密度奇偶校验码的置信传播译码；
• 联合信源信道解码。

其关键约束在于，解码后的词元结构必须与发送端词元编码器生成的表示保持一致，并与后续大语言模型词元解码器的输入模式相匹配，以便将其作为嵌入级词元、注意力级词元或任务级词元输入后续模块。

f）输出投影智能体：输出投影智能体负责实例化输出投影器，其候选模型库包括以下具有代表性的适配器设计：

• 线性适配器、多层感知机适配器和Transformer适配器；
• CLIP空间适配器；
• 扩散模型条件适配器。

该组件必须确保输出条件空间与所选生成器要求的维度一致，同时满足评估智能体规定的生成一致性指标。

g）模态去词元化智能体：模态去词元化智能体负责实例化模态去词元化器，其候选模型库涵盖以下主流生成模型：

• 文本到图像生成：Stable Diffusion、DiT和FLUX；
• 文本到视频生成：Zeroscope、SVD和Video Diffusion；
• 文本到音频生成：AudioLDM和MusicGen。

在满足部署侧计算预算和时延预算的前提下，该组件应达到任务所要求的生成质量。其生成效果可通过峰值信噪比、FID、CLIPScore和主观一致性等指标进行衡量。

对于三维点云或触觉信号等新型模态，系统可以通过注册相应的词元化器、投影器和去词元化器，并提供标准化接口及资源描述，实现新模态组件的动态集成。通过兼容性验证后，这些组件将被加入候选模型库，以便系统根据任务需求、信道条件和资源状况进行在线选择与实例化。

4.4 统一优化目标

推理链与执行链共同构成一种记忆辅助的交替优化过程。在给定系统需求描述的情况下，规划智能体首先从记忆模块中检索相关历史经验，并据此生成候选工作流。随后，执行链选择与该工作流兼容的具体组件实现，并将其实例化为可执行的TokenCom系统。评估智能体和反思智能体进一步对实例化系统的可行性、任务性能、推理时延及资源消耗进行评估，并利用评估结果指导后续工作流更新。与此同时，工作流、性能结果与诊断信息将被写入记忆模块，为后续优化提供经验支持。因此，该过程需要在可行工作流空间及其兼容组件实现集合中，联合选择综合效用最高的工作流结构和组件实例。其优化目标是在满足系统需求的前提下，对工作流结构与组件级实例化方案进行联合优化。

5. 仿真结果

5.1 仿真设置

为全面评估所提出的Agentic TokenCom框架的性能，本文在异构资源约束和动态信道条件下，针对多模态、多任务场景开展了系统性仿真实验。所有实验均在高性能服务器上完成，该服务器配备主频为2.6 GHz的Intel Xeon Gold处理器和8块显存均为80 GB的NVIDIA A800 GPU。所有学习组件均采用PyTorch实现，并使用DeepSpeed ZeRO-2进行训练。

在上层推理链中，规划智能体、评估智能体和反思智能体均由DeepSeek R1驱动，以支持工作流配置的生成与优化。在下层执行链中，所有组件智能体均采用GPT-4o实现。

本文为TokenCom构建了候选模型库。模态词元化器方面，视觉编码模型包括ViT-H/14、CLIP-ViT和ConvNeXt，音频编码模型包括HuBERT和Wav2Vec2。输入投影器提供复杂度不同的对齐模块，包括线性投影器、多层感知机、GroupViT和Q-Former。大语言模型骨干网络可以从LLaMA3-8B、Vicuna-7B和轻量化Gemma-2B中动态选择。输出投影器包括线性投影器、多层感知机和Transformer模块。输出侧的模态生成器包括Stable Diffusion、Zeroscope和AudioLDM等生成模型。信道编解码模块既支持传统的低密度奇偶校验码和极化码，也支持基于深度学习的联合信源信道编码神经编解码器。在推理链所生成结构约束的指导下，组件智能体能够从候选模型库中自动选择并实例化最优配置。

为验证所提出框架的有效性，本文采用VQAv2和CLEVR数据集评估视觉问答任务，并分别使用COCO-Caption、MSR-VTT和AudioCaps数据集评估图像描述、视频描述和音频描述任务。对于内容生成任务，本文采用相同的三个数据集，分别评估文本到图像、文本到视频和文本到音频的生成质量。

最后，本文采用多维度评价指标体系进行性能评估。对于理解任务，视觉问答性能采用准确率衡量，该指标用于量化预测答案与真实标注之间的一致性。对于图像描述和视频描述任务，本文采用METEOR和BLEU-4指标，分别衡量生成描述与参考描述之间的语义匹配程度和语言流畅性，以及二者在四元词组层面的精确重合程度。

对于音频描述任务，本文采用SPIDEr和CIDEr指标。其中，CIDEr用于衡量生成描述与人工标注之间的一致程度；SPIDEr则在CIDEr的基础上进一步融合SPICE等语义相似性指标，从而更加全面地反映生成描述的语义一致性与语言质量。

对于生成任务，文本到图像生成采用弗雷歇初始距离，以量化生成图像与真实图像之间的分布差异，该指标越低，表明生成质量越高。文本到音频生成采用弗雷歇音频距离，用于衡量生成音频与真实音频在深层特征空间中的分布差异，该指标同样越低越好。文本到视频生成采用CLIP相似度，评估生成视频与文本提示在CLIP嵌入空间中的语义对齐程度，该指标越高，表明二者的语义一致性越好。

5.2 多模态性能评估

本实验旨在验证Agentic TokenCom所构建工作流的多模态理解能力。本文在图像描述、视频描述和音频描述任务上，将Agentic TokenCom与具有代表性的基线方法进行比较，采用的评价指标包括CIDEr、METEOR、SPIDEr和BLEU-4。对比方法包括基于GIT、Oscar、BART和CoDi等代表性大模型构建的静态TokenCom系统。通信信道参数采用相关文献中的设置。

在本实验中，Agentic TokenCom自动生成并实例化的工作流依次包括文本词元化器和多模态词元化器、输入投影器、发送端大语言模型的前若干层、信道编码器、物理信道、信道解码器、接收端大语言模型的后续网络层以及文本去词元化器。

在具体配置方面，多模态词元化器采用基于ViT-H/14的ImageBind，将多模态输入表示在统一的嵌入空间中；输入投影器采用Grouping模块，将多模态词元映射为与大语言模型兼容的文本词元；大语言模型骨干网络则实例化为Vicuna-7B。

如表2所示，在多模态理解任务中，Agentic TokenCom生成的工作流实例在METEOR、BLEU-4、CIDEr和SPIDEr等关键指标上，均持续优于基于GIT、Oscar、BART和CoDi等其他大模型构建的静态端到端模型。实验结果表明，与其他模型相比，Agentic TokenCom具备更强的跨模态语义表示与理解能力。上述性能增益主要源于Agentic 框架能够在结构约束下，自适应选择具有较强表示能力的ViT-H/14多模态词元化器和性能更优的Vicuna-7B大语言模型。与此同时，对齐模块能够有效地将多模态特征映射至大语言模型的文本空间，从而更加充分地利用大语言模型的语言理解与生成能力，生成更加准确且在语义上更加忠实于原始内容的描述文本。

表2：多模态理解任务中基于大模型的静态TokenCom与Agentic TokenCom的性能对比

5.3 多任务性能评估

本实验旨在验证Agentic TokenCom所构建工作流在统一文本输入条件下的多模态生成能力。本文针对文本到图像、文本到音频和文本到视频三类生成任务对Agentic TokenCom进行评估，并将其与具有代表性的基线方法进行比较。其中，文本到图像任务采用FID作为评价指标，文本到音频任务采用FAD作为评价指标，文本到视频任务采用CLIPSIM作为评价指标。对比方法包括基于UIO-2、CogVideo和CoDi等代表性大模型构建的静态TokenCom系统。通信信道参数采用相关文献中的设置。

在本实验中，Agentic TokenCom针对三类生成任务自动生成并实例化相应的工作流。三种工作流均依次包含文本词元化器、发送端大语言模型的前若干层、信道编码器、物理信道、信道解码器以及接收端大语言模型的后续网络层。在此基础上，系统根据目标任务分别配置面向图像、音频或视频的输出投影器与模态去词元化器。

系统选择Vicuna-7B作为大语言模型骨干网络，用于解析文本指令并生成具备模态感知能力的信号词元。输出投影器采用四层Transformer，将信号词元映射为扩散模型能够接收的条件嵌入。在模态生成端，系统分别采用Stable Diffusion生成图像、AudioLDM生成音频，并采用Zeroscope生成视频，从而实现对文本到图像、文本到音频和文本到视频任务的统一执行。

实验结果汇总于表3。Agentic TokenCom生成的工作流实例在文本到图像任务中取得了最低的FID，在文本到音频任务中取得了最低的FAD，并在文本到视频任务中取得了最高的CLIPSIM。上述结果表明，所提出的框架能够根据任务需求，在执行链中自适应选择性能优良的生成器。

表3：多模态生成任务中基于多模态大语言模型的静态TokenCom与Agentic TokenCom的性能对比。

此外，该框架还受益于大语言模型在指令理解和提示优化等方面的语义增强能力，进一步提高了内容生成质量，相较于采用固定配置的单一静态模型表现出明显优势。在词元通信中引入大语言模型作为核心语义理解模块，还有助于保持文本指令与生成内容之间的语义一致性，并抑制传输过程中产生的语义漂移。

5.4 不同词元编码器的性能比较

本实验旨在系统分析TokenCom框架中三种不同语义粒度的词元编码模式在计算开销分配与抗噪声能力之间的权衡关系。这三种模式分别为嵌入词元模式、注意力词元模式和任务词元模式。本文在VQAv2数据集上对三种模式进行评估，并采用准确率作为性能指标。

为保证比较的公平性，三种模式采用相同的工作流结构和完全一致的组件配置，仅改变词元编码模式。嵌入词元模式在发送端完成图像词元化和输入投影后，不使用大语言模型进行进一步处理，而是直接完成信道编解码，并在接收端执行完整的大语言模型推理。注意力词元模式将大语言模型拆分部署于通信两端，由发送端执行前若干层推理，随后完成信道传输，再由接收端继续执行其余网络层。任务词元模式则在发送端完成全部大语言模型推理，再通过信道传输任务词元，接收端不再执行大语言模型推理。

在三种模式中，模态词元化器均采用参数规模为12亿的ViT-H/14，输入投影器均采用Grouping模块，大语言模型骨干网络均实例化为Vicuna-7B。本文进一步分析并比较了三种模式在通信两端涉及的语义层级、模型参数量差异，以及不同信噪比条件下的视觉问答准确率。

如表4所示，三种编码模式在语义抽象深度、端侧计算资源分配和抗噪声能力之间呈现出明显的权衡关系。在信噪比较高的条件下，即信噪比为9 dB时，三种模式的视觉问答准确率较为接近。这表明当信道传输较为可靠时，提高语义压缩层级不会显著降低任务性能。

表4：不同词元编码模式下的性能比较

相比之下，在信噪比较低的条件下，即信噪比为0 dB时，三种模式之间的性能差距明显增大。嵌入词元模式通过将大部分计算任务转移至接收端获得了最高准确率，表明在强噪声环境下，传输较浅层的语义表示具有更强的鲁棒性。其原因在于，即使接收端获得的嵌入词元受到部分损坏，接收端的大语言模型仍能够利用语义先验进行一定程度的内容恢复与错误纠正。相比之下，任务词元模式在发送端完成了更深层次的面向任务编码，但其在低信噪比条件下的准确率下降至51.78%。这一结果表明，任务词元对信道扰动更加敏感。一旦其中的关键语义受到破坏，接收端便难以对其进行重构。

5.5 智能体链性能评估

本实验在基站至无人机通信场景中评估智能体链的性能。在该场景下，基站向无人机分配视觉问答任务。通信链路最初工作在较高信噪比条件下，随后无人机进入干扰区域，导致无线信道质量显著下降。本实验旨在验证：在无人机机载计算能力受限且无线信道动态波动的双重约束下，Agentic TokenCom能否通过多智能体协作，实现可规划、可执行且可演进的自适应闭环优化。本文采用视觉问答准确率作为主要评价指标，以反映资源约束与动态信道条件下的任务完成质量。

a）阶段1：初始规划：在初始阶段，考虑到下行链路由基站主导，且无人机的计算资源受限，其可用显存仅为4 GB，推理链倾向于将主要的词元编码与推理任务部署于基站侧。在这一约束下，规划智能体选择任务词元编码模式，由基站利用大语言模型完成全部词元编码与推理，而无人机仅负责接收和处理任务词元。

相应工作流依次包括文本词元化器和图像词元化器、输入投影器、部署于基站侧的完整大语言模型、信道编码器、物理信道、信道解码器以及无人机侧的文本去词元化器。接收端不部署大语言模型。执行链按照上述工作流完成具体实例化。在基站侧，系统采用ViT-H/14进行输入投影，并采用Vicuna-7B作为词元编码器执行完整推理。在无人机侧，系统不部署大语言模型，无人机仅执行文本去词元化，以满足机载资源约束。

b）阶段2：环境变化与重新规划：当无人机进入干扰区域并导致信噪比下降时，评估智能体检测到无人机侧的视觉问答准确率明显降低。反思智能体将性能下降归因于词元编码与推理过程均完全集中在基站侧，而所传输的任务词元对信道噪声高度敏感，难以提供充分的语义级恢复与纠错能力。

为避免任务执行失败，需要将推理与解码功能迁移至无人机，以增强其对受损词元进行语义重构的能力。基于上述诊断结果，规划智能体对原始工作流进行调整，将其重新规划为嵌入词元模式。在更新后的工作流中，基站侧不再利用大语言模型执行词元推理，而是在完成文本与图像词元化及输入投影后，直接对嵌入词元进行信道编码和传输；无人机则在信道解码后执行完整的大语言模型推理，并通过文本去词元化器生成最终结果。

c）阶段3：执行链优化：当无人机需要承担推理任务时，其4 GB显存无法支持Vicuna-7B的部署。因此，执行链触发模型选择与降级机制，从候选模型库中选择可部署的小语言模型Gemma-2B。执行链据此重新完成工作流实例化：基站采用CLIP-ViT作为输入投影器，无人机则部署量化版本的Gemma-2B作为词元解码器，从而满足机载资源约束。

如表5所示，Agentic TokenCom能够通过动态调整工作流配置，在系统性能下降和资源受限的情况下有效避免任务失败。与静态配置相比，所提出的框架在动态场景中表现出两项关键优势。首先，当信道条件发生波动或任务性能下降时，系统能够自适应切换词元编码模式，从而维持通信两端的语义一致性和任务可执行性。其次，当高复杂度模型无法部署于无人机时，该框架能够通过在线重新规划引入轻量化模型实例，在显著降低资源消耗的同时恢复并稳定任务性能。

表5：智能体链的性能评估

5.6 与语义通信系统的性能比较

本实验将Agentic TokenCom与U-DeepSC和DeepSC-VQA等多种语义通信系统进行比较，以评估其视觉问答任务性能。实验采用CLEVR数据集，并以视觉问答准确率作为评价指标。Agentic TokenCom生成的工作流形式与阶段2重新规划后的工作流一致。

为保证比较的公平性，考虑到传统语义通信系统通常采用规模较小的模型，本文为工作流实例配置了低资源方案。具体而言，模态词元化器采用CLIP-ViT，输入投影器采用多层感知机，大语言模型骨干网络实例化为Gemma-2B。在瑞利衰落信道条件下，实验结果如图3所示。

图3：CLEVR数据集上词元通信与语义通信的性能对比

总体而言，随着信噪比提高，所有方法的视觉问答准确率均呈单调上升趋势。这表明，信道质量的改善能够有效减轻语义信息在传输过程中的失真，并直接提升视觉问答任务性能。在两个数据集上，Agentic TokenCom在整个信噪比范围内均持续优于其他对比方法，说明其生成的工作流在视觉问答任务中具备更强的语义理解能力以及更高的信道噪声鲁棒性。

6. 结论

本文提出一种基于智能体链的Agentic TokenCom框架，通过推理链与执行链，将静态的TokenCom结构设计和模型实例化过程转化为自主优化过程。推理链集成规划智能体、评估智能体和反思智能体，根据性能反馈对工作流进行迭代优化；执行链则在工作流约束下，动态选择并部署适应具体任务与模态的模型。此外，资源感知的编排机制进一步实现了词元抽象程度与资源消耗之间的平衡。实验结果表明，在信道、任务和资源的联合约束下，所提出的框架能够保持稳定的可执行性，并表现出优良的系统性能。

然而，大模型带来的高计算开销、推理时延和部署成本，可能限制所提出框架在超可靠低时延通信及资源受限6G场景中的实时应用能力。与此同时，词元可能包含丰富的上下文语义和潜在敏感信息，其通过开放无线信道传输时容易受到窃听、对抗性重构和篡改等安全威胁。因此，未来研究将进一步探索面向特定领域的小模型、知识蒸馏、模型量化以及边云协同部署，并构建基于词元加密、表示净化、差分隐私和对抗训练的显式安全机制。