电信运营商的项目做得多了,我对工单系统的感情一直很复杂。一方面,它承载着每天几十万甚至上百万次的用户请求,是服务履约的核心通道;另一方面,它又长期被“规则匹配不准、人工搬运太多、闭环全靠催”这些问题折磨得够呛。这几年“智能Agent”概念火起来以后,不少团队拿着大模型来试工单场景,但真正能把“分类路由”和“闭环处置”做完整的落地案例并不多。
这篇内容,我就围绕“电信运营商海量工单智能Agent”这件事,把我在这类项目里的技术路径、选型逻辑和踩过的坑一次讲透。项目背景很具体:某省运营商日增工单过万,涉及移网、宽带、IPTV、政企专线等几十个业务域,需要一套能把“工单进来—自动分类—智能路由—辅助处置—闭环归档”串起来的Agent系统。适合正在做运营商数智化改造、或者打算用Agent重构传统工单系统的同学参考。
1. 先聊清楚:运营商工单场景,为什么必须上智能Agent
很多刚从互联网行业转过来的同学,第一次看运营商工单系统往往会愣住:这都什么年代了,怎么还有这么多人工操作?但真实情况就是如此。运营商工单链条极长,一张普通投诉单从用户进线到最终归档,至少要经过客服、预处理、调度、专业处理、回访等五六个角色。每个角色哪怕只花五分钟,加上在途等待和误派返工,单张工单的实际处理时长轻松超过两小时。而在业务高峰期,这个数字还会翻倍。
1.1 一张工单背后的“成本”,比想象中大得多
算一笔保守的账。一个省公司如果日均新增工单一万张,每张工单平均被人工操作六次,每次操作按五分钟算,那就是五百个小时的纯人力消耗。折算成人力成本,一个月下来是非常惊人的数字,而这还不算因为分错类、派错单导致的二次流转成本。运营商工单又有一个特点:季节波动极大。宽带故障在晚上和周末集中爆发,重大网络调整时投诉量短时间翻几倍,靠人多硬扛根本不现实。
所以智能Agent在这类场景里的第一个价值,不是“显得高科技”,而是把那些确定性高、重复度高的判断和操作从人身上接走。比如“这张单子是宽带故障还是费用咨询”、“该派给装维还是网管”、“用户是不是已经在24小时内重复报修过”这类问题,本质上是有标准答案的,只是过去的系统用规则实现不了足够好的准确率。
1.2 传统规则引擎,为什么越来越撑不住
很多人可能会问:以前也有工单自动分类啊,关键词匹配、正则表达式、决策树这些不都在用吗?确实在用,但效果一言难尽。运营商工单文本是典型的口语化短文本,用户会说“网不行”“电视看不了”“宽带连不上是欠费了吗”这类表达,同一个意思可能有上百种说法。规则引擎面对这种情况,无非是两条路:要么规则漏掉真实意图,要么规则命中太泛导致误派。
更麻烦的是业务侧的变化。运营商隔三差五推出新资费、新业务、新设备类型,工单分类标准跟着变。传统规则每变更一次,都要拉上业务专家逐条改配置,上线周期按周算,等规则配好了,这波热点投诉可能已经过去了。而智能Agent基于语义理解做判断,业务规则变化时只需要调整指令描述和知识库内容,不需要把所有关键词重新梳理一遍,这是本质区别。
1.3 智能Agent在这里到底承担什么角色
先把预期摆正:运营商工单场景里的智能Agent,不是要取代全部人工,而是要把处理链路改造成“人机协同”的分层结构。我的设计思路是三段式。
第一层是自动分类路由。工单进来,Agent先判断业务域、问题类型、紧急程度、影响用户数,然后决定派给谁。这一层追求的是高准确率,目标是减少误派和返工。第二层是自动预处理。Agent在派单前自动完成信息补全、历史工单查重、用户画像调取、常见问题标准回复生成,减轻一线人员逐张打开的负担。第三层才是辅助处置和自动闭环。对高置信度的工单,Agent直接给出处置建议甚至执行部分操作,比如查询网管告警、生成回单草稿,对于低置信度或高影响的操作则保留人工确认。
这个三层结构的好处是:每一层都能独立验收、独立上线,不会发生“Agent一套流程跑不通,整个项目就黄了”的情况。实际推进时,先上线第一层,把分类准确率稳定在95%以上,再逐步打开第二层和第三层,风险可控得多。
2. 整体技术路径:从工单接入到闭环处置的完整Agent链路
如果只看演示Demo,很多Agent平台都能把“工单来了—自动回复”做得挺像样。但生产环境的工单Agent必须是一套完整的链路,每一个环节都涉及数据处理、模型调用、系统交互和异常兜底。我习惯把这条链路拆成四跳:接入解析、分类路由、处置执行、闭环反馈。四跳之间不是简单串联,而是每一跳都有校验和回退机制。
2.1 第一跳:工单接入与多源数据解析
很多人会忽略这个环节,觉得工单不就是一段文本字段嘛。实际上运营商工单的来源极其分散:有客服系统手工录入的,有在线客服机器人转来的,有语音客服转写生成的,还有来自App自助报障、微信公众号、政企客户接口等各种渠道。不同渠道的数据格式、字段完整度差异很大,有的工单正文里甚至只有一句话“速度慢”,没有任何结构化信息。
所以第一跳的核心不是大模型,而是数据管道。要做的事情包括:文本清洗(去HTML标签、去表情符号、统一简繁体)、敏感信息脱敏(手机号、身份证号、详细地址在进入模型前打码)、字段标准化(不同系统对“故障类型”列的定义不一样,需要映射到统一字典)。这里我强烈建议把附件解析也纳入接入层,宽带上行工单经常带截图,移网投诉有时带日志文件,Agent不能解析附件内容,后面的分类路由就会缺关键信息。
2.2 第二跳:分类路由的三层决策结构
分类路由是整个Agent系统的“大脑”,也是业界讨论最多、踩坑最多的地方。纯靠大模型做自由文本分类,虽然泛化能力强,但在运营商这种对准确率要求极高的场景里,容易出现标签漂移。我实践下来最稳的方案是:在标签体系上做强约束,在大模型理解上做自由度。
具体来说分为三层。第一层是业务域识别,判断这张工单属于宽带、移网、IPTV、固话、政企中的哪一类,这一层往往可以结合工单的固有字段来约束。第二层是问题类型判断,比如是“报障”还是“投诉”还是“咨询”还是“办理变更”,这层对语义理解要求最高。第三层是派单路由,根据业务域加问题类型,再叠加优先级规则,输出具体的处理部门和队列。
举个具体例子。一张用户原文是“我家电视看不了,正好赶上孩子要上网课,很着急”的工单,Agent要做的是:从文本中识别出“电视看不了”属于IPTV业务域报障,“孩子要上网课”暗示高优先级,“很着急”属于情绪信号。最终路由结果可能是“IPTV-报障-紧急-家客装维”,并把用户着急上网课的信息写入工单备注,提醒一线优先处理。这个过程中,分类模型负责综合判断,而派单到哪个队列则由路由表强约束,两者结合效果最好。
2.3 第三跳:处置执行层,Agent真正“动手”的地方
分类路由解决的是“派给谁”的问题,处置执行层解决的是“怎么处理”的问题。到了这一层,Agent需要的不只是对话能力,更关键的是工具调用和系统集成能力。
运营商内部有大量业务系统和网管平台:资源管理系统可以查端口状态、光猫在线状态,网管系统可以查OLT和ONU告警,计费系统可以查用户欠费情况,知识库系统存着各类故障的处理手册。如果Agent能根据工单内容自动调用这些工具,把诊断结果汇总成一条处置建议,一线处理人员的工作效率会有质的提升。
我在项目中设计过一个宽带故障诊断的Agent动作链。第一步,Agent先调用用户查询工具,拉取用户的光猫型号和在线状态;第二步,如果光猫在线,就继续查OLT下行口有没有告警;第三步,结合告警信息和知识库匹配到的历史处理方案,生成一段处置建议;第四步,如果故障特征与已知批量故障匹配,直接标记为“区域共性故障”并建议升级为群障处理。这个动作链每一步都有明确输入输出,每一个工具调用都有超时和异常处理,不会因为某个网管接口不通就卡住整条流程。
2.4 第四跳:闭环处置,不是“Agent回复完就算结束”
闭环是这个项目里最容易被低估的环节。很多团队做Agent时,把注意力都放在“能不能答对”上,忽略了工单系统本身的流程约束。实际上运营商工单对闭环要求极严:状态必须按时流转,超时会被考核,回单内容要留痕,归档前要质检。
所以Agent在设计之初就要和工单状态机绑定。我的做法是先把工单的可能状态梳理成一张状态流转表,比如“待受理—待分类—待派单—处理中—待回访—已归档”等,然后明确Agent在哪些状态点可以触发动作,哪些状态点必须人工介入。当Agent完成处置建议后,系统不是直接把工单改为“已归档”,而是把处置结果写入工单,同时将状态更新为“待人工确认”,只有人工点了确认,流程才继续往下走。
闭环的另一层含义是知识回流。每张被人工纠正过的工单,都是一个宝贵的训练样本。我在系统里设计了一个Bad Case采集通道:凡是Agent推荐方案被人工退回或修改的,都被自动记录并定期打标签,用于模型和知识库的迭代。这样系统用越久越聪明,而不是上线三个月后准确率开始滑坡。
3. 选型逻辑:Agent框架、模型基座、低代码平台怎么选
讲完技术路径,接下来是很多项目组真正头疼的部分:到底用什么来做?现在市面上可选的东西太多了,从通用大模型API到开源Agent框架,从低代码智能体平台到完全自研编排引擎。选错了,要么项目演示很炫但生产跑不起来,要么开发周期拉长到不可控。我梳理了一套自己的选型思路。
3.1 先定目标:做L1辅助型Agent还是L2自动处置型Agent
每次有运营商客户来聊,开口第一句往往是“我们要上最先进的智能Agent”。但我的习惯是先反问一个问题:你希望系统做到自动化的哪一层?
我把工单Agent分成两个层级。L1是辅助增强型,主要做分类、路由推荐、知识检索、回复草稿生成,最终动作由人确认并执行,风险低、上线快。L2是自动处置型,Agent不仅给出建议,还能直接调用网管系统查状态、直接变更工单状态、直接发送标准回复,对人力的替代更彻底,但容错要求极高。绝大多数运营商项目,我建议先定L1,跑顺之后再逐步打开L2能力边界。选型时要优先选能够支持L2扩展的架构,但是不要一上来就全部自动化。
3.2 技术栈选型对比:平台、框架、自研的边界
目前市面上的Agent建设路线大概有四类,我做了个对比表格:
| 选型方案 | 优势 | 劣势 | 适用阶段 |
|---|---|---|---|
| 通用大模型API + Function Calling | 上手快,工具调用能力成熟,无需维护底层框架 | 数据出域风险高,单次调用成本高,缺乏可视化编排 | 原型验证、低敏感场景 |
| 开源Agent框架(如LangGraph、Dify、FastGPT) | 灵活可控,可私有化部署,社区生态丰富 | 需要团队具备开发能力,版本升级频、踩坑靠自己 | 有一定研发资源的长期项目 |
| 低代码智能体平台(如扣子Coze等) | 可视化编排,门槛低,内置知识库和工作流组件 | 深度集成受限,生产级权限审计能力依赖平台 | 快速搭建业务Demo、业务验证 |
| 自研Agent编排引擎 | 完全贴合业务,数据和流程可控性最好 | 研发周期长,运维成本高 | 超大并发、强合规要求的核心生产链路 |
这里我想多说一句低代码平台。像扣子(Coze)这类工具,在项目早期价值特别大。我们当时需要向运营商业务方演示“工单进来后自动分类、自动检索方案、自动生成回复”的完整效果,用可视化编排只花了不到一周就搭出了可用原型,业务侧看了实物后,对后续正式建设的配合度明显提高。但也要清醒:生产环境的工单Agent必须对接运营商内部的工单系统、网管系统,要过等保定级和安全审计,低代码平台往往只能作为验证环节,真正上生产还是需要走私有化部署加定制开发的路线。
3.3 模型基座怎么选:私有化部署和成本估算
模型选型在运营商场景里有一个绕不开的大前提:数据不出域。工单数据包含用户手机号、家庭住址、业务办理信息,是典型的敏感数据,直接调用公网大模型API在合规上基本过不去。所以现实选择通常是私有化部署开源模型,国内可选的Qwen系列、DeepSeek系列、ChatGLM系列都在这类场景里有不错表现。
成本方面我习惯用一个简化模型估算。假设日均新增工单一万张,每张工单在分类路由、预处理、处置辅助三个环节合计调用模型四次,每次输入输出折合约两千token,那么日均token消耗就是四乘一万乘两千,等于八千万token。如果按开源模型私有化部署的推理成本来算,单卡80G显存大约能支撑并发推理,需要根据P95时延来规划卡数。不要只盯着模型价格,还要把推理资源、向量库存储、知识库维护成本一起算进去,这才是真实的月度成本。
再补一点模型微调的建议。分类路由这类任务,我第一版通常直接用Prompt加少量示例就能达到不错效果,先跑数据看Bad Case,积累到几千条高质量标注数据后再考虑微调。跳步直接微调,反而容易过拟合到早期不稳定的标签标准上,后续返工成本很高。
3.4 关键性能指标:时延、准确率、自动化率怎么权衡
选型不能只看功能,还要看性能指标。运营商工单场景有几个硬指标我每次都会盯死:分类准确率、首次派单准确率、P95响应时延、人工复核率、自动化闭环率。
时延这块特别容易出问题。大模型推理天然比传统规则慢,如果一张工单在分类环节要等十几秒,一线人员根本等不起。我的经验是给每个环节设P95时延预算,比如分类路由必须控制在三秒以内,知识检索必须控制在一秒以内,处置建议生成控制在五秒以内。超出预算的环节要做缓存、模型量化、并发调优,而不是让用户干等。
4. 实操避坑:分类不准、闭环断链、幻觉处置、数据合规
这一部分是我最想写的,因为项目里真正折磨人的不是模型效果,而是那些“看起来没问题但实际经常炸”的工程细节。每一条都是真金白银换来的教训。
4.1 标签体系出问题,再强的模型也白搭
这是项目初期最容易踩的坑。模型团队兴冲冲开始做分类,结果问了业务方十个问题,业务方自己给出的标签定义都互相矛盾。“报障”和“投诉”的区别是什么?“故障申告”和“故障咨询”算不算一类?“政企客户”和“家客”在工单系统里边界模糊……如果这些问题不前置解决,后面所有标注数据都是脏的。
解决办法是组织业务专家做一次集中的“标签体系对齐会”,把每类标签的定义、触发条件、对应处理部门、SLA要求、典型文本示例全部写进一张标签字典里。这张字典不仅是给模型用的,更是给整个项目组沟通用的。后续模型效果不好时,第一步不是调模型参数,而是先回头查标签字典有没有歧义。
4.2 闭环断链,问题往往出在状态机设计
Agent处理完工单,不代表闭环成功。我们遇到过的情况是:Agent已经生成了处置建议,工单系统里工单状态还是“待受理”,因为Agent的动作和工单系统的状态流转没有做绑定,结果工单超时被考核,只能人工紧急补救。
后来我把工单状态机重新梳理了一遍,明确每个状态节点上Agent可以做哪些动作、哪些动作会触发状态变更、哪些动作必须等人工确认。又加了一个定时巡检任务,每天检查有没有工单在Agent处理后超过十分钟还没有推进状态,如果有就告警并转人工处理。这个机制上线后,闭环超时问题基本绝迹。
4.3 幻觉处置:宁可少自动,不可乱自动
大模型幻觉在运营商工单场景是不能被容忍的。如果Agent给用户回复了一段煞有介事的错误资费说明,或者建议一线人员执行了一个错误的网络操作,后果不是扣一点准确率分数那么简单。
我的兜底策略是三层。第一层,Agent只被允许调用白名单内的工具和接口,所有外部操作必须在配置中心登记,不能由模型自由发挥。第二层,处置类动作设置置信度阈值,比如低于0.8的建议直接转人工,只有超过阈值的建议才自动填入工单。第三层,任何改动线上状态的操作必须二次确认,Agent只能生成“操作建议”,由人工点击执行。这套策略虽然牺牲了一部分自动化率,但保证了结果的可信度,在运营商生产环境里是必须的。
4.4 数据合规和隐私边界,别等评测时才发现
说个很多项目组容易忽略的细节:测试环境数据也会泄漏。有的团队为了快速验证,把生产库的工单数据直接导到测试环境,甚至用公网模型跑了一遍,等到安全审计才发现问题。
合规的核心原则是:敏感数据全生命周期管控。原始工单数据在进入模型之前就要脱敏,模型训练和推理尽量在有隔离的私有化环境中进行,每个模型的输入输出都要保留审计日志,任何数据的导出都要经过审批。不要觉得这是“安全部门的事”,作为系统建设方,你在一开始的数据管道设计里就得把这些考虑清楚,否则系统上线前的等保测试就是一场灾难。
5. 效果评估与持续运营:智能Agent不是上完线就结束
工单Agent系统上线只是开始,真正拉开差距的是后续的运营能力。同一个模型,在A团队手里用了半年越用越准,在B团队手里三个月就准确率直线下滑,差别就在于有没有一套持续的评估和迭代机制。
5.1 先定评价指标,再谈系统效果
指标不能只看“分类准确率”这一个数。我给这套系统定的是五维指标:分类准确率、首次派单准确率、平均处理时长降幅、人工复核率、自动化闭环率。分类准确率反映模型理解能力,首次派单准确率反映路由质量,平均处理时长降幅反映业务价值,人工复核率反映风险控制成本,自动化闭环率反映系统成熟度。
每个指标都要能拆到具体的业务域和工单类型。比如“移网投诉的分类准确率”和“政企专线故障的首次派单准确率”要分开看,因为不同业务域的数据量差异很大,放在一起会掩盖问题。项目周报里我一般要求必须带一张按业务域拆分的指标表,而不是只看一个笼统的平均数。
5.2 Bad Case回流是持续优化的核心机制
系统上线后,每天都会有被人工纠正的工单,这些都是免费的优质样本。我建议项目组建立一条固定的回流链路:每天从工单系统抽取“Agent推荐结果与人工最终结果不一致”的工单,交给业务标注人员进行分类打标,判断是Agent错了还是人工改了但没有必要,再定期用这些数据做模型微调或Prompt优化。
这个机制看着简单,但需要流程保障。我们当时是每周五下午固定开一次Bad Case评审会,产品、算法、业务三方一起过一遍当周典型案例,把每周的问题归类整理,再决定下周的优化排期。坚持三个月后,系统准确率基本能稳定提升一到两个百分点。
5.3 从单Agent到多Agent协作的扩展路线
最后说一点未来扩展的方向。早期系统是一个Agent处理一整个工单流程,能力边际有限。后续可以考虑把流程拆成多个专项Agent,比如故障诊断Agent、用户情绪安抚Agent、资源核查Agent、回单质检Agent,由调度Agent根据工单特征动态编排多个Agent协作完成一单。
不过多Agent协作要克制,不是Agent数量越多越好。每个Agent增加都会带来协调成本、时延成本和出错概率。我的建议是:先用单Agent把所有单点能力练扎实,再把确实需要分而治之的场景拿出来做多Agent编排,甚至可以在低代码平台上先做流程模拟,成熟后再落到生产框架里。
说到低代码平台,我还是要再夸一下它在项目推进中的特殊价值。我们用来给业务方演示的原型,后续几乎演变成了“需求对齐工具”,每次业务方提出新工单类型,先在这类平台上拖拽出一个新流程让业务方体验,确认效果后再进入正式开发排期,很大程度上减少了开发和业务之间的理解偏差。
做了这么长时间运营商工单项目,我最大的体会是:智能Agent最核心的竞争力不完全是模型聪明,而是流程可控、效果可度量、系统可运维。先解决分类路由的准确性,再逐步打开自动处置的边界,每一步都把人留在确认环节做兜底,这条路走起来虽然慢一点,但走得稳。后续这个系统还可以往更多方向延展,比如把用户语义的情绪识别接到服务策略里,把历史工单的关联分析用于网络质量预警,每一步都是从工单这个单一场景向外生长。