企业官网建设流程全解析

做舆情这几年，我最深的体会是：技术工具从来不会替你判断，它只会放大你判断的质量。今年团队把AI大量接入舆情工作之后，预警效率确实提上来了，但几次复盘下来，我们也发现一个很扎心的事实——AI不是中立的，它有自己的认知偏差、知识截止日期、表达惯性，甚至会在关键节点一本正经地胡说八道。于是我们在复盘机制里增加了一个固定环节，叫“AI认知体检”。这篇文章想把我整理的这套流程完整讲一遍，适合正在把AI引入舆情工作的团队，也适合一个人干所有活的运营同学，希望能给你一个能直接照着抄的框架。

1. 为什么舆情复盘要把“AI认知体检”提上日程

1.1 舆情工作对AI的依赖越深，风险边界越模糊

先盘点一下AI在舆情工作里到底干了多少活。信息采集和分类、情感正负判断、热点摘要、事件时间线梳理、日报周报生成、甚至舆论走势预测，这些环节现在基本都有AI参与。效率提升是肉眼可见的：过去整理一份日报要两三个小时，现在把数据源接入系统，AI半小时就能出一版初稿。但随之而来的问题是，AI一旦判断错了，会因为自动化流程被快速放大，直接影响预警级别、回应策略甚至高层决策。

我举一个实际工作中很典型的例子。某品牌出现一条负面信息，按关键词和语义判断，“AI认为”讨论量不大、情绪偏弱，系统给了一个“低风险”的评级。但那条信息在一个垂直社群里面其实已经传疯了，讨论密度和情绪强度都远超常规负面。为什么AI会漏掉？因为它在情感分析时只看了文本表面的情绪词，没有理解社群语境和传播结构。这种错判不是代码bug，也不是数据源问题，而是AI的“认知盲区”导致的系统性误判。这类问题如果没有专门的检查机制，很难在日常工作中暴露，等到事件发酵完复盘时才发现，代价已经付了。

1.2 传统复核逻辑为什么不够用

很多团队会说“AI生成的内容，我们人工再看一遍就行了”。我见过不少团队确实在这么做，但效果往往不尽如人意。原因很简单：人工复核的人默认AI是“助理”，而不是“判断主体”，复核的时候心态上是“检查AI有没有出错”，而不是“重新判断这件事的真相”。心理学上这类似于“权威漂移”——人一旦看到已经有结论的材料，很容易顺着材料的方向微调，不会真正推翻重来。

而且，日常业务里的复核是点状的，AI这次回答对了，不代表它下次也能对；这次错了，你也很难判断它是偶然失误还是稳定缺陷。认知体检不一样：它是独立于具体业务任务的周期性检查，用一套专门设计的测试集和评分指标，去评估AI在舆情分析中的基本能力。它不是看某一次回答对不对，而是看一段时间的趋势，是对AI认知状态做一次全面扫描。说得直白点，业务复核是看“这张脸今天洗没洗干净”，认知体检是看“这个人有没有潜在疾病”。

1.3 认知体检能解决什么具体问题

我总结了一下，认知体检主要解决四类问题。

第一类是幻觉问题，也就是AI编造不存在的数据、事件或者信源。在舆情报告里，一个编造出来的“消息来源”会非常致命，因为报告是要给人做决策的，证据链不真实，结论就不可靠。

第二类是偏见问题。AI训练语料主要集中在公开可获取的信息上，对某些行业、地域、人群的覆盖天然不均匀。比如对一线城市的互联网话题可能很敏感，但对特定县域市场的语境理解就偏差很大，容易把地方性表达误判为负面情绪。

第三类是时效偏移问题。多数模型的训练知识有截止日期，如果你不接实时检索，它可能会用半年前的知识判断今天的热点，结论自然滞后。

第四类是合规风险。舆情分析报告如果生成不当，可能无意中泄露隐私信息或者强化某些不当表达。这属于AI输出的底线问题，体检时也必须覆盖。

2. 把“AI认知体检”设计成一套可落地的体检项目

2.1 体检前先定好“认知七项”

我给自己团队设计的体检，不是东看一眼西看一眼，而是围绕七个固定维度展开，我习惯叫“认知七项”。每一项都有明确的考察目标，也有对应的测试方法。

第一项是事实准确性。考察AI在分析中引用的事件时间、地点、主体是否与真实信息一致。舆情分析的前提是事件本身不能记错，时间线错了，整个判断逻辑就跟着歪。

第二项是情感判定准确率。考察AI对正面、中性、负面情绪的判定，是否与人工标注一致。这个维度是最常用也最容易出问题的，尤其面对反讽、隐喻、地域化表达时，AI经常翻车。

第三项是话题聚类合理性。舆情事件里往往夹杂多个议题，AI能不能把相同议题的信息归到一起，而不是把不同议题混为一谈。这个直接决定后续分析的结构。

第四项是时间线构建能力。考察AI能否按事件发生顺序正确梳理脉络。很多舆情事件是连续演进的，如果时间线乱了，复盘就是一笔糊涂账。

第五项是敏感信息识别。考察AI能否识别出涉及隐私、个人身份、法规风险等需要谨慎处理的内容。舆情工作经常处理大量公开信息，但公开不代表可以随便传播，AI需要具备风险控制意识。

第六项是提示词鲁棒性。同一件事，换个问法、调整一下措辞，结论是否还能保持稳定。如果换个问法结果就从激进变保守，那AI的判断就没有可信度。

第七项是引用可信度。AI给出的信息来源是否真实可查。舆情分析里最忌讳编造信源，这个维度必须单独拎出来检测。

2.2 评分体系怎么定才不算拍脑袋

认知体检最忌讳“看感觉”。要真正发现问题，必须把每个维度量化成分数。我给每个维度设置了0到10分的区间，其中0到3分是严重异常，4到6分是存在隐患，7到10分是可接受或优秀。每个维度再设定“提醒线”和“红线”两个阈值。

举个例子，事实准确性这个维度，低于7分就该启动专项排查；低于5分就是红灯，需要立刻停止该模型在正式报告中的使用。再比如情感判定准确率，我习惯用一个50条样本的测试集，人工标注好标准答案，让AI跑一遍。如果AI判对了40条，准确率就是80%，这个分数基本及格；如果只有35条，也就是70%，那就要警惕了；如果低于30条，大概率是提示词或者模型选择出了问题，需要回炉重造。

引用可信度这块我卡得比较严。测试集里只要出现一次AI伪造来源，不管总分多高，这一项直接判零分。因为信源造假不是水平问题，是底线问题。舆情分析报告递到决策层手里，如果底层证据是假的，那整份报告都会失去公信力，这个代价承担不起。

2.3 体检样本怎么选才能说明问题

体检要有效，样本不能随便挑。我通常把测试集分成三类，每一类有不同的定位。

第一类是历史案例集，从过去三到六个月的已沉淀舆情事件里挑，人工把关键结论标注好，作为标准答案。这类样本量可以大一些，我一般准备两百到五百条。它们的价值在于，AI的分析结论可以和已经验证过的事实对比，能直观看出它对真实事件的还原度。

第二类是对抗测试集，专门针对AI的常见弱点设计陷阱。比如包含反讽、情绪化、双关语、地域俚语的文本，甚至故意把两个相似事件混杂在一起，考察它会不会被误导。这类样本不用太多，一百条左右就够，但每条都要花心思设计。

第三类是随机抽检集，每次体检前一周，从当周真实舆情数据里随机抽取二十到五十条，不做任何标注。这类样本的价值在于不可预知性，能反映出AI在真实业务环境中的表现，而不是只会在标准化测试题上拿分。

三类样本的比例，我一般控制在6:2:2。历史案例是基础，对抗案例是压力测试，随机抽检是实战模拟。三者结合，才能避免“只考真题、背答案”的假高分问题。

3. 体检实操全流程：从测试集到报告输出

3.1 提前把测试集隔离好，防止“真题泄露”

体检最怕的一件事情，就是测试集被模型“看到过”。如果某条文本已经出现在模型的训练语料里，那它回答得再漂亮，也证明不了真实能力，只能证明它记性好。所以测试集要严格和模型的训练、微调数据隔离。

实际操作中，我建议从公开案例库、历史工单、人工标注数据库里抽取数据后，先做一轮改写和脱敏处理。尤其是对抗测试集，要经常更新，两三个月就要补充新案件，避免模型通过反复调用记住了固定套路。另外，跑体检的时候建议使用独立的对话会话，不要和日常业务查询混在一起，防止上下文污染。

3.2 设计体检任务脚本，像流水线一样执行

认知体检需要一套统一的“体检脚本”，也就是给AI的任务提示词模板。模板不统一，结果就没法横向对比。我常用的一个情感判定测试提示词长这样：

你正在参加一次舆情分析能力评测。请阅读以下文本，首先判断其整体情感倾向（正面/中性/负面），然后给出判断理由和文本中提到的关键实体，最后指出文本中可能存在的风险点，并用一句话说明判断依据。注意：如果信息不足，请明确回答“信息不足”，不要推测。

这里有两个细节很关键。一是“判断理由”必须要求写出来，不能只给一个标签，方便后面追溯模型为什么这么判断。二是明确允许模型说“信息不足”，引导它在不确定的时候不要硬编，这能大幅减少幻觉输出。

我还习惯在测试脚本里加入“反事实提示”，也就是故意给AI一段带有错误信息或者矛盾信息的内容，看它能不能识别出来。比如在一条舆情文本里夹一个明显错误的事件时间，如果AI没有发现，直接照单全收，那说明它的批判性分析能力偏弱，后续需要加强检索验证环节。

3.3 跑分时注意温度参数，结果才有对比价值

大模型输出的随机性是个大学问。同一道题，把temperature参数从0调到0.8，AI的回答可能完全不一样。做认知体检的时候，必须先把temperature固定下来，我建议统一设为0，尽可能让输出确定性高一些，这样测出来的分数才反映模型能力和提示词质量，而不是运气。

如果测的是“提示词鲁棒性”这个维度，情况又不同。这时候反而是要有意调高temperature，或者变化提示词措辞，观察模型在合理扰动下能不能保持判断稳定。所以我实际操作时，会分开两轮跑：一轮是低温跑，测基准能力；另一轮是常规业务参数跑，测实战稳定性。两轮结果对比着看，信息量比单独跑一轮大得多。

3.4 体检报告不要写成长篇大论，要直接给结论

体检跑完，一定要输出一份报告，但报告不是给AI看的，是给人做决策用的。我把报告结构固定成几个板块：体检结论、各维度得分表、异常项详情、风险评估、整改建议、复测计划。

结论部分必须一句话可以看懂，比如“本月模型A在事实准确性和引用可信度两项未达基线，建议暂停在正式报告中使用，待整改后复测”。各维度得分用表格呈现，一眼能看出哪项红哪项绿。异常项详情只挑真正有问题的案例写，附上原文、模型输出、人工标注三者的对照，方便后续做根因分析。

整改建议要写优先级。我习惯用“立即整改”“两周内整改”“持续观察”三档。立即整改针对红线问题，比如信源造假、敏感信息误判；两周内整改针对未达标项，比如情感判定准确率偏低；持续观察针对虽然达标但分数处于临界状态的项。报告完成后，定好下一次复测时间，形成闭环。

4. 常见问题与排查技巧实录

4.1 症状对照表：一眼定位问题方向

认知体检做得多了，你会发现很多问题是有规律可循的。我把高频率出现的问题整理成一张速查表，团队里无论谁跑体检，都可以先拿这张表对号入座。

4.2 我踩过的几个坑，写出来给你避雷

第一个坑是RAG召回参数设置不当。有一段时间我们模型的事实准确率一直提不上去，排查了很久才发现，是召回TopK设得过大，模型一次性塞进来太多不相关内容，反而被干扰，生成时把无关片段当成事实缝合进去，制造出一堆新幻觉。把TopK从10调到5，再配合相关性阈值过滤，准确率肉眼可见地回升了。

第二个坑是太信任官方模型的“安全承诺”。线上模型大多自带安全对齐，但它的对齐是通用场景的，不一定理解舆情业务的具体规则。比如某些行业术语、特殊语境，在通用对齐里是正常表达，在舆情分析里就可能是需要谨慎处理的内容。所以千万不要觉得“大厂模型肯定没问题”，一定要在测试集里放一批业务专属的安全边界案例，单独验证。

第三个坑是只测单轮输出，不测多轮对话。舆情分析经常需要追问细节，AI首轮回答可能没毛病，但追问之下容易前后矛盾。后来我在体检脚本里加了“追问测试”环节，要求每个案例至少追问一次，专门考察上下文一致性。这个改动帮我们发现不少表面稳、内里虚的模型。

4.3 体检频率怎么安排才合理

体检频率没有一个固定标准，我自己的实践是“1+1+N”模式：每周做一次专项抽检，抽检覆盖当天真实数据中的随机案例；每月做一次全面体检，覆盖认知七项的全部维度；每当模型升级、供应商切换、或者遇到重大突发事件之后，再做一次应急体检。应急体检可以简化，只针对与事件相关的两三个维度重点测。

这个频率看起来频繁，但每次实际耗时并不多。专项抽检半小时内能完成，全面体检半天左右。相比模型在业务里跑一个月产生的误差成本，这点投入非常划算。而且体检积攒下来的测试集和评分记录，本身就是团队的知识资产，换模型、换供应商的时候，直接拿历史分数对比就能理性决策。

5. 把“AI认知体检”沉淀成团队机制

5.1 建立“AI使用台账”，让体检有的放矢

体检不能是空对空，必须知道AI到底在哪些业务环节被用了、用了哪个版本、执行了什么任务。我建议团队建立一份“AI使用台账”，每次调用大模型接口时记录用途、模型名称、版本号、输入输出摘要、调用人。这个台账看起来增加工作量，但它是体检数据的源头。没有台账，体检就像没有病历的医生，只能凭感觉猜。

台账不需要做得很重，用一张共享表格就能维护。关键是要养成记录习惯，尤其是模型版本变更的时候，一定要留记录。版本差异是影响AI认知状态的最大变量之一，很多时候指标波动不是提示词问题，而是模型悄悄升级了。

5.2 体检结果要和业务复盘真正打通

认知体检的价值，不是体检完写一份报告就结束了，而是要把它纳入日常舆情复盘的闭环里。具体做法是，在每月舆情复盘模板中加入两个固定板块：一个是“AI判断与人工判断差异率”，统计当月AI输出结论和人工最终结论不一致的案例数；另一个是“AI盲区清单”，把体检和业务中发现的新问题补充进去，作为下月测试集的素材。

我团队现在每个月复盘，都有一个固定环节叫“AI认知讨论”，大家把当月模型做得不好的案例摆到桌面上，逐条讨论下次怎么调整提示词、怎么改流程、要不要换模型。这个环节一开始大家觉得像“给AI开批评会”，后来慢慢发现，每次讨论都能推动AI工具链往前走一步，团队的分析能力也跟着涨了一截。

5.3 舆情从业者自己也要提升“AI认知素养”

最后说一个容易被忽略的点。AI认知体检的对象是模型，但体检的动作是人来执行的，执行者如果对AI的能力边界没有基本认知，体检很容易变成形式主义。舆情从业者不需要变成算法工程师，但有几件事必须懂：AI会幻觉、AI有知识截止日期、AI是统计相关性不是因果关系、AI对训练语料覆盖不足的领域会露怯。

我特别建议团队做两件小事。一是定期让分析师手动跑一遍体检脚本，亲手标注测试集，体会AI的输出为什么和人工判断不同。二是组织“反向提问”练习，让分析师学会对AI的结论追问一句“你有证据吗”，这个习惯一旦养成，会大幅降低AI错误结论被直接采信的概率。

6. 一份可以直接起用的“认知体检清单”

6.1 月度全面体检清单

如果你不想从零开始设计，我把我们团队用的一份月度体检清单简化版放在这里，你可以直接照着执行。

测试集准备：历史案例200条、对抗案例80条、随机抽检30条，共310条。覆盖情感判定、事实准确性、话题聚类、时间线构建、敏感信息识别、提示词鲁棒性、引用可信度七个维度。优先保证历史案例中负面事件和正面事件比例大致平衡，避免模型在某一类情绪上“偏科”。

执行步骤：

• 用固定提示词模板批量跑测试集，temperature设为0
• 同一案例追问一次，记录首轮和次轮答案的一致性
• 引用检查环节，人工随机核验20条AI给出的信源
• 额外跑10条反事实提示，测试批判性识别能力

评分计算：每个维度独立计分，换算成0到10分。情感判定和事实准确性按正确率换算，比如正确率90%计9分，正确率60%计6分，低于50%该维度直接判0分。敏感信息识别和引用可信度这两项，只要出现一次严重越界就判零分，不搞折中。

6.2 事件应急体检清单

遇到突发舆情事件复盘时，全面体检来不及，可以精简成四个核心项：事实准确性、情感判定、时间线构建、敏感信息识别。挑选本次事件相关的案例20到30条，快速跑一遍。重点关注AI在本次事件中的判断是否出现与事实不符、情绪误判、时间错位、风险漏识别四类问题。应急体检的结果要在当天出来，供复盘会直接使用。

6.3 模型替换对比体检清单

如果团队正考虑换一个模型供应商或者升级模型版本，一定要做一次新旧模型的“背靠背”对比体检。方法不复杂：同一套测试集，分别跑旧模型和新模型，各维度打分后直接对比。我见过不少团队换模型，只看一两个演示效果就定了，结果上线后发现在特定领域的表现反而不如旧版，这就是没做对比体检的代价。

对比体检时建议优先关注事实准确性和引用可信度两项。模型在演示时通常会显得很“聪明”，但舆情分析要的不是聪明，是可靠。一个偶尔语出惊人但频繁捏造来源的模型，在舆情场景里是灾难。

我在实际使用中还有一个体会：认知体检不应该只盯着模型找毛病，它更像是在帮团队校准“人机分工的边界”。每一次体检，真正收获的不只是模型改进方向，还有团队对AI信任边界的重新认识。哪些判断可以放心交给AI，哪些必须人来兜底，这个边界会在一次次体检中变得清晰。舆情工作往前走，AI一定会越来越深地嵌进流程，而认知体检就是保证这个嵌入过程不失控的那道护栏。