企业官网建设流程全解析

多模态虚假信息检测是个很有意思也很有挑战的方向。现在社交平台上流传的信息，早已不是“标题加正文”的纯文本形态，大量谣言、伪新闻往往图文并茂，甚至带着视频封面、二维码水印一起来。你只看文字可能觉得逻辑通顺，配上偷换时空的旧图，整条信息的可信度就完全变了。单纯做文本分类，在这个场景下越来越顶不住。这篇文章想分享的是我最近基于昇腾CANN和MindSpore框架完成的一个实战项目：用CNN-LSTM这套经典组合，搭建一个同时读取“文本+图像”的多模态虚假信息检测模型。模型的输入是一条图文信息，输出是该信息真实还是虚假的概率。从数据处理、模型搭建、昇腾NPU上的训练，到推理部署，整个流程都完整跑了一遍。这里把核心思路、关键代码和踩过的坑一并梳理出来，希望能给正在做内容安全、多模态理解或者昇腾技术栈应用的开发者一些可复用的参考。

1. 问题拆解与方案选型

1.1 多模态虚假信息检测到底难在哪里

先说结论：难的不是模型结构本身，而是“模态之间的不一致”。

一条虚假信息，常见有几种形态。第一种是文字真实但图像被篡改，常见于移花接木的旧闻新传，配图里日期、车牌、地标和正文完全对不上。第二种是文字编造但图像真实，比如盗用别人拍的照片，配上完全不相干的煽情文案。第三种最麻烦，就是单看每一个模态都很正常，但组合起来就是错的，比如把某地暴雨旧图配到另一次台风灾害的新闻里，两个模态各自成立，合在一起就是误导。

这种问题的核心难点在于：模型不能只学文本特征，也不能只学图像特征，而是要学到文本和图像之间的“关系特征”。也就是说，模型需要判断“这段文字提到的事件，和这张图里呈现的内容，到底是不是同一件事、同一个时间、同一个地点”。单纯把两个模态的得分相加或者简单拼接，效果会很差，因为模型根本没有学到跨模态的关联。

另外，这类任务的数据天然不平衡。真实信息永远占多数，虚假信息往往只占很小的比例。训练时如果直接拿原始分布去学，模型很容易退化成“全都判真也能拿高分”的状态。所以数据处理阶段就要格外注意负样本的构造和采样策略，这一点后面单独讲。

1.2 为什么用CNN-LSTM而不是Transformer全家桶

这几年一提到序列建模和特征提取，大家下意识就是BERT加ViT。但我在这个项目里选了CNN-LSTM，不是因为它更高级，而是因为它在当前场景下更划算。

先拆开看。CNN擅长提取局部特征，在文本里就是n-gram级别的短语特征，比如“突发”“紧急”“速转”这类高频出现在谣言里的词组合；在图像里就是纹理、边缘、局部区域的视觉特征。LSTM擅长建模序列依赖，在文本里能捕捉前后文的逻辑关系，比如转折、因果、递进；在多模态场景里，如果样本本身带有时间先后顺序，比如事件演变的连发消息，LSTM也能把时间维度上的语义变化纳入建模。

相比之下，BERT和ViT这类大模型效果好，但代价是参数量大、训练时间长、推理成本高。做内容审核类应用，每天要处理海量图文消息，不可能每一条都送进大模型跑一遍。CNN-LSTM结构轻、收敛快、易于部署到昇腾这类NPU上做批处理，在算力有限的中小团队里反而是更务实的选择。

当然这不代表CNN-LSTM是万能的。它对于需要深层跨模态交互的复杂样本，能力上限确实不如端到端的Transformer结构。但在这个项目里，我做了个折中：用CNN-LSTM作为主体提取特征，在融合阶段加入一层简单的注意力机制来强化关键模态的权重。实验下来，这个方案已经能满足大部分检测需求，而且训练时间只有同等规模BERT方案的几分之一。

1.3 为什么要用昇腾CANN加MindSpore这套组合

再说技术选型。模型本身是通用的，但训练和部署的硬件栈决定了你会不会在工程环节踩坑。

昇腾NPU是目前国内用的比较多的一类AI加速卡，尤其是做私有化部署和国产化替代的项目，昇腾基本上绕不开。而CANN是昇腾计算架构的总称，它不单是一个算子库，而是包含了图编译、算子调度、运行时管理在内的一整套软件栈。你可以把CANN理解为连接上层AI框架和底层NPU硬件的桥梁，类似GPU场景里CUDA加cuDNN的角色，但它有自己独立的编译器和执行调度机制。

MindSpore是深度学习和昇腾配合最好的框架，它和CANN之间的适配是原生的，不需要像其他框架那样通过额外算子适配层来绕。也就是说，你写好的Python网络，经过MindSpore的图编译以后，可以直接调用CANN的运行时去调度NPU执行，中间少了不少兼容性损耗。

我选这套组合还有一个原因：MindSpore在NPU上的算子覆盖很全，CNN、LSTM、Embedding、Dropout这些常用算子都支持得很完整。我在实验过程中几乎没有遇到“算子不支持”导致的模型改写问题。这对做模型落地的工程师来说太重要了。如果选一个对昇腾适配不成熟的框架，很可能在网络结构上要做各种妥协，那就不是调参的问题，而是重写模型的问题了。

2. 模型架构与数据准备

2.1 模型整体结构一览

整个模型是典型的双塔结构加融合分类头。输入是成对的图文数据，文本和图像各自走一条特征提取支路，最后在一个融合层汇合，输出二分类概率。

流程是这样的：文本先分词并映射成词向量序列，然后经过一维CNN提取局部短语特征，再送入LSTM捕捉序列依赖，得到文本语义向量。图像同时经过一个轻量级CNN网络，这里用的是ResNet风格的特征提取器，输出图像语义向量。两条支路的向量在融合层拼接，再接一个带注意力加权的融合单元，最后通过两层全连接网络输出“虚假”和“真实”的概率。

之所以把融合层放在最后而不是中间，是因为早期融合（把原始文本和图像直接拼在一起送进网络）会让两个模态互相干扰，模型很难学到各自独立的语义。后期融合让每个模态先把内部特征学好，再在高层做交互，训练更稳定，效果也更容易调试。

2.2 文本模态怎么处理

文本支路的设计参考了文本分类里经典的做法，但加了一点多模态场景的考虑。

原始文本经过清洗后，会按字或词进行切分。中文场景我建议按字切分，因为中文分词的工具链在NPU上做数据流水线时容易成为性能瓶颈，而按字切分简单稳定，配合CNN的n-gram卷积核也能达到不错的短语捕捉效果。词表大小控制在2万左右，超出词表的统一映射到UNK标记。

序列长度方面，我把文本截断到128个token。理由是我观察了手头样本的分布，绝大多数图文消息的正文在100字以内，超过128个字还能保持核心语义的样本很少。太长的序列会拖慢LSTM的训练速度，尤其是双向LSTM在NPU上的运行时间会明显增加。85%以上的训练样本都能覆盖在128这个窗口内，再长的基本是凑字数或堆砌无关细节，截断影响不大。

文本经过Embedding层后，会送入一个一维CNN层。CNN用了3组不同宽度的卷积核，宽度分别是1、2、3，目的是分别捕捉单字、双字短语、三字组合的不同粒度特征。每组卷积核128个通道，输出经过ReLU激活和最大池化，把长度维度压到固定长度后，送入单层LSTM。LSTM隐藏层维度设成128，只保留最后一步的输出作为句子向量。

2.3 图像模态怎么做轻量特征提取

图像支路我没有选择特别重的backbone。原因很简单：多模态模型的特征提取支路越复杂，融合层的训练难度越大，而且图像部分的预训练权重在多模态场景下迁移效果并不总是正面的。

我用的网络结构是简化版的ResNet，只保留了前四个阶段的卷积块，输出特征图通过全局平均池化变成512维向量。输入图像统一resize到224x224，做了随机裁剪和水平翻转做数据增强，推理时只做中心裁剪。这里没有用太大的输入分辨率，一方面是为了控制NPU上的显存占用，另一方面是图文消息里的图像通常已经被平台压缩过，过高的分辨率反而会增加模型对压缩伪影的敏感度。

图像支路输出的512维向量和文本支路输出的128维向量维度差异很大，直接拼接会让文本特征被图像特征淹没。所以我在融合前先对两个向量各自做了一次线性变换，统一映射到256维，再做拼接和注意力加权。这个细节对最终效果影响挺大，一开始我没做维度对齐，测试集F1值掉了将近4个百分点，后面补上后就稳定了。

2.4 融合层的设计细节

融合层是模型里改动最多的地方，也是多模态检测效果的关键。

最简单的方案是直接把两个256维向量拼接成512维，然后接全连接层。这个方案能跑通，但问题是模型无法区分哪个模态对当前样本的判别更重要。比如有的样本是图像造假明显，有的样本是文本内容明显有问题，不同样本的“关键模态”不一样。简单拼接相当于对每个模态一视同仁，不够灵活。

我最终的实现是：先把两个模态向量经过各自的注意力打分层，计算出一个0到1之间的权重，然后做加权拼接。这个权重不是手工设定的，而是网络通过学习每个样本的具体情况自动生成的。实验结果显示，加了这层注意力加权后，对“图文矛盾型”样本的召回率提升很明显，从83%左右提高到89%。因为这类样本恰恰需要模型去识别“哪个模态更可疑”，固定权重做不到这一点。

2.5 数据集的准备与预处理流程

数据方面，我整理了一份图文配对样本集用于这个模拟项目。样本来自公开渠道爬取的图文消息，经过人工标注，划分为真实和虚假两类，总样本数一万多条。这不是一个严格意义上的公开基准数据集，但对于验证模型结构和训练流程来说已经够用了。真正的工业级数据量会比这个大一个数量级，但处理逻辑是相通的。

预处理主要做了三件事。

第一是文本清洗。去掉HTML标签、多余换行、特殊符号、emoji、@用户和话题标签。注意，emoji在文本分类里并不是完全没用的特征，虚假信息里确实会有更多煽动性颜文字，但我在这个版本里选择先去掉，避免引入噪声，后面做特征工程时可以再单独把emoji作为辅助特征喂进去。

第二是图像过滤。爬下来的图有些是损坏的、有些是空白的、有些分辨率过低，这些样本直接扔掉。过滤条件是：文件能正常解码、最短边大于256像素、文件大小大于5KB。这三条能过滤掉90%以上的无效图像，剩下的再做resize和归一化。

第三是类别均衡处理。原始数据里虚假信息占比大约17%，为了不让模型偏向多数类，我在训练集里对虚假信息做了少量重复采样，把比例拉高到接近1比3。这里不建议完全一比一，因为比例太高会让模型对“虚假”过于敏感，导致误杀率上升。1比3是个比较稳的折中。

数据划分上，训练集、验证集、测试集按8比1比1抽样，划分前对样本做了分层抽样，保证每个集合里虚假信息占比接近。测试集保持原始17%的比例不乱动，这样才能反映模型在实际场景里的表现。

3. 昇腾环境准备与CANN配置

3.1 硬件和基础环境怎么搭

这个项目我用的是Atlas 800训练服务器，上面有8张昇腾910A加速卡。单机多卡训练在MindSpore里支持得比较好，但前期调试阶段我建议先只用单卡，把模型跑通，再做多卡并行。

操作系统用的是openEuler，这是昇腾适配得最好的发行版之一。Ubuntu也能跑，但需要额外关注内核驱动兼容性，我遇到过一次Ubuntu内核升级后驱动模块加载失败的情况，后来是回退内核版本才解决。如果你是从零开始搭环境，直接用openEuler能省很多事。

基础依赖包括驱动程序、固件、CANN toolkit这几个部分。检查装没装好，最简单的命令是npu-smi info。执行后能看到每张NPU卡的芯片型号、显存使用率、温度、版本号等信息。如果命令不存在，说明驱动没装好或者环境变量没配，这是后续一切操作的前提。

我还会用npu-smi info里的版本信息去和CANN toolkit的版本做一次匹配检查。昇腾对驱动、固件、CANN三者之间的版本匹配要求很严格，版本不匹配会导致很诡异的问题，比如算子在设备端初始化失败，或者训练到一半进程直接退出。这个匹配关系在官方版本配套表里能查到，装之前一定要先确认，不要装完再排查。

3.2 CANN toolkit安装与配置要点

CANN是昇腾软件栈的核心，安装本身不复杂，但有几个关键点容易被忽略。

先下载对应版本的Ascend-cann-toolkit安装包，解压后执行里面的install脚本，脚本会完成校验、解包和安装。安装完成后，需要把环境变量写进当前用户的shell配置文件。

环境变量主要配四个：ASCEND_HOME_PATH指向CANN安装目录，LD_LIBRARY_PATH要加入CANN的lib目录，PATH要加入CANN的bin目录，另外还有一个ASCEND_OPPER_PATH指向算子工程目录。这些变量不配好，MindSpore导入时无法通过昇腾后端初始化。

CANN里还包含一个叫AscendCL的统一接口库，上层框架就是通过它和NPU做交互的。MindSpore的Ascend后端会自动调用这层接口，所以正常情况下你不会直接写AscendCL代码，但了解它存在对排查问题有好处。我在项目里遇到过一个显存泄漏的异常，用工具监控显存以后才发现是数据流水线在跑图模式时缓存没有释放，和经典函数库的机制没有关系。

3.3 MindSpore安装与设备绑定验证

MindSpore安装用pip直接装就行。装完以后第一步是导入验证，确认能不能识别昇腾设备。

在Python里执行下面这段：

import mindspore as ms ms.context.set_context(device_target="Ascend", device_id=0) ms.run_check()

run_check会执行一个小算子测试。如果能正常打印出版本信息和设备信息，说明MindSpore和CANN的链路已经打通。我见过很多人前面驱动装好了、CANN也装了，但MindSpore始终报“Device not found”，最后排查下来是LD_LIBRARY_PATH里缺少CANN的路径，导致MindSpore加载不了Ascend运行时库。

这里还有一个使用习惯要注意：device_id参数最好显式指定，特别是在多卡服务器上。如果忽略这个参数，程序会默认使用0号卡，一旦0号卡正在跑别的任务，你就会看到显存不足的错误。我需要跑多个实验的时候，每开一个进程就指定一块卡，避免互相干扰。

4. 核心代码实现与逐段拆解

4.1 数据加载与自定义Dataset封装

MindSpore的数据流水线通过Dataset类来组织，我用的是GeneratorDataset，把自定义的数据读取逻辑传到里面。

import os import numpy as np from PIL import Image from mindspore.dataset import GeneratorDataset class FakeNewsDataset: def __init__(self, samples, tokenizer, max_len=128, image_dir="./images"): self.samples = samples self.tokenizer = tokenizer self.max_len = max_len self.image_dir = image_dir def __len__(self): return len(self.samples) def __getitem__(self, idx): sample = self.samples[idx] # 返回 (文本token序列, 图像数据, 标签) tokens = self.tokenizer.encode(sample["text"], pad_to=self.max_len) image = self.load_image(os.path.join(self.image_dir, sample["img_name"])) label = np.array(sample["label"], dtype=np.float32) return tokens.astype(np.int32), image, label def load_image(self, path): img = Image.open(path).convert("RGB") img = img.resize((224, 224)) return np.array(img).astype(np.float32) / 255.0

这里有个性能细节。__getitem__里做图像resize和归一化，会把预处理压力放在数据加载进程里。如果图像数量很大，建议把resize放到MindSpore的map操作里做，因为它可以利用多核并行，不会卡在Python端。我在早期测试时就是这个位置让训练效率下降了将近一半。

4.2 词表构建与Embedding层

词表我用的是一个轻量级构建方案。统计训练集里所有出现的字，保留出现次数大于3的，加上PAD、UNK、CLS三个特殊标记，构成最终词表。

class Tokenizer: def __init__(self, vocab_path): self.vocab = {} self.unk_id = 1 self.pad_id = 0 with open(vocab_path, "r", encoding="utf-8") as f: for idx, line in enumerate(f): word = line.strip() self.vocab[word] = idx def encode(self, text, pad_to=128): chars = list(text[:pad_to]) ids = [] for ch in chars: if ch in self.vocab: ids.append(self.vocab[ch]) else: ids.append(self.unk_id) if len(ids) < pad_to: ids += [self.pad_id] * (pad_to - len(ids)) return np.array(ids, dtype=np.int32)

Embedding层放在网络内部，用MindSpore的nn.Embedding实现，词表大小、嵌入维度、padding_idx三个参数都要设置。

4.3 CNN-LSTM文本特征提取模块

下面这段是整个模型的关键部分，文本支路完整代码：

import mindspore.nn as nn from mindspore import ops, Tensor class TextEncoder(nn.Cell): def __init__(self, vocab_size, embed_dim=128, num_kernels=128, hidden_size=128): super(TextEncoder, self).__init__() self.embedding = nn.Embedding(vocab_size, embed_dim, padding_idx=0) self.conv1 = nn.Conv2d(1, num_kernels, (1, embed_dim), pad_mode="valid") self.conv2 = nn.Conv2d(1, num_kernels, (2, embed_dim), pad_mode="valid") self.conv3 = nn.Conv2d(1, num_kernels, (3, embed_dim), pad_mode="valid") self.pool = nn.MaxPool2d(kernel_size=3, stride=1) self.lstm = nn.LSTM(input_size=num_kernels * 3, hidden_size=hidden_size, num_layers=1, bidirectional=False, batch_first=True) self.fc = nn.Dense(hidden_size, 256) def construct(self, x): # x shape: (batch, seq_len) emb = self.embedding(x) # (batch, seq_len, embed_dim) emb = emb.expand_dims(1) # (batch, 1, seq_len, embed_dim) c1 = self.pool(nn.ReLU()(self.conv1(emb))) c2 = self.pool(nn.ReLU()(self.conv2(emb))) c3 = self.pool(nn.ReLU()(self.conv3(emb))) # 拼接后变为序列输入到LSTM seq = ops.concat([c1, c2, c3], axis=1) batch, ch, h, w = seq.shape seq = seq.view(batch, ch * h, w).transpose(0, 1) # (seq_len, batch, feat) out, _ = self.lstm(seq) last = out[seq_len_index] # 取最后一个时刻 return self.fc(last)

这里有几个容易出错的地方要说明。

第一，CNN部分我用的kernel是二维的，把embedding维度当成卷积核的宽度，这样做的好处是每个卷积核直接覆盖一个连续token窗口的完整嵌入向量，等价于一维文本卷积的效果，但在MindSpore里用Conv2d配合矩阵排布来实现更稳定。

第二，LSTM输入要按seq_len作为第一维传入，并且初始隐藏状态如果不指定，默认就是全零，这在短文本场景下够用。如果未来要加载预训练权重或者做更深层次语义建模，建议把num_layers增加到2，但训练时间也会翻倍。

第三，取最后一个时刻的输出用的是固定索引。因为这里是单层单向LSTM，所以输出维度是(batch, hidden)，直接取最后一步。如果是双向LSTM，最后一步需要拼接前后两个方向才能得到完整向量，这个细节我在调试时卡了挺久，双向LSTM配合我上面的代码会报维度不一致的错误。

4.4 图像特征提取与融合层实现

图像支路我简化了ResNet的构造，没有使用MindSpore里现成的ResNet模型，而是直接调了基础卷积块来搭。这样一个好处是减少不必要的预训练权重依赖，另一个好处是能控制网络的轻量程度。

class ImageEncoder(nn.Cell): def __init__(self): super(ImageEncoder, self).__init__() self.conv1 = nn.Conv2d(3, 64, kernel_size=7, stride=2, pad_mode="same") self.bn1 = nn.BatchNorm2d(64) self.conv2 = nn.Conv2d(64, 128, kernel_size=3, stride=2, pad_mode="same") self.bn2 = nn.BatchNorm2d(128) self.conv3 = nn.Conv2d(128, 256, kernel_size=3, stride=2, pad_mode="same") self.bn3 = nn.BatchNorm2d(256) self.pool = nn.AdaptiveAvgPool2d((1, 1)) self.fc = nn.Dense(256, 256) def construct(self, x): x = nn.ReLU()(self.bn1(self.conv1(x))) x = nn.ReLU()(self.bn2(self.conv2(x))) x = nn.ReLU()(self.bn3(self.conv3(x))) x = self.pool(x).view(x.shape[0], -1) return self.fc(x)

融合层代码如下，它接收文本和图像两个256维向量，输出一个二分类概率：

class MultiModalFusion(nn.Cell): def __init__(self): super(MultiModalFusion, self).__init__() self.attn_text = nn.Dense(256, 1) self.attn_img = nn.Dense(256, 1) self.classifier = nn.SequentialCell([ nn.Dense(512, 128), nn.ReLU(), nn.Dropout(0.5), nn.Dense(128, 2) ]) def construct(self, text_vec, img_vec): score_t = self.attn_text(text_vec) score_i = self.attn_img(img_vec) total = score_t + score_i w_t = score_t / total w_i = score_i / total fused = ops.concat([w_t * text_vec, w_i * img_vec], axis=-1) return self.classifier(fused)

这里解释一下除以total这个操作。它相当于是个softmax的简化版本，直接把两个注意力得分归一化成总和为1的权重。好处是权重负值也能自动处理，而且计算开销极小。用完整softmax也可以，但既然只有两个模态，手工归一化效果一样，还省了一个算子调用。

训练开始前我特意加了Dropout在分类层之前，概率设成0.5。多模态模型很容易在融合层过拟合，因为训练样本的图文配对特征实际上非常稀疏，如果不加约束，模型会把一些无意义的共现模式当成判别规律，泛化能力会大打折扣。

4.5 训练主流程与损失设定

主体网络把三个模块串起来：

class FakeNewsModel(nn.Cell): def __init__(self, vocab_size=20000): super(FakeNewsModel, self).__init__() self.text_encoder = TextEncoder(vocab_size) self.image_encoder = ImageEncoder() self.fusion = MultiModalFusion() def construct(self, text, image): tv = self.text_encoder(text) iv = self.image_encoder(image) return self.fusion(tv, iv)

训练配置里，损失函数用交叉熵，优化器用Adam，这是分类任务里最常规的组合。需要留意的是MindSpore里标签要转成one-hot编码，配合SoftmaxCrossEntropyWithLogits使用，否则维度会匹配不上。

import mindspore as ms from mindspore import nn from mindspore.nn import Adam, SoftmaxCrossEntropyWithLogits loss_fn = SoftmaxCrossEntropyWithLogits(sparse=True, reduction="mean") optimizer = Adam(model.trainable_params(), learning_rate=1e-4)

MindSpore里训练封装成Model接口，使用起来很方便，但如果你需要更精细的控制，也可以自定义训练循环。我在实验阶段一直用Model.train，因为它自带损失缩放、梯度裁剪、checkpoint保存这些功能，不用自己重复造轮子。

有一点值得提醒，在Model接口里传入的是包装后的loss函数，直接调用train会把模型链接到CANN的图编译流程中，第一次训练时会有较长的编译时间。这不是卡住了，而是图编译的正常过程，尤其是网络结构复杂时，可能需要等几分钟。等待过程中不要中断进程，否则第二次还是要重新编译。

5. 训练调参、评估与部署

5.1 关键训练参数怎么调

训练参数直接决定了这个模型能不能收敛，以及收敛到什么程度。

batch size方面，我在单张910A上测试了16、32、64三档。batch 16时训练稳定但GPU利用率偏低，耗时最长；batch 64时NPU利用率上去了，但LSTM的反向传播梯度波动大，训练到后期loss震荡。最终选了32，平衡了利用率和稳定性。

学习率最开始用的默认值1e-3，跑了几轮发现loss下降很快但验证集指标波动很大，典型的过拟合前兆。降成1e-4后，训练曲线平滑了很多。这里如果你用了预训练的词向量，学习率可以适度大一点，但如果是从零训练Embedding，学习率建议保守一些，因为随机初始化的嵌入向量很容易在前几步被带偏。

epoch数我用的是20，配合一个EarlyStopping回调，监控验证集loss连续3轮不下降就自动终止。实际跑到第16轮左右就触发了。这个早停机制在多模态任务里特别重要，因为融合层的过拟合往往来得很突然，可能前一轮验证指标还在上升，后一轮就明显恶化。

5.2 评估指标怎么选怎么看

分类任务不能只看准确率，尤其这类正负样本分布不均衡的任务，准确率是很容易骗人的。你什么都不做，全部预测为“真实”，准确率也有83%。所以我的评估指标以F1为主，同时关注精确率和召回率。

对于一个内容检测系统来说，召回率其实比精确率更关键。漏掉一条虚假信息，让它继续传播，代价远大于误杀一条真实信息。所以我们宁可多发一些人工复核提示，也不要让虚假内容漏过去。模型调参时我也刻意偏向了召回率，在阈值选择上做了一点偏移，把判决阈值从0.5降到0.45，换来了约5个百分点的召回率提升，精确率只损失了2个百分点左右。

最终模拟测试集上的参考指标是：准确率约91.5%，精确率约88.7%，召回率约89.3%，F1约89.0%。需要说明的是这是在我整理的样本集上的结果，不是某种公开基准数据，数字本身只有参考意义，更值得借鉴的是如何对比不同结构之间的指标差异。比如我把融合层的固定拼接换成注意力加权后，F1从85.2%提升到了89.0%，这个对比就很有说服力，说明结构性改进是有效的。

5.3 模型导出与推理部署

模型训练完成后，要把网络导出成MindIR格式，这是MindSpore的中间表示，也是对接昇腾推理的通行格式。

model.export(model, text_placeholder, image_placeholder, file_name="fakenews_model", file_format="MINDIR")

导出后可以直接用MindSpore Lite在昇腾NPU上做推理，也可以再用ATC工具把MindIR转成OM模型做进一步优化。我在实际部署时走的是MindSpore Lite路线，因为它可以脱离训练框架单独跑，部署包更干净，占用资源更少。

推理时有个预处理对齐的问题要特别注意。训练时文本做了截断和padding，图像做了resize和归一化，推理阶段必须用完全相同的处理参数，否则推理效果会明显劣化，而且这种劣化很难排查，因为模型本身没变，数据变了。我在生产环境里遇到过一次线上效果远不如测试集的情况，最后发现是推理服务里图像归一化参数写错了，把除以255写成了除以127.5。这样的小错误非常浪费时间，建议把预处理逻辑封装成同一个函数，训练和推理共用，避免两处维护导致不一致。

5.4 性能优化的一些实测心得

昇腾NPU对图模式的执行效率很高，但前提是算子调度要足够规整。我实测有几个优化手段效果比较明显。

第一，数据流水线开启多进程并行。MindSpore的map操作可以设置num_parallel_workers，我在图像预处理环节开到了8个进程，训练吞吐量提升了近30%。如果不开并行，CPU端的预处理速度跟不上NPU的消费速度，NPU就会空转，显存占用看着不高但训练时间拉得很长。

第二，开启自动混合精度。MindSpore里用amp.auto_mixed_precision接口，在保证模型精度的前提下让部分算子走FP16，训练效率提升非常明显，910A上实测提速接近40%。不过要注意，LSTM这类对精度敏感的算子最好不要强制走FP16，保持FP32，否则会出现loss不稳定的问题。

第三，使用图模式而不是PyNative模式，把网络整体编译到CANN的图执行引擎里。PyNative模式下调试方便，但运行速度慢，而且算子之间无法做内核融合。跑正式训练前把模式切到GRAPH，设备利用率能提升一个档次。

6. 常见问题排查与避坑指南

6.1 环境与兼容性问题速查

我在整个过程中遇到的环境类问题集中在版本匹配和算子支持上，整理成一张速查表方便对照排查：

这里要特别提醒一点：尽量不要用非官方渠道安装CANN。第三方整合包可能在某些旧型号设备上可用，但升级MindSpore版本后往往出现算子行为不一致的兼容性问题。我见过同事装了一个社区整合包，跑旧的卷积模型一切正常，换到LSTM模型就开始出错，最后换了官方toolkit版本才解决。

6.2 训练不收敛和过拟合的处理

训练不收敛的情况我碰到过一次，现象是loss从第一轮到第十轮都没怎么下降。排查后发现不是模型问题，而是数据加载环节出了问题：文本tokenizer返回的序列长度不统一，有些样本是128，有些是64，MindSpore组batch时维度不匹配自动做了截断或者补零，导致真实标签和样本对不上。这种bug很难从loss曲线里看出来，我是通过打印几个batch的输入张量形状才定位的。

过拟合是更常见的问题。模型参数不大，样本量一万多条，按理说不容易过拟合，但融合层的特征是稀疏的，模型确实会在十几轮时开始出现验证集指标下滑。我的处理方式有三层：Dropout加在融合层；早停机制保证在过拟合前停下；数据增强增加了图像随机裁剪和翻转。如果这三层还压不住，那就要考虑增加更多难负样本了，这对多模态模型来说往往比调参更有效。

6.3 关于数据清洗和模态对齐的经验

最后想重点说说数据质量，因为多模态模型的效果上限基本由数据质量决定。

文本和图像要真正对应，这听起来像废话，但实际整理数据时你会发现大量“图文弱相关”的样本，比如正文在说某个政策，配图却是城市风景。这种样本人类能理解相关性在哪，但模型很难仅从图文内容里学会这种抽象关联。我处理这类样本时会把它们归到“难样本”集合里单独观察，看模型在难样本上的表现，再决定是否调整融合层结构。

还有一类数据要特别小心：时间敏感型虚假信息。新闻事件里经常出现“旧图配新文”的情况，图像本身不是假的，只是时间地点对不上。这种样本必须靠强特征才能识别，但CNN-LSTM本身并没有时间戳知识。我最终的处理是在输入里额外拼了一个“图像元数据特征”，包括图像尺寸、上传时间偏离度等写成向量跟图像特征拼接在一起，效果有一定提升。如果你手头有可用的元数据字段，建议不要浪费，把它作为第三个模态喂进模型，很多时候比在图像里硬找特征更直接。

提示：多模态检测项目里，先把数据对齐做扎实，再考虑换强模型。你花在清洗数据上的时间，大概率比调网络结构收益更高。

整体做下来，我的一个直观感受是：这个项目的核心难点根本不在“CNN-LSTM还是Transformer”这种结构选型上，而在于如何把一个看似简单的图文二分类问题，拆解成可训练、可评估、可诊断的工程系统。文本编码、图像特征、融合策略、数据均衡、部署对齐，任何一个环节偷懒，最后都会在指标上暴露出来。昇腾CANN和MindSpore这套组合在这个项目里表现是比较省心的，算子覆盖完整，图模式性能也好，遇到问题基本都能在官方文档里找到答案。如果后面要继续迭代，我可能会在现在的基础上尝试跨模态注意力替换简单加权，同时引入更多难负样本挖掘策略。这个方向本身还有很多值得折腾的地方。