☰
2025 AI安全预测:70%攻击来自供应链,如何构建防御体系
2026/10/27 5:13:31 网站建设 项目流程

简介:这份PDF资料是Gartner于2025年2月发布的预测报告,聚焦AI驱动下的网络安全新挑战,面向安全与风险管理负责人、企业架构师及供应链安全从业者,帮助其理解AI动荡期的攻击面变化与治理重点。报告围绕生成式AI早期落地受挫、AI代理漂洗、深度伪造与自动化账号接管等趋势展开,并给出可落地的战略规划假设与行动建议。资源包共1个PDF文件,约215KB,内容为完整研究报告,含关键发现、建议与预测条目,便于快速通读与内部研讨引用。已有90人学习下载。读者可从中获取2025年AI安全治理的核心判断,例如软件供应链与基础设施技术栈中毒将占企业AI恶意攻击的七成以上,以及到2027年AI代理将进一步压缩账号暴露利用时间等量化结论,并据此审视应用安全实践、AI软件供应链组件清单与威胁情报建设,适合作为安全规划与汇报的参考底稿。

1. 当70%的恶意攻击来自供应链:这份2025 AI安全预测到底在说什么

去年帮一个团队做AI应用上线前的安全评审,翻完他们的依赖清单我愣了半天:一个做智能客服的推理服务,直接和间接依赖了四百多个包,其中三个模型文件是从公开模型市场直接拉的,没人说得清来源,也没人扫过。这不是个例。Gartner这份2025年预测里最扎眼的一条就是:到2025年,针对企业所用AI的恶意攻击中,超过70%会来自软件供应链和基础设施技术栈的投毒。换句话说,攻击者不再费劲去攻你的模型算法,而是直接在你的依赖、你的Notebook、你的数据管道里下毒。这份预测报告适合谁看?安全负责人、AI平台工程师、做MLOps落地的团队,以及任何要把AI应用推上生产的人。它不教你写代码,但它决定了你接下来一年该把预算和人力砸在哪。

2. 拆解四条战略假设:从投毒面到AI代理的自动化攻击链

这份预测的核心是四条带时间点的战略假设,每一条都对应一个可落地的防御动作。先把它们摊开看,再谈怎么接。

2.1 供应链投毒占七成:为什么攻击者盯上了模型和数据管道

Gartner给出的判断是,到2025年,软件供应链和基础设施技术栈的投毒会构成针对企业AI恶意攻击的70%以上。这个数字背后的逻辑不复杂:攻击者在基础设施和供应链层面动手,投入最小、影响面最大。报告里提到几个具体事实——开源模型和数据科学软件(比如Jupyter Notebook、Python库)正在成为新的攻击向量;有做开源模型扫描的安全厂商反馈,客户现场最多有1%的开源模型被植入恶意软件,被感染的Notebook数以千计;攻击者还特别喜欢利用数据管道的错误配置,把敏感数据悄悄导流到外部服务器。

这里有个容易被忽略的点:传统应用安全工具并没有跟上。很多企业的SCA(软件成分分析)和漏洞扫描工具压根不认识AI组件,模型文件、Notebook、ML管道这些新东西不在它们的扫描范围里。于是出现一个尴尬局面:团队以为基础设施安全工具已经覆盖了,实际上AI这条链路是裸奔的。

落到操作上,第一步不是买工具,而是先把资产盘清楚。我一般会让团队先跑一遍AI资产发现,把模型文件、Notebook、训练脚本、推理服务的依赖树全部列出来。下面这段脚本是个最小可用的盘点思路,扫一个代码仓库里所有可能的AI组件:

import os import json # 需要识别的AI相关文件后缀与目录特征 AI_EXTENSIONS = {".ipynb", ".pt", ".pth", ".onnx", ".h5", ".safetensors", ".pkl"} AI_DIR_HINTS = {"models", "notebooks", "pipelines", "checkpoints"} def scan_ai_assets(root): findings = [] for dirpath, dirnames, filenames in os.walk(root): # 命中目录特征时整目录标记 if any(h in dirpath.lower() for h in AI_DIR_HINTS): findings.append({"type": "dir", "path": dirpath}) for f in filenames: ext = os.path.splitext(f)[1].lower() if ext in AI_EXTENSIONS: findings.append({"type": "file", "path": os.path.join(dirpath, f), "ext": ext}) return findings if __name__ == "__main__": result = scan_ai_assets("./repo") print(json.dumps(result, indent=2, ensure_ascii=False))

这段脚本的逻辑很直白:按后缀和目录名做启发式识别,先把“有哪些AI资产”这件事从黑匣子变成清单。参数上,AI_EXTENSIONS要按你们实际用的框架补,比如用TensorFlow的加.pb,用XGBoost的加.json模型;AI_DIR_HINTS是目录级提示,命中就整目录标记,避免漏掉目录里没后缀的权重分片。跑完这份清单,你才有资格谈“哪些要扫、哪些要隔离”。注意,这只是发现,不是扫描,别拿它当安全结论。

盘点之后是扫描。报告的建议很明确:为AI应用启动软件成分分析和漏洞评估程序,别假设现有基础设施安全工具能正确处理AI组件。实操上分两层——模型文件层用专门的模型扫描工具查恶意序列化(比如pickle反序列化执行),依赖层把模型市场拉下来的包纳入SCA。我见过最省事的做法是给模型下载加一道闸:所有外部模型先进隔离区,扫完再进训练环境。

2.2 战术型AI才是主流:90%成功落地的共同特征

第二条假设是,到2027年,网络安全领域90%成功的AI落地会是战术型的——任务自动化和流程增强,而不是替代岗位。报告里有个数据很说明问题:只有12%的安全负责人表示已经取得可衡量的成果。早期GenAI实验的失望情绪真实存在,但这不代表AI没用,而是用错了地方。

什么叫战术型?报告举的例子是事件分析、漏洞优先级排序这类容错性较高的工作流。2024年的一项调研显示,只有34%的受访组织实现了自动化的漏洞优先级排序流程——需求明摆着,但落地率很低。反过来,那些一上来就喊“全自动SOC”“替代分析师”的项目,基本都翻车了。报告提醒得很直接:安全团队在威胁检测和响应上被“完美自动化”的承诺坑过很多次,买回来发现检测有了、响应很弱,误报一多业务就受不了。

所以选型逻辑应该是:先找那些“错了也能修、收益立刻可见”的任务。我一般会按三个维度打分——任务容错率、人工复核成本、收益可测量性。漏洞优先级排序、告警降噪、日志摘要这三类通常得分最高。下面是个简单的评分表思路,可以直接拿去和团队对齐:

候选任务容错率人工复核成本收益可测量性建议
漏洞优先级排序高低高(修复周期)优先做
告警降噪中中高(误报率)优先做
事件报告初稿高低中可做
自动封禁IP低高中谨慎,需人工确认
全自动响应编排低高低暂缓

这张表不是拍脑袋,逻辑是:容错率低的任务一旦自动化出错,业务中断的代价远大于省下的人力。报告的建议也是这个方向——鼓励有度量的实验,但必须配套可见、可衡量的性能评估;在准自动化工作流里保留定期人工验证,测试阶段做抽样核验,上线后继续保持。

2.3 凭证窃取被AI加速:50%的时间差从哪来

第三条假设:到2027年,AI代理会进一步自动化凭证窃取和认证通信信道的攻破,把账号暴露被利用的时间缩短50%。这条对做身份安全的团队是硬提醒。

报告把账号接管(ATO)的攻击链拆得很清楚:弱凭证通过数据泄露、钓鱼、社会工程、恶意软件收集;攻击者用机器人对多个服务做撞库;基于带外通信的多因素认证(比如短信或邮件OTP、推送轰炸)同样脆弱。AI代理的加入,让这条链上的更多环节被自动化——从深度伪造语音做社会工程,到端到端的凭证滥用自动化。

防御侧的现实是:FIDO2通行密钥(passkey)虽然被多数访问管理工具和部分大型消费服务支持,但企业终端用户和最终用户的采用进度很慢,密码这类遗留凭证在可预见的未来还会存在。所以别指望一步到位换掉密码,得做分层。

可落地的动作有几个。第一,把带外认证信道的安全性重新评估一遍,短信OTP和邮件OTP在AI辅助攻击下的风险要重新定级。第二,对推送认证做防轰炸设计,比如限制单位时间内的推送次数、异常地理位置强制降级到更严格的验证。第三,逐步推通行密钥,优先覆盖高权限账号。下面是一段伪代码,展示推送认证的限流与降级逻辑:

from datetime import datetime, timedelta # 推送认证的防轰炸参数 MAX_PUSH_PER_10MIN = 3 SUSPICIOUS_GEO = {"unknown", "high_risk_region"} def handle_push_auth(user, geo, push_history): now = datetime.utcnow() recent = [t for t in push_history if now - t < timedelta(minutes=10)] # 超过阈值直接拒绝并转人工 if len(recent) >= MAX_PUSH_PER_10MIN: return {"action": "deny", "reason": "push_bombing_suspected"} # 异常地理位置降级到更严格验证 if geo in SUSPICIOUS_GEO: return {"action": "step_up", "method": "passkey_or_hardware_token"} push_history.append(now) return {"action": "allow_push"}

逻辑说明:MAX_PUSH_PER_10MIN是防推送轰炸的阈值,按你们业务容忍度调,一般3到5次;SUSPICIOUS_GEO是异常地理位置集合,命中就降级到通行密钥或硬件令牌这类抗钓鱼的验证方式,而不是简单拒绝——直接拒绝会误伤出差用户。参数上要注意,push_history必须是服务端维护的,不能信客户端。这套逻辑不复杂,但能挡掉相当一部分自动化推送轰炸。

2.4 深度伪造瞄准全员:40%的社会工程攻击不再只打高管

第四条假设:到2028年,40%的社会工程攻击会不只针对高管,而是用深度伪造和其他伪造现实技术瞄准更广泛的员工群体。这条和第三条是连着的——深度伪造语音加上自动化,让社会工程的门槛大幅降低。

报告的建议是准备应对新威胁但不陷入恐慌:保持一个AI威胁情报职能,把防御调优到实际观测到的、有危害的深度伪造攻击上。翻译成操作语言就是:别一上来就买一堆“反深伪”产品,先建立观测能力。哪些渠道最可能被用来做伪造语音?财务审批、IT支持、供应商对接这些高频且涉及权限变更的场景优先。然后针对这些场景做流程加固,比如大额转账强制双人复核加回拨确认,回拨号码必须来自内部通讯录而不是来电显示。

这里有个血泪经验:很多团队把反深伪当成纯技术问题,买了个检测模型就以为完事。实际上检测模型对新型伪造的泛化能力有限,流程上的“人工确认环节”才是最后一道后悔药。报告里也强调,在准自动化工作流里保留人工抽样验证,上线后继续维持。

3. 把预测落成检查单:AI TRiSM分层与资产治理的实操路径

预测看完了,接下来是怎么接。报告反复提到一个框架——AI TRiSM(AI信任、风险与安全管理),建议用分层方法覆盖整个栈,并且把关注点从运行时向量扩展到软件供应链和基础设施栈。这一章把它拆成能照着做的检查单。

3.1 用TRiSM分层对齐:从运行时防护扩到供应链

TRiSM的分层思路,落到实操上可以理解成四层检查:资产层、供应链层、运行时层、治理层。资产层解决“我有什么AI资产”,供应链层解决“这些资产从哪来、有没有毒”,运行时层解决“跑起来有没有异常行为”,治理层解决“谁负责、怎么持续评估”。

我一般会把它做成一张对照表,每层对应具体的工具类别和验收标准:

层级核心问题工具类别验收标准
资产层有哪些模型、Notebook、管道AI资产发现/清单清单覆盖率≥95%
供应链层组件来源是否可信模型扫描、SCA外部模型100%隔离扫描
运行时层有无异常数据外流数据管道深度检测、机密计算关键管道有出站审计
治理层安全态势是否持续可见AI治理工具月度态势评估报告

这张表的价值在于把“上AI安全”这种模糊目标拆成可验收的条目。报告的建议也呼应这个结构:先建立强大的AI应用发现和盘点流程,再识别现有应用安全最佳实践里能直接套用到AI项目的部分;为AI应用启动SCA和漏洞评估;用TRiSM全栈分层保护AI交互;部署AI治理工具持续评估所有AI资产的安全态势,尤其是来自供应链的资产;升级或部署基础设施安全能力,比如机密计算和数据管道深度检测,防止工作负载被恶意渗透或数据外泄。

有个细节值得单独说:报告提到更多AI模型市场会加入对第三方和开源模型的下载扫描,企业安全团队也会更多使用专门的AI安全厂商来扫Notebook和ML管道。这意味着选型时可以把“模型市场是否自带扫描”作为一个采购考量,但别完全依赖它——你自己的隔离扫描这道闸不能省。

3.2 资产发现与模型扫描:先建清单再谈防护

资产发现这件事,很多团队栽在“以为已经有了”。CMDB里记的是服务器和数据库,模型文件、Notebook、训练产物根本不在里面。所以第一步是补清单,第二步才是扫描。

补清单的实操建议:把2.1节那段扫描脚本接进CI,每次合并请求都跑一遍,新增的AI资产自动进清单。清单字段至少包含:资产路径、类型(模型/Notebook/管道)、来源(内部训练/外部下载)、依赖清单、负责人。来源这一栏特别关键,外部下载的资产要单独标记,走隔离扫描流程。

模型扫描这块,重点是恶意序列化。Python的pickle格式在反序列化时可以执行任意代码,这是模型投毒最常见的载体之一。常见做法是:外部模型一律先转成安全格式(比如safetensors)再加载,或者在隔离环境里用受限的反序列化器加载。下面是个加载前的检查示例:

import os import pickle # 外部模型加载前的安全检查 ALLOWED_MODEL_DIR = "/opt/models/trusted" QUARANTINE_DIR = "/opt/models/quarantine" def safe_load_model(path): real = os.path.realpath(path) # 只允许从可信目录加载 if not real.startswith(ALLOWED_MODEL_DIR): raise PermissionError(f"model not in trusted dir: {real}") # pickle类格式强制走隔离环境,这里仅做拦截提示 if real.endswith((".pkl", ".pickle")): raise ValueError("pickle model must be converted to safetensors first") with open(real, "rb") as f: return f.read()

逻辑说明:ALLOWED_MODEL_DIR是可信模型目录白名单,任何不在里面的路径直接拒绝,防止有人从临时目录或下载目录直接加载;对pickle类格式强制拦截,要求先转safetensors。参数上,白名单目录要配合文件系统权限收紧,别让普通账号能往可信目录写。这段代码不是完整方案,但它把“来源可信”这条规则变成了代码里的硬约束,比写在文档里管用。

3.3 数据管道加固:出站审计与机密计算的落地取舍

报告里有个判断很值得琢磨:攻击者发现攻击数据管道比逐个攻运行时事务更有“成效”。原因是数据管道往往配置松散、出站流量缺乏审计,一旦被利用,可以持续把敏感数据导流出去。

加固的第一步是出站审计。所有AI工作负载的出站连接要有基线,非基线目标一律告警或阻断。常见做法是在管道执行环境里挂一个网络策略,只放行已知的存储端点和模型仓库。第二步是机密计算,报告把它列为会因AI交互保护需求而更广泛采用的基础设施技术。机密计算的取舍在于性能和成本——不是所有负载都值得上,优先覆盖处理敏感数据、或者跑在多租户环境里的推理服务。

这里给个判断标准:如果这个AI工作负载处理的是个人数据、财务数据或密钥材料,且运行环境不完全受控(比如共享集群、边缘节点),机密计算值得评估;如果是纯内部、数据脱敏后的批处理,先把出站审计和最小权限做扎实,性价比更高。别为了追新技术把整个管道重构一遍,血泪经验是这类重构最容易拖垮上线节奏。

4. 避坑与排查:五条来自一线的翻车记录

预测和框架都好说,真正让人头疼的是落地时的坑。下面五条按“现象→原因→解决”写,都是这类项目里高频出现的。

4.1 扫描工具报“无漏洞”,但模型来源不明

现象:安全团队跑完SCA,报告一片绿,但评审时发现有几个模型是从公开市场直接下载的,来源和哈希都没记录。原因:传统SCA只扫代码依赖,模型文件不在扫描范围,工具“没报”不等于“没问题”。解决:把模型文件纳入资产清单,外部模型强制走隔离区扫描并记录哈希,扫描通过才允许进训练或推理环境。验收标准是“每个外部模型都有来源记录和扫描记录”,而不是“扫描工具没报警”。

4.2 AI代理演示很惊艳,上线后误报压垮值班

现象:某团队上了个号称能自动处置告警的AI代理,演示环境效果很好,生产环境误报率飙升,值班同学被迫逐条复核,反而更累。原因:演示数据干净、场景单一,生产环境的告警分布长尾严重,代理的容错设计不足。解决:回到战术型落地,先做告警降噪和优先级排序这类人工可复核的任务,代理的每个自动动作都保留人工确认开关,用抽样核验持续度量准确率。报告里那句“在准自动化工作流里保留定期人工验证”就是针对这个坑。

4.3 推送认证被轰炸,用户直接点通过

现象:安全团队发现一批账号在短时间内收到大量推送认证请求,部分用户嫌烦直接点了通过。原因:推送认证缺少频率限制和异常地理位置降级,攻击者用自动化脚本触发推送轰炸。解决:服务端加推送频率限制(参考2.3节的限流逻辑),异常地理位置降级到通行密钥或硬件令牌,同时对高频推送账号做临时锁定并通知用户。注意,锁定策略要留申诉通道,别把正常用户锁死。

4.4 数据管道出站没基线,敏感数据悄悄外流

现象:数据管道跑得好好的,某天发现训练数据被同步到了一个未知的外部存储端点。原因:管道执行环境的出站流量没有基线,配置被改动后没人发现。解决:给AI工作负载建立出站连接基线,非基线目标告警或阻断;管道配置纳入版本管理,变更走评审。这一步不需要多高级的工具,网络策略加配置审计就能覆盖大部分场景。

4.5 把反深伪当纯技术问题,流程没跟上

现象:买了深伪检测工具,结果新型伪造样本检测率不理想,财务还是被伪造语音骗了一笔。原因:检测模型对新型伪造泛化有限,且攻击者会针对检测工具做对抗。解决:技术检测加流程加固双管齐下——大额操作强制双人复核加回拨确认,回拨号码来自内部通讯录;高风险场景引入口令或线下确认。报告建议把防御调优到实际观测到的、有危害的深伪攻击上,而不是追求“全类型检测”。

5. 用四条假设做年度安全预算的压力测试

预测类报告最容易犯的错是读完就束之高阁。我的习惯是把它当成预算和路线图的压力测试工具——拿四条假设逐条问自己:如果这条在明年成真,我们现在的投入扛得住吗?

具体做法是做个简单的映射表,把每条假设对应到现有预算项和缺口:

战略假设现有投入缺口判断明年动作
供应链投毒占七成SCA覆盖代码依赖模型/Notebook未覆盖补模型扫描与隔离区
90%成功落地是战术型有大模型平台预算缺可度量评估框架建任务评分与抽样核验
凭证窃取时间缩短50%有MFA推送防轰炸与通行密钥不足推送限流+高权限推passkey
40%社工瞄准全员有高管防护培训全员流程加固不足财务/IT支持场景双人复核

这张表的作用不是精确预测,而是逼团队把“AI安全”从口号拆成有负责人、有验收标准的条目。填表时有个技巧:缺口判断那一栏,如果写不出具体的验收标准,说明这个投入还没想清楚,先别立项。

验证方法上,我一般会做两件事。一是季度抽样:从AI资产清单里随机抽10%,核对来源记录、扫描记录、出站基线是否齐全,缺一项就算不合格。二是红蓝对抗里加AI场景:让攻击方尝试从模型市场投毒、从数据管道外流、用伪造语音社工,看防御侧的实际响应时间。这两件事都不需要大预算,但能真实反映防线有没有漏洞。

从那以后我每次评审AI项目,都会强制走一遍“资产清单—来源扫描—出站基线—人工复核”这四步,哪怕项目再小也不跳过。这套流程不炫技,但它能挡住大部分报告里说的那70%。希望帮到你。

本文还有配套的精品资源,点击获取

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询