企业官网建设流程全解析

NPU 与 AI PC：端侧推理的"第二颗芯片"

基金定投助手：为什么你的基金定投总在追涨杀跌？价值平均法定投引擎 + 综合估值模型+动态再平衡仓位管理，一个单文件 HTML 的免费定投工具-CSDN博客
https://download.csdn.net/download/weitingfu/93339607?spm=1011.2124.3001.6210

本文为《AI 硬件体系深度调研》系列第 18 篇。上一篇把光互联这条"数据中心神经"讲完了，这一篇回到离你最近的终端——你手上的电脑。主角是那颗天天被商家挂在嘴边、却很少被真正讲清的芯片：NPU。

黄金 100 字

你是否花大价钱买了台"AI 电脑"，结果本地跑模型照样卡、还烫手？商家把"AI PC"当标签乱贴，真正的核心 NPU 反而被一笔带过。本文讲清 NPU 是什么、为什么它是 AI PC 的标配，以及三引擎怎么分工。

读完你会发现：AI PC 的"AI"，不是广告词，而是一颗叫 NPU 的专用芯片在默默扛事。

一、没有 NPU 不算 AI PC

1.1 "AI PC"这个标签，被贴烂了

这几年"AI PC"满天飞。电脑厂商宣传页里，AI 一词出现几十遍；但真买回来，本地跑个模型照样卡、风扇呼呼转、电池掉得飞快。问题出在哪？

出在很多所谓"AI PC"只是把"能跑 AI 的软件"装进了传统硬件。传统电脑的 CPU 和 GPU 确实也能跑 AI，但那是"兼职"——能跑，但跑不快、跑不省。AI PC 的硬指标，不是有没有 AI 功能，而是有没有 NPU 这颗专用芯片。

💡 没有 NPU 的电脑跑 AI，就像用卡车拉人跑网约车——能跑，但费油又笨重；NPU 才是那辆专为"载人"设计的轿车。

1.2 什么是 NPU

NPU，全称 Neural Processing Unit（神经网络处理单元），是专为神经网络推理设计的专用芯片。它从诞生第一天起，就只干一件事：高效地跑神经网络计算。

为什么需要一颗专用芯片？因为神经网络的计算模式和通用计算完全不同。传统 CPU 擅长复杂的逻辑判断，GPU 擅长大规模并行浮点运算，但神经网络推理的核心是海量的乘加运算（MAC，Multiply-Accumulate），而且数据访问模式高度规律、可预测。NPU 就是针对这种"高重复、高并行、可预测"的计算模式，从零设计的专用硬件。

1.3 2025 起，NPU 成终端标配

从 2025 年起，主流终端芯片基本都把 NPU 作为标配集成进去。没有 NPU，就不配叫 AI PC。这不是厂商在玩概念，而是端侧 AI 已经成了真实需求：本地文档 AI、实时字幕、背景虚化、人脸解锁、语音助手……这些功能每天都在用，都需要一颗低功耗、高效率的芯片在本地兜底。

💡 NPU 从"高端旗舰的加分项"变成"所有电脑的标配"，只用了两三年。背后不是营销，是端侧 AI 需求真的爆发了。

1.4 NPU 的硬指标：TOPS 与 INT8

怎么衡量一颗 NPU 强不强？行业里最常用的指标是TOPS（Tera Operations Per Second，每秒万亿次运算），而且默认是INT8 精度下的算力。INT8 是 8 位整数运算，精度比 FP32 低，但对推理来说"够用"，却能让算力和能效都大幅提升。

看几个数字就明白演进速度：早期旗舰 NPU 只有几 TOPS，2023 年前后的主流 AI PC 芯片普遍做到 10 TOPS 上下，到 2025 年新一代平台动辄40 TOPS 甚至更高，部分面向 AI PC 的旗舰 SoC 更是喊出了"百 TOPS 级"的整机 AI 算力。算力每涨一档，端侧能跑的模型就大一圈——从最初的抠图虚化，到后来的实时字幕，再到本地跑十亿、数十亿参数的小模型。

💡 买 AI PC 别只看 CPU 主频和 GPU 显存，先看 NPU 的 TOPS。这个数字，才是这台电脑"本地 AI 能力"的真身价。

1.5 一个反直觉的事实：NPU 才是"标配门槛"

很多人以为 NPU 是高端本的专属，其实恰恰相反——NPU 正是把"AI PC"门槛从旗舰拉到全系的关键。因为 NPU 的制造成本远低于堆 GPU 显存，一颗能跑 30 TOPS 的 NPU，成本远低于同算力的 GPU 方案。

这解释了为什么 2025 年之后，连中低端笔记本都敢标"AI PC"：不是它们变强了，而是 NPU 让"端侧 AI"从奢侈品变成了日用品。门槛不再是谁买得起 AI PC，而是"没有 NPU，你连入门资格都没有"。

💡 这就像手机摄像头从"旗舰专属"到"千元标配"——不是千元机变高级了，而是传感器和算法成熟到"人人都该有"。

1.6 谁在定义"AI PC"：一场标准之争

“AI PC"到底怎么定义，业界其实吵过一阵子。以微软和英特尔为代表的一方，倾向于用 NPU 算力划门槛：有 NPU、算力达到一定 TOPS 的才算 AI PC；也有的厂商更强调"能本地跑多少参数的模型”。虽然口径略有差异，但共识高度一致——NPU 是 AI PC 的入场券。

对普通用户来说，别管哪家标准，认准一句话就够了：没有 NPU 的电脑，不管宣传多花哨，都不算真正的 AI PC。NPU 的有无，是检验"AI 电脑"成色最直接、最不掺水的硬指标。

💡 当所有玩家都拿 NPU 当"入场券"时，NPU 就不再是营销噱头，而是行业公认的硬件底线。

二、NPU 的架构：简化版脉动阵列

2.1 复用训练芯片的思路，但砍到"够用"

前面几篇讲过，训练芯片的算力核心是脉动阵列——一种让数据像"波浪"一样在计算单元阵列里流动、边流边算的高效架构。NPU 的架构，本质上是基于二维脉动阵列，做成了一个"缩小简化版"。

为什么简化？因为端侧推理的场景和云端训练完全不同。云端训练要处理千亿参数、要算精度极高的浮点，端侧推理跑的是轻量化模型，规模小、算力需求低、但对功耗极度敏感。同样的思路，砍掉不必要的复杂度，换来更低的功耗和成本。

💡 训练芯片的脉动阵列是"重装坦克"，NPU 的简化版脉动阵列是"城市代步车"——同一个驾驶原理，但车被做得又小又省油。

2.2 内存访问模式的裁剪

NPU 不只是把阵列"缩小"，还把内存访问模式做了裁剪。神经网络的权重和激活数据有高度规律性：卷积核固定、数据复用频繁、访问顺序可预测。NPU 针对这些规律，设计了专门的片上缓存和数据搬运通路，减少不必要的数据搬运，把有限的带宽全部用在刀刃上。

💡 通用芯片是"去仓库现取现用"，NPU 是"提前把常用料搬到工作台边上"——省去了来回跑仓库的时间，自然又快又省。

2.3 NPU 与训练芯片的区别

同样是脉动阵列，NPU 和训练芯片差在哪？三句话总结：规模更小、精度更低、功耗更省。训练芯片要 FP32/FP16 高精度，NPU 常用 INT8/INT4 低精度就够；训练芯片追求极致算力，NPU 追求"够用即可"的能效比。

💡 一个是为了"算得最猛"，一个是为了"算得最省"。方向不同，架构自然一个做加法、一个做减法。

2.4 脉动阵列是怎么"算"的

说到脉动阵列，很多人觉得抽象。其实它像一条流水线：数据（比如图片的像素块、文字的向量）从左往右"流"，权重从上往下"流"，每个交叉点上的计算单元（PE，Processing Element）在数据流过的瞬间做一次"乘加"，结果继续往下游传。数据不用反复从内存里取，而是像水一样流过阵列，边流边算。

这种"边流边算"的好处是访存开销极小。传统计算是"取数—计算—存回—再取数"，来回折腾内存；脉动阵列把"取数"和"计算"重叠起来，数据流一遍，计算就完成了。这正是神经网络推理"高密度乘加"最匹配的硬件形态。

💡 脉动阵列是"流水线食堂"——菜（数据）在传送带上走一圈，每道工序（计算）依次完成，不用厨师来回跑后厨拿料。

2.5 为什么 NPU 敢用低精度

NPU 敢用 INT8 甚至 INT4，是因为推理对精度的容忍度远高于训练。训练要算梯度、要反向传播，微小的数值误差会越滚越大，所以必须高精度；推理只是"前向跑一遍"，输入定了，输出就定了，INT8 的量化误差通常只让结果变差百分之零点几，肉眼几乎无感。

而低精度的回报极其丰厚：INT8 比 FP32 的算力翻几倍、功耗降几成、内存占用量直接减半。对端侧来说，这就是"用可忽略的精度损失，换翻倍的速度和减半的电耗"，稳赚不赔。

💡 训练是"精雕细刻"，一丝误差都不能有；推理是"照章办事"，差不多就行。NPU 抓住"差不多"，换来了极致的省。

2.6 NPU 和手机里的 NPU，是一回事吗

不少人会问：手机芯片里早就有 NPU 了，AI PC 的 NPU 跟它是不是同一种东西？原理是相通的，都是专为神经网络推理设计的低功耗单元，但规模和定位不同。

手机 NPU 更强调"极致省电、够用就好"，因为手机电池更小、散热更难，AI 任务也偏轻量；PC 的 NPU 则可以做得更大、功耗预算更宽裕，能扛住更重的端侧模型和更复杂的多任务 AI。一句话：同一个物种，一个为手机"省着花"，一个为 PC"扛重活"。

💡 手机 NPU 是"小排量发动机"，省油优先；PC NPU 是"混动系统"，省油和出力要兼顾。发动机原理一样，但装的车不同，调校自然不同。

三、CPU/GPU/NPU 三引擎分工

3.1 三引擎，各管一段

AI PC 不是只有 NPU 一颗芯片，而是 CPU、GPU、NPU 三颗引擎协同工作。它们各有各的看家本领：

• CPU：管通用计算，逻辑判断、系统调度、应用软件，样样都行但样样不精。
• GPU：管多媒体高算力，4K 图像增强、视频渲染、大吞吐并行计算，算力猛但功耗高。
• NPU：管 Always-On 低功耗 AI，文档 AI、实时字幕、背景虚化、人脸解锁，又省又快。

💡 CPU 是"全能管家"，GPU 是"重活壮汉"，NPU 是"贴身助理"——管家统筹全局，壮汉扛大件，助理随时待命干细活。

3.2 为什么不能让 CPU/GPU 全包了

有人会问：CPU 和 GPU 不是也能跑 AI 吗？为什么非得加颗 NPU？答案是**"能跑"和"跑得省"是两码事**。

CPU 跑神经网络，通用架构效率低下，同样的活要花更多时间和电；GPU 跑得动，但功耗高、发热大，而且为了保持随时待命（Always-On）得一直烧电。NPU 的价值，恰恰在于用极低的功耗，持续地、实时地处理那些"小但高频"的 AI 任务。

💡 CPU 是"万能工具"，GPU 是"电钻"，NPU 是"电动螺丝刀"。螺丝刀干不了钻墙的活，但拧螺丝又快又省电——AI PC 里大量的"拧螺丝"小活，就该交给 NPU。

3.3 一张表看懂三引擎分工

看这张表就懂了：三引擎不是"谁替代谁"，而是"谁擅长谁上"。AI PC 的性能，取决于三者的协同调度，而不是某一颗芯片单打独斗。

3.4 三引擎的历史演进

这三颗引擎，其实是一代一代"长"出来的。最早电脑只有 CPU，一颗芯片打天下；后来图形需求爆发，GPU 作为"图形专用协处理器"登场，分担了渲染的巨量并行计算；再到 AI 时代，神经网络推理的需求又冒出来了，NPU 作为"AI 专用协处理器"补上第三块拼图。

每一次新引擎的加入，都是因为"通用芯片干不动某种特定计算了"。CPU 干不动图形并行，于是有了 GPU；GPU 干不动低功耗持续 AI，于是有了 NPU。这不是"抢地盘"，而是分工细化、各补短板。

💡 电脑的进化史，就是一部"通用芯片不断分化出专用芯片"的历史。NPU 是这部历史最新的那一页。

3.5 一个高频误解：GPU 强，为什么不用 GPU 跑一切

有人说："我有独显，GPU 算力几百 TOPS，还怕跑不动 AI？"这个说法对，也不对。GPU 确实算力猛，但它的问题是"猛而不省、省而不待"。

"猛而不省"好理解：GPU 满载跑 AI，功耗动辄几十上百瓦，笔记本风扇狂转、电池狂掉；“省而不待"是更隐蔽的痛点——GPU 为了省电会休眠，而 Always-On 任务需要芯片"永远醒着、随时响应”，频繁唤醒 GPU 反而又慢又费电。NPU 的独特价值，是"常驻待命 + 极低功耗 + 足够算力"三者兼得，这是 GPU 天生做不到的。

💡 GPU 是"百米冲刺冠军"，爆发力强但耗能大、不能一直跑；NPU 是"马拉松配速员"，速度不惊艳但能一直稳定地跑下去。Always-On 要的恰恰是后者。

四、Always-On 场景为什么归 NPU

4.1 Always-On 是什么

Always-On，直译是"始终在线"。它指的是那些设备即使闲置，也要一直保持待命、随时响应的 AI 能力。比如人脸解锁：你一掀开电脑盖，摄像头认脸瞬间完成，这背后就是一颗"永远醒着"的芯片在等你。

💡 Always-On 场景，是"24 小时站岗的哨兵"。哨兵不能打盹，但又不能消耗太多"军粮"。

4.2 这些活为什么非 NPU 不可

Always-On 任务有几个共同特点：频率高、单次算力小、对延迟敏感、对功耗极度敏感。这些特点，决定了它们天然适合 NPU。

• 文档 AI：你打字时的实时纠错、摘要、润色，要持续运行，不能把 CPU 一直拉满。
• 实时字幕：视频会议的字幕翻译，要低延迟、连续处理语音流。
• 背景虚化：视频通话的背景替换，要每一帧都实时处理。
• 人脸解锁：盖一开就得秒开，慢了就失去意义。

这些活要是都丢给 CPU/GPU，风扇得转疯、电池得狂掉。交给 NPU，用极低的功耗持续运转，才符合"Always-On"的本意。

💡 用大炮打蚊子，不是打不中，是太费。Always-On 的"小蚊子"，就该用 NPU 这把"电蚊拍"。

4.3 NPU 的低功耗从哪来

NPU 为什么能这么省电？三个原因：专用架构效率高（同样算力，专用电路耗电远低于通用电路）、低精度计算（INT8 比 FP32 省电省内存）、精简的数据搬运（访问模式裁剪，减少不必要的读写）。

💡 省电的秘诀不是"少干活"，而是"用最合适的方式干活"。NPU 的每一瓦电，都花在了刀刃上。

4.4 被低估的 Always-On 场景：语音唤醒与隐私

除了前面几个，还有两个容易被忽略的场景，最能体现 NPU 的价值。

第一个是语音唤醒。“你好小X"这种唤醒词识别，要求设备在息屏、低功耗状态下持续监听麦克风。这个监听不能停、不能慢、不能费电，只有 NPU 能同时满足这三个"不能”。第二个是本地隐私 AI。有些 AI 任务（比如处理本地文档、分析私人照片）用户不希望上传云端，必须在本地完成。本地跑 AI 要算力、要省电、还要实时，NPU 又是那个"唯一解"。

💡 Always-On 不只是"图个方便"，很多时候是"安全和隐私的底线"。NPU 在本地把事情办完，数据不出电脑，才是端侧 AI 真正的底气。

4.5 本地小模型：NPU 的新战场

随着端侧大模型兴起，NPU 的战场从"小任务"升级到了"本地跑模型"。现在很多 AI PC 已经能本地运行 7B、13B 甚至更大的轻量化模型，靠的就是 NPU 提供的 TOPS 级算力。

本地跑模型的意义，不只是"没网也能用"，更是"数据不出本机"。企业用户处理机密文档、个人用户处理隐私信息，本地推理就是刚需。而要让几十亿参数的模型在笔记本上流畅跑起来，NPU 是绕不开的算力底座。

💡 从"抠图虚化"到"本地跑大模型"，NPU 的戏份越来越重。端侧 AI 能走多远，很大程度上取决于 NPU 这块地板能铺多高。

4.6 Always-On 的"经济账"：隐性成本才是大头

很多人只看"跑一次 AI 费不费电"，却没算"一直待命"这笔账。Always-On 任务的最大特点，是算力需求小但时间覆盖长——它不像训练那样"一次冲刺"，而是"全天候值班"。

假设一个语音助手场景：唤醒词识别要持续监听 8 小时，单次计算量微乎其微，但累积下来就是一笔不小的能耗。同样的监听，用 NPU 待命可能只要零点几瓦，用 CPU 常驻却要好几瓦甚至十几瓦。一天差几瓦，一年就是几十度电；放到全球上亿台设备上，就是一座电厂的规模。

💡 Always-On 拼的不是"峰值算力"，而是"低谷功耗"。NPU 赢的，正是这道看不见的"隐性成本"算术题。

五、卸载带来的功耗红利

5.1 核心目的：把 AI 负载卸载到专用单元

NPU 存在的核心目的，一句话：把 AI 负载从通用单元（CPU/GPU）卸载到专用单元（NPU），既提速又降功耗。这就是"卸载"的价值。

💡 卸载的本质，是"专业的事交给专业的人"。AI 负载从"万能工"手里，转移到了"专业工"手里，速度上去了，能耗下来了。

5.2 卸载的功耗红利有多大

这个红利不是小数目。同一类 AI 任务，用 NPU 跑比用 CPU 跑，功耗可能降低一个数量级，同时延迟还更低。在电池供电的笔记本上，这意味着同样的 AI 功能，续航能多撑几个小时。

💡 卸载的功耗红利，是你"电脑用一天不插电还能跑 AI"的根本原因。没有 NPU，AI 功能就是"电老虎"，再强的电脑也扛不住一直开。

5.3 卸载与协同：不只是省电，更是解放

卸载还有一个容易被忽视的收益：解放 CPU 和 GPU。CPU 从 AI 负载里抽出身，可以专注系统调度和用户交互，系统更流畅；GPU 从持续 AI 里脱身，可以专心干重活，需要时才全速冲刺。

💡 卸载不是"把活都推给 NPU"，而是"让每颗芯片各归其位"。CPU 不被打扰、GPU 不被占用、NPU 专干 AI，整台电脑的效率都上来了。

5.4 量化一下"红利"：能效比的代差

要说清这个红利，得看能效比（每瓦算力）。同样是跑一个轻量级推理任务，NPU 的能效比可以达到 CPU 的几十倍、GPU 的数倍。换句话说，NPU 干同样的活，花十分之一甚至更少的电。

这在笔记本上意味着什么？一场开着实时字幕和背景虚化的视频会议，如果用 CPU 扛，风扇狂转、掉电如流水；改用 NPU，风扇几乎不转、续航多撑一两个小时。这种"体感差异"，就是卸载红利最直观的证明。

💡 卸载红利不是纸面上的节能百分比，是你"开一整天的 AI 功能，电脑依然不烫手、不掉电"的真实体验。

5.5 卸载的边界：不是所有 AI 都该进 NPU

最后得说句公道话：卸载不是万能的，NPU 也有自己的"能力圈"。低精度、轻量化、高频持续的推理，是 NPU 的主场；但训练、大吞吐的生成式任务、需要 FP16 精度的复杂模型，还是得靠 GPU 甚至云端。把大模型硬塞进 NPU，只会适得其反。

所以真正的 AI PC 设计，从来不是"NPU 一家独大"，而是根据任务特征动态路由：该 CPU 的 CPU 上、该 GPU 的 GPU 上、该 NPU 的 NPU 上。这套调度逻辑本身，就是下一篇乃至后面几篇要讲的重头戏。

💡 卸载的本质是"路由"，不是"搬家"。让每个任务找到最合适的引擎，才是异构计算真正的智慧。

配图

图 1：NPU 在 AI PC 中的定位图

flowchart LR A[CPU 通用计算] --> D[AI PC 三引擎] B[GPU 多媒体高算力] --> D C[NPU Always-On 低功耗 AI] --> D D --> E[异构协同调度] E --> F[提速 + 降功耗]

CPU 管通用、GPU 管高算力多媒体、NPU 管 Always-On 低功耗 AI，三引擎经异构调度协同，实现提速降功耗。

图 2：CPU/GPU/NPU 三引擎任务分工

flowchart TB subgraph 任务池[AI PC 任务] T1[文档 AI / 字幕] T2[背景虚化 / 人脸解锁] T3[4K 图像增强 / 渲染] T4[通用应用 / 系统] end T1 --> NPU[NPU 低功耗] T2 --> NPU T3 --> GPU[GPU 高算力] T4 --> CPU[CPU 通用]

Always-On 类任务归 NPU、多媒体高算力归 GPU、通用逻辑归 CPU，各司其职。

写在最后

NPU 是 AI PC 的核心标志，没有它，所谓"AI 电脑"就是一句空话。它的架构是简化版二维脉动阵列，专为轻量化推理设计；它与 CPU、GPU 三引擎分工，各管一段；它扛下了 Always-On 的低功耗 AI 任务，把 AI 负载从通用单元卸载到专用单元，换来了提速与降功耗的双重红利。

回顾这一篇的线索：为什么要有 NPU？因为端侧 AI 是真实需求，通用芯片"能跑但不省"；NPU 凭什么？凭简化版脉动阵列和裁剪的内存访问模式，用低精度、低功耗高效跑推理；三引擎怎么分工？CPU 通用、GPU 高算力、NPU 低功耗持续 AI；Always-On 为什么归它？因为小、频、敏、省的任务，只有专用低功耗单元扛得住；核心价值是什么？卸载 AI 负载，既提速又降功耗，让终端 AI 真正能用、敢用、一直用。

AI PC 的"AI"，不是软件装出来的，是 NPU 这颗芯片托起来的。

下一次再看到"AI 电脑"的标签，别只看外壳上的字母，翻到配置单里找一找那颗 NPU——有它，才算数；没它，再花哨也是"伪 AI"。

【思考题】

NPU 固定封装在 SoC 里，算力上限被锁死，未来端侧大模型变大怎么办？欢迎讨论。

这道题问到了 NPU 的"天花板"。NPU 集成在 SoC 里，出厂那天算力就定了，端侧大模型却一年比一年大，早晚撞上这堵墙。可能的破法有几条：一是做多颗 NPU 或加大 NPU 面积，用硬件堆规模；二是靠更狠的模型压缩，量化、蒸馏、剪枝让模型持续"瘦身"；三是云端协同兜底，端侧跑得动的本地跑，跑不动的交给云。端侧 AI 的未来，大概率不是"一颗 NPU 扛下一切"，而是"NPU+压缩模型+云协同"的组合拳。

【系列文章预告】

下一篇看除了 NPU，终端里还藏着哪些辅助 AI 加速硬件——协处理器到智能传感器，那些躲在角落里的"小芯片"才是终端 AI 的完整拼图。

标签：NPU、AI PC、异构计算、Always-On、终端AI、神经网络处理单元、硬件协同

NPU 是 AI PC 核心算力标志，2025 起终端标配，无 NPU 不算 AI PC；架构专为轻量化推理设计，基于二维脉动阵列，规模更小，内存访问模式裁剪；与 CPU/GPU 异构协同，NPU 管 Always-On 低功耗（文档 AI/字幕/背景虚化/人脸解锁），GPU 管多媒体高算力（4K 图像增强），CPU 管通用；核心目的为把 AI 负载从通用单元卸载到专用单元，提速又降功耗。