企业官网建设流程全解析

1. 被客户追问了一年的问题：国产GPU到底行不行

1.1 我的机柜里，第一次出现了成排的国产卡

过去五年我一直做GPU算力租赁生意。从最初一柜子转租来的卡，到现在自建机房、几百张卡同时在线，也算是把算力这行当的苦和甜都尝了一遍。但过去一年被问得最多、也最让我挠头的问题，不是"有没有4090"，而是"国产GPU真能打吗？"

这个问题的来源很现实。国际高端卡市场供货不稳定，价格忽高忽低，加上不少客户的项目有着明确的本地化、合规性要求，国产GPU开始频繁出现在询价单里。一开始我和很多同行一样，嘴上说"支持国产"，心里其实犯嘀咕：跑传统模型也许行，大模型能扛住吗？客户会不会租了三天就来找我退钱？所以过去一年里，我陆陆续续进了几个品牌、几十张国产加速卡，还专门划出一个"国产卡专区"，用真实业务去测它们。像昇腾、寒武纪、海光这些走在前面的厂商，还有摩尔线程、壁仞等新势力，我都在自己的机房实际接触过，不是只看PPT参数。

但租赁生意的特点就是，任何卡好不好用，骗不了人——用户按小时付费，跑得了活就是抢手货，跑不了活就只能压在机柜里吃灰。这篇文章不聊情怀，只聊我作为一个算力租赁商，在过去一年把国产GPU租给客户时看到的真实表现：哪些场景能打，哪些场景翻车，成本怎么算，以及最终我给了客户什么样的选型建议。

1.2 为什么算力租赁商最适合评价一块GPU

经常有人问我：你们租赁商的评价算不算数？我觉得比单纯跑benchmark算数得多。原因很简单——我们不是拿卡跑一遍测试就发朋友圈，而是把卡扔进真实的生产环境里，由几十个客户、几十种框架、几十类业务轮番折磨。

同一个客户今天要跑Stable Diffusion出图，明天要跑Llama推理接口，后天可能又要训练一个推荐模型。每一类任务的负载曲线、算子类型、显存占用、通信模式都不一样。一张卡能不能在这样高强度的混流环境下稳定输出，光看厂商给的TFLOPS是看不出来的。

而且算力租赁是一个买方市场，客户不满意随时退租。那些真正撑得起生产负载的国产卡，会被客户不断复购；而那些只适合"跑分表演"的卡，很快就会变成机房里的静态资产。所以我下面要讲的每一个结论，背后都是真金白银的出租率和复购率，不是哪个厂商的发布会通稿。

2. 先给结论：推理是真能打，训练要挑活

2.1 大模型推理：国产卡已经能进生产环境

先说大家最关心的推理。过去半年，我把所有主流国产卡的推理表现都测了一遍，也把它们推荐给了真实客户。结论是：在7B、8B、14B这个级别的开源大模型上，国产卡的推理能力已经完全够用。

以Llama-3-8B模型、FP16精度、单卡部署为例。国产主流加速卡在连续并发请求下，单卡吞吐量大概是主流国际加速卡的65%到80%之间；如果把精度降到INT8或者INT4，差距还会进一步缩小，有些卡甚至能做到打平。而在首token时延和生成速度上，国产卡的表现也没有出现很多人担心的那种"灾难级拉胯"，整体响应水平对生产环境是友好的。

我做过一个比较典型的测试：用vLLM框架部署Qwen2-7B，并发32路请求，输入输出长度控制在128和256 token。国产卡的端到端生成速度大约在每秒850到1000 token之间，而国际主流卡的对比组在1100到1300 token左右。也就是说，虽然单卡效率低一截，但是国产卡单价也低很多，整体单位算力成本反而更有优势。

另一个被低估的场景是视觉模型推理。像ResNet、YOLO系列、OCR识别这类任务，对算子的需求相对固定，国产卡的适配成熟度非常高。我一些做工业视觉、安防识别的客户，早就把全部推理负载切到了国产卡上，几个月跑下来几乎没有出过问题。

2.2 训练和微调：能干的活和干不了的活，边界很清楚

训练这块就要分情况讨论了。如果任务是小规模微调，比如用LoRA微调一个7B模型，或者训练一个几千万参数的小模型，国产卡完全能接。我这边就有客户用国产卡跑过ChatGLM3-6B的LoRA微调，跑了一个多星期，每天训练十几个小时，稳定性没有出过问题。

但如果任务变成"从头预训练一个几十B的大模型"，或者要用到千卡规模的多机多卡并行，那国产卡目前还撑不太起来。原因有两层：一是通信库不如CUDA生态成熟，多机扩展性差；二是分布式训练框架和国产加速卡的配合深度还不够，很多模型无法直接原样跑起来，需要投入大量时间改造。

我自己的判断标准很简单：能用单机解决的训练任务，国产卡可以上；一旦需要搭建超过四台机器的训练集群，我会直接劝客户先别冲动。这里不是看不起国产卡，而是产能、技术支持和客户预期这些现实因素摆在那里，一个租赁商没必要拿客户的项目去冒险。

2.3 为什么会出现"推理强、训练弱"的格局

很多人不理解，同一张卡为什么推理还行、训练就不行？其实推理和训练对芯片的要求根本不是一回事。推理更看重单次算子的执行效率和显存带宽，而训练除了算力之外，还极度依赖框架层面的自动微分、梯度同步、多卡并行策略，这一整套东西需要芯片厂商和PyTorch、MindSpore等框架团队深度适配。

用个不恰当的比喻：推理像是送外卖，摩托车的灵活性够用；训练像是跑长途货运，需要重卡的载荷和长途可靠性。国产卡在"送外卖"的赛道里已经追到了可用的水平，但在"跑长途"的赛道，整车配套、服务区、维修网络还没建齐。所以你要问我"国产GPU真能打吗"，我第一句回答永远是：看你在哪个战场。

3. 真正的分水岭：软件生态和迁移成本

3.1 装驱动、配环境能劝退一半人

如果只看算力参数，国产卡早就不落后了，但实际用起来的感受完全是另一回事。我这个人有个习惯，每一批新卡到货，我一定自己先装一遍驱动、配一遍环境。因为只有把厂商说的"开箱即用"亲自验证过，我才敢放心租给客户。

真实的体验是：国产卡的驱动安装不像NVIDIA驱动那样，装完就完事，接着装CUDA、cuDNN、容器运行时，全流程几乎无脑。国产卡首先会遇到操作系统内核版本匹配问题，驱动和内核版本绑定得很紧，内核一升级驱动就罢工。然后需要装专门的加速库、编译器，还要修改环境的PATH和LD_LIBRARY_PATH。如果你用的是容器，还要构建带特定驱动的镜像，不能用标准PyTorch镜像直接拉起来跑。

这一步已经能劝退很多只写过Python代码的算法工程师了。我记得有个客户在SD出图项目上选了国产卡，第一天发工单说"环境装不上"，我远程上去一看，就是PyTorch版本自带的CUDA Runtime和国产卡驱动冲突了，最后只能帮他重装指定版本的PyTorch才能跑起来。

3.2 算子覆盖：表面支持不等于所有op都支持

软件生态里更隐蔽的坑是算子覆盖。厂商会宣传"支持PyTorch框架"，但只要往深处跑，就会遇到某些算子没有优化实现，或者干脆不支持。在推理场景里，算子相对固定，厂商预先优化的路径能覆盖90%以上；但一旦训练脚本里用了比较生僻的算子，就可能触发回退到CPU执行或者直接报错。

我踩过一个典型案例：客户租了四张国产卡要跑一个推荐模型，训练脚本里用了一个比较新的稀疏注意力算子。在NVIDIA卡上，这个算子由cuDNN和FlashAttention完整支持，但在国产卡上，跑了两个小时后才开始报"operator not supported"。当时我们第一反应是代码问题，排查了半天才发现是算子不兼容，最后只能改写模型结构，绕开那个算子才跑通。

表格里是我对这些国产卡软件栈成熟度的直观感受：

3.3 一次真实迁移：TensorFlow老代码迁移到国产卡

为了让读者更直观地理解生态差距，我讲一个真实的迁移项目。有个做工业质检的客户，有一整套基于TensorFlow的老代码，原本跑在几台老旧的国际加速卡上，因为设备老化想换成国产卡。我一开始以为只是个"换卡重装驱动"的活，结果整个过程花了整整三周。

第一周，卡装好了，驱动装好了，TensorFlow也能import了，但一跑训练就报错，提示某个自定义op找不到。我们查了两天才发现，厂商的适配层并没有完整支持客户代码里用到的那个预处理算子。第二周，我们绕开了自定义op，又发现数据管线里用到了内存拷贝的接口，在国产卡驱动下的表现异常，导致数据加载速度只有原来的20%，整个训练流程慢得像爬。第三周，我们索性把数据处理部分改成了CPU多线程方案，又重写了几个关键算子，这才把流程跑通。

这个项目的结局是好的，客户现在用得很稳定，综合成本比原来低了近三成。但我想强调的是，这笔账里有一大半其实是人工迁移成本。如果你的团队没有专职的框架工程师，贸然把一套深度依赖CUDA生态的代码迁到国产卡上，光迁移调试的成本就可能吃掉你省下的采购差价。

提示：如果你的老代码深度依赖CUDA生态，先算清楚迁移成本，再决定要不要为了省采购费换卡。

4. 租赁商的生意经：国产卡能租，但定价有讲究

4.1 采购成本比参数更有吸引力的原因

作为租赁商，我最先关注的是买卡的钱什么时候能回来。国产卡的成本优势确实存在，同档算力的加速卡，采购单价往往比国际主流卡便宜20%到40%。但在服务器整机层面，这个优势会被压缩一些，因为国产加速卡对整机配套有特殊要求，比如更大的散热、更高的供电冗余、专用的互联模块，这些都会增加整机采购成本。

库存方面也有一个容易被忽视的问题：国际高端卡的二手残值率高，持有两年后还能卖掉相当一部分钱；而国产卡因为技术迭代快、市场存量小，二手流通渠道很窄。我身边就有同行手里的旧型号国产卡挂了大半年都卖不出去，最后只能拆零件处理。

所以在我的账本里，国产卡的实际持有成本不是"采购价减去残值"这么简单，还要算上贬值速度、维修周期、以及"租不出去时占用机柜的隐形损失"。这也是为什么很多租赁商给国产卡的定价策略，跟国际卡完全不一样。

4.2 定价逻辑和回本周期实测

目前我这边国产卡的租金定价大概是同档国际卡租金的50%到70%。以单卡推理型算力为例，给客户报的月租金可能只是对应国际卡的六成左右。听起来租国产卡很划算，但对我们租赁商来说，关键不是单价，而是出租率。

我做了一张简化的回本测算表，给大家参考（数字做了一定模糊化处理，各地电力和带宽成本不一样）：

这张表说明了一件事：国产卡如果只是"便宜"，对我们来说并不划算——因为它需要更高的出租率才能回本。但如果国产卡能在性能上满足客户需求，同时依靠较低的租金把出租率拉上去，回本周期反而可能比国际卡更短。这也是为什么我并没有因为生态麻烦就把国产卡全部下架，而是在选品上越来越讲究。

4.3 压在机柜里吃灰的卡，有什么共同点

做了这么久租赁，我发现真正卖不动、租不出去的国产卡，通常有这几个共同点：技术文档稀缺、社区案例少、厂商售后响应慢。有些小众品牌的卡，看起来参数很漂亮，甚至比头部厂商还激进，但买回来连一个像样的部署手册都没有，出了问题只能靠内部工程师摸索。这种卡我后来基本都不碰了。

我现在选国产卡的硬性标准有三条：第一，必须有完整的中英文部署文档，最好有官方维护的Docker镜像；第二，必须有至少两家主流云厂商或大型算力中心在真实生产的案例；第三，厂商必须承诺故障卡24小时内响应、7天内返修。三条里缺任何一条，再便宜我也不进。

5. 谁在租国产GPU？三类典型客户画像

5.1 数据敏感型政企客户：他们要的其实是"可控"

第一类选择国产卡租金的客户，来自金融、政务、医疗这类对数据管控要求特别高的行业。他们的共同特点是：数据不能出域，系统尽量本地化部署，供应商必须能够提供源代码级别的支持和快速定制响应。对他们来说，用哪张卡跑得最快不是第一优先级，出了问题谁能最快解决才是。

这类客户往往也不是直接来租"裸算力"，而是要求我们把国产GPU集群、调度平台、运维服务打包成一个整体方案交付。他们用国产卡的意愿很坚决，对租金反而不太敏感。一个典型需求是本地化部署一套企业私有知识库问答系统，需要十张左右的国产卡跑向量检索和70B以下模型的推理。这种单子我一般都会接，因为客户粘性高，续费稳定，几乎不用花太多时间维护。

5.2 AIGC初创团队：用便宜的算力把推理成本打下来

第二类客户是AIGC方向的初创团队。他们通常已经有了成熟的产品，需要稳定且便宜的推理算力来支撑API服务。过去用国际卡跑推理，每月的算力成本可能占到公司总开支的30%以上，对现金流是很大的压力。换了国产卡之后，同样的QPS，成本可能下降四到五成。

有个做AI写作助手的客户，上线初期用国际卡跑Llama-3-8B的微调模型，每个月推理账单让他愁得睡不着。后来我推荐他把推理服务迁到国产卡上，配合量化方案，先用约一个月时间做了灰度切换，最终单次请求成本下降了接近一半，而且端到端时延几乎没有劣化。这个客户后来逢人就说国产卡真香，但也只有我知道，前期的模型量化和环境适配是花了不少人力才换来的。

5.3 高校实验室和传统行业研究院：预算有限但需求不简单

第三类客户是高校实验室和传统企业研究院。他们的预算通常很有限，买不起整套国际高端卡集群，但对算力又有真实的科研和验证需求。高校实验室的常用场景包括小模型训练、论文复现、课程实验；传统企业研究院则可能是用国产卡做缺陷检测算法的预研、语音识别模型的原型验证。

这类客户最容易出现的问题是"以为国产卡和普通显卡一样插上就能用"。我遇到过不止一次，老师或者学生租了卡，跑了一下午环境还没配出来，最后不得不请我们的工程师远程帮他们处理。这也暴露了行业的一个真实短板：很多算法工程师的教育背景里，根本没有接触过国产加速卡的工具链。对于这一点，我觉得高校实验场景反而是国产生态最好的练兵场，因为容错率高、试错成本低。

5.4 客户问得最多的三个问题

我统计了这段时间客户咨询国产卡的记录，出现频率最高的问题就三个。第一个是"国产卡能不能跑PyTorch？"我的回答是：能，但需要确认版本和算子支持，别拿一个完全没改过的老项目直接跑。第二个是"遇到问题有没有人管？"这里我必须说实话：头部国产厂商的技术支持普遍不错，但尾部品牌的响应速度就很不稳定，所以我个人只推荐有成熟生态的品牌。第三个是"和4090/A100比到底差多少？"这个问题最不好回答，因为不同负载差距完全不同，我通常会让客户先拿一小批数据做实测，用数据说话。

6. 运维翻车现场：那些半夜工单教我的事

6.1 一次驱动升级引发的节点宕机

我讲一个印象特别深的运维事故。那天晚上11点左右，监控突然报警，一台部署了四张国产卡的推理节点全部掉线。我远程登录上去，发现系统日志里整页刷的都是驱动相关的错误。一开始我怀疑是显卡过热，排查了温度曲线，发现温度正常；又怀疑是电源供电不足，但电源日志也没有异常。

后来我翻出了前一天的操作记录，才发现原来是某位同事为了防止一个安全漏洞，顺手执行了系统内核的自动升级。问题就在这里——国产卡的驱动模块和旧内核是绑定编译的，内核版本一变，驱动模块加载直接失败。NVIDIA的驱动在这方面容错性高很多，但国产卡的驱动对内核版本极为敏感，升级内核前必须先确认驱动兼容性，否则就是整个节点起不来。

那次事故最终花了一个多小时紧急回滚内核才恢复。从那以后，我在所有国产卡节点上彻底禁用了内核自动升级，并且在运维手册里加了一条强制规定：任何系统级更新必须提前申请，由专人确认驱动兼容后才允许操作。

注意：国产卡节点一定要禁用内核自动升级。这个教训是用一次全节点宕机换来的。

6.2 多卡互联：单卡好用不代表集群好用

还有一个被低估的坑是多卡通信。在单卡推理场景里，国产卡基本不会露怯；但只要把任务变成多卡并行，通信瓶颈就立刻暴露出来。原因在于国产生态里，不同卡之间的高速互联方案、通信库以及分布式框架的配合还不够成熟，多卡的扩展效率远低于理想值。

有个客户曾经租了四张国产卡做模型并行推理，结果发现四张卡的实际吞吐只有单卡的2.2倍左右，完全没有达到预期的3倍以上。排查之后发现，问题出在卡间通信走的是PCIe通道，而厂商推荐的专用高速互联方案需要额外购买配套模组。后来我们升级了互联模组，效率才勉强接近3倍。这里提醒所有同行：租国产卡做多卡并行，一定要先确认卡间互联是走通用PCIe还是专用高速链路，这直接影响性能和报价。

6.3 售后支持的"温差"，直接决定项目成败

最后说说厂商支持。我合作的国产卡厂商里，有的售后确实做得不错，遇到算子兼容问题，工程师可以当天给出workaround；但也有的品牌，工单提上去三天才回复一句"我们正在排查"，然后就没有下文了。对于算力租赁商来说，厂商支持的响应速度就是我们的生命线，因为客户不会等厂商，客户只会催我们。

所以我现在跟每一位来咨询国产卡租赁的客户都会提前打好预防针：国产卡的硬件质量问题在一年内基本不会出现，软件层面的适配问题才是常态；但只要选对品牌，大部分问题都能在24小时内解决。选品牌就是选售后，这句话在国产GPU这条赛道里尤其成立。

7. 大实话：国产GPU该不该上，我的选型清单

7.1 这三个场景，我建议直接上国产卡

第一个场景是70B以下开源大模型的推理服务，尤其是对成本敏感的AIGC项目。通过量化配合并发优化，国产卡完全能扛住生产压力，整体性价比很高。第二个场景是视觉类的推理任务，OCR、目标检测、图像分类这类算子标准化的负载，国产卡的适配成熟度已经非常高，基本没有迁移障碍。第三个场景是对数据安全要求极高的本地化部署需求，国产卡在供应链可控、源码可改、定制响应方面有明显优势。

7.2 这三个场景，我劝你再等等

第一个是千卡级大模型的预训练，现阶段国产卡的分布式训练生态和集群调优经验都还不够，强行上会非常痛苦。第二个是重度依赖CUDA闭源库的存量项目，比如某些专有加速库、深度适配NVIDIA硬件特性的代码，迁移成本高到得不偿失。第三个是超低时延的HPC科学计算场景，这类场景不仅要拼算子性能，还要求大量数学库的深度优化，目前国产卡在这些领域还缺少足够的积累。

7.3 给同行和甲方爸爸的三条经验

最后分享三条我用真金白银换来的经验。第一，先租后买，别一上来就采购大批量国产卡。拿一小批卡在你自己的真实业务环境里跑两周，看看算子覆盖、稳定性、售后响应，全部满意再放大规模。第二，从一开始就做好"双栈"设计，让业务代码在国产卡和国际卡之间可切换，不要把身家性命押在单一生态上。第三，别被厂商宣传的纸面算力迷惑，一定要用你自己最常用、最重要的模型做验证，跑得过再谈价格。

我自己现在的策略是"国产做推理主力，国际卡做训练和兜底"。既不是无脑吹国产，也不是死守国际卡阵营。技术这个行业，今天不行不代表明天不行。至少在我这里，国产GPU已经从一个"备选项"变成了"常选项"——它能打的战场已经比很多人想象的要大得多了。