企业官网建设流程全解析

MXNet 性能调优完全指南：算子、数据管道、压缩与分布式训练实战

【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址: https://gitcode.com/gh_mirrors/mxne/mxnet

本篇技术指南围绕 Apache MXNet 官方性能优化教程体系（性能教程索引）展开，系统梳理影响训练与推理性能的四大要素：算子实现与后端选择、输入数据加载与增强、计算图优化与调度（性能剖析）、多设备通信。读者读完本指南后，将掌握 Intel CPU / NVIDIA GPU 上的环境配置与基准调优方法、使用 MXNet Profiler 定位算子级瓶颈、通过 float16 混合精度与梯度压缩降低显存与通信开销，以及基于 KVStore 与launch.py搭建和启动分布式训练任务的全套实战方案。

影响 MXNet 性能的四大因素

即使训练或部署环境、并行化方案已经确定，仍然有一系列配置项与数据处理方式会显著影响 MXNet 的性能表现。官方 FAQ（Some Tips for Improving MXNet Performance）将性能归结为以下 4 个因素：

1. 算子的实现：卷积（Convolution）、池化（Pooling）等算子在 Intel CPU 与 NVIDIA GPU 上的底层实现（oneDNN/MKL、cuDNN 等加速库）。
2. 输入数据的加载与增强：数据格式、解码线程数、存储位置与批大小选择。
3. 工作负载（计算图）的优化与调度：借助 Profiler 找出耗时算子并针对性优化。
4. 多设备训练的通信：选择正确的 KVStore 类型，控制通信与计算的比例。

下文按照这四条主线逐一展开，并在对应小节补充仓库源码层面的实现证据。

算子与硬件后端优化

Intel CPU：优先使用 oneDNN（MKL-DNN）构建

在 Intel Xeon CPU 上做训练与推理时，官方建议安装mxnet-mkl包（基于 oneDNN/MKL-DNN 优化）：

$ pip install mxnet-mkl [--pre]

其中--pre会安装 master 分支的每日构建（nightly build）；不加该参数则安装最新发布的修复版本。也可以从源码编译，在 CMake 中开启USE_ONEDNN=1；对 Linux 用户而言，该选项默认开启（见 config/linux.cmake 与 DNNL_README.md 中的构建说明）。

同时，设置以下环境变量通常能带来额外收益：

注意：MXNet 把单机上的所有 CPU 视为单一设备。因此无论你指定cpu(0)还是cpu()，MXNet 都会使用机器上的全部 CPU 核心。

从源码结构看，oneDNN 相关的算子实现在 src/operator/nn 与 src/operator/subgraph 中，通过子图（subgraph）机制将多个算子融合并下派给 oneDNN 的 primitive 执行，这部分与 docs/python_docs/python/tutorials/performance/backend/dnnl/dnnl_readme.md 中介绍的 oneDNN 后端用法相互印证。

历史基准（MXNet-1.2.0.rc1）：官方使用example/image-classification/benchmark_score.py风格的评分脚本，在 AWS EC2 C5 系列实例上测得每秒可预测的图片数。例如 C5.18xlarge（72 vCPU）上不同批大小的吞吐（images/sec）：

可见批大小对吞吐影响显著，且不同模型对批大小的敏感度不同（浅层网络如 AlexNet 提升明显，深层网络如 VGG16 在批大小超过 8 后趋于饱和甚至回落）。官方同样在 C5.9xlarge、C5.4xlarge、C5.2xlarge、C5.xlarge 上公布了完整数据（详见 perf.md）。需要说明的是，这些数字来自 1.2.0.rc1 时代，仅供参考趋势，不应视为当前版本的性能承诺。

其他 CPU：NNPACK

如果使用非 Intel CPU（包括 ARM），官方提到 NNPACK 可将运行性能提升约 2x~7x。该优化面向卷积等算子的移动端/低功耗场景，详细说明见 FAQ 文档中的 nnpack 小节（perf.md）。

NVIDIA GPU：cuDNN 与自动调优

cuDNN通常能显著加速 MXNet 在 NVIDIA GPU 上的性能，尤其是卷积层。官方建议始终使用较新的 cuDNN 版本，并尝试设置环境变量：

export MXNET_CUDNN_AUTOTUNE_DEFAULT=1

该变量控制 MXNet 是否为卷积选择最快算法。从源码看，cuDNN 相关算子封装在 src/operator/cudnn_ops.cc 与 src/operator/cudnn_ops.h，自动调优（autotune）会缓存不同 shape 下的最优算法，避免重复搜索。

历史基准（MXNet-1.2.0.rc1 + cuDNN 7.0.5）：在 V100（EC2 p3.2xlarge）单卡上，批大小对卷积网络推理吞吐的影响：

同样使用 float16 时，V100 上的推理吞吐（如 Resnet 50 在 batch 128 时可达 2355 images/sec）还有进一步提升，详见下文“float16 混合精度训练”一节。官方还在 K80（p2.2xlarge）与 M60（g3.4xlarge）上发布了完整对照数据，可在 perf.md 中查阅。

输入数据管道的优化

数据处理不当会直接拖慢整个训练循环。官方给出以下建议（perf.md）：

• 数据格式：优先使用rec二进制格式（RecordIO），其顺序读取与预取特性对吞吐友好，相关实现见 src/io 下的iter_image_recordio.cc等迭代器。
• 解码线程数：默认 MXNet 使用 4 个 CPU 线程解码图片，通常足以支撑每秒 1K 张以上的解码。若 CPU 较弱或 GPU 非常强，可调高线程数。
• 存储位置：本地文件系统或分布式文件系统（HDFS、Amazon S3）均可。若多设备同时从共享 NFS 读取，可能出现性能问题。
• 批大小：一般选择 GPU 显存能容纳的最大批大小，但过大会拖慢收敛。例如 CIFAR10 的安全批大小约为 200，而 ImageNet-1K 的批大小可以超过 1000。

经验法则：确保 IO 与数据预处理不是瓶颈。当你调大批大小后发现变慢，首先检查数据管道。

使用 MXNet Profiler 定位瓶颈

在开始优化之前，先要准确测量。MXNet 的内置 Profiler 提供算子级（operator level）的执行时间信息，是对nvprof、gprof等通用剖析工具的补充——它在算子粒度上汇总，而不是函数、kernel 或指令粒度。

错误的测量方式：Python time 模块

MXNet 的所有操作是异步执行的：nd.dot(x, x)返回时矩阵乘法可能尚未完成，只是被排队。而asnumpy()必须等待结果真正算完才能把数据拷回 CPU，所以用time计时会得到“矩阵乘法极快、转 numpy 极慢”的荒谬结论。其他阻塞操作还包括asscalar、wait_to_read。虽然可以在操作前后调用NDArray.waitall()，但这对多组操作、尤其是Sequential/hybridized 网络并不具备可扩展性。

正确的测量方式：MXNet Profiler

在 Python 中导入并配置 profiler：

from mxnet import profiler profiler.set_config(profile_all=True, aggregate_stats=True, continuous_dump=True, filename='profile_output.json')

参数说明：

• profile_all：开启所有类型的剖析。也可单独开启：
  • profile_symbolic（bool）：剖析符号（symbolic）算子；
  • profile_imperative（bool）：剖析命令式（imperative）算子；
  • profile_memory（bool）：剖析内存使用；
  • profile_api（bool）：剖析 C API 层。
• aggregate_stats：在内存中聚合统计，之后可通过profiler.dumps()打印到控制台。
• continuous_dump：持续将数据写入文件。

对于只剖析程序某一段的典型用法（见 perf.md 与 example/profiler）：

import mxnet as mx # 等待之前的操作完成 mx.nd.waitall() mx.profiler.set_config(profile_all=True, aggregate_stats=True, filename='profile_output.json') mx.profiler.set_state('run') # 需要剖析的代码段... # 等待之前的操作完成 mx.nd.waitall() mx.profiler.set_state('stop')

程序结束后，用浏览器打开 tracing（例如 Chrome 的chrome://tracing），加载profile_output.json即可查看各算子的耗时瀑布图。注意：输出文件可能极其庞大，不建议在生产环境长期开启。另外，默认情况下 profiler 会隐藏单个算子的细节，可设置MXNET_EXEC_BULK_EXEC_INFERENCE、MXNET_EXEC_BULK_EXEC_MAX_NODE_TRAIN与MXNET_EXEC_BULK_EXEC_TRAIN为 0 来展开细节（相关环境变量汇总见 env_var.md）。

压缩技术：float16 混合精度训练

混合精度训练在支持的硬件上能以较低精度运算换取更低的显存占用与更快的训练/推理速度（float16 FAQ）。float16 是 IEEE 754 定义的 16 位浮点表示，精度动态范围从接近 0 时的最高精度 0.0000000596046 到区间 32768-65536 上的最低精度 32。模型体积减半后可以训练更大模型、使用更大批大小，同时降低内存带宽压力与通信成本。

前提条件

• NVIDIA Volta 及以上 GPU（例如 AWS P3 实例），其Tensor Core可高效执行 float16 计算（半精度矩阵乘法并累加到半精度或单精度输出）；
• CUDA 9 或更高；
• cuDNN v7 或更高。

使用 Gluon API 进行训练或推理

将模型切换到 float16 只需三件事：

1. 将 Block 的参数与期望输入类型转换为 float16：

net.cast('float16')

2. 保证输入数据是 float16 类型，可用 NDArray 的astype方法：

data = data.astype('float16', copy=False)

若使用图像与DataLoader，也可以使用gluon.data.vision.transforms.Cast变换。

3. 训练时建议开启优化器的 multi_precision 模式，它在 float16 前向/反向的同时维护一份 float32 的权重主副本，提高权重更新精度，某些场景下收敛更快：

optimizer = mx.optimizer.create('sgd', multi_precision=True, lr=0.01)

完整示例命令（基于官方图像分类示例，可用 ResNet50V1 + Caltech101 快速验证）：

python image_classification.py --model resnet50_v1 --dataset caltech101 --gpus 0 --num-worker 30 --dtype float16

微调 float32 预训练模型

先从 Model Zoo 获取预训练网络并转换：

import numpy as np import mxnet as mx from mxnet.gluon.model_zoo.vision import get_model pretrained_net = get_model(name='resnet50_v2', ctx=mx.cpu(), pretrained=True, classes=1000) pretrained_net.cast('float16')

再将其特征部分赋给新网络并同样转换：

net = get_model(name='resnet50_v2', ctx=mx.cpu(), pretrained=False, classes=101) net.collect_params().initialize(mx.init.Xavier(magnitude=2.24), ctx=mx.cpu()) net.features = pretrained_net.features net.cast('float16')

用net.summary检查模型时，同样需要传入 float16 的伪数据：

net.summary(mx.nd.uniform(shape=(1, 3, 224, 224), dtype=np.float16))

实测训练结果（官方数据）

以 ResNet50-V1 在 ImageNet 2012 上训练 90 个 epoch 为例（8 张 V100，AWS p3.16xlarge；学习率 0.4@1024 批、0.8@2048 批，在第 30/60/80 epoch 衰减 0.1）：

准确率差异处于正常随机波动范围内；float16 不仅计算更快，还允许使用更大批大小，从而进一步提速。

性能注意事项

1. Tensor Core 执行的本质是D = A * B + C，A、B 为半精度矩阵，C、D 可为半精度或全精度；当矩阵维度是8 的倍数时效率最高。对于 Cifar10 上的 ResNet50 这类小张量场景，Tensor Core 未必总能用上，单卡上 float16 甚至可能比 float32 慢；但多卡时由于通信量减半，float16 仍然更快。
2. 调大批大小后，先检查 IO 与数据预处理是否成为瓶颈。
3. 训练 float16 时尽量使用 8 的倍数、最好是 2 的幂的批大小。
4. 可用nvprof检查是否真正用上 Tensor Core：名字中含有s884cudnn的算子即代表使用了 Tensor Core。
5. 显存不受限时，可设置MXNET_CUDNN_AUTOTUNE_DEFAULT=2，让 MXNet 运行调优测试并选择最快的卷积算法（允许超出 CUDA workspace 默认内存）。
6. 注意：float16 在 CPU 上并非所有算子都支持，且多数情况下比 float32 更慢。

精度注意事项

• 多精度模式：float16 训练时建议保留 float32 的权重主副本（multi_precision=True），避免梯度更新在 float16 下变为 0。分布式训练中该模式略慢于不带 multi_precision 的模式，但仍远快于纯 float32。
• 大规约运算：BatchNorm 与 Softmax 这类执行大规模规约的层应保持在 float32。Gluon 与 Module API 默认让 BatchNorm 在 float32 下规约；Gluon 中 Softmax 在 float16 训练时也会使用 float32，而 Module API 需要在 softmax 前显式 cast 回 float32。
• 损失缩放（loss scaling）：某些网络（如 Multibox SSD、R-CNN、bigLSTM、Seq2seq）的激活梯度过小，无法在 float16 范围内表示。此时可将损失放大因子S（一般取 2 的幂，如 64、128、256、512），由链式法则放大反向传播前的梯度，更新权重前再缩小回来：

loss = gluon.loss.SoftmaxCrossEntropyLoss(weight=128) optimizer = mx.optimizer.create('sgd', multi_precision=True, rescale_grad=1.0/128)

除了手动 float16，还可使用 AMP（Automatic Mixed Precision） 自动套用混合精度策略：在收益最大的地方使用 FP16，在 FP16 下有风险的算子保守地保持 FP32。

压缩技术：梯度压缩

当通信成为瓶颈时，梯度压缩 可显著降低通信带宽，在收敛率与精度损失很小的情况下让训练更具可扩展性。

收益与适用场景

• 加速：对含大量全连接层的架构，梯度压缩可带来约 2x 的训练加速；模型越大、实例网络带宽越低，收益越明显。
• 精度损失小：其思想是“延迟”小权重更新的同步——小的更新不会丢失，而是累积到超过阈值后再传播，因此精度损失很小（官方分布式实验中观察到最低约 1% 的准确率损失）。
• GPU vs CPU：GPU 节点计算密度高、通信需求大，收益最明显；CPU 节点计算密度低，收益有限。
• 网络延迟：节点间延迟高时收益明显；低延迟网络下不建议使用。
• 模型规模与架构：模型越大收益越大；有显著全连接组件（如 AlexNet、VGG、LSTM）的网络通信开销高、收益大；计算密集的 CNN 通信可与计算并行，收益有限。
• 单节点多卡：单机多 GPU 使用devicekvstore 压缩设备间通信，大模型在老架构上约有 20% 加速，但在低延迟通信的新架构上收益可能可忽略。

技术原理

梯度压缩基于两个观察：一是小批量梯度通常稀疏，只有少数权重有显著更新，接近零的更新可安全延迟同步（即每个权重的更新频率可不同）；二是只保留绝对值超过阈值的梯度元素并量化到更低位宽，从而压缩通信带宽。被延迟的梯度（量化误差与未达阈值的值）会聚合成梯度残差（gradient residual），累积到阈值后再通信。

2-bit 量化与 KVStore 类型

当前版本支持每个梯度值 2 位的量化：正且大于等于阈值 →11；负且绝对值大于等于阈值 →10；其余 →00。这样可以把 16 个量化梯度打包进一个 float。量化误差（原值 - 量化值）存入梯度残差。

支持的 kvstore 类型为device以及dist_sync、dist_async、dist_sync_device等分布式类型：

• kvstore='device'：压缩 GPU 之间的通信，但会增加 GPU 显存占用（额外存储残差）；
• 分布式 kvstore：压缩worker→server通信，压缩/解压发生在 CPU，残差存放在 CPU 上；server→worker 与设备间通信不压缩，以避免多层压缩叠加。

启用方式（Gluon API）

trainer = gluon.Trainer(..., compression_params={'type': '2bit', 'threshold': 0.5})

配置细节：

• Threshold：默认0.5对多数场景足够好，但可根据场景实验。若设得过大（如10.0），更新过于稀疏、收敛变慢。
• Quantization：当前支持 2-bit 量化。
• Sparse Format：官方认为数据密度需极低（约 >90% 为零）才值得使用稀疏格式，属于未来探索方向。
• 分布式梯度压缩的量化/反量化在 CPU 上由 OpenMP 并行执行，小模型在 GPU 上训练时建议各节点设置OMP_NUM_THREADS=1，避免 OMP 线程启动开销拖慢压缩。

从源码看，梯度压缩的核心实现在 src/kvstore/gradient_compression-inl.h、src/kvstore/gradient_compression.cc 与 src/kvstore/gradient_compression.cu，Python 侧通过 python/mxnet/kvstore/kvstore.py 暴露给Trainer。

int8 量化推理

压缩专题中的 int8 教程 面向部署阶段的 int8 量化推理（当前文档标注为“Contributions welcome”，处于完善中）；oneDNN 后端的量化实践可参考 dnnl_quantization.md 与 example/quantization 下的脚本（如imagenet_gen_qsym_onednn.py、imagenet_inference.py）。

加速后端：TensorRT、TVM 与 oneDNN

• TensorRT：使用 NVIDIA TensorRT 提升推理性能。相关 API 见 contrib/tensorrt，示例可参考 example/extensions/lib_subgraph 中的 subgraph 扩展机制。
• TVM：通过 TVM 后端教程 可将模型编译为针对特定硬件的优化代码。
• oneDNN：CPU 上的核心加速后端，教程见 dnnl_readme.md，与前述USE_ONEDNN=1构建选项对应。

多设备与分布式训练

两种并行方式

• 数据并行（data parallelism）：每个设备保存完整模型副本，处理数据集的不同分片，共同更新共享模型。设备可位于单机或多机。
• 模型并行（model parallelism）：模型过大放不进单设备显存时，将模型的不同部分分配给不同设备。目前 MXNet 的模型并行仅支持单机，参考 model_parallel_lstm FAQ。

核心概念：三类进程与 KVStore

MXNet 分布式训练（distributed_training FAQ）中有三类进程：

• Worker：实际对一批样本执行训练。每批开始前从 server 拉取权重，每批结束后向 server 发送梯度。
• Server：存储模型参数并与 worker 通信，可与 worker 同机部署，也可独立部署。
• Scheduler：全集群唯一，负责组建集群——等待各节点上报地址与监听端口，再把集群拓扑告知所有进程。

参数通信依赖KVStore（key-value store，核心实现见 src/kvstore/kvstore.cc 与 python/mxnet/kvstore）：网络中的每个参数数组对应一个 key，worker 在每批处理后push梯度、处理新批次前pull更新后的权重；也可以为 KVStore 传入优化器（如 SGD）来定义权重更新规则。GluonTrainer与 Module API 内部都使用 kvstore 聚合梯度。注意使用分布式训练需要用USE_DIST_KVSTORE=1编译 MXNet，并通过包含dist的字符串创建 kvstore：

kv = mxnet.kvstore.create('dist_sync')

分布式模式下，参数会被随机分布到各 server；超大参数（大小超过MXNET_KVSTORE_BIGARRAY_BOUND，默认 1000000）会被分片（shard）到所有 server，这一切对 worker 透明。

数据切分与权重更新

数据并行时，需在训练开始前把数据集分成n份让每个 worker 处理不同部分；单机多卡时再用mxnet.gluon.utils.split_and_load进一步切分。可通过kv.num_workers与kv.rank获取 worker 数量与当前 worker 的排名并传给迭代器（mxnet.io.MNISTIterator、mxnet.io.ImageRecordIter支持该特性；可参考 example/gluon/image_classification.py 的用法）。

Gluon 中可通过update_on_kvstore选择权重更新位置：

trainer = gluon.Trainer(net.collect_params(), optimizer='sgd', optimizer_params={'learning_rate': opt.lr, 'wd': opt.wd, 'momentum': opt.momentum, 'multi_precision': True}, kvstore=kv, update_on_kvstore=True)

分布式训练的四种模式

当计算时间与通信时间之比很低时，通信成为瓶颈，此时可叠加梯度压缩（见上文）；反之，小模型上分布式训练可能因通信与同步开销反而不如单机快。

使用 launch.py 启动分布式训练

MXNet 提供了 tools/launch.py 来简化集群启动，支持ssh、mpirun、yarn、sge等多种资源管理器。

以example/gluon/image_classification.py（VGG11 + CIFAR10）为例，单机运行：

cd example/gluon/ python image_classification.py --dataset cifar10 --model vgg11 --epochs 1

多机分布式（脚本目录在所有机器可见，例如挂载了网络文件系统）：

../../tools/launch.py -n 3 -H hosts --launcher ssh python image_classification.py --dataset cifar10 --model vgg11 --epochs 1 --kvstore dist_sync

若脚本目录在其他机器上不可见，可让 launch.py 先把当前目录同步过去：

../../tools/launch.py -n 3 -H hosts --launcher ssh --sync-dst-dir /tmp/mxnet_job/ python image_classification.py --dataset cifar10 --model vgg11 --epochs 1 --kvstore dist_sync

提示：没有集群时可用--launcher local在单机本地模拟多进程分布式。

launch.py主要选项：

• -n：启动的 worker 节点数；
• -s：启动的 server 节点数，未指定时默认等于 worker 数；
• -H：主机列表文件；
• --launcher：集群资源管理器类型（ssh/mpirun/sge/yarn/local等）；
• --sync-dst-dir：将当前目录同步到远端机器的目标目录。

手动启动与 DMLC 环境变量

不使用 launch.py 时，可手动设置角色环境变量启动（下面的例子在单机上模拟 2 server + 2 worker + 1 scheduler）：

export COMMAND='python example/gluon/image_classification.py --dataset cifar10 --model vgg11 --epochs 1 --kvstore dist_sync' DMLC_ROLE=server DMLC_PS_ROOT_URI=127.0.0.1 DMLC_PS_ROOT_PORT=9092 DMLC_NUM_SERVER=2 DMLC_NUM_WORKER=2 $COMMAND & DMLC_ROLE=server DMLC_PS_ROOT_URI=127.0.0.1 DMLC_PS_ROOT_PORT=9092 DMLC_NUM_SERVER=2 DMLC_NUM_WORKER=2 $COMMAND & DMLC_ROLE=scheduler DMLC_PS_ROOT_URI=127.0.0.1 DMLC_PS_ROOT_PORT=9092 DMLC_NUM_SERVER=2 DMLC_NUM_WORKER=2 $COMMAND & DMLC_ROLE=worker DMLC_PS_ROOT_URI=127.0.0.1 DMLC_PS_ROOT_PORT=9092 DMLC_NUM_SERVER=2 DMLC_NUM_WORKER=2 $COMMAND & DMLC_ROLE=worker DMLC_PS_ROOT_URI=127.0.0.1 DMLC_PS_ROOT_PORT=9092 DMLC_NUM_SERVER=2 DMLC_NUM_WORKER=2 $COMMAND

关键环境变量：

集群搭建方面，官方建议所有实例使用同一密钥与安全组，通过 ssh-agent 转发密钥以便 master 免密访问所有节点：

ssh-add .ssh/mxnet-key ssh -A user@MASTER_IP_ADDRESS

并推荐使用共享文件系统（如 AWS EFS）存放训练脚本与大文件。

性能与环境变量

分布式训练相关的调优环境变量（详见 env_var.md）：

• MXNET_KVSTORE_REDUCTION_NTHREADS：单机大数组求和所用 CPU 线程数，默认 4；同样用于dist_sync在单机不同 context 间的数组求和，不影响 server 上跨机器求和（dist_sync_device在 GPU 上求和，也不受影响）。
• MXNET_KVSTORE_BIGARRAY_BOUND：big array的最小大小，默认 1000000。数组超过该阈值时用上述线程数做规约；同时也作为 kvstore 负载均衡阈值：小于该值的单个权重矩阵发给随机选中的一台 server，否则分片给所有 server。
• MXNET_ENABLE_GPU_P2P：GPU 点对点通信开关，默认 1（开启），仅对含device的 kvstore 生效。
• DMLC_INTERFACE：指定数据通信使用的网络接口（如eth0），适用于多网卡机器。
• PS_VERBOSE：通信日志级别，1记录各节点 IP 与端口等连接信息，2记录全部数据通信信息。
• PS_RESEND/PS_RESEND_TIMEOUT：网络不可靠时启用消息重传，PS_RESEND默认 0（关闭），置 1 开启；PS_RESEND_TIMEOUT为 ACK 超时（毫秒，默认 1000），超时未收到 ACK 则重发消息。

通信成本评估与其他框架集成

官方提供 tools/bandwidth/measure.py（配套测试见 tools/bandwidth/test_measure.py）来测量每批次的通信成本。理想情况下通信成本应小于单批次的计算时间。若通信成本过高，可：探索不同的--kv-store选项；增大批大小以提升计算/通信比。

MXNet 还集成了其他分布式训练框架：Horovod 示例见 example/distributed_training-horovod（内含 MNIST 与 ImageNet 训练脚本gluon_mnist.py、resnet50_imagenet.py），另有 example/distributed_training 下的cifar10_dist.py、cifar10_kvstore_hvd.py等可直接运行的分布式示例。

小结与调优路线

综合官方性能教程（性能索引）与 FAQ 文档，推荐的调优路线为：

1. 环境与后端：Intel CPU 使用 oneDNN 构建并设置OMP_NUM_THREADS、KMP_AFFINITY；GPU 使用较新的 cuDNN 并尝试MXNET_CUDNN_AUTOTUNE_DEFAULT。
2. 数据管道：使用 rec 格式、合理设置解码线程、避免共享 NFS 并发读取、选择显存允许的最大批大小。
3. 剖析定位：用 MXNet Profiler（而非 Pythontime）在算子粒度定位热点。
4. 压缩：GPU 上开启 float16 混合精度（cast+astype+multi_precision，必要时 loss scaling）；分布式通信紧张时开启 2-bit 梯度压缩。
5. 分布式：按模型规模与网络状况选择dist_sync/dist_async/dist_sync_device等 kvstore 类型，用launch.py或 DMLC 环境变量启动，并用 bandwidth 工具量化通信成本、用相关环境变量进一步调优。

每一步都可结合仓库中的源码（src/operator、src/kvstore、src/io）与示例（example/profiler、example/gluon/image_classification.py、tools/launch.py）深入验证与二次开发。

【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址: https://gitcode.com/gh_mirrors/mxne/mxnet