☰
TENET:面向AI芯片架构师的张量数据流行为级建模框架
2026/9/26 6:28:52 网站建设 项目流程

简介:TENET是一个面向体系结构研究者与硬件加速器开发者的张量应用硬件数据流建模分析框架,聚焦于空间架构下张量计算的数据流设计、互连建模与性能评估。它采用关系中心表示法,统一建模数据流调度、片上互连拓扑(如1D/2D systolic、mesh)及张量操作的迭代域与访问函数,支持PE利用率、数据重用率、延迟与能耗等关键指标量化分析,适用于AI编译器后端、DSA架构探索与学术原型验证场景。资源包共205个文件,含8个核心C++源码(如dataflow.cpp、pe_array.cpp、test_stt.cpp)、45个S语义描述文件、55个M建模脚本及多个实验配置目录(experiment_1至experiment_15),辅以makefile构建脚本、interconnect定义文件及SqueezeNet/Jacobi/MatMul等典型算例,整体仅294KB,轻量但结构完整。已有460人学习下载,读者可直接复现论文级硬件数据流建模流程,获取从张量操作抽象→空间映射→互连仿真→指标分析的全链路代码与实验模板。

1. TENET 不是张量计算库,而是给硬件架构师用的“数字沙盒”:它把张量程序翻译成可执行的硬件行为模型,让芯片设计者在流片前就看清数据怎么在片上搬运、哪里会堵、功耗从哪来

TENET 是一个面向张量应用程序(如 CNN、Transformer 的 kernel 层)的硬件数据流建模与分析框架——注意,它不编译代码、不生成 RTL、不跑仿真器,而是构建一个轻量级、可配置、可插拔的行为级硬件模型,输入是高层张量计算描述(如 Halide 或 TVM 的 schedule),输出是精确到 cycle 级的数据搬运路径、buffer 占用曲线、带宽压测报告和能耗估算。它的核心价值不是加速训练或推理,而是解决芯片架构早期验证中最痛的盲区:当一个 ResNet-50 的 conv3x3 kernel 被映射到某款定制 AI 加速器时,片上 SRAM 是否被反复刷写?DMA 请求是否在某个 cycle 集中爆发导致 NoC 拥塞?权重复用率是否远低于理论值?这些问题,传统 RTL 仿真要等 tape-out 前 6 个月才能暴露,而 TENET 可以在 schedule 写完当天就给出量化答案。它适合两类人:一是做存算一体/DSA 架构的硬件工程师,需要快速评估不同数据流(如 systolic vs. spatial vs. temporal)对特定 workload 的实际收益;二是编译器后端开发者,想验证自己生成的 schedule 是否真能被硬件高效执行,而不是只在抽象图上“看起来很美”。如果你还在靠手算 buffer 大小、靠经验预估带宽瓶颈,或者每次改完 schedule 都得等 FPGA 综合跑完才敢下结论——TENET 就是你该立刻搭起来的“后悔药”。


2. 用 TENET 在本地跑通一个卷积 kernel 的最小建模流程:从 Halide schedule 到 cycle 级数据流热力图

TENET 的建模不是黑匣子,它依赖三类输入协同工作:计算描述(Computation)、硬件拓扑(Hardware Architecture)和映射策略(Mapping)。这三者缺一不可,且顺序严格:先定义张量怎么算(Halide/TVM IR),再声明硬件长什么样(PE 数、buffer 层级、互联带宽),最后指定“谁在什么时候搬什么数据到哪”(schedule-to-hardware mapping)。下面以最简 case——单个conv2d(32,32,3,3)(输入 32×32×3,卷积核 3×3×3×16)为例,走通最小闭环。

2.1 准备 Halide 描述与 schedule:用 4 行代码定义计算+分块逻辑

TENET 原生支持 Halide IR 作为前端输入,因此第一步是写出可被 TENET 解析的 Halide 函数。注意:不能直接喂 PyTorch 模型或 ONNX,必须降维到 kernel 级别并显式写出 loop nest 结构。以下是最小可行 Halide 描述(保存为conv2d.h):

// conv2d.h #include "Halide.h" using namespace Halide; Func conv2d(Func input, Func weights) { Var x("x"), y("y"), c("c"), k("k"); Func output; output(x, y, k) = cast<float>(0.0f); RDom r(0, 3, 0, 3, 0, 3); // 3x3 kernel, channel dim output(x, y, k) += input(x + r.x, y + r.y, r.z) * weights(r.x, r.y, r.z, k); return output; } int main() { ImageParam input(Float(32), 3, "input"); ImageParam weights(Float(32), 4, "weights"); Func f = conv2d(input, weights); f.bound(x, 0, 32).bound(y, 0, 32).bound(c, 0, 3).bound(k, 0, 16); f.tile(x, y, xo, yo, xi, yi, 8, 8).vectorize(xi, 4); f.compile_to_lowered_stmt("conv2d.stmt", {input, weights}); return 0; }

提示:compile_to_lowered_stmt生成的是 Halide 的内部 IR 表达(.stmt文件),不是可执行二进制。TENET 解析的就是这个文本 IR,而非 C++ 源码。务必确保Halide编译器版本 ≥ 13.0(TENET v0.4+ 要求),否则 stmt 格式不兼容。

2.2 定义硬件架构 JSON:用 7 个字段说清你的加速器“骨架”

TENET 的硬件模型由 JSON 描述,核心是compute_units、memory_hierarchy和interconnect三大部分。以下是一个典型边缘 AI 加速器的简化架构定义(arch_edge.json):

{ "name": "edge-acc", "compute_units": { "type": "systolic", "count": 16, "cycle_time": 1, "ops_per_cycle": 1 }, "memory_hierarchy": [ { "name": "global_mem", "size_bytes": 268435456, "read_bandwidth_gbps": 12.8, "write_bandwidth_gbps": 12.8, "latency_cycles": 200 }, { "name": "onchip_sram", "size_bytes": 1048576, "read_bandwidth_gbps": 512, "write_bandwidth_gbps": 512, "latency_cycles": 2 } ], "interconnect": { "type": "mesh", "rows": 4, "cols": 4, "link_bandwidth_gbps": 64 } }

关键参数说明:

  • compute_units.type: 必须是"systolic"、"spatial"或"temporal"之一,TENET 会据此选择对应的数据流引擎;
  • memory_hierarchy: 至少含两级 memory,global_mem模拟 DRAM,onchip_sram模拟片上 buffer;size_bytes直接影响 buffer overflow 报警;
  • interconnect.link_bandwidth_gbps: 若为 mesh,需指定 link 带宽,TENET 会自动计算跨 tile 数据搬运开销。

2.3 编写 Mapping 文件:把 Halide 的 tile 映射到硬件资源上

Mapping 是 TENET 最具工程价值的部分——它把抽象 schedule 转为硬件可执行的指令序列。TENET 使用 YAML 格式,核心是loop_to_level和data_move两节:

# mapping_conv2d.yaml loop_to_level: - loop: xo level: onchip_sram - loop: yo level: onchip_sram - loop: k level: compute_units - loop: xi level: compute_units - loop: yi level: compute_units data_move: - from: global_mem to: onchip_sram data: input pattern: "x,y,c" - from: global_mem to: onchip_sram data: weights pattern: "r.x,r.y,r.z,k" - from: onchip_sram to: compute_units data: input pattern: "x,y,c" - from: onchip_sram to: compute_units data: weights pattern: "r.x,r.y,r.z,k"

逻辑说明:

  • loop_to_level告诉 TENET:xo和yo这两个外层 tile loop 对应 on-chip SRAM 级别,即每次 tile 计算前,整块 input tile 和 weight tile 需预加载到 SRAM;
  • data_move.pattern中的变量名必须与 Halide IR 中的 Var 名完全一致(大小写敏感),TENET 会据此推导每个 cycle 的数据搬运量;
  • 注意pattern: "r.x,r.y,r.z,k"表示 weights 按 kernel 空间维度展开搬运,这是实现 weight stationary 数据流的关键。

2.4 执行 TENET 分析:一条命令生成 4 类报告

准备好上述三文件后,运行 TENET 主程序(假设已pip install tenet):

tenet-analyze \ --computation conv2d.stmt \ --architecture arch_edge.json \ --mapping mapping_conv2d.yaml \ --output-dir ./report_conv2d \ --cycles 10000

参数说明:

  • --cycles: 设定最大仿真 cycle 数,TENET 会在此范围内完成整个 kernel 执行;若超限则报错,提示 schedule 未收敛;
  • --output-dir: 输出目录包含timeline.csv(cycle 级事件日志)、buffer_usage.png(SRAM 占用曲线)、bandwidth_heatmap.png(NoC 各 link 带宽占用热力图)、energy_breakdown.txt(各模块能耗占比)。

执行后你会看到类似这样的关键输出:

[INFO] Simulated 9842 cycles for conv2d kernel [INFO] Peak onchip_sram usage: 924.3 KB / 1024 KB (90.3%) [WARN] Link (2,1)->(2,2) bandwidth utilization: 98.7% > 95% threshold [INFO] Total estimated energy: 12.4 mJ (compute: 42%, DRAM access: 38%, NoC: 20%)

这就是 TENET 的价值起点:它不告诉你“能不能跑”,而是告诉你“为什么这么跑、哪里快、哪里慢、哪里快撑不住”。


3. TENET 的 3 个必调参数:reuse_distance、buffer_size和interconnect_granularity如何决定建模精度

TENET 的建模精度并非固定,而是由三个底层参数动态控制。它们不写在用户 YAML/JSON 中,而是通过命令行或 Python API 显式设置。调不对,轻则报告失真,重则完全无法反映真实硬件瓶颈。

3.1reuse_distance: 控制数据复用建模粒度,决定 cache miss 估算是否可信

reuse_distance是 TENET 内部用于判断“同一数据是否被重复访问”的时间窗口(单位:cycle)。默认值为1000,但对不同硬件差异极大:

场景推荐值原因
高频访存的小 kernel(如 3x3 conv)200–500SRAM 访问延迟仅 2 cycle,过大的 reuse_distance 会让 TENET 错判“数据已失效”,误增 DRAM 搬运次数
大 batch transformer attention5000–10000key/value tensor 跨 head 复用距离长,需拉长窗口捕获跨 tile 复用
存算一体架构(weight 固定在 analog array)0(禁用)weight 不搬移,设为 0 强制关闭 weight reuse 分析

调整方式(命令行):

tenet-analyze ... --reuse-distance 300

注意:reuse_distance不是 cache line size,也不是 TLB 页大小。它是 TENET 自己维护的“最近访问时间戳”滑动窗口——只有在这个窗口内被再次请求的数据,才被计为“hit”。若设得过大,TENET 会高估 buffer 命中率;设得过小,则低估复用,报告里 DRAM 搬运量虚高。

3.2buffer_size: 覆盖硬件 buffer 实际容量,避免“虚假溢出”误报

TENET 默认按 JSON 中size_bytes值分配 buffer,但实际硬件中 buffer 往往有管理开销(metadata、alignment padding、bank conflict 留白)。例如,你声明onchip_sram.size_bytes = 1048576(1MB),但物理 bank 划分导致有效容量仅 983040 字节(960KB)。若 TENET 仍按 1MB 计算,就会漏掉 bank conflict 导致的额外 stall。

解决方案:用--buffer-size覆盖 JSON 值:

tenet-analyze ... --buffer-size onchip_sram=983040

此时 TENET 会:

  • 用 983040 字节做 buffer overflow 检查;
  • 但 bandwidth 计算仍按 JSON 中read_bandwidth_gbps(512 GB/s)进行,因为带宽是物理链路能力,与可用容量无关。

血泪经验:某次调试发现 TENET 报“SRAM overflow”,但实测 FPGA 上没溢出。最后发现是 bank conflict 导致 6.25% 容量不可用,手动减去后报告与实测误差 < 3%。

3.3interconnect_granularity: 决定 NoC 建模是“粗粒度 link”还是“细粒度 router port”

TENET 对 mesh interconnect 的建模有两种模式:

  • granularity=link(默认):把每条 wire 当作独立带宽单元,适合评估全局拥塞;
  • granularity=port:把每个 router 的 input/output port 当作带宽单元,能捕获局部 hot spot(如某个 router 的 east port 持续满载)。

启用 port 级建模:

tenet-analyze ... --interconnect-granularity port

效果对比(同一 workload):

指标link模式port模式差异原因
最大 link 利用率98.7%92.1%link 模式把所有经过 (2,1)->(2,2) 的包都算入,port 模式发现其中 30% 实际从 (2,1) 的 north port 进、east port 出,分散了压力
报告 hotspot 数量1 个 link3 个 portport 模式暴露了 router 内部微架构瓶颈

提示:port模式计算开销比link高约 3.2×,但对 DSA 架构迭代至关重要——它能告诉你“是不是该加个 bypass path”或“router 的 port width 是否足够”。


4. TENET 建模避坑:5 条真实踩过的坑,现象、原因、解法全写清楚

TENET 文档精简,社区案例少,很多坑得靠实操撞出来。以下是我在 3 次 tape-out 前验证中踩过的 5 个高频问题,每条都附带可复现的 minimal case 和 fix 方案。

4.1 现象:tenet-analyze报错KeyError: 'r.z' in data_move.pattern,但 Halide IR 明确有r.z

原因:TENET 解析 Halide.stmt时,会对 reduction domain 的变量做 name mangling。原始 IR 中RDom r(0,3,0,3,0,3)的r.z在 lowered stmt 中可能变成r.s0或r.s2,取决于 Halide 版本和优化开关。YAML 中写的r.z与实际 IR 变量名不匹配。

解决:

  1. 先用halide --dump-stmt conv2d.stmt查看真实变量名;
  2. 在conv2d.stmt中搜索r.,找到类似r.s0,r.s1,r.s2的出现;
  3. 修改mapping_conv2d.yaml中pattern: "r.x,r.y,r.z,k"→pattern: "r.s0,r.s1,r.s2,k";
  4. 验证:tenet-analyze --dry-run可提前检查变量名解析是否成功。

注意:--dry-run不执行仿真,只做语法和变量绑定检查,是上线前必跑步骤。

4.2 现象:buffer_usage.png显示 SRAM 占用始终为 0,但timeline.csv里有大量LOAD事件

原因:data_move中from/to的 memory name 与architecture.json中memory_hierarchy.name不一致。例如 JSON 里写"name": "onchip_sram",但 YAML 里写to: OnChip_SRAM(大小写/下划线不匹配)。

解决:

  • 用jq '.memory_hierarchy[].name' arch_edge.json提取所有合法 memory name;
  • 逐字比对 YAML 中所有from:和to:值;
  • TENET 匹配是 strict string equality,不支持 alias 或 regex。

4.3 现象:bandwidth_heatmap.png中所有 link 利用率都是 0%,但energy_breakdown.txt显示 NoC 能耗占 20%

原因:interconnect在architecture.json中缺失,或type字段拼错(如写成"mesh "多了个空格)。TENET 会静默 fallback 到nullinterconnect,此时 NoC 能耗按固定系数估算,但 bandwidth 不建模。

解决:

  • 运行tenet-analyze --validate-arch arch_edge.json,它会校验 JSON schema 并报出 missing/invalid fields;
  • 确保interconnect是顶层字段,且type值为"mesh"、"ring"或"crossbar"(全小写,无空格)。

4.4 现象:timeline.csv中computeevent 的 cycle 数远小于data_move,但实测硬件 compute 占用率超 80%

原因:compute_units.ops_per_cycle设置过高。TENET 默认认为每个 cycle 都能打满 ops,但实际硬件受 data dependency、control hazard 限制,有效吞吐常为理论值的 60–80%。

解决:

  • 查阅硬件 microarch spec,获取实际 sustained throughput(如 “peak 128 GOPS, sustained 72 GOPS”);
  • 计算ops_per_cycle = sustained_gops / (frequency_ghz * 1000);
  • 例如 1 GHz 频率、72 GOPS sustained →ops_per_cycle = 72;
  • 在architecture.json中更新"ops_per_cycle": 72。

4.5 现象:energy_breakdown.txt中 DRAM 能耗为 0,但timeline.csv有大量DRAM_READevent

原因:global_mem的read_bandwidth_gbps设为 0 或负数。TENET 能耗模型中,DRAM energy =bytes_transferred × energy_per_byte,而energy_per_byte由 bandwidth 反推——若 bandwidth=0,则 energy_per_byte=0。

解决:

  • 检查architecture.json中global_mem.read_bandwidth_gbps是否 > 0;
  • 若不确定具体值,可用 JEDEC 标准估算:LPDDR4 @ 3200 Mbps →read_bandwidth_gbps = 3.2;
  • 更稳妥做法:设为12.8(常见 mobile DDR 带宽),后续用实测数据 calibration。

5. 用 TENET 做 schedule 优劣量化对比:一张表、三步操作、五分钟得出结论

TENET 最硬核的价值,不是单次建模,而是多 schedule 并行对比。比如你写了 3 种 conv2d 的 tile 方案(A: 8x8, B: 16x4, C: 4x16),如何快速判断哪个更适合你的硬件?靠肉眼看bandwidth_heatmap.png?不,用 TENET 的--compare模式,5 分钟出结构化结论。

5.1 步骤 1:为每个 schedule 生成独立 mapping YAML

保持conv2d.stmt和arch_edge.json不变,只改 mapping:

  • mapping_A.yaml:tile(x,y,xo,yo,xi,yi,8,8)
  • mapping_B.yaml:tile(x,y,xo,yo,xi,yi,16,4)
  • mapping_C.yaml:tile(x,y,xo,yo,xi,yi,4,16)

注意:每个 mapping 的loop_to_level必须与 tile 结构匹配。例如mapping_B中xo覆盖 16 个 x,yo覆盖 4 个 y,那么xo应映射到更大 buffer(如 global_mem),而yo映射到 onchip_sram——否则 TENET 会报 buffer overflow。

5.2 步骤 2:批量运行并生成对比 CSV

tenet-analyze \ --computation conv2d.stmt \ --architecture arch_edge.json \ --mapping mapping_A.yaml \ --output-dir ./report_A \ --quiet \ && tenet-analyze \ --computation conv2d.stmt \ --architecture arch_edge.json \ --mapping mapping_B.yaml \ --output-dir ./report_B \ --quiet \ && tenet-analyze \ --computation conv2d.stmt \ --architecture arch_edge.json \ --mapping mapping_C.yaml \ --output-dir ./report_C \ --quiet \ && tenet-compare \ --reports ./report_A ./report_B ./report_C \ --metrics cycles peak_buffer_usage dram_read_bytes noc_max_utilization \ --output compare_result.csv

--quiet关闭冗余日志,tenet-compare是 TENET 自带的对比工具,--metrics指定你要横向比的指标。

5.3 步骤 3:解读对比表——抓住 3 个关键决策信号

compare_result.csv生成后,用 pandas 或 Excel 打开,重点关注以下三列组合:

Schedulecyclespeak_buffer_usage (KB)dram_read_bytes (MB)noc_max_utilization (%)
A9842924.312.798.7
B10215768.18.372.4
C9963842.610.285.1

决策信号解读:

  • Signal 1:看noc_max_utilization是否超 95%
    A 方案 98.7% > 95%,说明 NoC 已临界拥塞,即使 cycle 最短也不推荐——实测会因 backpressure 导致 cycle 数暴涨。B 方案 72.4% 安全,是稳健选择。
  • Signal 2:看dram_read_bytes与peak_buffer_usage的比值
    理想情况是 dram_read_bytes / peak_buffer_usage ≈ 1(数据一次加载,多次复用)。A: 12.7/924.3≈0.013,说明 buffer 复用率极低;B: 8.3/768.1≈0.0109,略好但仍有优化空间;这提示你该尝试k维度 tiling 或 weight prefetch。
  • Signal 3:看cycles的绝对值与相对差
    A 比 B 快 3.6%,但 NoC 风险高;C 比 A 慢 1.2%,但 NoC 压力可控。若芯片目标是低功耗(非极致性能),选 C 更合适——TENET 让你把“性能-可靠性-功耗”的 trade-off 量化成数字,而不是拍脑袋。

我的习惯:每次写完新 schedule,必跑tenet-compare与 baseline 对比,把noc_max_utilization和dram_read_bytes两列设为 conditional formatting(红黄绿),一眼锁定风险项。这比看波形图快 10 倍,也比等 FPGA 综合结果早 3 周。希望帮到你。

本文还有配套的精品资源,点击获取

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询