企业官网建设流程全解析

简介：这份资源围绕 Kettle 中循环变量的设置与循环作业控制展开，面向从事 ETL 数据抽取、转换与加载的工程师及数据分析人员，帮助解决多表批量处理时表名无法动态替换、变量一次只能接收单值等实际问题。资源包为 docx 文档，共 1 个文件，压缩包约 282KB，内容以图文步骤与脚本说明为主，便于对照操作。文档从表名替换入手，讲解如何将查询出的表名作为变量传递，并借助 Trans 脚本、获取表的数量、循环控制器、获取表行数与计数器累加等步骤，实现类似 for 循环的遍历执行，使不同表名可复用同一套 SQL 逻辑。目前已有 2541 人学习，适合需要掌握 Kettle 循环控制、提升批量数据处理效率的读者参考，可帮助理解变量赋值、循环判断与表名动态替换的完整实现思路。

1. Kettle 设置循环变量：从一次批量导数翻车说起

Kettle 里最容易被低估的能力，不是转换组件有多全，而是变量系统能不能把「一次跑一张表」变成「一次跑一批表」。我见过太多人用 Kettle 做数据同步，一张表配一个转换、一个作业，表一多就变成几十个文件来回改连接、改表名，改到最后自己都记不清哪个作业对应哪张表。真正让 Kettle 从「单次脚本工具」变成「批量调度引擎」的，是循环变量这套机制：用作业里的Simple Evaluation或JavaScript算出变量，再用「复制记录到结果」把多行参数喂给转换，转换内部用${变量名}动态替换表名、日期、路径。标题里的「kettle设置循环变量」，说的就是这条链路怎么搭、参数怎么传、为什么你设了变量却读不到。这篇面向已经在用 Kettle 做 ETL、但被批量任务逼到墙角的工程师，从变量作用域讲到可复现的循环作业，再到几个我踩过的血泪坑，让你看完能直接搭出一套跑批框架。

2. Kettle 变量作用域与循环机制：为什么你的变量传不进转换

2.1 变量分三层，设错层等于没设

Kettle 的变量不是全局字典，它按作用域分三层，很多人翻车就翻在「在转换里设了变量，作业里读不到」或者「作业里设了变量，转换里读不到」。

第一层是Kettle 属性变量，在kettle.properties里定义，整个 JVM 生命周期有效，适合放数据库连接串、公共路径这类不常变的东西。第二层是作业级变量，通过作业项Set Variables设置，作用范围是当前作业及其所有子作业、子转换，这是循环里最常用的层。第三层是转换级变量，在转换的Set Variables组件里设置，只对当前转换内部有效，出了这个转换就没了。

关键点在于：父级设的变量，子级能读；子级设的变量，父级读不到。循环场景里，参数通常是在作业层算出来，然后传给转换用，所以变量必须设在作业层，或者通过「复制记录到结果」把行数据传进去。如果你在转换里用Set Variables设了个表名，然后指望作业里的下一个转换能读到，那必然失败。

还有一个隐蔽点：变量替换发生在组件初始化阶段，不是运行时。也就是说，${TABLE_NAME}这种写法在转换启动时就被替换成具体值了，转换跑起来之后你再改变量，当前这次执行不会重新读。循环要生效，必须让每次迭代都重新初始化转换，这也是为什么循环结构要放在作业层而不是转换层。

2.2 循环的两种实现：复制记录到结果 vs 逐行执行

Kettle 作业里做循环，主流有两种路子，选错了性能差一个数量级。

路子一：复制记录到结果 + 转换执行。上游用一个「生成记录」或「表输入」产生多行参数，每行包含表名、日期、批次号等字段，然后连到「复制记录到结果」，再连到「转换」作业项。转换内部通过「获取系统信息」或直接引用字段来拿到这些参数。这种方式本质上是把多行参数一次性传给转换，转换内部再按行处理，适合参数行数不多、每行处理逻辑一致的场景。

路子二：Simple Evaluation + 循环判断。用Simple Evaluation算出一个计数器变量，配合「JavaScript」或「Set Variables」更新变量，再用「Checks if a variable is set」或条件判断决定是否继续循环。这种方式适合需要严格串行、每轮依赖上一轮结果的场景，但配置复杂，容易死循环。

我一般推荐路子一，因为它的参数传递是显式的、可调试的。下面这张表对比两种方式的关键差异：

2.3 最小可复现的循环作业结构

先给一个能跑起来的最小结构，后面再拆参数。假设你要把order_202401、order_202402、order_202403三张表的数据同步到目标库。

作业结构如下：

# 作业层级结构（文字描述，实际在 Spoon 里拖拽） start -> 生成记录（Generate Rows） 字段：table_name，类型 String 值：order_202401, order_202402, order_202403 -> 复制记录到结果（Copy rows to result） -> 转换（Transformation） 转换内部：表输入 -> 字段选择 -> 表输出 表输入 SQL：SELECT * FROM ${table_name}

对应的转换内部，表输入的 SQL 这样写：

-- 表输入组件里的 SQL，${table_name} 会被行字段替换 SELECT id, order_no, amount, create_time FROM ${table_name} WHERE create_time >= '2024-01-01'

这里有个容易混淆的点：${table_name}是 Kettle 变量语法，但在这个结构里，table_name其实是行字段，不是变量。Kettle 在转换执行时，如果发现${}里的名字和输入行字段同名，会优先用行字段的值替换。所以「复制记录到结果」传过来的每一行，都会让转换用不同的表名执行一次。这就是循环的本质：转换被调用了 N 次，每次拿到不同的行参数。

参数说明：生成记录里的字段名必须和 SQL 里${}的名字完全一致，大小写敏感。复制记录到结果不需要额外配置，它把上游所有行缓存到结果集。转换作业项要勾选「执行每一个输入行」，否则只会执行一次。

3. 用 JavaScript 动态生成循环参数：日期、表名、路径一次算清

3.1 为什么用 JavaScript 而不是生成记录

「生成记录」适合写死的少量参数，但真实场景里参数往往是算出来的：比如要同步最近 7 天的分区表，表名是order_20240101到order_20240107，你不可能手写 7 行。这时候用「JavaScript」作业项动态生成行数据更靠谱。

JavaScript 作业项在 Kettle 里的角色是：执行一段脚本，往结果集里putRow，下游的「复制记录到结果」就能拿到这些行。它比「生成记录」灵活得多，能循环、能算日期、能拼字符串。

3.2 一段可抄的 JavaScript 生成日期分区表名

下面这段脚本生成最近 7 天的表名和对应日期，直接贴进 JavaScript 作业项：

// Kettle JavaScript 作业项：生成最近 7 天的分区表参数 // 输出字段：table_name, stat_date, target_path var today = new Date(); var rows = []; for (var i = 6; i >= 0; i--) { var d = new Date(today.getTime() - i * 24 * 60 * 60 * 1000); var yyyy = d.getFullYear(); var mm = ('0' + (d.getMonth() + 1)).slice(-2); var dd = ('0' + d.getDate()).slice(-2); var dateStr = yyyy + mm + dd; var row = new Packages.org.pentaho.di.core.row.RowDataUtil.createRow(3); // 字段顺序必须和下面 _step_.putRow 的字段定义一致 row[0] = 'order_' + dateStr; // table_name row[1] = yyyy + '-' + mm + '-' + dd; // stat_date row[2] = '/data/export/' + dateStr; // target_path _step_.putRow(_step_.getOutputRowMeta(), row); }

逻辑说明：脚本用new Date()拿当前时间，倒推 7 天，每天生成一行。RowDataUtil.createRow(3)创建 3 个字段的行对象，字段顺序必须和 JavaScript 作业项「字段」标签页里定义的顺序一致，否则下游读到的字段会错位。_step_.putRow是 Kettle 脚本里的固定写法，第一个参数是输出行元数据，第二个是行数据。

参数说明：getOutputRowMeta()返回的是你在作业项「字段」标签页里定义的字段结构，所以必须先在字段标签页里加三行：table_name（String）、stat_date（String）、target_path（String）。字段名要和脚本里注释对应，顺序不能乱。如果你改了字段数量，createRow的参数也要跟着改。

3.3 把参数传给转换的两种写法

JavaScript 生成完行之后，接「复制记录到结果」，再接转换。转换内部有两种方式拿参数：

写法一：SQL 里直接引用行字段。表输入的 SQL 写SELECT * FROM ${table_name}，Kettle 会用行字段替换。这种写法简单，但只适合表名、日期这类字符串替换。

写法二：用「获取系统信息」组件。在转换开头加一个「获取系统信息」，把行字段转成转换内部变量，后面所有组件都能用${变量名}引用。这种写法适合参数要在多个组件里复用的场景。

-- 写法一：表输入直接引用行字段 SELECT * FROM ${table_name} WHERE dt = '${stat_date}' -- 写法二：先用获取系统信息转成变量，再引用 SELECT * FROM ${v_table_name} WHERE dt = '${v_stat_date}'

注意：写法二里「获取系统信息」的「字段名」要填行字段名，「变量名」填你想起的变量名，类型选 String。转换内部变量只在当前转换有效，出了转换就没了，这点和作业变量要区分开。

4. 循环变量在批量导数中的落地：从单表到 200 张表的作业模板

4.1 作业模板的完整骨架

把前面的东西串起来，一个能跑 200 张表的作业模板长这样：

# 作业骨架 start -> JavaScript（生成表名列表，输出 table_name, stat_date） -> 复制记录到结果 -> 转换：单表同步 内部：获取系统信息 -> 表输入 -> 字段选择 -> 表输出 -> 成功/失败处理

关键配置点：转换作业项右键「属性」，勾选「执行每一个输入行」。这个选项不勾，转换只会拿第一行执行一次，后面 199 行全丢。这是最高频的翻车点，没有之一。

4.2 表输入 SQL 的参数化写法

表输入里不要写死表名，用变量占位：

-- 表输入 SQL，v_table_name 来自获取系统信息 SELECT id, order_no, amount, create_time FROM ${v_table_name} WHERE create_time >= '${v_start_date}' AND create_time < '${v_end_date}'

参数说明：v_table_name、v_start_date、v_end_date都是转换内部变量，由「获取系统信息」从行字段转换而来。注意 SQL 里的引号：字符串类型的变量要加单引号，表名、字段名不加。如果变量值本身可能带引号，要在 JavaScript 里做转义，否则会 SQL 注入或语法错误。

4.3 表输出的批量提交参数

表输出组件有几个参数直接影响 200 张表的执行效率：

「裁剪表」这个参数在循环场景里是绝对的禁忌。我见过有人为了「保证数据干净」勾了它，结果 200 张表每张都被清空一次，最后只剩最后一张表有数据。血泪经验：循环里的表输出，永远不要勾裁剪表，要清数据在循环外单独做。

4.4 日志与断点：循环跑批怎么排查

200 张表跑起来，出错了你得知道是哪张表。两个手段：

第一，在转换里加「写日志」组件，把${v_table_name}和${v_stat_date}打出来，日志级别选 Basic。这样每轮执行都有记录，出错时能定位到具体表。

第二，作业项「转换」的「日志」标签页里，勾选「日志记录」并指定日志表，Kettle 会把每轮执行的结果写进数据库表，包括开始时间、结束时间、是否成功。这个表是你事后排查的唯一后悔药。

-- 日志表关键字段（Kettle 自动建表） -- TRANSNAME: 转换名 -- LINES_READ / LINES_WRITTEN: 读写行数 -- ERRORS: 错误数 -- STARTDATE / ENDDATE: 起止时间 -- LOG_FIELD: 详细日志

排查顺序：先看日志表里哪一轮 ERRORS > 0，再看该轮的 LOG_FIELD，最后去转换日志里找对应表名的堆栈。不要一上来就翻全量日志，200 张表的日志能把你淹了。

5. Kettle 循环变量避坑清单：5 个我真实踩过的坑

5.1 坑一：转换只执行一次，后面参数全丢

现象：JavaScript 生成了 200 行，但转换只处理了第一张表，日志里只有一条记录。

原因：转换作业项的「执行每一个输入行」没勾选。Kettle 默认只执行一次，拿结果集的第一行。

解决：右键转换作业项 -> 属性 -> 勾选「执行每一个输入行」。这个选项在 Spoon 里藏得不深，但新手根本不知道它存在。

5.2 坑二：变量名大小写不一致，替换失败

现象：SQL 里写${table_name}，JavaScript 输出字段叫Table_Name，结果 Kettle 报「字段未找到」或直接替换成空。

原因：Kettle 变量和字段名大小写敏感，table_name和Table_Name是两个东西。

解决：统一命名规范，全用小写加下划线。在 JavaScript 里输出字段时，字段名和 SQL 里的占位符逐字对照，别靠记忆。

5.3 坑三：在转换里设变量，作业里读不到

现象：转换内部用「设置变量」设了v_result，作业里下一个作业项用${v_result}拿到的是空。

原因：转换级变量作用域只在当前转换，出了转换就销毁。作业读不到子转换的变量。

解决：需要跨转换传递的值，要么通过「复制记录到结果」传行，要么在作业层用「设置变量」设。转换内部变量只用于转换内部组件之间。

5.4 坑四：循环里勾了裁剪表，数据被清空

现象：200 张表跑完，只有最后一张表有数据，前面 199 张全空。

原因：表输出组件勾了「裁剪表」，每轮执行前清空目标表，下一轮又把上一轮的数据清了。

解决：循环里的表输出永远不勾裁剪表。需要清数据的场景，在循环开始前用一个单独的「执行 SQL 脚本」作业项批量清，或者用「表输出」的「更新/插入」模式。

5.5 坑五：变量替换发生在初始化，运行时改变量无效

现象：在转换运行过程中用脚本改了变量值，但 SQL 里的${变量}还是旧值。

原因：Kettle 的变量替换在组件初始化阶段完成，转换跑起来之后改变量，当前执行不会重新读。

解决：需要动态变化的参数，必须通过行字段传递，让每轮迭代重新初始化转换。不要在转换运行中改变量然后指望 SQL 重新替换。

6. 进阶：用 Kettle 变量做增量水位线与失败重跑

循环变量最值钱的用法不是批量表名，而是增量水位线。每次跑批记录最大 ID 或最大时间，下次从水位线之后开始拉，避免全量重跑。做法是在作业末尾加一个「设置变量」或写一张水位线表，下次 JavaScript 生成参数时先读水位线。

// 从水位线表读上次的最大 create_time，生成本次增量参数 var lastWatermark = ''; // 实际从表输入或变量读取 var conn = _step_.getTrans().getDatabase(0).getConnection(); var stmt = conn.createStatement(); var rs = stmt.executeQuery("SELECT MAX(create_time) FROM etl_watermark WHERE table_name='order'"); if (rs.next()) { lastWatermark = rs.getString(1); } rs.close(); stmt.close(); // 生成本次参数行，start_date 用上次水位线 var row = Packages.org.pentaho.di.core.row.RowDataUtil.createRow(2); row[0] = 'order'; row[1] = lastWatermark; _step_.putRow(_step_.getOutputRowMeta(), row);

这段脚本的关键是_step_.getTrans().getDatabase(0)拿到当前转换的第一个数据库连接，直接查水位线表。参数说明：getDatabase(0)的索引对应转换里数据库连接的定义顺序，改连接顺序会拿错库。水位线表要单独建，字段至少包含table_name、max_create_time、update_time。

失败重跑的策略：在日志表里标记每轮状态，重跑时 JavaScript 先查日志表，跳过已成功的表，只跑失败和未跑的表。这样 200 张表里挂了 3 张，重跑只跑 3 张，不用全量重来。

-- 重跑时过滤已成功的表 SELECT table_name FROM etl_run_log WHERE batch_date = '20240101' AND status != 'SUCCESS'

我自己的习惯是：任何超过 10 张表的循环作业，必须配日志表和水位线表，否则出了问题你连从哪重跑都不知道。Kettle 的变量系统给了你足够的灵活性，但灵活性也意味着责任——变量名、作用域、执行次数，每一个都要自己盯住。希望帮到你。

本文还有配套的精品资源，点击获取