企业官网建设流程全解析

Redpanda Connect：把数据流管道写成 YAML 的工具

Redpanda Connect 在 GitHub 上已经拿到 8,694 Star 了。

它是一个用 Go 写的流处理器，专门在各式各样的数据源和数据目标之间搬运数据，途中还能做 hydration、enrichment、transformation、filtering 这些操作。整个管道的拓扑结构，可以塞到一个 YAML 文件里。

1、这玩意儿是干嘛的

说穿了就是数据管道的编排工具。数据从哪来、经过哪些处理、最后写到哪去，全部用声明式配置描述。

它支持的消息源包括 Kafka、NATS、MQTT、RabbitMQ、Redis、PostgreSQL、MySQL、MongoDB、S3、Azure Blob、GCP Pub/Sub、HTTP 等等。输出目标也覆盖同样的范围，云端服务、消息队列、数据库、HTTP 接口都能接。

中间的处理环节用 Bloblang 写映射逻辑，一种为流数据设计的小语言，做字段转换、过滤、分支都很直接。

2、为什么要用它

做数据集成的人常遇到的问题是：每个系统都有自己的 SDK、协议和格式。今天要接 Kafka，明天要接 S3，后天要从 Postgres 读变更日志，每次都得写一堆胶水代码。

Redpanda Connect 把这层胶水统一了。同一个二进制，换一套 YAML 配置就能切换输入输出。不用自己管理连接池、重试、序列化这些基础设施。

另外它默认提供 at-least-once 交付保证。通过进程内事务模型实现，不需要额外的磁盘状态，崩溃或掉电后消息不会凭空丢失。

3、核心能力

连接器的数量是它的强项。AWS、Azure、GCP 的主流服务，消息代理、数据库、HTTP、缓存、文件系统都有现成组件。完整的列表在文档的 components 章节可以查到。

CDC 是另一个重点。它内置 Postgres、MySQL、MongoDB、Oracle、MSSQL 的 change-data-capture 连接器，数据库变更可以直接变成事件流，不需要再搭 Debezium 之类的额外组件。

Bloblang 用来做中间转换。比如把 JSON 字段重命名、按条件过滤、拼接字符串、计算派生字段，都能写在配置里，不用打包部署新的代码。

可观测性也内置了：/ping 和 /ready 两个 HTTP 端点给编排工具做探针，指标可以推到 Statsd、Prometheus 或 JSON HTTP 端点，OpenTelemetry 链路追踪原生支持。

4、安装和使用

它提供静态二进制、Docker 镜像和 rpk 命令行三种方式。

用 rpk 安装：

# Linux：下载 rpk 二进制后解压unziprpk-linux-amd64.zip-d~/.local/bin/# macOSbrewinstallredpanda-data/tap/redpanda

Docker 直接拉镜像：

dockerpull docker.redpanda.com/redpandadata/connect

运行只需要一个配置文件：

rpk connect run ./config.yaml

配置文件大致长这样：

input:postgres_cdc:dsn:postgres://user:pass@db.example.com:5432/app?sslmode=requireschema:publictables:[orders,customers]stream_snapshot:trueoutput:kafka:addresses:[kafka:9092]topic:orders_cdc

5、适合哪些人用

• 正在搭建数据管道，需要对接多种数据源和目标的后端开发者
• 需要把数据库变更实时同步到消息队列或数据湖的团队
• 想用声明式配置替代手写消费者/生产者的项目
• 需要 at-least-once 语义但不想自己实现事务逻辑的工程师

如果你只是想做简单的文件搬运，它可能有点重。但如果你经常要处理多源异构数据流，Redpanda Connect 是一个值得放进工具箱的选项。

自己实现事务逻辑的工程师

如果你只是想做简单的文件搬运，它可能有点重。但如果你经常要处理多源异构数据流，Redpanda Connect 是一个值得放进工具箱的选项。