企业官网建设流程全解析

数据工程入门书单：20 本书按学习阶段重新排了序

【免费下载链接】data-engineer-handbookThis is a repo with links to everything you'd ever want to learn about data engineering项目地址: https://gitcode.com/GitHub_Trending/da/data-engineer-handbook

数据工程书单从来都不短，仓库里 books.md 就列了三十多本。我见过太多人从架构书读起，读一周就弃了。所以把其中 20 本按上手期、深入期、拓展期三个阶段重排了一遍，给正在做数据工程入门或转行的你。只提一个要求：动手跑过一条管道之前，别去碰下一阶段的书。

上手期（第 0-3 个月）：先搭起数据工程动手地基

📌 这个阶段先别碰架构和治理。你最缺的是"跑起来"：SQL 和 Python 的动手能力，加一条端到端的小管道。下面 6 本按建议顺序排好了。

读的顺序不用纠结：前两本建概念，中间两本建手感，后两本当参考书。边读边按 beginner-bootcamp/software.md 把环境装好，再从中级课程的第一维建模实验入手，比如用 pgAdmin 连上本地 Postgres：

入门阶段的完整实验环境说明在 1-dimensional-data-modeling/README.md。

深入期（第 3-9 个月）：卡点在哪，就读哪本

🔧 这个阶段别贪多，读你卡住的地方。最常见的三堵墙：建模、引擎、实时。

建模乱，先读这两本

建模决定了下游有多痛。如果你的表结构靠业务方口头保证，就从这两本开始：

• Kimball - The Data Warehouse Toolkit：维度建模从零搭起——适合从零建数仓的你
• Data Mesh：按领域划分数据归属——适合多团队抢数据的场景

仓库的维度建模实验里有一份现成的 SCD 生成 SQL：scd_generation_query.sql。读 Kimball 不跑一遍，等于白读。

数据工程维度建模笔记：OLTP 到 OLAP 的表流转

开始碰计算引擎，先读 Spark

• Learning Spark：第一遍——Spark API 面适合用它过
• Spark: The Definitive Guide：第二遍——从"会写"到"写得好"
• Modern Data Engineering with Apache Spark：从批到流——第一条流式作业写它

转实时，流处理书不必全读

• Streaming Systems：流系统设计原理——帮你搞懂 exactly-once 和背压的边界
• Stream Processing with Apache Flink：Flink 上手第一本——从零开始做实时作业

仓库里有个能直接跑的 Flink 聚合实验：4-apache-flink-training/README.md。这个阶段的原则：一堵墙，一本书，一个实验。

拓展期（第 9 个月之后）：数据工程的最后一公里，性能、治理与架构

🧭 管道跑了一年之后，你面对的问题不再是"写不出来"，而是"太慢、没人认领、不敢改"。这时候按痛点挑书。

管道变慢，先读这两本

• High Performance Spark：Spark 调优——同一个作业跑四十分钟你受不了时
• Delta Lake: The Definitive Guide：湖仓存储层——转向开放表格式时的底账

管道稳定的底层原则是幂等：无论重跑多少次，结果都一样。昨天回填的数据和今天的对不上，问题就出在这：


团队变大，读治理这几本

• Data Engineering with dbt：转换层工程化——让转换可评审、可测试
• Data Governance: The Definitive Guide：数据问责与合规——口径吵架吵不动时
• Practical DataOps：数据团队工程实践——管道缺值班和 runbook 时

仓库里有一份真实的管道维护案例，把整条增长管道从头讲到尾：6-data-pipeline-maintenance/README.md。

架构想清楚了，再读这两本

• Data Engineering Design Patterns：常见问题集合——说不出问题名字的时候
• Building Evolutionary Architectures：演进式架构——系统一改就炸三处时

想往 AI 数据工程方向延伸的，仓库里还有三天的 Databricks 实验材料：databricks-ai-bootcamp/README.md。

四步阅读顺序：别一口气读完书单

1. 先读完 Fundamentals of Data Engineering，边读边装环境、跑一个实验。
2. 深入期三选一：建模、引擎或实时，读完一本配完一个实验。
3. 拓展期按当下痛点挑：慢，读性能；乱，读治理；架构卡住，读设计模式。
4. 每年重读一次 Designing Data-Intensive Applications，你的理解深度不会一样。

书读完就完了，这个领域不会。卡住的时候去 communities.md 找个群，或者订阅 newsletters.md，让新信息自己找上你。

【免费下载链接】data-engineer-handbookThis is a repo with links to everything you'd ever want to learn about data engineering项目地址: https://gitcode.com/GitHub_Trending/da/data-engineer-handbook