简介

Apache Hadoop 3.3.1 源码分析笔记，深入解读 HDFS、YARN、Common、ZooKeeper、Ozone 等核心模块的实现原理与设计思想，同时收录相关学术论文翻译及版本演进追踪分析。

编译

执行下面编译命令：

• Linux 下的编译命令如下：

# -T 是编译的线程数，可以按照具体操作系统增加或者减少
mvn -T 8 package -Pdist,native -DskipTests -Dmaven.javadoc.skip=true
# or 忽略 本地方法编译
mvn -T 1C clean package -DskipTests -P\!sign -Pnative -P\!resource-bundle -PskipShade  -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true -Dpmd.skip=true

• Windows 下面的编译命令如下（Windows下的二进制编译未调试通过）：

# 本地编译，忽略二进制编译
mvn -T 1C clean install -DskipTests -PskipShade -P\!native-win -PskipShade  -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true -Dpmd.skip=true

知识目录树

HDFS 相关

NameNode

知识库名称	二级分类	所属模块
namenode全景	全景	HDFS 模块
NameNode启动过程	启动	HDFS 模块
NameNode 组件详解	组件	HDFS 模块
FsImage详解	镜像	HDFS 模块
FSImageTools详解	工具	HDFS 模块
NamenodeProtocols详解	协议	HDFS 模块
leaseManager详解	租赁	HDFS 模块
FSDirectory详解	目录树	HDFS 模块
BPServiceActor详解	块报告	HDFS 模块

高可用

知识库名称	二级分类	所属模块
HDFS 高可用组件详解	高可用	HDFS 模块
journalnode	JournalNode	HDFS 模块
主备倒换模块详解	主备倒换	Common 模块

DataNode

知识库名称	二级分类	所属模块
dataNode启动过程	启动	HDFS 模块
DataNode 组件详解	组件	HDFS 模块
BlockRecoveryWorker详解	块恢复	HDFS 模块
DiskBalancer详解	磁盘平衡	HDFS 模块
DataNode优化详解	优化	Watch 模块

客户端

知识库名称	二级分类	所属模块
HDFS 客户端组件详解	客户端	HDFS 模块
文件上传	写流程	HDFS 模块
webhdfs详解	WebHDFS	HDFS 模块
httpfs详解	HttpFS	HDFS 模块

联邦

知识库名称	二级分类	所属模块
router启动详解	Router	HDFS 模块

HDFS 功能与优化

知识库名称	二级分类	所属模块
HDFS 功能详解	功能	HDFS 模块
HDFS 功能总结	总结	HDFS 模块
HDFS 升级模式分析	升级模式	HDFS 模块

YARN 相关

ResourceManager

知识库名称	二级分类	所属模块
ResourceManager详解	核心	YARN 模块
容量调度器	调度器	YARN 模块
ResourceEstimatorServer	资源估算	YARN 模块
RMStateStore对比分析	状态存储	YARN 模块
RMDelegationTokenSecretManager	安全	YARN 模块

NodeManager

知识库名称	二级分类	所属模块
containerManager详解	容器管理	YARN 模块
container-executor详解	容器执行	YARN 模块
shuffle详解	Shuffle	YARN 模块

事件系统

知识库名称	二级分类	所属模块
Yarn状态机	状态机	YARN 模块
Yarn事件处理机制	事件处理	YARN 模块

联邦

知识库名称	二级分类	所属模块
YARN Federation 源码解读	联邦	YARN 模块

工具与作业

知识库名称	二级分类	所属模块
DistributedShell	示例	YARN 模块
Distcp详解	工具	YARN 模块
YarnJobStatusOfflineTools	作业状态	YARN 模块
作业启动	作业	YARN 模块
作业历史缓存	JobHistory	YARN 模块
SharedCacheManager	共享缓存	YARN 模块

ZooKeeper

知识库名称	二级分类	所属模块
Zookeeper启动源码详解	启动	ZooKeeper 模块
Zookeeper版本差异详解	版本差异	ZooKeeper 模块

Ozone

知识库名称	二级分类	所属模块
Ozone 简介	简介	Ozone 模块
Ozone 模块分析	模块分析	Ozone 模块
Ozone 功能分析	功能分析	Ozone 模块
Ozone 模块详细分析报告	详细分析	Ozone 模块
Ozone 模块详细分析报告（补充）	详细分析	Ozone 模块
Ozone 模块详细分析报告（深度补充）	详细分析	Ozone 模块
CLI和安全模块详细分析报告	安全/CLI	Ozone 模块
Ozone与HDFS对比分析	对比分析	Watch 模块

Common 公共模块

知识库名称	二级分类	所属模块
Hadoop 模块概览	模块概览	Common 模块
认证模块详解	认证	Common 模块
Fair Call Queue	队列	Common 模块
NativeIO	IO 相关	Common 模块
org.apache.hadoop.cli 模块详解	CLI	Common 模块
RollingLevelDB时间线存储详解	作业历史服务	Common 模块

Watch 版本追踪与特性分析

知识库名称	二级分类	所属模块
DataNode优化详解（3.3.1后）	DataNode 优化	Watch 模块
HDFS 小文件问题全景分析（2022-2026）	HDFS 小文件	Watch 模块
HDFS 性能优化全景分析（2022-2026）	HDFS 性能	Watch 模块
HDFS 多管道并行写入优化	HDFS 优化	Watch 模块
YARN 调度器优化全景分析（2022-2026）	YARN 调度器	Watch 模块
YARN 性能优化全景分析（2022-2026）	YARN 性能	Watch 模块
3.3.1-3.4.1 兼容性分析	版本兼容性	Watch 模块
3.3.1-3.5.0 兼容性预测分析	版本兼容性	Watch 模块
2026.03.28 开源最新问题分析	Issue 追踪	Watch 模块
2026.04.19 开源最新问题分析	Issue 追踪	Watch 模块
值得关注的特性	特性	Watch 模块
Ozone与HDFS对比分析	对比分析	Watch 模块

研究论文

知识库名称	研究方向	所属模块
A Trust-Driven Optimization Model 翻译解析	安全与授权	Research 模块
Fletch 论文全文中文翻译 (FAST'26)	元数据缓存	Research 模块
AsyncFS 论文全文中文翻译	元数据异步更新	Research 模块
Origami 翻译解析 (ICPP'25)	ML 驱动元数据负载均衡	Research 模块
AITURBO 翻译解析 (FAST'26)	AI 作业存储优化	Research 模块
BYOM 翻译解析	ML 驱动存储放置	Research 模块
UpFuzz 翻译解析 (NSDI'26)	存储系统升级兼容性	Research 模块
智能配置调优 翻译解析	ML/DL/RL 配置调优	Research 模块
HDFS & YARN 高质量论文分析报告 (2021-2026)	综述分析	Research 模块
HDFS × YARN × AI 交叉论文分析 (2021-2026)	AI 交叉分析	Research 模块
HDFS 与小文件问题 — 近5年研究综述	综述分析	Research 模块

其他资源

知识库名称	说明	所属模块
学习 Hadoop 300问	Hadoop 面试题集	仓库根目录