企业大数据处理 Spark、Druid、Flume与Kafka应用实践【2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载】

企业大数据处理 Spark、Druid、Flume与Kafka应用实践PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第一部分 准备工作2

第1章 基础环境准备2

1.1 软件环境准备2

1.2 集群环境准备4

1.2.1 Zookeeper集群部署4

1.2.2 Hadoop部署6

1.3 小结15

第二部分 核心技术18

第2章 Spark详解18

2.1 Spark概述18

2.1.1 Spark概述18

2.1.2 Shuffle详解25

2.2 Spark SQL29

2.2.1 SparkSession29

2.2.2 DataFrame30

2.2.3 DataSet35

2.3 Structured Streaming35

2.3.1 数据源36

2.3.2 输出到外部存储38

2.3.3 WordCount示例40

2.4 Spark优化42

2.4.1 数据优化42

2.4.2 代码优化44

2.4.3 参数优化46

2.5 小结48

第3章 Druid原理及部署49

3.1 架构设计49

3.1.1 节点类型49

3.1.2 Segment介绍57

3.1.3 容错处理59

3.1.4 路由节点60

3.2 集群部署63

3.2.1 集群规划63

3.2.2 配置安装64

3.3 小结72

第4章 Druid数据摄入73

4.1 模式设计73

4.1.1 设计概述73

4.1.2 数据解析75

4.1.3 Segment分区79

4.1.4 模式更改81

4.2 批量数据摄入81

4.3 流数据摄入87

4.3.1 Tranquility88

4.3.2 StreamPush91

4.3.3 从Kafka中摄取数据92

4.4 数据更新94

4.5 小结95

第5章 Druid客户端96

5.1 涉及组件96

5.1.1 查询相关96

5.1.2 过滤器99

5.1.3 聚合粒度101

5.1.4 聚合器105

5.2 查询类型109

5.2.1 时间序列查询109

5.2.2 TopN查询111

5.2.3 分组查询113

5.2.4 元数据查询117

5.2.5 搜索查询121

5.3 查询API125

5.3.1 RESTful介绍125

5.3.2 Jersey客户端126

5.4 小结129

第6章 日志收集130

6.1 Flume介绍130

6.1.1 基本架构131

6.2 Flume应用实践144

6.2.1 拦截器、选择器实践144

6.2.2 负载均衡、故障转移实践149

6.2.3 设计与实践150

6.3 小结154

第7章 分布式消息队列155

7.1 Kafka介绍155

7.1.1 基本架构155

7.1.2 高吞吐的实现157

7.1.3 高可用的实现160

7.2 安装部署161

7.2.1 Broker配置参数161

7.2.2 分布式部署162

7.3 客户端API163

7.3.1 Producer API164

7.3.2 Consumer API165

7.4 小结169

第三部分 项目实践172

第8章 数据平台172

8.1 需求分析172

8.2 功能实现173

8.2.1 架构设计173

8.2.2 关键功能实现175

8.3 小结184

第9章 监控系统185

9.1 InfluxDB185

9.1.1 InfluxDB简介186

9.1.2 InfluxDB安装186

9.1.3 InfluxDB操作188

9.1.4 InfluxDB客户端191

9.2 JMXTrans192

9.2.1 JMXTrans介绍192

9.2.2 JMXTrans安装194

9.2.3 JMXTrans使用195

9.3 Grafana198

9.3.1 Grafana安装198

9.3.2 Grafana使用199

9.4 小结208