轻松入门大数据玩转Flink，打造湖仓一体架构

简介

课程简介

轻松入门大数据玩转Flink，打造湖仓一体架构视频课程，由办公模板库编程课堂网精心整理发布。数据湖方向是未来几年的最大发展方向，本课基于Flink+Hudi系统讲解构建数据湖。本课讲解了Kafka、Flink、CDC、Hudi、Canal、ClickHouse等常用大数据技术栈，深度讲解各框架及功能相关源码，手把手完成一个大型项目的搭建，提升实战能力，稳扎稳打掌握

从0基础开始，难度由浅入深，层层递进直达重点

从通俗易懂的电商行业案例出发，基于Flink、ClickHouse和Hudi等技术框架，实现多场景、多业务的实时处理以及数据湖

课程目录

├──第1章大厂技术首选高薪必备：揭开Flink的神秘面纱/
│ ├── [ 64M] 1-1 高薪大数据工程师必备技能，你掌握了么？
│ ├── [7.0M] 1-2 本章概览
│ ├── [149M] 1-3 认识Flink
│ ├── [103M] 1-4 部署应用到任意地方&运行任意规模应用
│ ├── [ 94M] 1-5 Flink的起源及发展史
│ ├── [251M] 1-6 Flink中的API
│ ├── [ 94M] 1-7 Flink核心特性
│ └── [111M] 1-8 Flink对比Spark
├──第2章批流一体丝滑开发体验：快速上手使用Flink进行编程试看/
│ ├── [8.7M] 2-1 本章概览
│ ├── [ 69M] 2-10 Flink对接socket数据并进行统计分析
│ ├── [229M] 2-2 基于Flink官方提供的命令构建Flink应用程序
│ ├── [206M] 2-3 基于IDEA+Maven构建Flink应用程序的本地开发环境
│ ├── [ 87M] 2-4 词频统计案例需求分析
│ ├── [212M] 2-5 Flink以批处理的方式实现功能开发
│ ├── [ 74M] 2-6 开发重构之自定义Function的方式
│ ├── [195M] 2-7 开发重构之Lambda表达式写法
│ ├── [137M] 2-8 Flink以流处理的方式实现功能开发
│ └── [ 66M] 2-9 通过参数控制Flink以何种模式运行作业
├──第3章工欲善其事必先利其器：Flink部署及作业运行/
│ ├── [8.6M] 3-1 本章概览
│ ├── [ 94M] 3-10 取消作业的两种方式
│ ├── [151M] 3-11 【重要】如何使用命令行的方式提交Flink应用程序
│ ├── [381M] 3-12 初探Flink集群部署模式
│ ├── [ 95M] 3-13 Flink Standalone之Application Mode方式运行
│ ├── [250M] 3-14 Flink on YARN之Application Mode方式运行
│ ├── [155M] 3-3 从宏观角度认识Flink架构
│ ├── [175M] 3-4 再次认识JobManager和TaskManager
│ ├── [168M] 3-5 Flink Standalone模式部署及Flink UI介绍
│ ├── [ 72M] 3-6 flink run运行官方自带案例
│ ├── [225M] 3-7 【补充】如何在本地运行环境中设定Flink WebUI
│ ├── [ 82M] 3-8 动态传递参数给Flink应用程序改造
│ └── [ 53M] 3-9 使用Flink WebUI提交自己开发的Flink应用程序
├──第4章快速便捷接入各种数据：Flink Data Source API编程试看/
│ ├── [ 10M] 4-1 本章概览
│ ├── [282M] 4-10 自定义数据源实现MySQL数据的读取
│ ├── [171M] 4-2 DataStream API编程规范以及DataStream是什么
│ ├── [152M] 4-3 Flink多种执行环境的获取方式
│ ├── [291M] 4-4 结合源码分析Data Source
│ ├── [200M] 4-5 单并行度Source测试用例
│ ├── [181M] 4-6 多并行度Source测试用例
│ ├── [124M] 4-7 结合源码分析SourceFunction
│ ├── [131M] 4-8 自定义实现单并行度数据源
│ └── [ 18M] 4-9 自定义实现多并行度数据源
├──第5章高效简洁数据处理方式：Flink Transformation API编程/
│ ├── [4.8M] 5-1 本章概览
│ ├── [175M] 5-10 DataStream分流
│ ├── [ 40M] 5-2 认识Flink中有哪些Transformation算子
│ ├── [164M] 5-3 Tranformation算子实操之map算子
│ ├── [ 79M] 5-4 Tranformation算子实操之filter算子
│ ├── [103M] 5-5 Tranformation算子实操之flatMap算子
│ ├── [141M] 5-6 Tranformation算子实操之keyBy算子
│ ├── [ 72M] 5-7 Tranformation算子实操之union算子
│ ├── [108M] 5-8 Tranformation算子实操之connect算子
│ └── [277M] 5-9 Tranformation算子实操之自定义分区器
├──第6章处理结果吐出外部系统：Flink Sink API编程/
│ ├── [6.1M] 6-1 本章概览
│ ├── [101M] 6-2 认识Flink中的Sink
│ ├── [140M] 6-3 Sink算子实操之print【办公模板库编程 lexuecode.com】
│ ├── [ 61M] 6-4 Sink算子实操之自定义Sink到终端
│ ├── [231M] 6-5 Sink算子实操之自定义Sink到文件系统
│ ├── [216M] 6-6 Flink处理结果输出到Redis中
│ ├── [211M] 6-7 Flink处理结果输出到MySQL中
│ └── [143M] 6-8 Sink算子实操之输出到socket
├──第7章玩转Flink项目实战之一：实时统计之商品分析/
│ ├── [4.1M] 7-1 本章概览
│ ├── [ 84M] 7-10 自定义RedisSink
│ ├── [194M] 7-11 实现改造并进行统计结果的diff
│ ├── [ 61M] 7-12 拓展
│ ├── [ 55M] 7-2 企业中基于Flink实时处理的架构分析
│ ├── [ 58M] 7-3 需求分析
│ ├── [ 58M] 7-4 本地开发环境搭建
│ ├── [147M] 7-5 项目日志字段说明及生产数据注意事项
│ ├── [136M] 7-6 对接数据及清洗
│ ├── [ 43M] 7-8 统计结果
│ └── [ 71M] 7-9 统计结果入Redis库
├──第8章一起揭开Kafka神秘面纱：Kafka架构&核心术语/
│ ├── [6.0M] 8-1 本章概览
│ ├── [108M] 8-2 认识JMS
│ ├── [144M] 8-3 通过官网的介绍知晓Kafka是什么
│ ├── [ 53M] 8-4 自我语言总结Kafka是什么
│ ├── [ 35M] 8-5 Kafka在大数据中的典型使用场景screenflow
│ └── [170M] 8-6 图解Kafka架构
└──第9章工欲善其事必先利其器：Kafka部署及监控/
├── [8.1M] 9-1 本章概览
├── [ 35M] 9-2 动起我们的小手进行单节点单Kafka的部署（上）
├── [303M] 9-3 动起我们的小手进行单节点单Kafka的部署（下）
├── [148M] 9-4 kafka-topics命令行核心参数讲解
├── [182M] 9-5 Kafka Topic命令行操作
├── [124M] 9-6 Kafka生产者消费者命令行操作
├── [134M] 9-7 动起我们的小手进行单节点多Kafka的部署
├── [ 61M] 9-8 单节点多Kafka脚本命令测试
└── [135M] 9-9 Kafka监控部署及使用
├──第10章深度剖析Kafka生产者：消息发送流程&API编程&调优/
│ ├── [10.0M] 10-1 本章概览
│ ├── [186M] 10-10 Kafka分区策略结合源码分析进行功能验证
│ ├── [101M] 10-11 Kafka自定义分区器功能开发及测试
│ ├── [185M] 10-12 Kafka性能调优参数在代码中的使用
│ ├── [164M] 10-13 【经典面试题–必掌握】谈谈你对Kafka中的副本以及同步副本的看法
│ ├── [270M] 10-14 【经典面试题–必掌握】谈谈你对Kafka中的acks的看法
│ ├── [ 44M] 10-15 【经典面试题–必掌握】谈谈你对Kafka中的消费语义的看法
│ ├── [203M] 10-16 精准一次消费实现之幂等性
│ ├── [103M] 10-17 精准一次消费实现之事务
│ ├── [102M] 10-18 精准一次消费实现之事务功能开发及测试
│ ├── [ 28M] 10-19 Kafka中Topic内的Partition中数据的有序性
│ ├── [142M] 10-2 【经典面试题–必掌握】生产者消息发送流程
│ ├── [222M] 10-3 生产者消息发送流程核心参数详解
│ ├── [253M] 10-4 生产者API开发之普通异步发送
│ ├── [126M] 10-5 生产者API开发之普通异步发送代码重构
│ ├── [103M] 10-6 生产者API开发之带回调的异步发送
│ ├── [ 44M] 10-7 生产者API开发之同步发送
│ ├── [ 81M] 10-8 Kafka的分区机制能为我们带来什么
│ └── [138M] 10-9 Kafka分区策略结合源码分析
├──第11章深入剖析Kafka Broker：Kafka消息高效存储机制/
│ ├── [4.1M] 11-1 本章概览
│ ├── [249M] 11-2 Kafka相关信息在ZK上的存储机制
│ ├── [ 60M] 11-3 Leader选择与ZK的关系
│ ├── [122M] 11-4 Kafka副本机制
│ ├── [141M] 11-5 Kafka数据存储机制
│ ├── [441M] 11-6 Kafka数据存储机制更深入讲解
│ └── [124M] 11-7 Kafka核心参数讲解
├──第12章深入剖析Kafka消费者：消息消费流程&API编程&调优/
│ ├── [6.3M] 12-1 本章概览
│ ├── [ 90M] 12-10 消费者API编程之多消费者消费各自分区数据
│ ├── [238M] 12-11 Kafka分区策略之Range
│ ├── [ 90M] 12-12 Kafka的Rebalance机制
│ ├── [205M] 12-13 根据源码描述测试Range的分区策略及Rebalance
│ ├── [ 87M] 12-14 统一思想完成其他策略的验证
│ ├── [116M] 12-15 认识__consumer_offsets
│ ├── [240M] 12-16 Kafka offset管理之自动提交
│ ├── [ 58M] 12-17 Kafka offset管理之手动提交
│ ├── [ 89M] 12-18 offset管理不当带来的隐患
│ ├── [134M] 12-2 Kafka为什么使用的是pull的消费方式
│ ├── [ 25M] 12-3 有了消费者之后为什么还需要消费者组
│ ├── [ 73M] 12-4 消费者组和Topic的关系
│ ├── [165M] 12-5 Kafka消费流程
│ ├── [417M] 12-6 结合源码了解GroupCoordinator初始化过程
│ ├── [264M] 12-7 消费者API编程之单消费者消费所有分区数据（上）
│ ├── [206M] 12-8 消费者API编程之单消费者消费所有分区数据（下）
│ └── [132M] 12-9 消费者API编程之消费指定分区数据
├──第13章经典Kafka CP整合使用：Kafka整合外部系统/
│ ├── [3.3M] 13-1 本章概览
│ ├── [ 72M] 13-2 认识Kafka在离线&实时处理处理架构中的位置
│ ├── [203M] 13-3 Flume Sink到Kafka方案理解
│ ├── [174M] 13-4 Flume Sink到Kafka功能开发及测试
│ ├── [132M] 13-5 Flume KafkaSource对接到终端功能开发及测试
│ ├── [190M] 13-6 Flink KafkaSource解读
│ ├── [105M] 13-7 Flink KafkaSource功能开发及测试
│ └── [127M] 13-8 Flink KafkaSink功能开发及测试
├──第14章玩转Flink项目实战之二：实时统计之商品分析(对接Kafka)/
│ ├── [4.3M] 14-1 本章概览
│ ├── [ 25M] 14-2 架构及内容介绍
│ ├── [205M] 14-3 Flink接入Kafka数据
│ ├── [ 97M] 14-4 重构代码
│ ├── [253M] 14-5 Flink Stream关联MySQL数据操作
│ ├── [196M] 14-6 Flink Asynchronous IO
│ └── [272M] 14-7 Flink异步IO读取MySQL的数据
├──第15章时间对实时处理的影响：Flink时间语义及Window API篇/
│ ├── [8.9M] 15-1 本章概览
│ ├── [123M] 15-10 动手实操之CountWindow
│ ├── [131M] 15-11 动手实操之TumblingWindow
│ ├── [ 70M] 15-12 动手实操之SlidingWindow
│ ├── [ 31M] 15-13 动手实操之SessionWindow
│ ├── [146M] 15-14 Flink支持的WindowFunction
│ ├── [121M] 15-15 WindowFunction动手实操之ReduceFunction
│ ├── [182M] 15-16 WindowFunction动手实操之AggregateFunction
│ ├── [158M] 15-17 WindowFunction动手实操之ProcessWindowFunction
│ ├── [ 34M] 15-18 WindowFunction动手实操之AllWindowFunction
│ ├── [307M] 15-19 WindowFunction动手实操之全量配合增量使用
│ ├── [317M] 15-2 揭开Flink时间语义的面纱
│ ├── [132M] 15-3 时间语义如何选择呢
│ ├── [ 75M] 15-4 Window在实时计算中的地位
│ ├── [117M] 15-5 Window的分类
│ ├── [226M] 15-6 Window Assigners的职责及对应Window的分类
│ ├── [ 78M] 15-7 Tumbling Window
│ ├── [136M] 15-8 Sliding Windows
│ └── [ 96M] 15-9 Session Windows
├──第16章延迟乱序数据解决方案：Watermark在Flink中的使用/
│ ├── [3.8M] 16-1 本章概览
│ ├── [ 84M] 16-2 引入WM
│ ├── [ 72M] 16-3 WM策略
│ ├── [288M] 16-4 WM策略代码演示
│ ├── [194M] 16-5 测试数据的WM
│ ├── [171M] 16-6 【重要】综合编程之滚动窗口
│ ├── [ 99M] 16-7 【重要】综合编程之滑动窗口
│ └── [355M] 16-8 【重要】数据延迟&乱序解决方案
├──第17章 Flink容错核心状态管理：状态在Flink中的应用/
│ ├── [7.6M] 17-1 本章概览
│ ├── [159M] 17-10 process方法的用法三
│ ├── [370M] 17-11 Checkpoint配置参数
│ ├── [552M] 17-12 Flink Task重启策略
│ ├── [422M] 17-13 [重要]Flink State Backend【办公模板库编程 lexuecode.com】
│ ├── [ 92M] 17-2 初识State
│ ├── [214M] 17-3 自定义完成类似Flink状态管理的功能
│ ├── [391M] 17-4 Flink KeyedState的使用
│ ├── [283M] 17-5 [重要]Flink Operator State的使用并体会Flink State的强大特性
│ ├── [341M] 17-6 Flink ValueState编程
│ ├── [356M] 17-7 Flink State Ttl编程
│ ├── [102M] 17-8 process方法的用法一
│ └── [ 91M] 17-9 process方法的用法二
├──第18章玩转Flink项目实战之三：实时统计之数据大盘/
│ ├── [4.9M] 18-1 本章概览
│ ├── [142M] 18-10 Flink checkpoint vs savepoint
│ ├── [179M] 18-2 多个Flink整合Kafka应用程序代码存在的问题
│ ├── [ 83M] 18-3 读取配置文件中的参数
│ ├── [130M] 18-4 Flink对接Kafka代码重构V1
│ ├── [ 52M] 18-5 Flink对接Kafka代码重构V2
│ ├── [ 71M] 18-6 【重要】 Flink EOS
│ ├── [131M] 18-7 【重要】 Flink EOS再次剖析
│ ├── [233M] 18-8 Flink EOS代码开发及本地测试并打包
│ └── [ 75M] 18-9 Flink EOS全流程在服务器上测试

└── 第19章Flink更加精简的开发方式：FlinkTable/
├── [ 49M] 19-10获取到SQL中用到的表名或者视图名.mp4
├── [ 53M] 19-11临时表vs永久表.mp4
├── [ 34M] 19-12初始Connector.mp4
├── [ 93M] 19-13csv格式数据处理（上）.mp4
├── [ 45M] 19-14csv格式数据处理（下）.mp4
├── [133M] 19-15json格式数据处理.mp4
├── [ 97M] 19-16KafkaConnector的使用.mp4
├── [ 96M] 19-17时间语义在DDL中如何定义.mp4
├── [ 77M] 19-18UpsertKafkaConnector的使用.mp4
├── [ 70M] 19-19JDBCConnector的使用.mp4
├── [8.0M] 19-1本章概览.mp4
├── [ 25M] 19-20HBaseConnector的使用.mp4
├── [ 30M] 19-21拓展之开发实时处理平台.mp4
├── [115M] 19-22自定义UDF函数之ScalarFunction.mp4
├── [ 76M] 19-23自定义UDF函数之AggregateFunction.mp4
├── [ 65M] 19-24自定义UDF函数之TableFunction.mp4
├── [ 26M] 19-25SQL常用Query.mp4
├── [ 21M] 19-26sql-client的用法.mp4
├── [ 76M] 19-27WindowingTVF之TUMBLE.mp4
├── [ 40M] 19-28WindowingTVF之HOP.mp4
├── [ 65M] 19-29WindowTop-N.mp4
├── [ 59M] 19-2FlinkTableAPI&amp_SQL概述及依赖.mp4
├── [ 32K] 19-30【面试官来啦】面试讨论题.pdf
├── [ 82M] 19-3Concepts&amp_CommonAPI.mp4
├── [ 97M] 19-4DynamicTables.mp4
├── [105M] 19-5DataStream和Table之间的相互转换.mp4
├── [ 62M] 19-6TableAPI编程范式.mp4
├── [ 57M] 19-7TableAPI&amp_SQLQuery.mp4
├── [ 78M] 19-8创建Table对象.mp4
└── [ 78M] 19-9创建Table对象续.mp4