2023李老师教你从基础到高阶玩转flink大数据教程 flink快速入门实战教程
-
第1章 大厂技术首选高薪必备：揭开Flink的神秘面纱
- 视频：1-1 高薪大数据工程师必备技能，你掌握了么？(08:16)
- 视频：1-2 本章概览(02:01)
- 视频：1-3 认识Flink(08:24)
- 视频：1-4 部署应用到任意地方&运行任意规模应用(05:04)
- 视频：1-5 Flink的起源及发展史(05:29)
- 视频：1-6 Flink中的API(09:33)
- 视频：1-7 Flink核心特性(05:44)
- 视频：1-8 Flink对比Spark(07:32)
- 图文：1-9 【科普小贴士】Flink发展史&特点&行业应用
- 图文：1-10 【面试官来啦】面试讨论题
- 作业：1-11 【练练练】阶段作业题
第2章 批流一体丝滑开发体验：快速上手使用Flink进行编程
- 视频：2-1 本章概览(02:42)
- 视频：2-2 基于Flink官方提供的命令构建Flink应用程序(13:37)
- 视频：2-3 基于IDEA+Maven构建Flink应用程序的本地开发环境(11:25)
- 视频：2-4 词频统计案例需求分析(07:41)
- 视频：2-5 Flink以批处理的方式实现功能开发(11:57)
- 视频：2-6 开发重构之自定义Function的方式(04:20)
- 视频：2-7 开发重构之Lambda表达式写法(11:26)
- 视频：2-8 Flink以流处理的方式实现功能开发(07:44)
- 视频：2-9 通过参数控制Flink以何种模式运行作业(03:48)
- 视频：2-10 Flink对接socket数据并进行统计分析(03:25)
- 作业：2-11 【练练练】阶段作业题
第3章 工欲善其事必先利其器：Flink部署及作业运行
- 视频：3-1 本章概览(03:39)
- 图文：3-2 【环境配置】云主机开通及配置
- 视频：3-3 从宏观角度认识Flink架构(11:23)
- 视频：3-4 再次认识JobManager和TaskManager(09:42)
- 视频：3-5 Flink Standalone模式部署及Flink UI介绍(10:38)
- 视频：3-6 flink run运行官方自带案例(03:24)
- 视频：3-7 【补充】如何在本地运行环境中设定Flink WebUI(07:14)
- 视频：3-8 动态传递参数给Flink应用程序改造(04:02)
- 视频：3-9 使用Flink WebUI提交自己开发的Flink应用程序(03:33)
- 视频：3-10 取消作业的两种方式(03:39)
- 视频：3-11 【重要】如何使用命令行的方式提交Flink应用程序(08:11)
- 视频：3-12 初探Flink集群部署模式(13:20)
- 视频：3-13 Flink Standalone之Application Mode方式运行(05:37)
- 视频：3-14 Flink on YARN之Application Mode方式运行(08:46)
- 图文：3-15 【面试官来啦】面试讨论题
- 作业：3-16 【练练练】阶段作业题
第4章 快速便捷接入各种数据：Flink Data Source API编程
- 视频：4-1 本章概览(03:14)
- 视频：4-2 DataStream API编程规范以及DataStream是什么(10:02)
- 视频：4-3 Flink多种执行环境的获取方式(08:15)
- 视频：4-4 结合源码分析Data Source(11:17)
- 视频：4-5 单并行度Source测试用例(09:54)
- 视频：4-6 多并行度Source测试用例(07:55)
- 视频：4-7 结合源码分析SourceFunction(04:48)
- 视频：4-8 自定义实现单并行度数据源(07:20)
- 视频：4-9 自定义实现多并行度数据源(01:03)
- 视频：4-10 自定义数据源实现MySQL数据的读取(16:36)
- 图文：4-11 【面试官来啦】面试讨论题
- 作业：4-12 【练练练】阶段作业题
第5章 高效简洁数据处理方式：Flink Transformation API编程
- 视频：5-1 本章概览(01:52)
- 视频：5-2 认识Flink中有哪些Transformation算子(02:29)
- 视频：5-3 Tranformation算子实操之map算子(09:15)
- 视频：5-4 Tranformation算子实操之filter算子(04:38)
- 视频：5-5 Tranformation算子实操之flatMap算子(05:54)
- 视频：5-6 Tranformation算子实操之keyBy算子(08:15)
- 视频：5-7 Tranformation算子实操之union算子(04:14)
- 视频：5-8 Tranformation算子实操之connect算子(06:22)
- 视频：5-9 Tranformation算子实操之自定义分区器(16:01)
- 视频：5-10 DataStream分流(09:52)
- 图文：5-11 【面试官来啦】面试讨论题
- 作业：5-12 【练练练】阶段作业题
第6章 处理结果吐出外部系统：Flink Sink API编程
- 视频：6-1 本章概览(02:17)
- 视频：6-2 认识Flink中的Sink(05:25)
- 视频：6-3 Sink算子实操之print(07:35)
- 视频：6-4 Sink算子实操之自定义Sink到终端(03:36)
- 视频：6-5 Sink算子实操之自定义Sink到文件系统(10:45)
- 视频：6-6 Flink处理结果输出到Redis中(12:04)
- 视频：6-7 Flink处理结果输出到MySQL中(11:24)
- 视频：6-8 Sink算子实操之输出到socket(04:55)
- 图文：6-9 【面试官来啦】面试讨论题
- 作业：6-10 【练练练】阶段作业题
第7章 玩转Flink项目实战之一：实时统计之商品分析
- 视频：7-1 本章概览(01:36)
- 视频：7-2 企业中基于Flink实时处理的架构分析(11:37)
- 视频：7-3 需求分析(07:39)
- 视频：7-4 本地开发环境搭建(03:38)
- 视频：7-5 项目日志字段说明及生产数据注意事项(04:43)
- 视频：7-6 对接数据及清洗(07:25)
- 视频：7-7 日期格式清洗(03:23)
- 视频：7-8 统计结果(01:58)
- 视频：7-9 统计结果入Redis库(03:53)
- 视频：7-10 自定义RedisSink(04:49)
- 视频：7-11 实现改造并进行统计结果的diff(09:45)
- 视频：7-12 拓展(04:46)
- 图文：7-13 【面试官来啦】面试讨论题
- 作业：7-14 【练练练】阶段作业题
第8章 一起揭开Kafka神秘面纱：Kafka架构&核心术语
- 视频：8-1 本章概览(01:53)
- 视频：8-2 认识JMS(06:21)
- 视频：8-3 通过官网的介绍知晓Kafka是什么(10:03)
- 视频：8-4 自我语言总结Kafka是什么(05:34)
- 视频：8-5 Kafka在大数据中的典型使用场景screenflow(06:53)
- 视频：8-6 图解Kafka架构(16:31)
- 图文：8-7 【面试官来啦】面试讨论题
第9章 工欲善其事必先利其器：Kafka部署及监控
- 视频：9-1 本章概览(02:56)
- 视频：9-2 动起我们的小手进行单节点单Kafka的部署（上）(02:27)
- 视频：9-3 动起我们的小手进行单节点单Kafka的部署（下）(18:22)
- 视频：9-4 kafka-topics命令行核心参数讲解(08:07)
- 视频：9-5 Kafka Topic命令行操作(10:11)
- 视频：9-6 Kafka生产者消费者命令行操作(08:40)
- 视频：9-7 动起我们的小手进行单节点多Kafka的部署(09:04)
- 视频：9-8 单节点多Kafka脚本命令测试(03:41)
- 视频：9-9 Kafka监控部署及使用(07:56)
- 图文：9-10 【面试官来啦】面试讨论题
- 作业：9-11 【练练练】阶段作业题
第10章 深度剖析Kafka生产者：消息发送流程&API编程&调优
- 视频：10-1 本章概览(03:12)
- 视频：10-2 【经典面试题–必掌握】生产者消息发送流程(21:39)
- 视频：10-3 生产者消息发送流程核心参数详解(11:38)
- 视频：10-4 生产者API开发之普通异步发送(14:34)
- 视频：10-5 生产者API开发之普通异步发送代码重构(06:23)
- 视频：10-6 生产者API开发之带回调的异步发送(04:59)
- 视频：10-7 生产者API开发之同步发送(02:41)
- 视频：10-8 Kafka的分区机制能为我们带来什么(10:29)
- 视频：10-9 Kafka分区策略结合源码分析(06:53)
- 视频：10-10 Kafka分区策略结合源码分析进行功能验证(10:56)
- 视频：10-11 Kafka自定义分区器功能开发及测试(05:48)
- 视频：10-12 Kafka性能调优参数在代码中的使用(08:06)
- 视频：10-13 【经典面试题–必掌握】谈谈你对Kafka中的副本以及同步副本的看法(11:29)
- 视频：10-14 【经典面试题–必掌握】谈谈你对Kafka中的acks的看法(17:20)
- 视频：10-15 【经典面试题–必掌握】谈谈你对Kafka中的消费语义的看法(03:45)
- 视频：10-16 精准一次消费实现之幂等性(10:56)
- 视频：10-17 精准一次消费实现之事务(05:09)
- 视频：10-18 精准一次消费实现之事务功能开发及测试(05:31)
- 视频：10-19 Kafka中Topic内的Partition中数据的有序性(02:14)
- 图文：10-20 【面试官来啦】面试讨论题
- 作业：10-21 【练练练】阶段作业题
第11章 深入剖析Kafka Broker：Kafka消息高效存储机制
- 视频：11-1 本章概览(01:32)
- 视频：11-2 Kafka相关信息在ZK上的存储机制(14:45)
- 视频：11-3 Leader选择与ZK的关系(10:48)
- 视频：11-4 Kafka副本机制(11:28)
- 视频：11-5 Kafka数据存储机制(08:18)
- 视频：11-6 Kafka数据存储机制更深入讲解(26:03)
- 视频：11-7 Kafka核心参数讲解(07:49)
- 图文：11-8 【面试官来啦】面试讨论题
第12章 深入剖析Kafka消费者：消息消费流程&API编程&调优
- 视频：12-1 本章概览(02:10)
- 视频：12-2 Kafka为什么使用的是pull的消费方式(10:12)
- 视频：12-3 有了消费者之后为什么还需要消费者组(07:11)
- 视频：12-4 消费者组和Topic的关系(08:45)
- 视频：12-5 Kafka消费流程(12:12)
- 视频：12-6 结合源码了解GroupCoordinator初始化过程(20:30)
- 视频：12-7 消费者API编程之单消费者消费所有分区数据（上）(11:25)
- 视频：12-8 消费者API编程之单消费者消费所有分区数据（下）(10:57)
- 视频：12-9 消费者API编程之消费指定分区数据(05:44)
- 视频：12-10 消费者API编程之多消费者消费各自分区数据(03:55)
- 视频：12-11 Kafka分区策略之Range(10:32)
- 视频：12-12 Kafka的Rebalance机制(05:18)
- 视频：12-13 根据源码描述测试Range的分区策略及Rebalance(11:36)
- 视频：12-14 统一思想完成其他策略的验证(03:12)
- 视频：12-15 认识__consumer_offsets(07:53)
- 视频：12-16 Kafka offset管理之自动提交(09:38)
- 视频：12-17 Kafka offset管理之手动提交(03:17)
- 视频：12-18 offset管理不当带来的隐患(05:10)
- 图文：12-19 【面试官来啦】面试讨论题
- 作业：12-20 【练练练】阶段作业题
第13章 经典Kafka CP整合使用：Kafka整合外部系统
- 视频：13-1 本章概览(01:10)
- 视频：13-2 认识Kafka在离线&实时处理处理架构中的位置(13:13)
- 视频：13-3 Flume Sink到Kafka方案理解(06:34)
- 视频：13-4 Flume Sink到Kafka功能开发及测试(09:53)
- 视频：13-5 Flume KafkaSource对接到终端功能开发及测试(07:25)
- 视频：13-6 Flink KafkaSource解读(10:40)
- 视频：13-7 Flink KafkaSource功能开发及测试(05:48)
- 视频：13-8 Flink KafkaSink功能开发及测试(06:09)
- 作业：13-9 【练练练】阶段作业题
第14章 玩转Flink项目实战之二：实时统计之商品分析(对接Kafka)
- 视频：14-1 本章概览(01:19)
- 视频：14-2 架构及内容介绍(04:24)
- 视频：14-3 Flink接入Kafka数据(10:27)
- 视频：14-4 重构代码(04:15)
- 视频：14-5 Flink Stream关联MySQL数据操作(13:15)
- 视频：14-6 Flink Asynchronous IO(11:23)
- 视频：14-7 Flink异步IO读取MySQL的数据(15:26)
- 图文：14-8 【面试官来啦】面试讨论题
- 作业：14-9 【练练练】阶段作业题
第15章 时间对实时处理的影响：Flink时间语义及Window API篇
- 视频：15-1 本章概览(02:51)
- 视频：15-2 揭开Flink时间语义的面纱(17:30)
- 视频：15-3 时间语义如何选择呢(10:27)
- 视频：15-4 Window在实时计算中的地位(05:39)
- 视频：15-5 Window的分类(09:40)
- 视频：15-6 Window Assigners的职责及对应Window的分类(07:32)
- 视频：15-7 Tumbling Window(04:37)
- 视频：15-8 Sliding Windows(07:53)
- 视频：15-9 Session Windows(04:51)
- 视频：15-10 动手实操之CountWindow(11:13)
- 视频：15-11 动手实操之TumblingWindow(08:44)
- 视频：15-12 动手实操之SlidingWindow(07:38)
- 视频：15-13 动手实操之SessionWindow(02:11)
- 视频：15-14 Flink支持的WindowFunction(08:31)
- 视频：15-15 WindowFunction动手实操之ReduceFunction(08:59)
- 视频：15-16 WindowFunction动手实操之AggregateFunction(12:20)
- 视频：15-17 WindowFunction动手实操之ProcessWindowFunction(09:20)
- 视频：15-18 WindowFunction动手实操之AllWindowFunction(01:44)
- 视频：15-19 WindowFunction动手实操之全量配合增量使用(14:36)
- 图文：15-20 【面试官来啦】面试讨论题
- 作业：15-21 【练练练】阶段作业题
第16章 延迟乱序数据解决方案：Watermark在Flink中的使用
- 视频：16-1 本章概览(01:24)
- 视频：16-2 引入WM(09:50)
- 视频：16-3 WM策略(07:09)
- 视频：16-4 WM策略代码演示(14:27)
- 视频：16-5 测试数据的WM(11:25)
- 视频：16-6 【重要】综合编程之滚动窗口(10:07)
- 视频：16-7 【重要】综合编程之滑动窗口(07:09)
- 视频：16-8 【重要】数据延迟&乱序解决方案(17:31)
- 图文：16-9 【面试官来啦】面试讨论题
- 作业：16-10 【练练练】阶段作业题
第17章 Flink容错核心状态管理：状态在Flink中的应用
- 视频：17-1 本章概览(02:20)
- 视频：17-2 初识State(08:28)
- 视频：17-3 自定义完成类似Flink状态管理的功能(12:49)
- 视频：17-4 Flink KeyedState的使用(18:13)
- 视频：17-5 [重要]Flink Operator State的使用并体会Flink State的强大特性(14:10)
- 视频：17-6 Flink ValueState编程(19:02)
- 视频：17-7 Flink State Ttl编程(20:42)
- 视频：17-8 process方法的用法一(05:36)
- 视频：17-9 process方法的用法二(04:48)
- 视频：17-10 process方法的用法三(08:59)
- 视频：17-11 Checkpoint配置参数(13:56)
- 视频：17-12 Flink Task重启策略(22:25)
- 视频：17-13 [重要]Flink State Backend(13:16)
- 图文：17-14 【面试官来啦】面试讨论题
- 作业：17-15 【练练练】阶段作业题
第18章 玩转Flink项目实战之三：实时统计之数据大盘
- 视频：18-1 本章概览(01:48)
- 视频：18-2 多个Flink整合Kafka应用程序代码存在的问题(12:05)
- 视频：18-3 读取配置文件中的参数(07:34)
- 视频：18-4 Flink对接Kafka代码重构V1(07:11)
- 视频：18-5 Flink对接Kafka代码重构V2(03:12)
- 视频：18-6 【重要】 Flink EOS(12:03)
- 视频：18-7 【重要】 Flink EOS再次剖析(11:25)
- 视频：18-8 Flink EOS代码开发及本地测试并打包(08:57)
- 视频：18-9 Flink EOS全流程在服务器上测试(04:46)
- 视频：18-10 Flink checkpoint vs savepoint(06:04)
- 图文：18-11 【面试官来啦】面试讨论题
- 作业：18-12 【练练练】阶段作业题
第19章 Flink更加精简的开发方式：Flink Table & SQL API
- 视频：19-1 本章概览(03:00)
- 视频：19-2 Flink Table API&SQL概述及依赖(09:21)
- 视频：19-3 Concepts&Common API(08:36)
- 视频：19-4 Dynamic Tables(15:14)
- 视频：19-5 DataStream和Table之间的相互转换(17:32)
- 视频：19-6 Table API编程范式(10:26)
- 视频：19-7 Table API&SQL Query(09:09)
- 视频：19-8 创建Table对象(13:17)
- 视频：19-9 创建Table对象续(12:42)
- 视频：19-10 获取到SQL中用到的表名或者视图名(07:49)
- 视频：19-11 临时表vs永久表(08:50)
- 视频：19-12 初始Connector(05:40)
- 视频：19-13 csv格式数据处理（上）(15:24)
- 视频：19-14 csv格式数据处理（下）(07:40)
- 视频：19-15 json格式数据处理(21:21)
- 视频：19-16 Kafka Connector的使用(16:03)
- 视频：19-17 时间语义在DDL中如何定义(16:07)
- 视频：19-18 Upsert Kafka Connector的使用(12:21)
- 视频：19-19 JDBC Connector的使用(10:47)
- 视频：19-20 HBase Connector的使用(04:31)
- 视频：19-21 拓展之开发实时处理平台(05:49)
- 视频：19-22 自定义UDF函数之ScalarFunction(19:16)
- 视频：19-23 自定义UDF函数之AggregateFunction(12:24)
- 视频：19-24 自定义UDF函数之TableFunction(10:22)
- 视频：19-25 SQL常用Query(04:39)
- 视频：19-26 sql-client的用法(02:45)
- 视频：19-27 Windowing TVF之TUMBLE(12:13)
- 视频：19-28 Windowing TVF之HOP(06:36)
- 视频：19-29 Window Top-N(11:17)
- 图文：19-30 【面试官来啦】面试讨论题最近学习
- 作业：19-31 【练练练】阶段作业题
-
第20章 数据采集神器Flink CDC：基于Flink CDC 进行实时数据采集
- 视频：20-1 本章概览(00:49)
- 视频：20-2 实时数据采集场景介绍(05:09)
- 视频：20-3 Canal原理(05:58)
- 视频：20-4 Canal部署及使用(17:24)
- 视频：20-5 Canal编程(11:18)
- 视频：20-6 Canal编程测试(03:22)
- 视频：20-7 Flink CDC概述(06:58)
- 视频：20-8 DataStream API对接CDC(09:28)
- 视频：20-9 CDC从什么位置开始读取数据设置(02:28)
- 视频：20-10 自定义定制开发输出样式(10:37)
- 视频：20-11 FlinkCDC源码修改(14:13)
- 视频：20-12 FlinkCDC对接sql方式(05:58)
- 图文：20-13 【面试官来啦】面试讨论题
- 作业：20-14 【练练练】阶段作业题
第21章 玩转Flink项目实战之四：实时统计之直播榜分析
- 视频：21-1 本章概览(01:03)
- 视频：21-2 背景及数据准备(14:43)
- 视频：21-3 功能实现之数据接入(09:46)
- 视频：21-4 功能实现之数据处理及写入(12:41)
- 视频：21-5 可视化框架部署(10:47)
- 视频：21-6 可视化大屏制作(06:15)
- 视频：21-7 Flink处理过程简单化带来的好处(02:22)
- 图文：21-8 【面试官来啦】面试讨论题最近学习
- 作业：21-9 【练练练】阶段作业题
第22章 战斗民族开源神器ClickHouse：揭开CH的神秘面纱
- 视频：22-1 本章概览(01:43)
- 视频：22-2 产生背景(05:45)
- 视频：22-3 OLAP特性(11:39)
- 视频：22-4 列式存储特性(06:41)
- 视频：22-5 ClickHouse部署(09:11)
- 视频：22-6 ClickHouse核心目录(08:08)
- 视频：22-7 Clickhouse-client命令参数(06:18)
- 视频：22-8 ClickHouse官方数据使用说明(03:44)
- 视频：22-9 ClickHouse跑分(02:05)
- 作业：22-10 【练练练】阶段作业题
第23章 ClickHouse数据类型精讲：详解ClickHouse的各种数据类型的使用
- 视频：23-1 本章概览 (02:06)
- 视频：23-2 数据类型 (03:33)
- 视频：23-3 数值类型之整型 (06:16)
- 视频：23-4 数值类型之浮点型 (07:02)
- 视频：23-5 【重要】数值类型之Decimal (11:33)
- 视频：23-6 布尔类型 (02:11)
- 视频：23-7 【重要】String和FixedString类型 (09:27)
- 视频：23-8 UUID类型 (02:47)
- 视频：23-9 【重要】日期和时间类型 (14:01)
- 视频：23-10 Array类型 (08:16)
- 视频：23-11 Tuple类型 (05:26)
- 视频：23-12 Map类型 (03:17)
- 作业：23-13 【练练练】阶段作业题