- 详细介绍
- 相关信息
Flink+ClickHouse 玩转企业级实时大数据开发 完整版
将带领大家来一起认识大数据处业界中主流的分布式计算框架有哪些,进而引出为什么要学习的Flink框架、Flink是什么、发展史、特点;了解业务常见的实时处理框架有哪些,并知道在大厂中都在使用Flink做什么。帮助大家对Flink有初步得认识~~ ...
第2章 Flink本地开发快速上手篇
本章中,将带领大家,通过Maven+IDEA构建基于Flink的开发环境,快速构建我们的第一个基于Flink的实时和离线分析案例。
第3章 Flink部署篇
本章中,将带领大家一起来完成Flink环境的部署,理解Flink的架构,如何提交作业到Flink集群运行,并认识Flink UI上核心参数的含义和使用策略。
第4章 Flink实时处理核心API基础篇
本章中,将向大家介绍,基于Flink的DataStream API内置的三大核心要素的编程:Source、Tranformation、Action
第5章 Flink实时处理核心API进阶篇
本章中,将向大家介绍,基于Flink的DataStream API的三大核心要素的的高级特性,以及如何进行自定义功能的开发。
第6章 【项目实战第一篇】基于Flink+ClickHouse构建大数据实时分析项目实战
本章节将实现项目实战的第一篇,从实时项目的架构、选型出发,介绍项目背景以及需求,并使用Flink已学知识点进行数据清洗、各种不同维度的功能开发、结果入库、自定义函数开发等
第7章 Flink时间语义及Window API篇
本章中,我们将从流处理过程中的三大时间语义出发,通过场景及案例分析帮助大家理解时间三兄弟是什么意思、三兄弟对于业务逻辑处理的影响、Window的分类、以及基于增量的全量的Window Function编程。
第8章 Flink Watermark
本章中将对Flink的Window编程中最核心的Watermark进行介绍。会带领大家认识,基于EventTime、Window、Watermark的综合使用,以及如何处理延迟或者乱序数据 。
第9章 Flink状态管理篇
本章带领大家学习在Flink流处理中为什么要引入State?State分类有哪些?如何自定义实现State功能?Flink中的Checkpoint机制有什么作用?重启策略以及StateBackend在生产上如何使用等等硬核内容。
第10章 【项目实战第二篇】基于Flink+ClickHouse构建大数据实时分析项目实战
本章节将实现项目实战的第二篇,将带领大家来学习在Flink中如何实现分组TopN的功能开发,以及使用Flink结合布隆过滤器,对项目实战第一篇的功能进行重构达到更好的性能。
第11章 【项目实战第三篇】基于Flink+ClickHouse构建大数据实时分析项目实战
本章节将实现项目实战的第三篇,也是整个项目中最重要得一篇。不管是采用哪种实时处理框架,对于如何做到一次性精准消费都是一个非常重要且棘手的问题,这不仅是面试过程中也是在实际开发过程中必须要掌握的。本章节要彻底解决这些问题,并对代码进行重构封装,达到以后能完全复用的目的。...
第12章 初识ClickHouse
本章节将介绍当前非常火的OLAP框架ClickHouse。会带领大家认识ClickHouse的适用场景、部署、如何使用CH的SQL语言对大数据场景进行统计分析表引擎、ClickHouse 核心 API编程,以及如何整合各种不同数据源数据。
第13章 【项目实战终极篇】基于Flink+ClickHouse构建大数据实时分析项目实战
本章节将实现项目实战的第四篇,也就是终极一战!本章中第一个案例将使用Flink对接ClickHouse,将处理过的明细数据写入ClickHouse,后续统计分析直接使用SQL完成,借以大大提升开发效率以及降低开发成本;第二个案例将使用Flink CEP完成恶意攻击风控告警,提高安全性。...
第14章 Flink DataSet篇
前面的章节主要是用流的角度进行阐述,本章中将介绍如何使用Flink的DataSet API完成离线场景的开发。通过本章得学习,相信大家能更好得理解Flink是如何能够支持批流一体的解决方案的。
第15章 Flink Table&SQL API篇
本章将介绍如何使用Table API进行业务处理,以及如何更方便的使用SQL的方式基于Flink进行处理。【注意:SQL的方式在生产上用的非常多,因为SQL对于开发人员来说,门槛极低,只要使用SQL就可以进行大数据的统计分析操作,这是一件极好极好的事情】 ...
第16章 Flink版本升级篇
本章中,将带领大家知晓大数本章节将介绍Flink版本升级时的注意事项:如,代码兼容性、服务器环境注意事项等。
第17章 【拓展】基于Flink构建实时数仓项目实战
本章中,将拓展讲解基于Canal、Kafka、Flink来构建实时数仓,掌握数仓的常用分层方式,业务数据的实时采集、双流join等
第18章 总结和展望
本章节将对课程讲解的核心内容进行总结,并提出对未来发展的展望。