spark streaming教程基于原理到实战开发的spark视频教程
分类：大数据视频教程-基础与教学实战 文章来源：IT教程屋 编辑作者：晴天
一、spark streaming教程基于原理到实战开发的spark视频教程课程介绍
1）本套spark streaming教程为关于Spark Streanming 实时流处理项目实战的spark视频教程，该项目将会带领大家从实时数据的产生以及流向等各个环节逐一为大家详细系统的学习讲解。
2）本套spark streaming实战教程通过集存主流的分布式日志收集框架、zk、配合分布式消息队列kafka、分布式数据库Hbase、以及当前最火爆的spark streaming等主流技术打造实时流处理项目实战，确保童鞋们学完之后掌握实时流处理的全部的工作流程，并能够自己开发出一个完整的作品。
3）本套基于spark streaming的sprak 视频教程旨在帮助童鞋们提升大数据技术水平，由基础入门到精通到实战的方式循序渐进。
4）通过该课程的学习和实践，童鞋们一定能够达到大数据中级工程师的技术水平。
二、spark streaming教程基于原理到实战开发的spark视频教程功能介绍
1）统计实时实战课程的访问量、统计搜索引擎引流过来的实战课程的访问量、需求分析、数据产生、数据采集、数据统计分析、数据可视化操作等等各种功能。
三、spark streaming实战视频教程第一部分课程大纲
| 1-1导学 |
| 1-2授课习惯和学习建议 |
| 1-3 OOTB环境使用演示 |
| 1-4 Linux环境及软件版本介绍 |
| 1-5 Spark版本升级 |
| 2-1 课程目录 |
| 2-2 业务现状分析 |
| 2-3 实时流处理产生背景 |
| 2-4 实时流处理概述 |
| 2-5 离线计算和实时计算对比 |
| 2-6 实时流处理框架对比 |
| 2-7 实时流处理架构及技术选型 |
| 2-8 实时流处理在企业中的应用 |
| 3-1 课程目录 |
| 3-2 业务现状分析 |
| 3-3 Flume概述 |
| 3-4 Flume架构及核心组件 |
| 3-5 Flume&JDK环境部署 |
| 3-6 Flume实战案例一 |
| 3-7 Flume实战案例二 |
| 3-8 Flume实战案例三(重点掌握) |
| 4-1 课程目录 |
| 4-2 Kafka概述 |
| 4-3 Kafka架构及核心概念 |
| 4-4 Kafka单节点单Broker部署之Zookeeper安装 |
| 4-5 Kafka单节点单broker的部署及使用 |
| 4-6 Kafka单节点多broker部署及使用 |
| 4-7 Kafka容错性测试 |
| 4-8 使用IDEA+Maven构建开发环境 |
| 4-9 Kafka Producer Java API编程 |
| 5-1 课程目录 |
| 5-2 Scala安装 |
| 5-3 Maven安装 |
| 5-4 Hadoop环境搭建 |
| 5-5 HBase安装 |
| 5-6 Spark环境搭建 |
| 5-7 开发环境搭建 |
| 6-1 课程目录 |
| 6-2 Spark Streaming概述 |
| 6-3 Spark Streaming应用场景 |
| 6-4 Spark Streaming集成Spark生态系统的使用 |
| 6-5 Spark Streaming发展史 |
| 6-6 从词频统计功能着手入门Spark Streaming |
| 6-7 Spark Streaming工作原理(粗粒度) |
| 6-8 Spark Streaming工作原理(细粒度) |
四、spark streaming实战视频教程第二部分课程大纲
| 7-1 课程目录 |
| 7-2 核心概念之StreamingContext |
| 7-3 核心概念之DStream |
| 7-4 核心概念之Input DStreams和Receivers |
| 7-5 核心概念之Transformation和Output Operations |
| 8-1 课程目录 |
| 8-2 实战之updateStateByKey算子的使用 |
| 8-3 实战之将统计结果写入到MySQL数据库中 |
| 8-4 实战之窗口函数的使用 |
| 8-5 实战之黑名单过滤 |
| 9-1 课程目录 |
| 9-2 Push方式整合之概述 |
| 9-3 Push方式整合之Flume Agent配置开发 |
| 9-4 Push方式整合之Spark Streaming应用开发 |
| 9-5 Push方式整合之本地环境联调 |
| 9-6 Push方式整合之服务器环境联调 |
| 9-7 Pull方式整合之概述 |
| 9-8 Pull方式整合之Flume Agent配置开发 |
| 9-9 Pull方式整合之Spark Streaming应用开发 |
| 9-10 Pull方式整合之本地环境联调 |
| 9-11 Pull方式整合之服务器环境联调 |
| 10-1 课程目录 |
| 10-2 Spark Streaming整合Kafka的版本选择详解 |
| 10-3 Receiver方式整合之概述 |
| 10-4 Receiver方式整合之Kafka测试 |
| 10-5 Receiver方式整合之Spark Streaming应用开发 |
| 10-6 Receiver方式整合之本地环境联调 |
| 10-7 Receiver方式整合之服务器环境联调及Streaming UI讲解 |
| 10-8 Direct方式整合之概述 |
| 10-9 Direct方式整合之Spark Streaming应用开发及本地环境测试 |
| 10-10 Direct方式整合之服务器环境联调 |
| 11-1 课程目录 |
| 11-2 处理流程画图剖析 |
| 11-3 日志产生器开发并结合log4j完成日志的输出 |
| 11-4 使用Flume采集Log4j产生的日志 |
| 11-5 使用KafkaSInk将Flume收集到的数据输出到Kafka |
| 11-6 Spark Streaming消费Kafka的数据进行统计 |
| 11-7 本地测试和生产环境使用的拓展 |
| 12-1 课程目录 |
| 12-2 需求说明 |
| 12-3 用户行为日志介绍 |
| 12-4 Python日志产生器开发之产生访问url和ip信息 |
| 12-5 Python日志产生器开发之产生referer和状态码信息 |
| 12-6 Python日志产生器开发之产生日志访问时间 |
| 12-7 Python日志产生器服务器测试并将日志写入到文件中 |
| 12-8 通过定时调度工具每一分钟产生一批数据 |
| 12-9 使用Flume实时收集日志信息 |
| 12-10 对接实时日志数据到Kafka并输出到控制台测试 |
| 12-11 Spark Streaming对接Kafka的数据进行消费 |
| 12-12 使用Spark Streaming完成数据清洗操作 |
| 12-13 功能一之需求分析及存储结果技术选型分析 |
| 12-14 功能一之数据库访问DAO层方法定义 |
| 12-15 功能一之数据库访问DAO层方法实现 |
| 12-16 功能一之HBase操作工具类开发 |
| 12-17 功能一之将Spark Streaming的处理结果写入到HBase中 |
| 12-18 功能二之需求分析及HBase设计&HBase数据访问层开发 |
| 12-19 功能二之功能实现及本地测试 |
| 12-20 将项目运行在服务器环境中 |
| 13-1 课程目录 |
| 13-2 为什么需要可视化 |
| 13-3 构建Spring Boot项目 |
| 13-4 Echarts概述 |
| 13-5 Spring Boot整合Echarts绘制静态数据柱状图 |
| 13-6 Spring Boot整合Echarts绘制静态数据饼图 |
| 13-7 项目目录调整 |
| 13-8 根据天来获取HBase表中的实战课程访问次数 |
| 13-9 实战课程访问量domain以及dao开发 |
| 14-1 课程目录 |
| 14-2 使用Java开发Spark应用程序 |
| 14-3 使用Java开发Spark Streaming应用程序 |
|
相关文章 |
