驴妈妈大数据离线项目大数据实战全套视频教程
分类：大数据视频教程-基础与教学实战 文章来源：IT教程屋 编辑作者：晴天
驴妈妈大数据离线项目大数据实战课程导语
1、欢迎大家来到离线数据分析平台实战驴妈妈大数据离线项目的课程，本套课程可分为三个阶段五个章节共计220+课时为大家详细解读学习这门课程。
2、第一个阶段的课程学习大概有95节课时，该阶段主要是对该项目所用到的技术进行技能储备的阶段，让大家首先了解本次项目的整体架构、环境，学习完本课程等达到一个什么样的目标、以及掌握什么样的技术，技术能掌握到什么程度等。
3、第二个阶段的课程学习大概有10个左右的课程，这个阶段主要是对接下来的项目进行详细的需求分析，讨论数据结果如何展示，做出实际的静态页面展示效果图。
4、第三个阶段大概用100个课时左右的时间来讲解以及代码的实现，项目的测试、项目的性能优化部署上线等具体操作。
驴妈妈大数据离线项目课程要实现的目标
1、不管你之前对hadoop是否了解过，如果你从来没有了解过hadoop，那么通过学习本套课程会让你学习和掌握企业工作中hadoop的基本使用方法，如果你之前就学习过hadoop的话，通过本课程的学习会让你增加hadoop的项目实战经验。
2、通过本套课程的学习，学员们能够了解和掌握hadoop的适用场景，什么情况下会使用大数据hadoop以及在实际的工作中如何集成和使用hadoop。
hadoop的常用应用场景介绍
1、基于数据统计的大数据分析平台场景的运用，本次课程就是该场景下的离线数据分析平台。
2、推荐系统使用场景的运用，目前很多公司都在着手开始和创建自己的大数据推荐系统，如果从无到有的实现这么一个推荐系统可能会用大概半年到一年的时间才能够创建完成，如果使用hadoop自带推荐系统进行搭建的话，速度就会快上好几倍。
3、基于业务的底层存储系统应用场景的平台，目前以互联网公司为主的大数据量的爆发导致关系型数据库存储上的压力山大，使得更多的公司不得不改为nosql为代表的非关系型数据库，如hbase。
4、业务监控平台应用场景，这种监控平台可以帮助众多公司用于监控他们的其他平台系统的健康状况，以上几个场景是hadoop运用比较常见的，还有其它跟多应用场景就不在此一一赘述了，会在接下来的课程中渗透。
第一章 驴妈妈大数据离线项目基本技能储备
| 1.1、项目介绍 |
| 1.2、hadoop介绍 |
| 1.3、SSH免密码登录 |
| 1.4、JAVA安装 |
| 1.5、Hadoop安装及验证 |
| 1.6、shell命令相关配置信息 |
| 1.7、httpfs相关命令 |
| 1.8、集群启动相关命令介绍 |
| 1.9、集群启动相关命令操作 |
| 1.10、hdfs相关命令(上) |
| 1.11、hdfs相关命令(下) |
| 1.12、其他HadoopShell命令 |
| 1.13、HDFS结构介绍 |
| 1.14、windows开发环境搭建 |
| 1.15、HdfsJavaApi介绍1 |
| 1.16、HdfsJavaApi介绍2 |
| 1.17、HdfsJavaApi介绍3 |
| 1.18、MapReduce介绍 |
| 1.19、Wordcount实现 |
| 1.20、Wordcount运行介绍以及异常解决 |
| 1.21、倒排索引实现 |
| 1.22、InputFormat和OutputFormat介绍 |
| 1.23、自定义InputFormat实现2_1 |
| 1.24、自定义InputFormat实现2_2 |
| 1.25、自定义OutputFormat实现 |
| 1.26、案例演示 |
| 1.27、shuffle阶段介绍 |
| 1.28、自定义group+partitioner实现 |
| 1.29、案例damo编写 |
| 1.30、HBase结构介绍 |
| 1.31、HBase安装上 |
| 1.32、HBase安装下 |
| 1.33、hbase命令概述及帮助命令使用方式介绍 |
| 1.34、命名空间相关命令介绍 |
| 1.35、HBase Shell常用命令介绍 |
| 1.36、Scan命令详解 |
| 1.37、其他shell命令介绍 |
| 1.38、Java客户端概述以及Java开发Hbase基本环境搭建 |
| 1.39、HBaseAdmin类详细介绍 |
| 1.40、Put类详细介绍 |
| 1.41、Get和Delete类详细介绍 |
| 1.42、Scan类和Hbase连接池详细介绍 |
| 1.43、环境搭建 |
| 1.44、案例介绍 |
| 1.45、案例Mapper及Reducer类编写 |
| 1.46、案例执行入口代码编写及异常解决 |
| 1.47、Hive介绍 |
| 1.48、MYSQL安装 |
| 1.49、Hive安装 |
| 1.50、hive服务介绍 |
| 1.51、Database相关命令介绍 |
| 1.52、Hive表类型及创建命令格式介绍 |
| 1.53、Hive表创建案例介绍 |
| 1.54、Hive&Hbase关联介绍 |
| 1.55、导入数据命令介绍 |
| 1.56、select语句介绍1 |
| 1.57、select语句介绍2 |
| 1.58、join介绍 |
| 1.59、子查询介绍 |
| 1.60、导出数据和其他命令介绍 |
| 1.61、Hive函数介绍 |
| 1.62、UDF自定义函数实现 |
| 1.63、UDAF自定义函数实现1 |
| 1.64、UDAF自定义函数实现2 |
| 1.65、UDTF自定义函数实现 |
| 1.66、Hive自定义函数jar集成方式介绍 |
| 1.67、Nginx介绍 |
| 1.68、Flume结构介绍 |
| 1.69、Flume安装 |
| 1.70、Flume简单案例实现 |
| 1.71、Nginx+Flume+Hdfs日志收集案例实现 |
| 1.72、Sqoop介绍和安装 |
| 1.73、Sqoop基本命令介绍 |
| 1.74、Import命令介绍1 |
| 1.75、Import命令介绍2 |
| 1.76、Export命令介绍 |
| 1.77、Oozie介绍 |
| 1.78、Tomcat安装 |
| 1.79、Oozie安装 |
| 1.80、Oozie Workflow工作流介绍 |
| 1.81、Oozie Workflow编写规则和自定义介绍 |
| 1.82、Workflow案例1 |
| 1.83、Workflow案例2 |
| 1.84、Workflow案例3 |
| 1.85、Oozie Coordinator和Bundle介绍 |
| 1.86、Highcharts介绍 |
| 1.87、案例介绍1 |
| 1.88、案例介绍2 |
| 1.89、案例介绍3 |
| 1.90、案例介绍4 |
| 1.91、基本介绍 |
| 1.92、环境搭建 |
| 1.93、案例测试1 |
| 1.94、案例测试2 |
| 1.95、数据展示框架介绍 |
第二章 驴妈妈大数据离线项目需求介绍
| 2.1、bf_track项目总体介绍 |
| 2.2、JavaSDK需求分析介绍 |
| 2.3、JsSDK需求分析介绍1 |
| 2.4、JsSDK需求分析介绍2 |
| 2.5、bf_dataapi项目总体介绍 |
| 2.6、bf_dataapi页面展示介绍1 |
| 2.7、bf_dataapi页面展示介绍2 |
| 2.8、bf_dataapi页面展示介绍3 |
| 2.9、bfdataapi的restapi和bftransformer项目结构介绍 |
| 2.10、数据存储结构介绍1 |
| 2.11、数据存储结构介绍2 |
| 2.12、数据存储结构介绍3 |
第三章 用户行为数据收集模块实现讲解
| 3.1、SDK Engine入口类编写 |
| 3.2、SDK Monitor数据发送类编写 |
| 3.3、JavaSDK测试 |
| 3.4、JsSDK CookieUtil对象编写 |
| 3.5、JsSDK tracker对象编写1 |
| 3.6、JsSDK tracker对象编写2 |
| 3.7、JsSDK tracker对象编写3 |
| 3.8、JsSDK tracker对象编写4 |
| 3.9、JsSDK测试 |
第四章 数据分析模块讲解
| 4.1、UserAgent解析 |
| 4.2、IP解析1 |
| 4.3、IP解析2 |
| 4.4、EventLogConstants类编写 |
| 4.5、LoggerUtil日志解析工具类编写 |
| 4.6、AnalyserLogDataMapper类编写 |
| 4.7、AnalyserLogDataRunner类编写 |
| 4.8、测试1 |
| 4.9、测试2 |
| 4.10、BrowserDimension类编写 |
| 4.11、DateDimension类编写 |
| 4.12、PlatformDimension类编写 |
| 4.13、DimensionConverter类编写1 |
| 4.14、DimensionConverter类编写2 |
| 4.15、TransformerOutputFormat类编写1 |
| 4.16、TransformerOutputFormat类编写2 |
| 4.17、新增用户统计mr程序输出类编写 |
| 4.18、NewInstallUserMapper类编写 |
| 4.19、NewInstallUserRudecer类编写 |
| 4.20、NewInstallUserRunner类编写1 |
| 4.21、NewInstallUserRunner类编写2 |
| 4.22、NewInstallUser代码测试 |
| 4.23、TotalInstallUser统计代码编写 |
| 4.24、ActiveUserMapper类编写 |
| 4.25、ActiveUserReducer类编写 |
| 4.26、ActiveUserRunner类编写 |
| 4.27、Collector输出类编写及测试 |
| 4.28、活跃会员分析1 |
| 4.29、活跃会员分析2 |
| 4.30、MemberUtil类编写 |
| 4.31、NewMemberMapper类编写 |
| 4.32、NewMemberReducer类和Runner类编写 |
| 4.33、测试 |
| 4.34、SessionMapper类编写 |
| 4.35、SessionsReducer类编写 |
| 4.36、SessionsRunner类编写以及测试 |
| 4.37、HourlyActiveUser分析1 |
| 4.38、HourlyActiveUser分析2 |
| 4.39、HourlySession相关分析1 |
| 4.40、HourlySession相关分析2 |
| 4.41、Mapper编写 |
| 4.42、Reducer和Runner编写 |
| 4.43、测试 |
| 4.44、Mapper公用代码提取1 |
| 4.45、Mapper公用代码提取2 |
| 4.46、Runner公用代码提取1 |
| 4.47、Runner公用代码提取2 |
| 4.48、Runner公用代码提取3 |
| 4.49、统计规则介绍 |
| 4.50、LocationDimension类编写 |
| 4.51、Mapper类编写 |
| 4.52、Reducer和Runner类编写 |
| 4.53、测试 |
| 4.54、统计规则介绍 |
| 4.55、InboundDimension相关类编写 |
| 4.56、InboundMapper类编写1 |
| 4.57、InboundMapper类编写2 |
| 4.58、InboundReducer&Runner类编写以及测试 |
| 4.59、InboundBounceMapper类编写 |
| 4.60、InboundBounceReducer类编写1 |
| 4.61、InboundBounceReducer类编写2 |
| 4.62、InboundBounceRunner类编写以及测试 |
| 4.63、服务器hdfs参数调优 |
| 4.64、Linux文件句柄数操作 |
| 4.65、服务器hbase参数优化 |
| 4.66、服务器mapreduce参数调优 |
| 4.67、代码调优 |
| 4.68、Mapper&Reduce调优 |
| 4.69、Runner调优 |
| 4.70、服务器端相关类编写1 |
| 4.71、服务器端相关类编写2 |
| 4.72、client端相关类编写 |
| 4.73、测试 |
| 4.74、用户浏览深度Hive分析1 |
| 4.75、用户浏览深度Hive分析2 |
| 4.76、用户浏览深度Hive分析3 |
| 4.77、用户浏览深度Hive分析4 |
| 4.78、用户浏览深度Hive分析5 |
| 4.79、事件分析Hive编写1 |
| 4.80、事件分析Hive编写2 |
| 4.81、规则介绍以及外部表创建 |
| 4.82、Dimension操作相关UDF编写 |
| 4.83、订单数量分析1 |
| 4.84、订单数量分析2 |
| 4.85、订单金额分析 |
| 4.86、订单信息mysql保存 |
| 4.87、订单信息获取相关UDF编写 |
| 4.88、TotalAmount相关UDF编写 |
| 4.89、成功支付订单相关统计指标的分析 |
| 4.90、退款订单相关统计指标分析 |
| 4.91、Oozie流部署规则介绍 |
| 4.92、Oozie流编写1 |
| 4.93、Oozie流编写2 |
第五章 数据展示模块课程大纲
| 5.1、规则介绍 |
| 5.2、AEController编写1 |
| 5.3、AEController编写2 |
| 5.4、AEController编写3 |
| 5.5、AEController编写4 |
| 5.6、AEService编写 |
| 5.7、其他类编写 |
| 5.8、Spring配置信息编写及测试 |
| 5.9、后台程序编写 |
| 5.10、前台页面编写 |
| 5.11、程序后台编写 |
| 5.12、前端页面编写 |
| 5.13、后台程序编写 |
| 5.14、前端页面编写 |
| 5.15、后台程序编写 |
| 5.16、前端页面编写 |
| 5.17、后台&前端程序代码编写 |
| 5.18、程序后台实现 |
| 5.19、程序前端实现1 |
| 5.20、程序前端实现2 |
| 5.21、后台程序编写1 |
| 5.22、后台程序编写2 |
| 5.23、前端页面编写 |
| 5.24、项目总结 |
|
相关文章 |
