精品网课
有声读物
游戏
影音
电子书
天地星球
天地商城
60秒读懂世界
【★搜天地工具箱★】
课程介绍(A000516)：
从企业需求入手，构建集数据采集、数据存储、数据处理与分析、BI应用、权限管理、系统监控等于一体的大数据应用平台，帮助我们快速掌握大数据平台开发技术，迅速建立大数据技术的宏观的认识。
课程目录：
- 第1章 课程导学与学习指南 3 节 | 12分钟
- 本章中将向大家介绍课程能学到什么、解决什么实际问题、项目成果展示，课程整体安排以及如何学习更高效。
-
- 视频：1-1 导学【课程背景、项目速览】 (11:53)
- 图文：1-2 怎么更好的使用慕课平台
- 图文：1-3 你真的会问问题吗？
- 第2章 认识企业中的大数据平台6 节 | 32分钟
- 为什么要有大数据平台？大数据平台究竟是为了解决什么问题产生的？如何判断一个大数据平台的好坏？在设计一个数据平台时，需要注意哪些，有什么步骤。各大企业现有的解决方案有哪些，常见的技术栈有哪些，我们自己设计的这个通用的大数据平台是什么结构。…
-
- 视频：2-1 课程简介与学习建议 (07:32)
- 视频：2-2 什么是大数据平台 (05:34)
- 作业：2-3 【讨论题】怎样入门大数据？
- 视频：2-4 为什么要建设大数据平台【三个解决、两个提升】 (05:57)
- 视频：2-5 大数据平台常用技术栈有哪些【知识体系梳理、我们要用哪些】 (04:28)
- 视频：2-6 各大企业大数据平台对比【作业：画出我们的平台架构和这些对比一下】 (07:54)
- 第3章 大数据平台 —— 数据仓库之离线&实时 16 节 | 116分钟
- 你真的理解数据仓库是什么吗？数据仓库如何进行分层，为什么要分层呢？分层一定好吗？带你理解数据仓库，逐步掌握离线数仓工具Hive。对比离线数仓和实时数仓，了解实时数仓常见架构。
-
- 视频：3-1 数据仓库VS数据库 (10:11)
- 视频：3-2 数据仓库分层建设 (08:52)
- 视频：3-3 Hive是什么【上期思考揭秘：分层的弊端，如何解决】 (06:40)
- 视频：3-4 Hive安装部署【课下任务：预习Hive和Mysql的区别，Hive都有哪些表？】 (09:52)
- 图文：3-5 【实操手册】Hive安装部署
- 视频：3-6 Hive基本使用（上）Hive数据类型/分区/基础语法 (10:37)
- 视频：3-7 Hive基本使用（中）内部表/外部表/分区表/分桶表 (11:44)
- 视频：3-8 Hive基本使用（下）内置函数/自定义函数/实现UDF (10:55)
- 图文：3-9 【作业解答】Hive自定义函数注册
- 视频：3-10 Hive存储结构 ORCFile (10:38)
- 图文：3-11 【梳理】Hive知识梳理总结
- 视频：3-12 Hive常见面试题 (13:45)
- 视频：3-13 离线数仓VS实时数仓 (05:23)
- 视频：3-14 图解Lambda架构数据流程 (06:46)
- 视频：3-15 Kappa 架构 VS Lambda (04:36)
- 视频：3-16 主流大公司的实时数仓架构 (05:43)
- 第4章 大数据平台——数据仓库之权限管理 18 节 | 155分钟
- 解决三大问题：数仓安全问题，对比常见权限认证框架，使用Ranger开发数仓权限模块；数据来源问题，对常用数据采集工具进行介绍，使用DataX进行数据采集；数仓管理问题，介绍数据治理的概念及ApacheAtlas
-
- 视频：4-1 权限管理（上）Hadoop/Hive自带权限控制 (05:55)
- 视频：4-2 权限管理（下）实操Hive的权限操作 (12:46)
- 视频：4-3 Kerberos认证简介【对称/非对称加密、数字证书、图解Kerberos流程】 (10:44)
- 视频：4-4 Apache Ranger简介【图解Ranger架构、Ranger管理HDFS、Hive、Yarn举例】 (08:54)
- 作业：4-5 【讨论题】数据安全问题
- 视频：4-6 Apache Rangr安装 (06:13)
- 视频：4-7 Ranger HDFS Plugin安装 (09:46)
- 视频：4-8 Ranger Hive Plugin安装 (05:31)
- 图文：4-9 【实操手册】Apache Ranger安装部署
- 视频：4-10 Ranger Api Java开发之User管理 (22:54)
- 视频：4-11 Ranger Api Java开发之Policy管理 (15:10)
- 视频：4-12 数据采集介绍【图解数据采集流程】 (04:14)
- 视频：4-13 常用数据采集工具【图解Sqoop、Flume、DataX】 (08:36)
- 视频：4-14 Datax数据采集实战 (18:11)
- 图文：4-15 【作业解答】Datax完成数据的导入导出
- 视频：4-16 数据治理简介【要解决的问题、元数据、数据血缘】 (06:58)
- 视频：4-17 Apache Atlas数据治理【图解Atlas架构】 (07:46)
- 视频：4-18 数据仓库常见面试题 (10:43)
- 第5章 大数据平台 —— 调度系统10 节 | 87分钟
- 解决离线批处理任务的定时执行问题，对主流调度框架Azkaban进行架构介绍、特性讲解和部署应用。通过Java程序调用Azkaban相关接口，实现创建任务、调度任务功能，实现API接口封装
-
- 视频：5-1 我们需要一个调度系统【任务处理现状、调度系统通用功能】 (07:49)
- 视频：5-2 Azkaban介绍【常用开源调度框架对比】 (06:03)
- 视频：5-3 Azkaban架构与调度流程【图解核心交互流程】 (06:56)
- 视频：5-4 Azkaban安装部署 (11:34)
- 视频：5-5 提交Azkaban任务 (10:43)
- 图文：5-6 【实操手册】Azkaban安装部署及基础使用
- 视频：5-7 Azkaban用户代理 (10:50)
- 视频：5-8 Java程序操作Azkaban Api (上) (14:17)
- 视频：5-9 Java程序操作Azkaban Api（下） (10:30)
- 视频：5-10 调度系统相关面试指导 (07:21)
- 第6章 大数据平台 —— 计算引擎15 节 | 117分钟
- 平台的计算引擎是基于Spark构建的，依托了Yarn进行资源调度。本章从Spark架构、核心介绍及部署开始，进行Spark部分开发。之后接入Spark SQL模块。最后介绍了Spark的一些高阶调优技巧。
-
- 视频：6-1 Spark简介【Hadoop VS Spark、图解Spark生态】 (08:58)
- 视频：6-2 Spark架构及执行流程【根据图解了解Spark名词】 (11:24)
- 视频：6-3 RDD简介及特性【图解WordCount示例中RDD如何转换】 (08:08)
- 视频：6-4 RDD依赖关系【图解Stage划分】 (06:25)
- 视频：6-5 Spark三种部署模式实战 (12:54)
- 图文：6-6 【实操手册】Spark三种部署模式及基本操作
- 视频：6-7 Spark程序开发 (13:40)
- 视频：6-8 SparkSQL简介【RDD VS DataFrame】 (06:45)
- 视频：6-9 SparkSQL程序开发 (10:59)
- 视频：6-10 Spark 自定义UDF开发 (05:08)
- 视频：6-11 Spark程序开发原则与基础优化【常见调优策略、持久化级别】 (11:30)
- 视频：6-12 Spark 数据倾斜调优 (07:32)
- 图文：6-13 【实操手册】Zeppelin安装与使用
- 视频：6-14 Spark面试题答疑 (13:09)
- 作业：6-15 【面试题】你遇到过哪些记忆深刻的大数据面试题
- 第7章 大数据平台建设 —— SQL查询引擎11 节 | 90分钟
- 介绍SQL On Hadoop 方案。对Presto架构和应用做了一些介绍，利用Presto作为底层的SQL查询引擎，实现快速查询和多数据源查询。涉及Presto的配置优化，自定义函数、EventListener、以及通用UDF的开发，最后完成Presto On Yarn部署
-
- 视频：7-1 大数据查询引擎Presto简介【作业：了解其他的SQL on Hadoop方案】 (08:07)
- 作业：7-2 【讨论题】大数据就是做一个SQL Boy吗
- 视频：7-3 Presto架构与执行流程 (09:13)
- 视频：7-4 Presto安装部署 (08:10)
- 视频：7-5 通过Jdbc操作Presto (09:40)
- 视频：7-6 Presto UDF开发（上） (11:16)
- 视频：7-7 Presto UDF开发（下） (08:58)
- 视频：7-8 Presto EventListener开发 (15:22)
- 图文：7-9 【实操手册】Presto on Yarn
- 视频：7-10 Presto配置优化 (12:06)
- 视频：7-11 Presto章节小结 (06:58)
- 第8章 大数据平台建设 —— 监控预警14 节 | 92分钟
- 集群监控能提高资源利用率，有效管理整个集群，本章对常见集群的预警方案做了介绍和应用，最后通过Ganafa展示项目监控数据
-
- 视频：8-1 监控系统介绍 (03:45)
- 作业：8-2 【讨论题】经常需要值班的大数据开发人员如何提高幸福感？
- 视频：8-3 常用开源监控项目对比【Zabbix VS OpenFalcon VS Prometheus】 (09:12)
- 视频：8-4 OpenFalcon各个组件介绍 (05:48)
- 视频：8-5 OpenFalcon单机版部署 (14:17)
- 图文：8-6 【实战手册】OpenFalcon 安装
- 视频：8-7 OpenFalcon基本使用 (15:33)
- 视频：8-8 OpenFalcon邮件网关安装 (05:34)
- 视频：8-9 实现OpenFalcon对Hadoop服务状态报警 (07:47)
- 视频：8-10 自定义Plugin开发 (12:28)
- 视频：8-11 Push数据脚本开发 (04:19)
- 图文：8-12 【实操手册】Grafana安装并使用OpenFalcon数据源
- 视频：8-13 Grafana监控大盘配置 (07:30)
- 视频：8-14 监控系统 章节小结 (05:08)
- 第9章 大数据平台建设 —— 管理整合、任务定制21 节 | 173分钟
- 整合前面章节中开发的数仓管理功能，整合数仓权限、数据治理和数据采集，通过界面化配置实现数据采集任务定制。实现任务调度功能，实现shell命令、JAVA程序、Python程序、Spark程序的运行和管理
-
- 视频：9-1 Naga数据平台介绍 (09:02)
- 视频：9-2 Naga大数据平台功能介绍 (07:13)
- 视频：9-3 Naga 开发工具及基本类介绍 (13:08)
- 视频：9-4 集群概览模块实体类开发 (15:17)
- 视频：9-5 集群概览模块核心功能开发 (12:09)
- 视频：9-6 集群概览接口开发及测试 (05:54)
- 视频：9-7 业务线Entity开发 (10:25)
- 视频：9-8 Hadoop及Hive Client开发 (11:06)
- 视频：9-9 业务线Controller开发 (09:05)
- 视频：9-10 任务管理模块介绍 (10:25)
- 视频：9-11 插件抽象及解析代码开发 (12:27)
- 视频：9-12 插件接口及测试 (07:11)
- 视频：9-13 任务流程实体类开发 (04:09)
- 视频：9-14 创建流程及提交流程开发 (09:43)
- 图文：9-15 【实操手册】生成azkaban job文件
- 视频：9-16 插件参数及变量介绍 (08:57)
- 视频：9-17 引用参数解析方法开发 (08:00)
- 视频：9-18 插件SDK模块开发 (08:58)
- 视频：9-19 Java插件开发示例 (05:54)
- 视频：9-20 Spark插件开发示例 (03:24)
- 图文：9-21 【实操手册】Naga Plugin Python SDK开发
- 第10章 系统集成及可视化23 节 | 108分钟
- 实现多引擎的数据查询及可视化模块，生成图表进行展示。将前面的数据仓库、调度系统、SQL引擎、计算引擎、预警监控系统、元数据管理系统等等，如何将他们集成到一起构建大数据平台
-
- 视频：10-1 数据查询架构介绍 (04:22)
- 视频：10-2 QueryObject开发 (04:48)
- 图文：10-3 【实操手册】Java DataFrame设计
- 视频：10-4 DataFrame Wrapper开发 (07:03)
- 视频：10-5 数据查询缓存 (04:59)
- 视频：10-6 数据查询接口开发 (07:36)
- 视频：10-7 数据可视化模块介绍 (04:40)
- 视频：10-8 多种图表setting抽象 (10:06)
- 视频：10-9 图表数据查询类 (08:31)
- 视频：10-10 可视化接口开发及测试 (03:46)
- 视频：10-11 Naga平台用户模型介绍 (04:35)
- 视频：10-12 用户登录认证功能 (09:02)
- 视频：10-13 用户权限认证功能 (03:56)
- 视频：10-14 审计日志功能 (05:38)
- 图文：10-15 【梳理介绍】 Naga大数据平台前端框架介绍
- 视频：10-16 前端开发框架运行 (06:35)
- 视频：10-17 前端开发及前后端联调实现 (08:55)
- 图文：10-18 【实操手册】业务线管理前端开发
- 图文：10-19 【实操手册】数据查询功能界面开发
- 图文：10-20 【实操手册】可视化图表界面开发
- 图文：10-21 【梳理总结】前端开发过程中常见问题
- 图文：10-22 【彩蛋加餐】Naga 数据平台操作手册
- 视频：10-23 课程总结 (13:16)
文件目录：
| 玩转热门框架用企业级思维开发通用够硬的大数据平台 |
| │ ├─料 |
| │ │ dng4-exples.rar |
| │ │ |
| │ ├─第4章大数据平台——数据仓库之权限管理 |
| │ │ 4-4ApheRnger简介图解Rnger架构、Rnger管理HDFS、He、Yrn举例.mp4 |
| │ │ 4-4作业解答Dx完成数据的导入导出.png |
| │ │ 4-ApheAls数据治理图解Als架构.mp4 |
| │ │ 4-ApheRngr安装.mp4 |
| │ │ 4-Dx数据采集实战.mp4 |
| │ │ 4-Kerbers认证简介对称非对称加密、数字证书、图解Kerbers流.mp4 |
| │ │ 4-RngerApJ开发之User管理.mp4 |
| │ │ 4-RngerHDFSPlugn安装.mp4 |
| │ │ 4-RngerHePlugn安装.mp4 |
| │ │ 4-实操手册ApheRnger安装部署.png |
| │ │ 4-常用数据采集工具图解Sqp、Flue、DX.mp4 |
| │ │ 4-数据仓库常见面试题.mp4 |
| │ │ 4-数据治理简介要解决的问题、元数据、数据血缘.mp4 |
| │ │ 4-数据采集介绍图解数据采集流.mp4 |
| │ │ 4-权限管理（上）HdpHe自带权限控制.mp4 |
| │ │ 4-权限管理（下）实操He的权限操作.mp4 |
| │ │ |
| │ ├─第章大数据平台——数据仓库之离线&实时 |
| │ │ -4He安装部署下任务预习He和Mysql的区别，He都有哪些表？.mp4 |
| │ │ -4图解Lbd架构数据流.mp4 |
| │ │ -He基本使用（上）He数据类型分区基础语法.mp4 |
| │ │ -He基本使用（下）内置函数自定义函数实现UDF.mp4 |
| │ │ -He基本使用（中）内部表外部表分区表分桶表.mp4 |
| │ │ -He存储结构ORCFle.mp4 |
| │ │ -He常见面试题.mp4 |
| │ │ -He是什么上期思考揭秘分层的弊端，如何解决.mp4 |
| │ │ -Kpp架构VSLbd.mp4 |
| │ │ -主流大公司的实时数仓架构.mp4 |
| │ │ -作业解答He自定义函数注册.png |
| │ │ -实操手册He安装部署.png |
| │ │ -数据仓库VS数据库.mp4 |
| │ │ -数据仓库分层建设.mp4 |
| │ │ -梳理He知识梳理总结.png |
| │ │ -离线数仓VS实时数仓.mp4 |
| │ │ |
| │ ├─第章大数据平台——计算引擎 |
| │ │ -4RDD依赖关系图解Sge划分.mp4 |
| │ │ -4Sprk面试题答疑.mp4 |
| │ │ -RDD简介及特性图解WrdCun示例中RDD如何转换.mp4 |
| │ │ -SprkSQL序开发.mp4 |
| │ │ -SprkSQL简介RDDVSDFre.mp4 |
| │ │ -Sprk三种部署模式实战.mp4 |
| │ │ -Sprk序开发.mp4 |
| │ │ -Sprk序开发原则与基础化常见调策略、持久化级别.mp4 |
| │ │ -Sprk数据倾斜调.mp4 |
| │ │ -Sprk架构及执行流根据图解了解Sprk名词.mp4 |
| │ │ -Sprk简介HdpVSSprk、图解Sprk生态.mp4 |
| │ │ -Sprk自定义UDF开发.mp4 |
| │ │ -实操手册Sprk三种部署模式及基本操作.png |
| │ │ -拓展Zeppeln安装与使用.png |
| │ │ |
| │ ├─第章大数据平台——调度系统 |
| │ │ -4Akbn安装部署.mp4 |
| │ │ -Akbn介绍常用开调度框架对比.mp4 |
| │ │ -Akbn架构与调度流图解核心交互流.mp4 |
| │ │ -Akbn用户代理.mp4 |
| │ │ -J序操作AkbnAp上.mp4 |
| │ │ -J序操作AkbnAp（下）.mp4 |
| │ │ -实操手册Akbn安装部署及基础使用.png |
| │ │ -我们需要一个调度系统任务处理现状、调度系统通用功能.mp4 |
| │ │ -提交Akbn任务.mp4 |
| │ │ -调度系统相关面试指导.mp4 |
| │ │ |
| │ ├─第章大数据平台建设——SQL查询引擎 |
| │ │ -4通过Jdb操作Pres.mp4 |
| │ │ -PresEenLsener开发.mp4 |
| │ │ -PresUDF开发（上）.mp4 |
| │ │ -PresUDF开发（下）.mp4 |
| │ │ -Pres安装部署.mp4 |
| │ │ -Pres架构与执行流.mp4 |
| │ │ -Pres章节小结.mp4 |
| │ │ -Pres配置化.mp4 |
| │ │ -大数据查询引擎Pres简介作业了解其他的SQLnHdp方案.mp4 |
| │ │ -拓展总结PresnYrn.png |
| │ │ |
| │ ├─第章大数据平台建设——监控预警 |
| │ │ -4OpenFln单机版部署.mp4 |
| │ │ -Grfn监控大盘配置.mp4 |
| │ │ -OpenFln各个组件介绍.mp4 |
| │ │ -OpenFln基本使用.mp4 |
| │ │ -OpenFln邮件关安装.mp4 |
| │ │ -Push数据脚本开发.mp4 |
| │ │ -实操手册Grfn安装并使用OpenFln数据.png |
| │ │ -实操手册OpenFln安装部署.png |
| │ │ -实现OpenFln对Hdp服务状态报警.mp4 |
| │ │ -常用开监控项目对比ZbbxVSOpenFlnVSPreheus.mp4 |
| │ │ -监控系统介绍.mp4 |
| │ │ -监控系统章节小结.mp4 |
| │ │ -自定义Plugn开发.mp4 |
| │ │ |
| │ ├─第章大数据平台建设——管理整合、任务定制 |
| │ │ -4创建流及提交流开发.mp4 |
| │ │ -4集群概览模块实体类开发.mp4 |
| │ │ -Hdp及HeClen开发.mp4 |
| │ │ -J插件开发示例.mp4 |
| │ │ -Ng大数据平台功能介绍.mp4 |
| │ │ -Ng开发工具及基本类介绍.mp4 |
| │ │ -Ng数据平台介绍.mp4 |
| │ │ -Sprk插件开发示例.mp4 |
| │ │ -业务线Cnrller开发.mp4 |
| │ │ -业务线Eny开发.mp4 |
| │ │ -任务流实体类开发.mp4 |
| │ │ -任务管理模块介绍.mp4 |
| │ │ -实操手册NgPlugnPyhnSDK开发.png |
| │ │ -实操手册生成kbnb文件.png |
| │ │ -引用参数解析方法开发.mp4 |
| │ │ -插件SDK模块开发.mp4 |
| │ │ -插件参数及变介绍.mp4 |
| │ │ -插件抽象及解析代码开发.mp4 |
| │ │ -插件接口及测试.mp4 |
| │ │ -集群概览接口开发及测试.mp4 |
| │ │ -集群概览模块核心功能开发.mp4 |
| │ │ |
| │ ├─第章导学与学习指南 |
| │ │ -你真的会问问题吗？.png |
| │ │ -导学背景、项目速览.mp4 |
| │ │ -怎么好的使用平台.png |
| │ │ |
| │ ├─第章系统集成及可视化 |
| │ │ -4DFreWrpper开发.mp4 |
| │ │ -4审计日志功能.mp4 |
| │ │ -Ng平台用户模型介绍.mp4 |
| │ │ -QueryObe开发.mp4 |
| │ │ -前端开发及前后端联调实现.mp4 |
| │ │ -前端开发框架运行.mp4 |
| │ │ -可视化接口开发及测试.mp4 |
| │ │ -图表数据查询类.mp4 |
| │ │ -实操手册JDFre设计.png |
| │ │ -总结.mp4 |
| │ │ -拓展总结Ng大数据平台前端框架介绍.png |
| │ │ -拓展总结前端开发过中常见问题.png |
| │ │ -数据可视化模块介绍.mp4 |
| │ │ -数据查询接口开发.mp4 |
| │ │ -数据查询架构介绍.mp4 |
| │ │ -数据查询缓存.mp4 |
| │ │ -用户权限认证功能.mp4 |
| │ │ -用户登录认证功能.mp4 |
| │ │ -种图表seng抽象.mp4 |
| │ │ |
| │ └─第章认识企业中的大数据平台 |
| │ -4大数据平台常用技术栈有哪些知识体系梳理、我们要用哪些.mp4 |
| │ -为什么要建设大数据平台三个解决、两个提升.mp4 |
| │ -什么是大数据平台.mp4 |
| │ -各大企业大数据平台对比作业画出我们的平台架构和这些对比一下.mp4 |
| │ -简介与学习建议.mp4 |
本站所有资源均来自网络，版权归原作者所有，本站仅提供收集与推荐，若侵犯到您的权益，请【给我们反馈】，我们将在24小时内处理！
