慕课-英华学堂

大数据技术原理与应用

课程类型：选修课

发布时间：2020-12-30 08:39:08

主讲教师：

课程来源：

建议学分：0.00分

课程编码：mk000492

课程介绍

课程目录

教师团队

{1}--第0讲课程介绍

s [1.1.1]--课程介绍视频（6分钟）

s "(1.2.1)--本讲配套讲义PPT-第0讲课程介绍"

{2}--第1讲大数据概述

s [2.1.1]--大数据时代（9分钟）

s [2.2.1]--1.2大数据概念和影响（11分钟）

s [2.3.1]--1.3大数据的应用（6分钟）

s [2.4.1]--1.4大数据的关键技术（6分钟）

s [2.5.1]--1.5.1云计算（12分钟）

s [2.5.2]--1.5.2物联网（8分钟）

s "(2.6.1)--本讲配套讲义PPT-第1讲-大数据概述"

{3}--第2讲大数据处理架构Hadoop

s [3.1.1]--2.1.1Hadoop简介（11分钟）

s [3.1.2]--2.1.2Hadoop不同版本（11分钟）

s [3.2.1]--2.2Hadoop项目结构（10分钟）

s [3.3.1]--2.3.1Hadoop安装之前的预备知识（9分钟）

s [3.3.2]--2.3.2Hadoop的安装和使用详解（13分钟）

s [3.4.1]--2.4Hadoop集群的部署和使用（13分钟）

s "(3.5.1)--本讲配套讲义PPT-第2讲-大数据处理架构Hadoo"

{4}--第3讲分布式文件系统HDFS

s [4.1.1]--3.1分布式文件系统HDFS简介（7分钟）

s [4.2.1]--3.2HDFS相关概念（14分钟）

s [4.3.1]--3.3HDFS体系结构（6分钟）

s [4.4.1]--3.4HDFS存储原理（12分钟）

s [4.5.1]--3.5.1HDFS读数据过程（13分钟）

s [4.5.2]--3.5.2HDFS写数据过程（6分钟）

s [4.6.1]--3.6HDFS编程实践（15分钟）

s "(4.7.1)--本讲配套讲义PPT-第3讲-分布式文件系统HDFS"

{5}--第4讲分布式数据库HBase

s [5.1.1]--4.1HBase简介（14分钟）

s [5.2.1]--4.2HBase数据模型（13分钟）

s [5.3.1]--4.3HBase的实现原理（14分钟）

s [5.4.1]--4.4HBase运行机制（14分钟）

s [5.5.1]--4.5HBase应用方案（12分钟）

s [5.6.1]--4.6HBase编程实践（8分钟）

s [5.7.1]--4.7HBase常用JavaAPI及应用实例（14分钟）

s "(5.8.1)--本讲配套讲义PPT-第4讲-分布式数据库HBase"

{6}--第5讲NoSQL数据库

s [6.1.1]--5.1NoSQL概述（17分钟）

s [6.2.1]--5.2NoSQL与关系数据库的比较（9分钟）

s [6.3.1]--5.3.1键值数据库和列族数据库（10分钟）

s [6.3.2]--5.3.2文档数据库、图数据库以及不同数据库比较分析（8分钟）

s [6.4.1]--5.4.1CAP理论（6分钟）

s [6.4.2]--5.4.2BASE和最终一致性（9分钟）

s [6.5.1]--5.5从NoSQL到NewSQL数据库（4分钟）

s [6.6.1]--5.6文档数据库MongoDB （13分钟）

s "(6.7.1)--本讲配套讲义PPT-第5讲-NoSQL数据库"

{7}--第6讲云数据库

s [7.1.1]--6.1云数据库概述（13分钟）

s [7.2.1]--6.2云数据库产品（5分钟）

s [7.3.1]--6.3.1UMP系统概述（4分钟）

s [7.3.2]--6.3.2UMP系统架构（22分钟）

s [7.3.3]--6.3.3UMP系统功能（12分钟）

s [7.4.1]--6.4.1Amazon和云计算的渊源（4分钟）

s [7.4.2]--6.4.2AmazonAWS （18分钟）

s [7.4.3]--6.4.3AmazonAWS平台上的云数据库（5分钟）

s [7.5.1]--6.5微软云数据库SQLAzure （5分钟）

s [7.6.1]--6.6云数据库实践（11分钟）

s "(7.7.1)--本讲配套讲义PPT-第6讲-云数据库"

{8}--第7讲MapReduce

s [8.1.1]--7.1.1分布式并行编程（9分钟）

s [8.1.2]--7.1.2MapReduce模型简介（8分钟）

s [8.2.1]--7.2MapReduce的体系结构（6分钟）

s [8.3.1]--7.3MapReduce工作流程（11分钟）

s [8.4.1]--7.4Shuffle过程原理（17分钟）

s [8.5.1]--7.5MapReduce应用程序执行过程（5分钟）

s [8.6.1]--7.6实例分析：WordCount （8分钟）

s [8.7.1]--7.7MapReduce的具体应用（7分钟）

s [8.8.1]--7.8MapReduce编程实践（17分钟）

s "(8.9.1)--本讲配套讲义PPT-第7讲-MapReduce"

{9}--第8讲数据仓库Hive

s [9.1.1]--8.1数据仓库概念（7分钟）

s [9.2.1]--8.2Hive简介（21分钟）

s [9.3.1]--8.3SQL转换成MapReduce作业的原理（15分钟）

s [9.4.1]--8.4.1Impala简介（5分钟）

s [9.4.2]--8.4.2Impala系统架构（7分钟）

s [9.4.3]--8.4.3Impala查询执行过程（6分钟）

s [9.4.4]--8.4.4Impala与Hive的比较（4分钟）

s [9.5.1]--8.5.1Hive安装与基本操作（11分钟）

s [9.5.2]--8.5.2Hive应用实例WordCount （10分钟）

s "(9.6.1)--本讲配套讲义PPT-第8讲-数据仓库Hive"

{10}--第9讲Hadoop再探讨

s [10.1.1]--9.1Hadoop的优化与发展（13分钟）

s [10.2.1]--9.2.1HDFSHA （8分钟）

s [10.2.2]--9.2.2HDFSFederation （10分钟）

s [10.3.1]--9.3.1MapReduce1.0的缺陷（4分钟）

s [10.3.2]--9.3.2YARN设计思路（4分钟）

s [10.3.3]--9.3.3YARN体系结构（16分钟）

s [10.3.4]--9.3.4YARN工作流程（5分钟）

s [10.3.5]--9.3.5YARN框架与MapReduce1.0框架的对比分析（5分钟）

s [10.3.6]--9.3.6YARN的发展目标（9分钟）

s [10.4.1]--9.4.1Pig （10分钟）

s [10.4.2]--9.4.2Tez （8分钟）

s [10.4.3]--9.4.3Spark和Kafka （5分钟）

s "(10.5.1)--本讲配套讲义PPT-第9讲-Hadoop再探讨"

{11}--第10讲Spark

s [11.1.1]--10.1.1Spark简介（11分钟）

s [11.1.2]--10.1.2Spark与Hadoop的对比（6分钟）

s [11.2.1]--10.2Spark生态系统（9分钟）

s [11.3.1]--10.3.1基本概念和架构设计（8分钟）

s [11.3.2]--10.3.2Spark运行基本流程（6分钟）

s [11.3.3]--10.3.3RDD概念（12分钟）

s [11.3.4]--10.3.4RDD特性（5分钟）

s [11.3.5]--10.3.5RDD的依赖关系和运行过程（13分钟）

s [11.4.1]--10.4SparkSQL （5分钟）

s [11.5.1]--10.5Spark的部署和应用方式（7分钟）

s [11.6.1]--10.6.1Spark安装和启动SparkShell （5分钟）

s [11.6.2]--10.6.2SparkRDD基本操作（60分钟）

s [11.6.3]--10.6.3Spark应用程序（9分钟）

s "(11.7.1)--本讲配套讲义PPT-第10讲-Spark"

{12}--第11讲流计算

s [12.1.1]--11.1.1数据的处理模型（8分钟）

s [12.1.2]--11.1.2流计算概念与典型框架（8分钟）

s [12.2.1]--11.2流计算处理流程（7分钟）

s [12.3.1]--11.3流计算的应用（5分钟）

s [12.4.1]--11.4.1Storm简介（6分钟）

s [12.4.2]--11.4.2Storm设计思想（10分钟）

s [12.4.3]--11.4.3Storm框架设计（11分钟）

s [12.5.1]--11.5SparkStreaming、Samza以及三种流计算框（14分钟）

s [12.6.1]--11.6.1编写Storm程序（19分钟）

s [12.6.2]--11.6.2安装Storm的基本过程和实例（11分钟）

s "(12.7.1)--本讲配套讲义PPT-第11讲-流计算"

{13}--第12讲图计算

s [13.1.1]--12.1图计算简介（13分钟）

s [13.2.1]--12.2Pregel简介（4分钟）

s [13.3.1]--12.3.1有向图和顶点（7分钟）

s [13.3.2]--12.3.2Pregel的计算过程（7分钟）

s [13.3.3]--12.3.3Pregel实例（14分钟）

s [13.4.1]--12.4.1定义Vertex基类（6分钟）

s [13.4.2]--12.4.2消息传递机制和Combiner （6分钟）

s [13.4.3]--12.4.3Aggregator、拓扑改变和输入输出（7分钟）

s [13.5.1]--12.5.1Pregel的执行过程和容错性（13分钟）

s [13.5.2]--12.5.2Worker、Master和Aggregator （12分钟）

s [13.6.1]--12.6Pregel的应用实例——单源最短路径（19分钟）

s [13.7.1]--12.7Hama的安装和使用（5分钟）

s "(13.8.1)--本讲配套讲义PPT-第12讲-图计算"

{14}--第13讲大数据在不同领域的应用

s [14.1.1]--13.1大数据应用概览（14分钟）

s [14.2.1]--13.2.1推荐系统概述（13分钟）

s [14.2.2]--13.2.2基于用户的协同过滤（UserCF）（11分钟）

s [14.2.3]--13.2.3基于物品的协同过滤（ItemCF）（9分钟）

s [14.2.4]--13.2.4UserCF算法和ItemCF算法的对比（4分钟）

s [14.3.1]--13.3大数据在智能医疗和智能物流领域运用（8分钟）

s "(14.4.1)--本讲配套讲义PPT-第13讲-大数据在不同领域的应用"