当前课程知识点：大数据系统基础 > 1. 绪论 > 授课视频 > 大数据技术挑战

返回《大数据系统基础》慕课在线视频课程列表

大数据技术挑战在线视频

大数据技术挑战

下一节:课程内容

返回《大数据系统基础》慕课在线视频列表

大数据技术挑战课程教案、知识点、字幕

接下来

我们考察一下

大数据技术的挑战

2013年10月

全球数据库领域顶级的科学家

召开了以大数据为主要话题的

学术峰会

并发布了Beckman学术报告

简单回顾一下

全球数据库峰会的发展历史

该峰会始于1998年

此后每隔三到五年

全球的数据库顶尖科学家

会汇聚一堂

来总结过去

数据库领域的发展成就

并展望未来数据库

技术发展的愿景

2008年

在伯克利召开了第七届

数据库峰会

这次峰会恰好赶在了

2009年CIDR学术会议的

截稿期之前

邀请到27位

国际著名的数据库专家

大家在此次峰会上

对数据管理的未来

进行了深入的讨论

人们普遍认为

数据库科研的拐点正在形成

同时发布了Claremont报告

我们可以看到

在2008年的Claremont报告当中

已经出现了大数据的概念

从此大数据得到了

学术界的关注

那么在2013年的

Beckman报告当中

大家对大数据进行了

充分的讨论

并且初步形成了一致的意见

这种一致的意见可以概括为

大数据还在泥泞中前行

纵观这篇报告

我们可以得到这样的结论

人们普遍认识到数据的大

这并不是数据科学

面临的全部挑战

甚至不是主要挑战

来自不同数据源的不同类型

不同语义的数据集合

其深度融合和综合的问题

远远没有解决

同时物联网传感网

穿戴设备等机器数据的快速到达

对数据处理的时效性

提出了更大的挑战

除此之外

数据隐私与可用性的问题

更是挑战巨大

在这里头人们再次强调

数据科学的创新与探索

刚刚起步

并行进在泥泞当中

大数据系统基础课程列表：

1. 绪论

-授课视频

--什么是大数据

--大数据典型应用

--大数据的特点

--大数据技术体系

--大数据生态系统

--大数据技术挑战

-1. 绪论--Quiz 1

2.云计算

-授课视频

--2.1大数据和云计算关系概述

--2.2并行化理念

--2.3规模经济理念

--2.4从仓库规模计算机到云

--2.5云计算商业模式概述

--2.6云计算带来的价值

--2.7云计算的分类

--2.8虚拟化技术概述

--2.9计算虚拟化

--2.10网络虚拟化：基础

--2.11网络虚拟化：软件定义网络

--2.12软件定义网络实现

--2.13存储虚拟化：用户接口

--2.14存储虚拟化：分布式存储实现方式

--2.15虚拟化技术总结

--2.16OPENSTACK

--2.17云计算小结

-2.云计算--Quiz 2

3.文件存储

-授课视频

-3.文件存储--Quiz3

4. 处理框架

-授课视频

--4.1大数据的处理框架

--4.2MapReduce编程模型

--MapReduce执行过程

--4.4MapReduce数据流

--4.5MapReduce性能优化与容错

--4.7MapReduce总结

--4.9Pig Latin语法

--4.10Pig Latin 嵌套数据类型

--4.11Pig Latin 实现与优化

--Pig Latin 实现与优化（2）

--4.13类似框架

--4.14章节总结

-4. 处理框架--Quiz4

5.内存计算

-授课视频

--5.1内存计算概述

--5.2并行计算挑战

--5.3并行计算的局限性

--5.4大数据处理并行系统

--5.5内存计算需求

--5.6MapReduce文件传递数据

--5.7内存计算的可行性

--5.8内存层次的延迟

--5.9内存计算实例-spark

--5.10SPARK-RDD

--5.11大数据并行系统

--5.12Spark编程接口

--5.13Spark编程实例——Log挖掘

--5.14Spark编程实例——WorkCount

--5.15Spark实现技术

--5.16复杂的DAG示例

--5.17RDD性能的提高

--5.18Spark应用和生态环境

--5.19Spark的局限性

-5.内存计算--Quiz5

6. NoSQL

-授课视频

--NoSQL与Cassandra

--数据模型、接口、语言

--系统架构与Gossip协议

--一致性哈希与数据分区

--数据副本及一致性

--节点本地数据存储

-6. NoSQL--Quiz6

7. 流计算

-授课视屏

-7. 流计算--Quiz7

大数据技术挑战笔记与讨论

也许你还感兴趣的课程:

© 柠檬大学-慕课导航课程版权归原始院校所有，
本网站仅通过互联网进行慕课课程索引，不提供在线课程学习和视频，请同学们点击报名到课程提供网站进行学习。