当前课程知识点：高级大数据系统 > Introduction to Big Data Systems > Problems in big data systems? > Video
这门课的重点是大数据系统
我们可能不是特别关心大数据的分析
和它的去算法
那我们关心的是底层的存储网络
和计算资源怎么样组织
来提供大数据分析的这样一个上层的支持
那我们来看大数据的系统到底包含了什么样的内容
大陆系统实际上关心的是怎么样
将传统的计算机系统的一些部件
包括网络的
包括计算的和存储的部件组合在一起
让它能够对大数据的处理
大数据的分析提供一个底层的支持
那么在这里面我们非常关心的问题是怎么样
能够有效的把计算存储
和网络资源组织在一起
形成一定的体系结构
形成一定的这种错误的控制
以及友好的对上层的一个编程的接口
让程序员或者是数据分析师
数据科学家
能够有效的利用这样的
一些系统来进行数据的挖掘和数据的分析
那么在里边我们关心的是
各种各样的计算机资源怎么样被合在一起
怎么样有效的提高它们的性能
我们的主题通常会涉及到
成百上千的服务器的资源
怎么样将他们进行有效的网络组织
以及存储的一个冗余的控制
来达到高效的大数据系统搭建目标
那么我们来看
在大数据的这样一个系统里面
我们关心的主题大概会有哪一些
首先我们关心数据的采集
数据采集涉及到了数据的传感器
数据的传输
那么我们怎么样有效的进行大规模数据的一个感知
最终把它采集到数据中心
或者是数据处理的设备上
那么数据的传输
我们刚刚说到
怎么样有效的在远端和数据中心
进行数据的一个传输
以及在大数据系统内部
从不同的设备上进行数据的这样一个传输
数据的存储 数据进入到数据分析系统之后
实际上它需要被持久化
或者是短暂的进行一个存储
我们怎么样有效的对不同规模
不同的实验要求的一个数据进行有效的存储
是我们关心的主题
那么数据的处理
我们怎么样利用这个成千上万的
这样一个服务器的资源
有效的把他们并发了使用起来
达到一个高效的一个数据处理的一个目标
那么用户的交互
那么最终我们的数据是要呈现给用户
我们怎么样设计好的这样一个交互系统
让用户可以体验到数据
可以和数据发生这样的交互
进一步刺激人类产生更好的
这样一个数据处理的这些方法和想法
这是在大数据系统里面
我们关心的各个主题
那么我们来看这些主题
它大概会分散到大数据系统的
这个框架中是什么样的一个样子
在底层我们有这样一个数据源
包含了Web的数据
以及各种各样的传感器传输过来的数据
再往上我们有数据的这个存储和数据预处理的一个模块
在数据存储里面我们需要进行
数据的安全的控制
数据冗余的控制
达到数据的这样一个高效和安全的一个存储
预处理里面我们会进行数据的清洗
以及错误数据的一个发现
在此之上呢
我们会重点去看数据并行处理的一些框架
包含我们课程中将要介绍的MapReduce的框架
以及我们要介绍的内存中数据处理的框架
再往上的话就会有更加精细和更加特定化的
这种数据处理的一些平台
比如说这个大数据的这种数据库
包含我们要介绍的NoSQL
和以google bigtable为例的
这样一些大数据数据库的一个介绍
然后图的这种数据的一个计算
那么由于今天大量的数据是以关系的
这样的形式呈现的
那么怎么样对图数据进行处理
也是我们非常关心的一个点
流式的数据
我们刚刚说到有的数据实际上
很难让用户存储下来
在不断的进行分析
它是以流的形式在系统中呈现的
那么怎么样对这种流的数据进行处理
也是我们课程中关心的一个问题
在此之上就可以利用这样的一些系统达到服务
和应用的这样一个提供
在我们这里面也会介绍一些集成化的大数据
分析的这种工具和系统
那么支撑这样的一个大数据的系统
实际上是有一定的这种基础设施的一个构建的
在我们的课程中会简单介绍一下
这样的基础设施
我们会与云计算作为我们介绍的
一个样本来给大家介绍一下
基础设施是什么样的
那么资源的管理在这里面
实际上计算网络和通信的这种
资源是分布在各个层面上的
我们怎么样有效的协同
算 网 存三者以及怎么样对他们进行优化
来提高各个系统的运行的效率
那么我们课程的一个目标呢
是尽可能让大家了解和大数据系统相关的各个方面的知识
我们希望大家知道我们所介绍的
从存储到计算以及到分析
各种各样的系统
他们最基本的工作原理是什么
我们希望给大家介绍他们的局限性在哪
如果各位同学要进行一个大数据分析的任务
你们怎么样去避免这些系统的这个局限性
以及我们会介绍这些系统
你们应该怎么样去做这个性能的评估
怎么样去测试这些系统
是否满足你们的业务的一个需求
如果这些系统不满足你们的需求
你们有什么样的办法去提升这些系统
怎么样在具体的业务中去进行优化
那这是我们课程需要给到大家的
让大家能够了解这方面的知识
那么课程的这个先修条件
大概是这样的
我们并没有特别的这个先修的条件
也就是说只要你对大数据系统有兴趣
实际上这门课可能都合适大家来听
那么我们希望大家在准备上这门课之前
能够了解一些这个高级的编程语言
比如说C++ Java或者说是Python
这样一些基础的这种语言的知识
以及大家要有足够的能力去学习
一些我们在课堂中可能会去
简单提到的一些新的这个语言
那这是我们对课堂的一个先修的一个要求
-What is big data and what is big data system?
--Video
-Problems in big data systems?
--Video
-Overview of the course
--Video
-Principles of big data system design
--Video
-Manipulating Data on Linux
--Video
--Video
--Video
-Basics of Linux Data Processing--Manipulating Data
-Running Commands on a Single Machine
--Video
-Running Commands on a Single Machine--作业
-Using a Linux Cluster
--Video
-Using a Linux Cluster--作业
-Storage for Big Data Computing: Distributed file system
--Video
-Storage for Big Data Computing: Distributed file system--作业
-File system and GFS
--Video
-File system and GFS--作业
-Understanding HDFS using Legos
--Video
-Understanding HDFS using Legos--作业
-File System Implementation and DFS
--Video
--Video
-File System Implementation and DFS--作业
-What is MapReduce and why
--Video
-What is MapReduce and why
-Learn MapReduce by playing with cards
--Video
-Processing pattern
--Video
-Processing pattern--作业
-Hadoop
--Video
-Hadoop--作业
-Algorithms in MapReduce
--Video
-Algorithms in MapReduce--作业
-Tutorial
--Video
-Background
--Video
-Background--作业
-Spark
--Video
-Spark--作业
-Use Spark for data mining
--Video
-Use Spark for data mining--作业
-Spark data processing
--Video
-Spark data processing--作业
-Experiment in Spark
--Video
-Experiment in Spark--作业
-Introduction to streaming data processing
--Video
-Introduction to streaming data processing--作业
-Storm
--Video
--Video
--Video
-Storm--作业
-Spark streaming
--Video
--Video
-Spark streaming--作业
-NoSQL introduction
--Video
-NoSQL introduction--作业
-Common Advantages
--Video
-Common Advantages--作业
-Bigtable
--Video
-Bigtable--作业
-Master Startup
--Video
-Master Startup--作业
-HBase
--Video
-HBase--作业
-What is GraphDB and Graph data processing
--Video
-What is GraphDB and Graph data processing--作业
-Graph systems
--Video
-Graph systems
-Example of a GraphDB
--Video
-Example of a GraphDB--作业
-Mahout
--Video
-Mahout--作业
-Case Study: Recommendation
--Video
-Case Study: Recommendatio作业
-Recommendation in Mahout
--Video
-Recommendation in Mahout--作业
