视频单元在线视频

同学们好

我是来自云南大学信息学院的杨艳华

当今时代

我们享受着智能化程度越来越高的“互联网+”生活

如微信

网购

共享单车

远程医疗

智能家居等等

那么

是什么技术在支撑着

我们越来越智能化的生活呢

智能化最核心的内容是信息的智能处理

这两节课我们就来讨论

智能信息处理的基础支撑技术

云计算和大数据技术

今天第一节课我们讨论的是

基于云计算平台的数据融合和信息处理

云计算这个名词同学们应该都听说过

云计算技术已经出现很长时间了

数据融合

信息处理

数据挖掘

大数据分析

还有物联网信息处理

都离不开云计算技术的支持

可以说

当前最热门的几种技术

物联网

大数据

人工智能等都离不开云计算技术的支持

那么让我们来看看云计算技术到底是什么吧

在说云计算之前

我们先来谈谈什么是计算

大家可能会说

这有什么好说的

计算不就是进行加、减、乘、除等数学计算

说的没错

但在计算机领域里计算的外延更广

泛指用计算机解决问题并为人们提供服务

所以计算机能做的一切事情都是计算

比如文本编排

上网

文件打印

听音乐

看视频

文件存储等等

那么云计算又是什么呢

我们知道

对于没有联网的计算机

有多高的配置

多少的资源就能提供多少能力的计算服务

不能超越计算机本身的极限

云计算则突破了这个瓶颈

在高速网络的支持下

能够将连接在互联网上的

位于远端的大量计算机的计算资源

提供给用户使用

并且可以根据用户实际需求提供弹性

可伸缩

动态调整的计算资源

提供这类资源的计算服务就是云计算

由于计算资源在互联网上

不知道具体在何处

规模有多大

像天上的云一样飘忽不定

因此这种计算模式就被称为云计算

实际上

云计算是一种通过互联网访问

可定制IT资源共享池

并按照使用量付费的计算模式

这些资源包括网络

服务器

存储

应用

服务等等

从广泛意义上来说

云计算是指服务的交付和使用模式

即通过网络以按需

易扩展的方式获取所需的资源

这种服务可以是IT的基础设施

比如硬件

软件

平台

也可以是其它服务

云计算的核心理念就是按需服务

就像人们使用水

电

天然气等资源的模式一样

云计算具有超大规模

虚拟化

高可靠性

通用性

高可伸缩性

按需服务

极其廉价等特点

这些特点能够使得云计算为我们提供弹性

可伸缩

动态调整的计算资源

云计算能提供的服务多种多样

按服务类型划分大致分为三类

SaaS

Software as a Service

也就是软件即为服务

PaaS

Platform as a Service

平台即为服务

和IaaS

Infrastructure as a Service

基础设施即为服务

用户可以根据需要选择不同层次的服务

提供云计算服务的平台被称为云计算平台

为什么云计算平台能够提供这样的服务呢

首先是因为有高速互联网的支撑

通过高速互联网

克服地理距离对计算资源使用的限制

其次

云计算平台还需要一些关键技术的支撑

这些关键技术是云计算体系结构实现的基础

贯穿了物理资源层

资源池层

管理中间件层到SOA构建层

虚拟化技术是构建云计算环境的一项关键技术

虚拟化技术是伴随着计算机的出现

而产生和发展起来的

虚拟化意味着对计算资源的抽象

通过虚拟化技术将物理计算资源虚拟化为资源池

从而能提供按需提供

弹性伸缩的计算服务

此外

资源池技术

数据中心技术

资源管理技术

编程模型

云存储技术

云安全技术等在云计算中也是不可或缺的

云计算是当前非常热门的技术领域

也是信息技术高速发展的基础

各种基于互联网的应用都离不开云计算平台的支持

目前

国内外很多厂商都推出了商用的云计算服务

国外最早推出云计算服务的是亚马逊

谷歌

微软等知名企业

亚马逊的云计算系统被称为Amazon Web Services

简称AWS

亚马逊率先在全球提供了弹性计算云EC2

和简单存储服务S3

为企业提供计算和存储服务

它的收费服务项目包括存储空间

带宽

CPU资源以及月租费

AWS服务的种类非常齐全

全球用户数量已经超过100万

谷歌是全球最大的云计算技术使用者

谷歌搜索引擎分布在200多个站点

超过100万台服务器之上

而且这些设施的数量正在迅猛增长

采用Google Docs之类的应用

用户数据会保存在互联网上的某个位置

可以通过任何一个与互联网相连的终端

十分便利地访问和共享这些数据

另外

谷歌已经允许第三方在谷歌的云计算中心

通过Google App Engine运行大型并行应用程序

谷歌云计算的三大法宝是GFS谷歌文件系统

MapReduce编程模型

和Bigtable分布式数据存储系统

微软于2008年10月推出了Windows Azure操作系统

这是支持云计算的操作系统

微软的云平台包括几十万台服务器

Azure的底层是微软全球基础服务系统

由遍布全球的第四代数据中心构成

微软将为Windows Azure用户推出许多新的功能

不但能更简单地将现有的应用程序转移到云中

而且可以加强云托管应用程序的可用服务

充分体现出微软的“云”+“端”战略

在中国

国内首个正式商用的国际公有云服务平台

也是由微软于2014年3月建立的

紧跟世界技术发展潮流

国内的科技企业也推出了自己的云计算系统

典型的有被称为“BAT”的百度

阿里巴巴

腾讯三个公司

“B”指百度

“A”指阿里巴巴

“T”指腾讯

近年来

还有众多公司

推出了针对特定应用领域的云计算系统

可以提供各种各样的云计算服务

比如

阿里巴巴的阿里云在多处拥有云计算数据中心

能够提供弹性计算

数据库

存储

网络

大数据等各种各样的计算服务

UCLOUD提供游戏托管为特色的云计算服务

七牛云存储的特色为存储服务

青云提供类似亚马逊AWS的服务等等

自从云计算概念被提出以来

不断有IT厂商推出自己的云计算平台

但它们都是商业性平台

对于想要研究和发展云计算技术的个人和科研团体来说

无法获得更多的了解

开源云计算系统给研究者带来了希望

目前

主流开源云计算系统主要包括Hadoop

Spark

Docker和OpenStack等

Hadoop在功能上尽可能地模仿Google云计算平台

实现分布式文件存储系统HDFS

计算系统MapReduce

分布式数据库Hbase等

Spark的内核采用Scala语言开发

实现了一整套的基于内存的迭代计算框架

Spark基于RDD这种基本数据结构来对数据进行处理

Docker基于Linux容器

采用Go语言实现

虚拟化技术需要解决隔离性

可配额

移动性以及安全性这四个方面的问题

OpenStack在处理能力上类似于Amazon Web Services

虽然OpenStack中各个服务相对独立

但在完整的功能实现时

基本都需要各个服务的相互配合

云计算平台为用户提供了远程的

根据需求理论上可无限扩展的计算服务

这在某些应用领域海量数据的数据融合

和信息处理方面是具有极大优势的

比如物联网就必须借助云计算平台的支持

构建在云计算平台上的数据中心

支持基于云的多源数据集成与融合

数据存储

信息处理

目前

众多厂商都建立了自己的大规模云数据中心

云数据中心具有设备利用率高

绿色节能

高可用性

自动化管理等特征

相当于提供了一个功能异常强大的远程服务器

供用户进行数据和信息处理

云计算技术应用已经非常广泛

互联网上的应用基本上都是基于云计算的

随着物联网发展如火如荼

众多厂商都推出物联网云计算应用平台

如

阿里巴巴的阿里云IoT是针对物联网领域

开发人员推出的一款设备管理平台

高性能IoT Hub实现设备与云端稳定通信

全球多节点部署有效降低通信延时

多重防护能力保障设备云端安全

此外还提供丰富的设备管理功能

稳定可靠的数据存储能力

以及规则引擎

使用规则引擎

仅需在Web上配置简单规则

即可将设备数据转发至阿里云其它产品

获得数据采集

数据计算

数据存储的全栈服务

真正实现物联网应用的灵活快速搭建

华为 OceanConnect物联网平台

支持方便地将海量物联网终端

连接到物联网云平台

实现设备和平台之间数据采集和命令下发的双向通信

对设备进行高效

可视化的管理

对数据进行整合分析

并通过调用平台面向行业强大的开放能力

快速构建创新的物联网业务

中国移动打造的OneNET物联网开放平台

是提供PaaS服务的平台

能够帮助开发者轻松实现设备接入与设备连接

快速完成产品开发部署

为智能硬件

智能家居产品提供完善的物联网解决方案

当前

随着物联网

大数据

人工智能的发展

云计算技术的发展进入了一个崭新的时期

既为新兴技术的发展提供了强大的技术支撑

也因为得到越来越多的应用而不断得到发展

今天关于云计算的内容就讲到这里

谢谢