什么是可视化在线视频

我讲的题目是大数据网络可视化

我希望把它拆成三块

先讲可视化

然后我再讲网络可视化

可能最后才到大数据网络可视化

其实我们这个可视化领域

真正做到很大数据的

现在不是特别多

所以我可能一半这个

左右的这个内容

都是在网络可视化

但是大数据网络可视化

我会涉及到它大数据上的

一些新挑战

先是可视化

可视化我们更偏向于讲这个

信息可视化

信息可视化实际上是

有一个重要的时间结点

是在1999年

有三个学者写了一本书

叫（00：37英文）

这三个学者非常有名

分别是（英文）

和这个麦克雷以及（英文）

其中第一个学者和第三个学者

现在都已经是美国工程院院士

第二个学者虽然没有

他们那么出名

但是（英文）公司的

这个副总裁

（英文）公司基本上是

在大数据领域可能第一个

上市的一个公司

在（卡斯达）代号是（英文）

所以也是相当有名

他们在这本书里首先提出了

或者说总结了信息可视化

这个概念

首先他们给了一个定义

对可视化给了一个定义

可视化我这里用的英文

为了保持这个原始的概念

它这么写的是

当然我用中文来说吧

就是用计算机的手段

以及交互的这个可视表达

来展现数据

用来扩大或者增进我们的认知

或者理解

所以这里几个关键就是

首先你得是计算机

基于计算机的这个手段

你如果是手化的

可能不叫可视化

或者不叫我们这里的信息可视化

第二个是 一般是交互的

所以你只是一个图片

静态图片的话

一般意义上不叫很好的可视化

第三个是它的目的

一般来讲目的不是为了好看好玩

更重要的是为了加深我们的

对 尤其是现在

对数据的理解

因为数据现在

我们讲大数据很多

然后你也可以是用数据库

然后用各种方法去浏览

但是你如果用可视化的方法

可以一个视图或者多个视图

看到数据的全貌

所以这些原有的

对这可视化的一个定义

下面是分成两个

分别叫科学可视化和信息可视化

科学可视化它是这么定义的

前面都一样

蓝色这块不一样的是说

是针对科学数据

而且是通常是有物理的载体的什么意思

一般是科学可视化

我们认为是八几年开始

有NSF的一个（02：48英文）

开始提出了科学可视化这个领域

最开始一般研究的是

这里所谓的这个

有物理载体的

我举例比如说是地震数据

或者海啸数据或者天文数据

是我们能看得见摸得着的

这些数据

对于这些数据的

如何去分析

自然想到需要把它展示出来

给人能看懂

所以自然引发了这个领域的

一个研究

我们叫（03：15英文）

然后到九十年代中期

甚至到这个1999年

有这本书以后

开始更多的看到

我们对物理世界这种可视化

可能已经做很多了

但是人类活动生成的

一些抽象数据

比如说股票数据

再比如说我们微博上的

这个社交网络

都是人类生成的数据

而原来的物理数据是没有的

而对这些（03：37英文）

或者叫抽象

或者说非物理的

这个数据的可视化

我们称为信息可视化

或者叫（英文）

简称（英文）

所以我底下画这个

一些这个（韦恩图）

是用来表达我们的

不光是这个

不管是科学可视化

还有这个信息可视化

都是一个交叉学科

最开始的这个科学可视化

它是一个画图

或者叫（英文）和这个HCI

（人际）交互

以及其他领域的一个交叉

然后到了信息可视化这个时代

更多的和信息技术来交叉

比如说我们的数据分析

信息技术比如说其他的各种

数据获取手段

而到了最近十年

尤其是2005年以后

又提出了一个新的概念

叫 这里写的VA

实际上是全称是（04：30英文）

中文叫可视分析

这里更强调和数据挖掘

以及技学习的方法结合

结合这些方法

这些传统的信息可视化的手段

我们合称叫这个可视分析

我这里可能更多的

还是围绕这个信息可视化

因为可视分析是另外一个题目

讲完这个概念

我们来一下例子

我争取以最简单的例子开始

因为大家都能看懂

首先我们看这个图

大家能够看懂

这是美国地图 对吧

然后美图地图上有一些圆圈

我们可以管它叫（05：05英文）

这表达什么意思

这个全名叫美国单身人士地图

实际上是每一个这个圆圈

表达了美国的一个城区

比如说北京市或者天津市

然后这个圆圈有颜色

它代表的数据是美国

这个城市的单身的人数

当然它不是一个绝对值

而是一个差值

就是说我拿美国

比如纽约这个城区的

比如上城区的这个单身男性数字

减去女性数字

属于男性数字大的话

我就是用这个蓝色的表示

如果女性数字大

是用红色的表达

然后如果多的越多

它的圈越大

所以把它这么展示来一看

对 所以这也是可视化的一个

直观的一个效果

可以直观的展示很大量的数据

我们看到这个西海岸这个

尤其是加州这儿

有很多这个蓝圈

然后比如这个德州

也很多蓝圈

但是到了纽约这块

好像就全是红圈

当然它有一些遮挡

这个可视化也不是安全尽善尽美

所以这个对我们有什么用

我们要去读博士的时候

比如说

你是不是想去加州

还是想去纽约

OK

然后你要想（查系）的时候

具体你知道已经去了哪儿

就看一下

但是这个我们想提到一点就是

可视化实际上是人做的

也是给人看的

所以不可避免

有这个主观的因素

所以我这里看一下

这怎么主观呢

我们看一下这是谁分布的

这是波士顿环球报

当然这些呢已经

好像被纽约时报

全卖给别的公司了

但是当时发布的时候

有它的这个正式的意义在里面

因为它这个也特别

这个指出了这个波士顿在这儿

这什么意思

波士顿实际上是一个

比较大的一个城市

但是在这里面这个点很小

所以它底下有一行但是我略去了

他就说我们波士顿这个男女比例

很均衡

所以你们这个都上我们来

发展事业来

OK

所以它是带有这个

可视化也是带有

就是经常是会带有这个正式含义

用来传达一些

我想传达的信息

OK第二个例子还是美国地图

这个美国地图

当然这里是用一个填充图的

来表示一些信息

这里每一个方块表示了一个郡

美国有2000多个郡

这个方块里面

用这个颜色填充的深浅

用来表示癌症的发病率

当然现在这个图是表示的是

白人女性这是1950年到1969年

比较早的一个数据

然后我再翻一页

这是白人男性

然后我来回翻

大家能看到有什么特征没有

这是男性这是女性

OK

直观是不是男性得的这个癌症

会比较少

然后但是在这一块

这一块是哪儿呀

这是德州还是哪儿

就是南边这块

这个男性好像发病比较高

然后像这一块女性发病比较高

当然大家可以找到很多这个规律

然后里面

这其实是很有名的

一本可视化的书籍里

提到一个案例

但是我想我介绍这个图

主要目标是为了说这个事儿

美国有句谚语叫（08：17英文）

我把它翻译成中文叫一图胜千言

我们来算一下这个图

传达的多少数据量

是不是超过了千言

OK 我们算一下

美国独立的郡数量是3056

然后每一个郡里

我用一个数来表示它的发病率

然后用两个数来表示

它的中心坐标

至少用四个数来表示

它的大小和形状

我一乘至少是20000个数字

所以它不只是胜千言

可能要胜万言

还是20000言

OK 所以对我们大数据时代

用可视化来展现这个数据

实在是一个比较好的一个手段

当然这个两千 两万

可能对于我们所谓的大数据

还是不够

所以我们要讲这个大数据

怎么去做可视化

以及一些可视化的算法

OK 刚才都是简单的例子

我们来给一个稍微复杂

一点的例子

这个是 这个大家都知道

拿破仑一八几几年

侵略了莫斯科就是俄罗斯

然后可能虽然攻占了莫斯科

但是由于太冷了

可能又回国了

然后最后彻底可能失败了

因为它这个经历了

这种暴雪什么

然后这个士兵还有它的军队

伤亡惨重

但是怎么用一个图

来表示这个过程

这个实际上是

很惊讶的是它是200年前

就已经有这个图

是一个 当时不叫可视化

它叫这个工程师

法国的一个工程师画的好像是

然后这是一个什么意思呢

这实际上是我们叫

现在叫 现在叫（09：51英文）

没有翻译

我可以音译叫（桑基图）吧

然后这个实际上是一个流线图

我们看到虽然是一个流

但是虽然折回了

但是它是连续的

当然这个流在每一块

每一个位置

它的粗度表示拿破仑军队

在这个位置时的军队数量

所以最开始的时候

这个可能大家看不清

这块大概有20多万吧

然后最后就可能就几千人了

另外它是一个时空

我们叫做时空可视化

所谓时空可视化是说

我用来展示空间信息

又展示时间信息

空间信息怎么展示

实际上这是一个地图

虽然没有背景的那个层次

就是地理层次

但是它首先是一个地图

然后这个进发的时候

可能是俄国边境这块是莫斯科

所以这是真实的地理位置

另外为什么有时序信息

是它随着这个时间发展

这个流动是往前走的

所以走 这个流走的越远

它实际上在时间点上越靠后

然后这条线是他去进攻的时候

这条线是撤退的时候

所以整个这个可视化展示了

它随着时间变化

这个军队也越来越少

越来越少

到这时候折回来了

然后它有的军队呢

中间可能是开小杈的

最后又回流了

但是最终都是可能是冻死了

然后这个图还有一个意思是

在200年前

它就有一个

所谓上下（文）的概念

它底下这个图

大家都会注意到

是结合这个时空图的一个辅助图

这个有些虚线来连接

表达的意思是它是一个折线图

纵坐标虽然是温度

越往下是温度越低

所以这是负多少度

所以到 它在莫斯科的时候

温度可能还可以

越撤退这个温度越低

实际上这已经是冬天了

所以实际上它用这个

辅助的上下（文）图来表示

想说明一个事儿是说

拿破仑失败不光是被这个

可能俄罗斯歼毙（11：58）

另外一个重要的原因

是这个温度以及这个气候

导致他的军队的失败

OK 所以刚才讲的都是

还确实讲的数据

但是可视化还有一些用处

可以用来

不光展示数据

我还可以用来传达一些信息

不一定是数据信息

这个是我估计我们也能

在淘宝上买到

比如我博士毕业了

把我的博士论文做成一个

这叫（12：26英文）

或者叫（英文）

然后打印在T恤上穿出去

告诉大家我博士做了什么

然后在这个乔布斯逝世的时候

有人做了这么一个图

然后这个用来传达

对乔布斯的一个哀思

然后另外还有一些比较有趣的

这个实用

比如说（12：42英文）

我们日常说（英文）了

就是（英文）

但是这是真是一个piad（英文）

就是用一个piad来做（英文）

这是黄的是我没吃的

这个是我吃了的

OK

还有这个也挺有意思就是说

比方说我画这个

女生喜欢什么

然后这个是用（英文）

什么其他都不喜欢

就喜欢（英文）

所以这些挺有意思

刚才讲的都是可能很直观

讲一些例子

但是我们还要回归到

可能有一点理论

就是所谓信息可视化

刚才很酷很绚但是怎么做的呢

也是在1999年那本

经典的书里头

他们提出了信息可视化的

一个参考模型

它是一个实际上是五级的模型

然后中间有多个处理的过程

然后这个模型现在比较抽象

我待会儿会通过网络可视化

一个例子来说明

到底每一级都在做什么事儿

当然这里我只想表达一个

这个事儿是说

在每一级我先简单过一下吧

就是信息可视化

最开始是多个数据源过来

然后我把这些比较混杂

比较 可能比较脏的一些数据

把它清洗成结构化的一个数据表

然后数据表再通过可视化的技术

映射到一个可以展示的元素上

然后这些元素要用可视算法

然后变换成视图

最终给用户来看

用户可以通过交互

来去配置一些变换映射

以及数据变换一些参数

用来可以切换不同的

可视化的手段以及可视化的视图

然后这里我想说的是

我们来看做的几个事儿

这几个阶段要做的一些处理

分别对应的是

数据变换对应的是数据分析处理

可视化映射显然是

一个设计的一个事儿

然后视图变换以及视图的映射

对应的是可视化的算法

也就是说用什么算法

能够把这个设计好的图画出来

最后这个（人际）交互

对应的是交互设计的一个实现

然后这里想表达的意思是说

实际上这些东西

对应着很多的学科

数据分析处理

对应的是挖掘和继续学习

然后这个是信息可视化

或者说这个美学设计

这个可视化算法

实际是人际交互

以及也是可视化算法吧

然后交互设计实现

也对应这个认知和心理学

所以想表达的意思是

信息可视化首先是

不光是一门学科

可能是一个很多学科的一个交叉

所以你要做成

刚才那个可视化简单

但是我演示的那个视频的可视化

你可能又有

又有数据挖掘技学习的基础

又有信息可视化

人际交互心理学的一些知识

所以从某种意义上讲

可能门槛是比较高

但是我做了这么多年

实际上也不是特别难

但是也很有意思

然后国内做这方面

可能也是开展了有十年左右

所以这方面还是大有可为的

然后我想讲

最后在可视化这块讲一点吧

就是所谓信息可视化的挑战

在哪块儿

那么我就直接说我的这个看法

我这块儿是

提这么一点

就是人类视觉感知

可能在我认为是

现在可能还比较困难的一个事儿

是说刚才这个五级

很多这个不同学科都有在研究

可能也发展到一定程度的阶段

但是在认知和心理学

我感觉可能还不够

我来举一些例子吧

就是给大家一些概念

为什么这个感知会比较难

另外为什么感知对可视化

会很有用

给大家看一个例子

所以做一个测试

这个大家可能都知道

这个有多少3

现在这个有几个 这有几个

4个 OK

对 为什么这个都是能看到呢

所以看起来很简单 是吧

对 但是这个看起来很简单

我一下能看到四个

这个就看不到

但是实际上这里面有一个概念叫

我们叫这个很难翻译了

就是英文叫（16：47英文）

我来解释这个

意思说人眼是一个视觉系统

它实际上分为几个阶段

如果我用通俗的解释

可能有一个阶段是硬阶段

就是实际上是硬件处理的

就是我一来了

比如说形状颜色大小

还有它一些颜色的各种通道

它是直接通过硬件（英文）

到我们的这个视网膜

或者是我们的可视的

一个内存里去的

但是其他的一些

比如说对人眼的识别

它是一个软件处理的

要把这些硬件得到的结果

结合起来

比如我看我一个同学

需要看到哪块黑哪块白

哪块凸哪块凹

然后我再一想这个是我认识

对 所以你如果

只要看他是黑还是白

一眼就能看出来

但是如果你说这是谁

可能要想一下

所以这个是所谓的

这个（17：44英文）

为什么可视化重要

我们可视化的目标是

尽量用这些（英文）的这个方法

来展示数据

也就是说我用这种来展示给你

而不是刚才这种

就是这样的数据

我要用这种能够硬件编码处理的

人直接看懂的

这个视觉通道来直接展示

而不是通过这个软件编码的

一个通道来展示

我举一个例子比方看这个

这个是看这里红圈有几个

OK

这里红圈有几个

大家可能这个

脑部结构比较牛

但是通常意义讲这个

找这个会慢一些

因为这里面它的差别

只有形状的差别

颜色是没有差别的

所以找到这个红圈是（英文）

就是直接能够找到的

当然这里面

因为它这个红圈旁边有蓝圈

也有红的方块

所以在形状和颜色都有区别

所以它是一个在两维上都有区别

它是不能直接硬件看到

就是说你一眼看过去

不能找到这个 这个

但是你这个一眼能看到

当然这个也能找到

是因为这个很小了

就是这个整个的物体数很小

你通过线性搜索也能

就是你通过这儿可能也找几个

也能找到

所以这个

但是总体讲有的人做过实验

用很多用户做这种类似的任务

在只有一个通道有区别的情况下

它的速度要比这个

多个通道都有区别的差异

要快速很多

那这是有实验证明的

先讲完这个

大家看这个这是另外一个例子

大家是不是看

We can se the yellow

看这个是不是能看清楚

看这个呢

（19：35英文）这是什么 blue

我都看不清了

OK 为什么

这个会清楚 这个不清楚

OK 这个我今天不打算讲

我只是提出这个

就是说人类感知可能

对可视化里面是蛮重要

而且是很

现在还是很难的一个问题

但是这些是基本的问题已经解了

这里我不会讲

但是我有一些资料

大家感兴趣可以去看

比如再看这个除了这些方块

这个白边还能看到什么

因为时间原因

我直接告诉大家

这个中间有没有一些黑点

可能这个大屏幕不好看

就是在书上应该能看

这是很有名的一个叫（20：13英文）

这是一个视觉幻觉

然后为什么会有这个

实际上我今天不会仔细讲

大家感兴趣可以读这本书

就是说还是挺难读懂的

我读了半天

叫（英文）

是一个叫（英文）写的

然后他详细介绍了

人类感知的一些基本的理论

以及在可视化上如何应用

这些基本理论

来改进可视化的设计

然后如果觉得这个也很难读懂

也可以去看我

我在国开大有开一门课

是信息可视化的课

有一个主页

当然我的所有的PPT都在主页上

然后这个

其中有一章是这个（20：54英文）

然后大概总结了这本书的

一些内容

大家感兴趣可以来看