从记账技术到区块链在线视频

各位同学大家上午好

今天很高兴能有机会

来跟大家一起做这个交流

一起来聊一聊

区块链与数据科学这个话题

那么我们知道信息科技

在过去的几十年里

有很多重大的进展

其中有四个方向尤为瞩目

它们分别是人工智能

区块链 云计算 还有数据科学

那么巧合的是

它们的英文单词首字母

恰好是A B C D开头

所以业界也把它们归为ABCD

那么人工智能以机器学习为代表

特别是深度机器学习

那么区块链

我们可以更规范的称之为

名字为分布式帐本

还有云计算以及数据科学

特别是以大数据

为核心的数据科学

那么这四门方向

它们其实有很多的共同之处

比如说它们其实都是

复杂的系统科学

而且它们之间

有很多互相协作的地方

那么今天我们主要

来一起探讨一下区块链

还有数据科学

那么首先什么是数据科学

在VKPD上有这样一个定义

它认为数据科学

是这样一个交叉的学科

那我们从数据中

来利用一些科学的一些方法

一些处理 还有一些算法

或者是系统

我们从中提取知识

还有我们的启示

简而言之我将数据科学归结为

我们从数据中要提取出价值

从这个定义中大家也可以看出

数据科学最核心的目的

最终还是要提取价值

那在提取过程中

我们需要有一些手段

这也就是后来的

所谓的很多的数据处理的算法

或者是数据处理的系统

那么数据科学我想大家都知道

它非常非常的重要

那其实不光是

它能产生很大的经济效益

另外它也是一种方法论

Jim Gray

他是1998年的图灵奖获得者

他曾经将数据科学归结为

是第四种科学范式

与实验范式 理论范式

计算范式与数据范式相并列

那么我们分别来看一下

这四种范式

实际上在人类早期

我们很多时候探索自然界

需要进行大量的实验

那么到了后来

到了现代物理学

我们可以进行一些

理论的一些推导

那么在随着计算技术的发展

我们有了计算机

所以我们可以用计算机

来进行一些模拟

特别是在高性能物理

还有天气的预测等等的领域

那么到了后来

我们有了很多的数据处理的手段

我们可以基于数据

来对这些进行预测 进行决策

其中两个很典型的成果

包括大数据 还有深度学习

传统上我们认为说

数据科学它的出现

是在计算机出现以后

这是因为计算机

让数据处理的速度

一下子变快了

同时数据的处理量

一下子也变大了

但是实际上在计算机出现之前

人们就已经是

跟各种数据在打交道

有一些数据处理的一些方法

其中非常基本也是非常重要的

一个数据的处理的方法

实际上就是记帐

那这张图实际上可以总结了

完整的一个记帐科技

跟数据科学的

一个演化的一个历史

从整个这么大的一个时间尺度上

我们可以清晰的看出

实际上记帐科技

与数据科学的演化

两者是一脉相承的

从最早我们有所谓的单式记帐

到后来我们有复式记帐

再到计算机出现之后

记帐科技继续演化

为数字帐本和分布式帐本

那么数据科学也随之演化

我们有数据库 大数据等等

众多的成果

这张图是著名的库辛石板

它为什么重要呢

它是目前发现的

人类考古学发现的

最早的人类记录的证据

那么它是公元前

大概在3000年在乌鲁克城

也就是今天的幼发拉底河领域

伊拉克的境内

那这块人类祖先

最早留给我们的这个信息中

它记录了什么样的内容呢

如果翻译成今天的文字

它的信息是37个月

29086单位的一个大麦

那这个记录人是库辛

那么用今天的眼光来看

这是一个标准的一个帐目的记录

所以就是人类祖先

实际上最早留给我们

这样一个信息的痕迹

实际上是一条帐目

这种简单的记帐方法

实际上到今天

仍然很多时候大家还在使用

它的特点是形式很简单

一句话我们就可以把一笔交易

记得很清楚

但是它的问题也很显然

就是容易出错

而且一旦出错之后

很难去追查到底是在哪里出了错

那后来发展了几千年之后

特别随着商业的兴起

人们慢慢的发现说

单式记帐这种方法

已经很难应对实际的需求了

特别到了意大利的文艺复兴时期

我们知道那个时候

意大利是一个重要的商贸中心

每天有大量的商业活动

那利用单式记帐法

大家经常会碰见各种纠纷

于是人们在生产实践中

慢慢摸索出来更先进的记帐方法

这就是所谓的复式记帐

复式记帐最早的时候

是由意大利的著名的数学家

Luca Pacioli

在他的著作《算术几何比例》

以及《比例概要》中予以介绍

复式记帐直到今天

仍然是现代会计学的基础

也是重要的方法

也因此Luca Pacioli他被称为

现代会计学之父

那前两种记帐方法

无论是单式记帐方法

还是复式记帐方法

无论我们是刻在石板上

还是记录在纸张上

它的记帐的主要媒介

实际上还是物理媒介

那么后来我们有了计算机

我们可以有了数字化的媒介

大家都知道第一台计算机

是所谓的ENIAC

大概诞生在1946年

实际上在ENIAC之前

在1911年有一家公司

它的名字叫做CTR

可能很多同学都没有听说过

这家公司的这个名字

但是它后来的名字

我想应该是大名鼎鼎

也就是IBM公司

那么CTR它最早期

做了一个什么样的事情呢

它是最早的发明了

电动的打孔机

用于进行快速的统计

它进行统计的这个速度

还有准确率远远的超越了

手动统计的打孔机

后来他们成长成为一个

巨大的一个商业公司IBM

1946年ENIAC正式的发明

从此我们进入了计算机的时代

计算机它的硬件也在飞速的发展

它能处理的这个数据量

也是越来越大

它处理数据量的速度也是很快

当面临的问题的

规模变得非常大之后

人们很自然的又碰到了

一些新的挑战

比如说我该怎样去

合理的去组织我的数据

我该怎样合理的

提供这些数据查询的能力

这些需求就促生了

后来数据库的诞生

我们知道最早1970年左右

我们有Oracle公司

它提出了第一个关系型的数据库

那计算机计算能力不断发展

那人们会发现说

单个机器的处理能力

应对越来越大规模的问题

有些力不从心了

人们开始探讨说

能不能让很多的机器集合起来

我们让他们共同来协作

来完成这么大的一个问题

那就自然促生了

后来到网络技术

我们知道最早的互联网的前身

ARPANET也是在1970年左右

那么到了80年代 90年代

慢慢的它成长为

今天的这个互联网

网络技术的出现

一方面它有效的整合了

这么多单个计算机的处理的能力

但同时它也让这个数据的传输

变得前所未有的廉价

数据规模的增长

也是前所未有的迅速

这也带来了新的一个挑战

那么到了后来

上个世纪到90年代左右

开始有很多学者

开始预言到大数据时代的到来

而未来的数据量

它的增长可能远远是超过

我们的处理技术的增长的

因此我们要探索新的方法和系统

那么之前种记帐的方法

无论它是物理媒介

还是数字媒介

实际上它的记帐的主要思路

还是一种中心化的记帐的方式

那么随着网络的发展

随着参与到记帐活动的

个体的增多

大家慢慢意识到说

一个是处理的这个数据量

规模进一步的增大

再一个参与记帐的个体越来越多

很多时候我们实际上

比较困难去找到一个

有效的一个中心化记帐的机制

那很自然人们开始探索说

在分布式的场景下

众多的个体它们应该怎么去合作

来共同完成记帐这件事情

也就是我们直到今天

正在飞速发展的

分布式记帐这个问题

那么在这一时期

我们可能看到很多

耳熟能详的重要的开源项目

也在这一时期诞生

包括2006年Hadoop

它以前所未有的MapReduce

这样的模型来处理大数据

2009年比特币项目上线

它是第一个真正的

实践的意义上的

去中心化的加密货币的项目

那到了2010年

也基本上是同一时期

我们有了Spark

在Hadoop的基础上

有了很大的改进

那么到了2015年

以太坊项目看到了比特币

它的在实际使用过程中的

一些缺陷

它进一步的进行了改进

那再到2016年初很多的企业

我们看到分布式记帐这个事情

不仅仅能应用于

加密货币这样一个单一的场景

实际上在企业中有非常大的

非常广阔的应用的一个前景

于是他们联合推出了

超级帐本这样的项目

那这些项目的出现

正式宣告我们进入了

一个分布式帐本的一个时代

那无论是比特币

无论是以太坊

无论是超级帐本

它们其中非常非常核心的

一个结构那就是区块链

区块链可以说直到发展到今天

在分布式记帐这个问题中

都起到了非常至关重要的

一个作用

那么区块链到底它是怎么来的

那有的人认为说区块链

实际上最早是还是诞生于比特币

是比特币的发明人

中本聪提出的

有的人认为说区块链的思想

实际上在更早的在设计一些

哈希的算法和结构的时候

其实就已经出现了

那么我们来看一下

这个区块链的一种定义

区块链实际上有很多种定义

但是这些定义

它们主要的思想应该说是

大同小异的

它们主要是从不同的角度

来描述了区块链

各个角度的一个不同的一个特点

那么这里有一个

相对权威的定义

它来自于美国的国家标准局

那么它在里面

将区块链定义成是一种

不可篡改的数字帐本系统

那么它的实现是一种

分布式的一种方式

没有一个中心化的一个仓库

那通常也没有一个

中心化的一种管理的一个机制

那从这个定义中我们可以看出

这里面有两个关键的一个术语

一个是帐本系统

这个就揭示了

区块链的它的一个核心

它首先它是一个帐本系统

第二个是说它的实现

是一种分布式的一种风格

那所以区块链实际上它的出现

就是为了解决分布式记帐的问题

那么什么是分布式记帐问题

我们都知道分布式记帐科技

它的英文术语

Distributed Ledger Techonlogy

那其中两个关键词

Distributed

我们认为它的意思是说

多方参与 首先它是分布式的

多方的参与

同时这多方应该还是一个

有机的一个协同合作的一个关系

那么Ledger很自然

帐本系统

它要完成对整个交易历史的

一个不可篡改的这样一个记录

那分布式记帐它有很多的需求

其中最基本的三个需求

我们总结为要解决谁来记帐

如何保证记帐的记录正确

以及谁可以访问

这三个基本需求

那谁来记帐

如果是所有人都可以来记帐

所有人都可以

任意来访问这个记录

那么这种方式

我们称为公开的公有的

分布式记帐

如果我们是限定只有部分人

那这个是所谓的联盟的方式

那甚至更进一步的

只有个别的团体可以访问

那这个是私有的这种记帐

那如何来保证正确

那保证它的正确性

在这实际上有两层的这个含义

那首先第一个含义

还是说是要防篡改

你的记帐过去的内容

不能被别人篡改

第二个就是你记帐的这个内容

应该是在你记帐的这个主体内

应该是达成了一个共识的

大家都认为说

这个记帐的记录是正确的

是应该记录到张本上的

那么谁可以来访问

这里面主要就涉及到

一些传统的像权限管理

还有这个隐私保护

等等的相关话题

那我们来看一下

如果我们沿着这个分布式记帐

这样一个基本问题

我们看一下我能不能设计出

一些比较实用的方案

那首先我想解决这个记帐问题

最简单的一个方案

那很显然它应该是一个

线性的一个结构对吧

一个线性的队列

它是一个最简单的

一个记录的结构

那么比方说我们现在有一个

这样线性的一个队列

我们有多个参与方

每个参与方可以源源不断的

将自己的记录

插入到这个队列当中

那这样一个设计

实际上就是一个最简单的

解决分布式记帐问题的

这样一个方案

那么这个方案

有没有什么样的问题

我想大家可能也已经意识到了

这个方案实际上最大的问题

还是说是它的这个可篡改性对吧

因为这个队列

是每一个人都可以

任意进行操作的

所以大家可能对

这个队列中的记录进行篡改

而且一旦篡改之后

很难检测出来

那我们怎么能够解决

这个防篡改的问题呢

那学过计算机一些知识的同学

可能会意识到

在我们计算机学科

有一个非常好用的一个手段

那就是数字摘要

那么只要我们把

整个的记录过程中

我们把这个队列里面的

记录的内容进行

加上一个数字摘要

我们用它进行来作校验

我们就可以很好的解决

防篡改这样的问题

比如说我们每当收到这样一个

新的一个交易请求的时候

那所有人都将整个队列中

完整的这样的记录的历史

作一遍校验 作一遍数字摘要

同时你可以记录在本地

这样如果将来我们的记录历史中

有任何的交易内容被篡改了

我重新作一遍数字校验

然后我跟我本地

原来记录的这个摘要值进行比较

如果两个摘要值不相同

那么我们就知道

这个历史是被人篡改了

而且我们可以追查到

到底是在哪个交易中被篡改

所以我们引入这种

数字摘要的机制

我们就可以解决

防篡改的这样一个问题

那么这样一个设计

在实践中有没有其他的问题呢

可能有同学意识到了

这样一个设计

它最大的一个问题

是它的扩展性比较差

因为每当我们来一个

新的交易的时候

我们需要对完整的队列内容

重新计算它的摘要

那意味着说

随着我们这个队列内容的增长

随着我们使用的时间越来越长

每次做数字摘要的这个时间

也是跟着往上涨的

那这样一个系统

我们在实践中

我们称之为这个系统

缺乏可扩展性

那么很自然我们怎么解决

它的可扩展性不足的

这样一个问题

那我们观察到

实际上我们每次

在做数字摘要的时候

我们其实并没有很好的

利用之前进行的数字摘要的

这样一个结果

那么我们如何利用它呢

那很自然

我们可以把这种对完整历史

进行摘要这样的一个操作

我们把它进一步的改进为

增量的一个操作

也就是说每当有新的交易到来

这个队列的时候

我们每次计算数字摘要内容

我们只需要对这些增量

新到来的这些交易的内容

进行数字摘要

同时我们把之前

进行数字摘要的这个结果

我们把它包括进

我们新的这个摘要之中

这样我们就实现了一种

非常好的可扩展

具有可扩展性

而且可以有效的检测

防篡改这样一个特性的

这样一个设计

当然我们也说了

我们是按照分布式记帐问题

沿着一个队减的

这样一个思路出发来进行设计

我们的记帐的这个数据结构

是一个线性的一个队列

那如果我们的这个记帐结构

不是一个线性的一个队列呢

比如说像现在

已经有人在探讨

如果是数的结构

如果是有向无环图的结构

那它们又会具有

什么样的一些特点

那这个问题我想留给

各位同学进一步的思考

那大家实际上

从刚才的这个方案三

我们把它变个形式

我们把它的增量的交易

就我们作为一个交易

同时我们把这个增量的哈希

还有之前的历史

我们作为这个pre hash

之前的这个哈希值

这样我们就可以构成

这样一个链式的一个结构

那可能有同学已经看出来了

这个实际上就是一个

典型的一个区块链的结构

那在这样一个结构下

可以很好的实现

多方一起来参与记帐

大家一起来共同的维护帐本

而且这种记帐方法可以防篡改

具有可扩展性

那这也是为什么我们说

这个区块链这样一个结构

它实际上是分布式记帐

这个问题一个天然的一个结果

所以区块链的第一性原理

我们总结为

区块链它是记帐科技

演化到分布式场景下的

一个天然的一个结果

当然大家注意

它可能并不是唯一的结果

那从刚才的描述中

我们可以看到区块链结构

可以满足两大基本需求

防篡改 可扩展

但是对于一个

简单的一个数据结构

它并没有考虑

当然它可能也没有能力去兼顾

包括像安全性 像隐私 性能

管理 互操作等等

多方面的这样一些需求

那这也是为什么呢

我们在实践中

如果你要设计一套

分布式记帐的系统

你除了采用区块链

这样一个数据结构之外呢

你往往还要结合数字证书

安全保护 包括加密

包括如何去提高它的扩展性

还有很多的管理上的一些设计

那么到这里

我想我们可以给出一个

比较全面的一个定义

到底什么是区块链

那我将它分为

狭义和广义两种角度

那么狭义上我们可以认为

区块链它其实就是一种数据结构

它是以区块为基本单位的

链式的数据结构

在区块头中我们有对之前的

交易历史的这样一个哈希值

这样一个哈希值

可以有效的解决防篡改的问题

同时区块链这样一个

增量哈希计算的特点

又可以使得它具有

一定的可扩展性

那么因为区块链结构

它的设计真的是非常的巧妙

它在分布式记帐这个问题解决中

也是非常的重要

所以在广义上很多时候

我们在谈到区块链的时候

我们也用它指代

基于区块链结构实现的

这样的分布式的记账技术

它除了这个数据结构之外

它还包括分布式的共识

安全与隐私保护 P2P的网络

分布式的存储 还有智能合约

等等这一系列的技术

我们也讲它称为区块链技术

那如果我们从

比特币项目上线开始算起

那区块链发展到现在

也正好是10年的时间

那么在这10年中

有一些重要的事件

我们可以一起来看一下

那么首先2009年的1月份

比特币上线

这个是首次大规模的运用

区块链结构

而且是一直运行了10年时间的

这样一个分布式的一个系统

那非常有趣的是

在比特币项目的白皮书中

他谈到了Block

谈到了Chain

但是唯独没有提到

Blockchain这个term

所以区块链这个术语

实际上严格来讲

并没有在比特币项目中正式提出

而是后来慢慢演化出来的

那从2014年左右开始

基于区块链的

分布式记帐的技术

开始受到了更广泛的一些关注

2015年7月以太坊项目

也是今天最大的公有链项目

正式上线启动

2015年的10月

著名的杂志经济学人

发表了封面文章信任机器

第一次将区块链这样一个结构

介绍给世人

2015年的12月

超级帐本项目正式启动

那这些重要的项目

就奠定了整个区块链

整个分布式帐本技术

一直发展到今天的基础

区块链诞生之后

它并不是说一开始就颇受人关注

它也是经历了几次热潮

我们讲第一次热潮

大约是在2013年和2014年左右

那个时候随着像比特币

这样的加密数字货币

它们的价格不断的膨胀

很多人开始关注它

第二次热潮出现在

2015年到2016年左右

随着经济学人封面文章

更多的人开始从技术角度

来了解区块链

来探讨区块链在解决

分布式记帐这样问题中

起到的重要的一个作用

那第三次热潮

应该说在2017年到2018年左右

这主要是很多的资本

还是关注到分布式记帐

这样一个领域

那我们有大量的基于

已有的开源项目的一些应用

开始加速的落地

同时我们也有很多的

标准或者规范正在探讨

那么分布式帐本科技

它非常非常重要

为什么重要呢

那这儿有几个数字

IDC在它的报告中预测

到2021年整个区块链

这方面的投资会接近100亿美金

他预测时是97亿美金

那么Gartner在他的报告中预测

到2030年整个区块链相关的行业

它的市值会超过3万亿

那在过去的三年里根据统计

区块链相关的专利数目

超过了2500件

那我们根据最近的一份报告

也能看出在过去的2018年

全年在区块链方面的投资

相对于去年2017年来讲

它翻了三倍

那世界经济论坛的创始人克劳斯

他更是夸张的将区块链

与蒸汽机 电气化

还有计算机并列

认为这是第四次工业革命的一个

核心的一个成果

那我们讲区块链

之所以它这么重要

根子上原因还是因为

分布式记帐这个问题非常的重要

那分布式记帐科技

某种意义上它实际上是一种

新的一种计算形态

它在多方合作的这样一个场景下

它利用分布式的这样一个技术

可以有效的降低成本

提高生产力