当前课程知识点：大数据技术与应用 > 彭元：网络安全与大数据 > 网络安全概述 > 网络安全概述
大家好
今天非常高兴来到慕课平台
与大家分享网络安全
与大数据相关技术的话题
首先介绍一下我自己
我叫彭元来自于绿盟科技
目前是一名Web安全研究员
研究的方向包括Web渗透
Web防火墙和大数据分析方向
下面是我们公司的网站
公司的技术博客和我个人的邮箱
大家如果对网络安全感兴趣的
可以关注我们的网站
或者通过e-mail与我联系
那互联网发展到今天
可以说我们每一个现代人
都离不开互联网
我们每一天
都会向互联网索取信息
也会向互联网发布信息
那么在互联网大力发展的同时
网络安全
和地下产业链也在大力发展
那么谈到网络安全
可能很多人会觉得神秘
提到黑客很多人会觉得酷
会觉得很遥远
但其实互联网安全
与我们每一个人的生活
都息息相关
我们从风险说起
数据泄漏是
现在互联网安全的第一大风险
这里有一张表格是2015年
美国的各大网站泄漏的帐户数据
可以看到Myspace LinkedIn ADP
都泄漏出了数以亿计的帐户数据
那么为什么会有
这些泄漏的帐户数据呢
一方面
是由于网站的安全意识不够
存储用户密码时
采用了弱加密方式
甚至是直接明文存储
那么当一旦网站被入侵
就会造成数据库被拖库
用户的帐户密码全被泄漏
那么另外一方面
是由于用户的安全意识不够
很多用户在不同的网站之间
使用同一个密码
那么一旦一个网站被入侵
就可能导致
多个网站的帐户数据被泄漏
这是帐户数据的泄漏
那么更严重的是商业数据的泄漏
据（02：29）统计
2015年全球60多个国家
发生了6万多次的商业数据泄漏
尤其集中在企业 金融
公共服务和信息管理业务类型
那么另外一个风险是钓鱼诈骗
相信很多同学
都收到过这种类似的诈骗短信
攻击者通过伪基站
发布了这种大量的短信
受害者点击短信里面的恶意链接
进入攻击者精心构造的钓鱼网站
导致钱财受损上当受骗
那么据统计
中国一至三月这个钓鱼网站数量
到三月份的时候达到了三万多个
尤其集中在这种金融银行业务
而现在最后统计出来的数据
一个银行的官方网站
每一个官方网站有五个钓鱼网站
可见这个钓鱼诈骗的这个严重
下面一种风险是DDOS攻击
可能很多同学不太了解
因为这种攻击是针对企业服务的
比如web站点
比如DNS服务器
比如邮件服务器
那么这种攻击的方式
大致是如这个图显示
攻击者通过控制的大量肉鸡
像服务器发起访问
而服务器的资源被耗尽
导致普通用户无法访问
这就好比现实生活中
一个商店被攻击者盯上了
然后攻击者派了很多人去商店
只问价就是不买东西
导致正常的顾客不能够购买商品
于是造成了这个拒绝服务
那么现在据统计2015年
中国的这个DDOS攻击的总流量
接近28万TB也就是280个PB
那这是一个什么概念呢
在2015年整个中国移动互联网的
这个总流量
每个月
平均每个月下来是三百个PB
也就是相当于整个移动互联网的
一个月的攻击流量是DDOS流量
然后DDOS这个攻击的成本非常低
地下产业链也非常的完善和丰富
很多黑客
在地下市场进行明码标价
比如一个G的流量打一个小时
只需要人民币50块钱
然后下一个风险是APT攻击
全称是高级可持续威胁
主要是针对的是企业和政府部门
像很多知名的这种企业
都受到过APT攻击
比如这个谷歌的激光射线
那么这个激光射线的这个来源
是怎样的呢
首先攻击者通过社会工程学
知道了谷歌的一些
员工的一些爱好
找到他们的这个社交信息
比如 Twitter Facebook
他们发布的一些信息
然后伪造了一个图片托管服务器
而这个员工恰好
上了这个图片托管服务器以后
而这个图片服务器里面
是有后门的
那员工的这个家里面
这个电脑里面
浏览器中了这个后门
造成了这个缓冲器溢出
然后下载了很多
攻击者提供的一些恶意的程序
然后攻击者在员工的这个机器上
建立了这个SSL通道
持续的监听和监控
这个员工的数据
然后最终获得了这个员工的
访问谷歌服务器的一些凭证
然后通过这个凭证
拿到了这个Gmail服务器的
这个凭证
再监控他感兴趣的
一些Gmail的帐户和内容
那么事后发现
攻击者使用了这些后门程序里面
经过破解大部分的这个编译环境
都带有这个（英文）这个字样
于是这个攻击事件
也就是激光的这个事件
因此而得名了
然后这是一个全球的
实时的网络攻击地图
有美国的NORSE公司
在全球部署了超过八百万个
监控点和蜜罐系统
包括服务器 PC机和移动设备
这里面的每一个光圈
就表示一次攻击事件
每一条轨迹就代表一次攻击
所以说网络安全现状
我们刚才讲的一些风险和事件
其实都只是网络安全的冰山一角
整个网络安全和地下产业链
是非常复杂和庞大的
那索性有攻击就有防护
有黑道就有白道
在地下产业链和黑客团伙
不断的破坏网络安全环境
攫取财富的同时
也有无数的安全公司
和安全白帽子
在维护着网络环境的安全
但是我们的传统检测
主要是基于一些
特征检测流量和文件
比如我们的杀软
要定期更新病毒库
我们的防火墙要定期更新漏洞库
第二我们会基于算法做检测
比如基于频率来检测
（flutter）攻击和CC攻击等
然后我们基于Token做身份识别
比如网银的双音词认证
再比如防护CSRF的Token验证
还有基于黑名单阻断
例如
我们对一些恶意的IP进行封禁
对一些暴力色情等URL进行阻断
还可以基于扫描器打补丁
通过扫描器扫描这个系统
发现它的漏洞后
然后基于此漏洞
在防火墙上做规则打上这些补丁
那么这样的传统检测
存在哪些问题呢
首先我们只能被动的响应
在攻击事件发生时
我们才能做出行动
不能够感知在攻击提前做出预防
第二很难对一些APT攻击
或者0Day进行防护
那什么是0Day呢
也就是未公开的漏洞
因为没有公开
所以大部分这种杀软防火墙
也就没有这个漏洞的特征
所以无法检测
第三个溯源困难
当我们知道我们的网站
我们的系统被入侵了
但是因为无法溯源
我们找不到攻击者
无法有效的震慑攻击者
那攻击事件自然会越来越多
第四误报率高
因为这种基于特征的检测
最大的问题就是误报率高
很容易造成误报
而影响正常的系统
然后是我们的系统
都是单一的孤立的
没有与其他厂商
其他平台进行共享
我们呈现一个孤立无援的状态
-完整讲座
--完整讲座
-李国杰：面向大数据的数据科学--课后习题
-数据思维方式的改变
-数据的假设与采集
--数据的假设与采集
-数据的准备
--数据的准备
-数据的分析
--数据的分析
-数据的解释与验证
--数据的解释与验证
-吴甘沙：大数据分析师的卓越之道——课后习题
-个人介绍
--个人介绍
-硅谷热门公司
--硅谷热门公司
-大数据简介
--大数据简介
-大数据平台系统
--大数据平台系统
-工业实践
--工业实践
-结尾
--结尾
-董飞：硅谷公司的大数据实战分析--课后习题
-数据系统架构历史
--数据系统架构历史
-从sql到nosql
-数据库系统实现变革
-负载融合
--负载融合
-数据系统架构成本
--数据系统架构成本
-杨光信：数据系统架构——课后习题
-什么是可视化
--什么是可视化
-网络可视化
--网络可视化
-大数据带来的新挑战
-大数据网络可视化的若干案例
-时磊：大数据网络可视化—— 课后习题
-网络安全概述
--网络安全概述
-大数据安全分析平台
-大数据安全应用
--大数据安全应用
-大数据平台安全
--大数据平台安全
-彭元：网络安全与大数据——课后习题
-人工智能系统的本质功能模型
-隐性智慧，显性智慧
-人工智能：能与不能
-人工智能的技术现状
-机制主义人工智能模型
-信息转换和智能创生定律
-人工智能与大数据
--人工智能与大数据
-钟义信：“人工智能与大数据”的创新研究——课后习题
-什么是机器智能
--什么是机器智能
-大数据的重要性及特点
-大数据中的因果关系与关键技术
-大数据与机器智能
--大数据与机器智能
-大数据思维
--大数据思维
-讲座问答环节
--讲座问答环节
-吴军：数据为王和机器智能的时代——课后习题
-大数据概述
--大数据概述
-大数据相关新趋势
--大数据相关新趋势
-大数据技术创新1
--大数据技术创新1
-大数据技术创新2
--大数据技术创新2
-大数据技术创新3
--大数据技术创新3
-大数据商业价值和前景
-大数据机遇和挑战
--大数据机遇和挑战
-苏中：从大数据到认知计算——课后习题
-金融大数据概述
--金融大数据概述
-用户个人信息分类
--用户个人信息分类
-金融大数据法律框架
-实际案例和业界实践
-核心风险点
--核心风险点
-王新锐：金融大数据的法律实践——课后习题
-互联网与商业化
--互联网与商业化
-大数据与计算广告
--大数据与计算广告
-计算广告介绍
--计算广告介绍
-数据交易
--数据交易
-刘鹏：互联网变现与计算广告——课后习题
-从记账技术到区块链
-区块链确保数据真实性
-区块链确保数据安全性
-区块链衡量数据价值
-区块链的应用和总结
-杨保华：区块链与数据科学——课后习题
-个性化推荐系统
--个性化推荐系统
-推荐系统的召回与排序
-智能制作之个性化海报
-线上推荐系统其它要素
-杨紫陌：个性化内容推荐——课后习题
-个人介绍及用户理解背景
-用户理解与用户画像
-案例1：用户属性识别
-案例2：自然人识别
-案例3：WOI与社交关系识别
-陆祁：用户行为大数据——课后习题
-内容智能生态——数据、算法、应用
-大数据在内容分析的应用
-IP价值评估系统
--IP价值评估系统
-爱奇艺的剧本评估
--爱奇艺的剧本评估
-爱奇艺的智能评分
--爱奇艺的智能评分
-阳任科：大数据与AI的内容分析——课后习题
-外卖行业及场景简介
-餐饮及外卖行业大数据应用框架
-案例分析：智能营销场景的用户画像
-案例分析：智能助手场景的菜品画像
-王栋：美团外卖的大数据应用——课后习题
-旅行业务的特点
--旅行业务的特点
-美团旅行业务的用户画像构建
-用户画像的应用案例
-住宿需求预测问题
--住宿需求预测问题
-营销补贴策略建模
--营销补贴策略建模
-赵楠：商业思维与大数据技术在美团旅行业务中的结合——课后习题
-互联网金融背景介绍
-互联网金融科技
--互联网金融科技
-数据智能的三个案例
-技术展望
--技术展望
-陈彧：美团点评金融服务的大数据与人工智能——课后习题
-数据的进化历程
--数据的进化历程
-阿里DMP平台介绍
-核心技术及案例
--核心技术及案例
-数据应用
--数据应用
-毛波：阿里全息大数据构建与应用——课后习题
-在线营销
--在线营销
-竞价机制
--竞价机制
-数据价值
--数据价值
-韩定一：在线营销中的竞价机制与数据价值——课后习题
-竞价排名搜索
--竞价排名搜索
-主要技术问题
--主要技术问题
-点击率预测概述
--点击率预测概述
-点击率预测实践
--点击率预测实践
-龚笔宏：大数据在工业界中的经典案例分享——课后习题
-即时配送业务的背景及挑战
-案例1：订单分配策略
-案例2：供需平衡策略
-未来展望
--未来展望
-郝井华：即时配送中的人工智能——课后习题
-什么是数据驱动营销
-LTV留存分析
--LTV留存分析
-RFM会员体系
--RFM会员体系
-消费者微群画像
--消费者微群画像
-渠道倾向性分析及行业竞争分析
-机器学习潜客挖掘模型
-- 机器学习潜客挖掘模型
-陈辉：数据驱动营销——课后习题
-金融大数据时代
--金融大数据时代
-大数据客观信用
--大数据客观信用
-我国的金融环境
--我国的金融环境
-客观信用的实践
--客观信用的实践
-应用案例与成果
--应用案例与成果
-艾小缤：大数据评价体系在金融、征信领域的创新——课后习题
-外部链接
--外部链接
