当前课程知识点：大数据技术与应用 > 彭元：网络安全与大数据 > 大数据安全分析平台 > 大数据安全分析平台
下面我们开始第二节
那么孤立的安全产品
面对如今复杂的互联网业务
和日益更新的安全入侵手段
显得力不从心
由于大数据技术的发展和普及
网络安全也看到了一些春天
那什么是网络安全的大数据呢
大数据的特点就是大
种类多 复杂 无格式
然后基于大数据的网络安全数据
有哪些呢
首先有网络流量
我们可以做
四层的TCP流量的采集
做七层的HTT报文的采集等等
然后是日志数据
我们可以对Web服务器的访问日志
对DNS服务器的查讯日志进行搜集
然后是攻击样本
我们可以对病毒样本
对APT事件样本
对WebShare样本做采集
然后是环境数据
包括整个全球的互联网TOP环境
运营商的网络环境
以及互联网业务的网络环境等等
这些数据构成了
我们网络安全的大数据
那么有了大数据
下面就是一个分析平台
这里是Cisco的
一个开元的大数据分析平台
叫OpenSOC
它能够存储PB级的结构化
半结构化数据
为数据的解析存储分析
提供了一个统一的平台
它能够为数据
做多角度的分析和查询
它支持数据的实时检索和索引
在技术上它采用Hadoop
Hive HBase做数据存储
采用Flume做数据采集
采用Kafka做数据的中转
采用Storm Spark做数据的分析
采用ES做数据的实时索引
这是它的一个架构图
可以看到我们所有的数据
包括原始网络流 网络原数据流
Netflow流 系统日志 运用日志
等等其他流数据进入我们的平台
经过解析教本和工具
进行解析和格式化
然后进入丰富模型
我们加入我们的威胁情报的数据
以及其他的数据
比如我们可以加入
对IP加入它的地理信息
它的网络类型
它是代理服务器
还是正常的客户IP
还是企业的出口IP
对这个URL
我们也可以做丰富
这个URL的域名是备案过的域名
还是未备案的国外的域名等等
然后我们可以
在这个平台上面做一些规则
对一些流量进行告警
然后进入我们的分析平台
我们可以做日志挖掘分析
可以做网络数据包的挖掘
和CAP的重建
可以做大数据探测和预测的模型
可以通过实时索引来检索数据
可以长期的存储格式化的数据
和原始的数据包
那这是一个OpenSOC
结合它的这个
技术组建的一个流程图
首先通过Flume进行数据的采集
然后进入Kafka通道
将原始数据进行丰富化
再进入Storm的流式计算平台
做一个转化和基于规则的告警
然后我们还可以通过OpenSOC
提供的一些聚合算法
和模型做过滤和聚合
通过一些安全模型做评分
同时也会产生告警
重新进入这个Kafka的通道
然后我们可以对数据做存储
包括这种能够用于
实时索引和搜索的用ES做的存储
可以用HIVE做长期的存储
可以用HBase做可回滚的存储
然后这一告警数据的话
我们通过不同的渠道进行消费
比如通过Web UI直接进行消费
通过Web Services
让其他的应用消费
同时
我们有一些外部告警的消费者
可以对这些告警
进行一个检验和校正
然后下面
是OpenSOC提供了一些算法
包括用于聚类分析的kmeans算法
用于网络计算的聚类分析算法
或者基于这个Hoeffding树的
决策树的分类算法
或者基于这个Half-Space的
半空间树的分类算法
还可以做一些离散检测
比如基于这个平均绝对偏差
基于这个平均值标准差
和移动平均值标准差
做不同的离散检测模型
上面是对这个
大数据分析平台的一个介绍
那第二节的内容就讲到这里了
-完整讲座
--完整讲座
-李国杰：面向大数据的数据科学--课后习题
-数据思维方式的改变
-数据的假设与采集
--数据的假设与采集
-数据的准备
--数据的准备
-数据的分析
--数据的分析
-数据的解释与验证
--数据的解释与验证
-吴甘沙：大数据分析师的卓越之道——课后习题
-个人介绍
--个人介绍
-硅谷热门公司
--硅谷热门公司
-大数据简介
--大数据简介
-大数据平台系统
--大数据平台系统
-工业实践
--工业实践
-结尾
--结尾
-董飞：硅谷公司的大数据实战分析--课后习题
-数据系统架构历史
--数据系统架构历史
-从sql到nosql
-数据库系统实现变革
-负载融合
--负载融合
-数据系统架构成本
--数据系统架构成本
-杨光信：数据系统架构——课后习题
-什么是可视化
--什么是可视化
-网络可视化
--网络可视化
-大数据带来的新挑战
-大数据网络可视化的若干案例
-时磊：大数据网络可视化—— 课后习题
-网络安全概述
--网络安全概述
-大数据安全分析平台
-大数据安全应用
--大数据安全应用
-大数据平台安全
--大数据平台安全
-彭元：网络安全与大数据——课后习题
-人工智能系统的本质功能模型
-隐性智慧，显性智慧
-人工智能：能与不能
-人工智能的技术现状
-机制主义人工智能模型
-信息转换和智能创生定律
-人工智能与大数据
--人工智能与大数据
-钟义信：“人工智能与大数据”的创新研究——课后习题
-什么是机器智能
--什么是机器智能
-大数据的重要性及特点
-大数据中的因果关系与关键技术
-大数据与机器智能
--大数据与机器智能
-大数据思维
--大数据思维
-讲座问答环节
--讲座问答环节
-吴军：数据为王和机器智能的时代——课后习题
-大数据概述
--大数据概述
-大数据相关新趋势
--大数据相关新趋势
-大数据技术创新1
--大数据技术创新1
-大数据技术创新2
--大数据技术创新2
-大数据技术创新3
--大数据技术创新3
-大数据商业价值和前景
-大数据机遇和挑战
--大数据机遇和挑战
-苏中：从大数据到认知计算——课后习题
-金融大数据概述
--金融大数据概述
-用户个人信息分类
--用户个人信息分类
-金融大数据法律框架
-实际案例和业界实践
-核心风险点
--核心风险点
-王新锐：金融大数据的法律实践——课后习题
-互联网与商业化
--互联网与商业化
-大数据与计算广告
--大数据与计算广告
-计算广告介绍
--计算广告介绍
-数据交易
--数据交易
-刘鹏：互联网变现与计算广告——课后习题
-从记账技术到区块链
-区块链确保数据真实性
-区块链确保数据安全性
-区块链衡量数据价值
-区块链的应用和总结
-杨保华：区块链与数据科学——课后习题
-个性化推荐系统
--个性化推荐系统
-推荐系统的召回与排序
-智能制作之个性化海报
-线上推荐系统其它要素
-杨紫陌：个性化内容推荐——课后习题
-个人介绍及用户理解背景
-用户理解与用户画像
-案例1：用户属性识别
-案例2：自然人识别
-案例3：WOI与社交关系识别
-陆祁：用户行为大数据——课后习题
-内容智能生态——数据、算法、应用
-大数据在内容分析的应用
-IP价值评估系统
--IP价值评估系统
-爱奇艺的剧本评估
--爱奇艺的剧本评估
-爱奇艺的智能评分
--爱奇艺的智能评分
-阳任科：大数据与AI的内容分析——课后习题
-外卖行业及场景简介
-餐饮及外卖行业大数据应用框架
-案例分析：智能营销场景的用户画像
-案例分析：智能助手场景的菜品画像
-王栋：美团外卖的大数据应用——课后习题
-旅行业务的特点
--旅行业务的特点
-美团旅行业务的用户画像构建
-用户画像的应用案例
-住宿需求预测问题
--住宿需求预测问题
-营销补贴策略建模
--营销补贴策略建模
-赵楠：商业思维与大数据技术在美团旅行业务中的结合——课后习题
-互联网金融背景介绍
-互联网金融科技
--互联网金融科技
-数据智能的三个案例
-技术展望
--技术展望
-陈彧：美团点评金融服务的大数据与人工智能——课后习题
-数据的进化历程
--数据的进化历程
-阿里DMP平台介绍
-核心技术及案例
--核心技术及案例
-数据应用
--数据应用
-毛波：阿里全息大数据构建与应用——课后习题
-在线营销
--在线营销
-竞价机制
--竞价机制
-数据价值
--数据价值
-韩定一：在线营销中的竞价机制与数据价值——课后习题
-竞价排名搜索
--竞价排名搜索
-主要技术问题
--主要技术问题
-点击率预测概述
--点击率预测概述
-点击率预测实践
--点击率预测实践
-龚笔宏：大数据在工业界中的经典案例分享——课后习题
-即时配送业务的背景及挑战
-案例1：订单分配策略
-案例2：供需平衡策略
-未来展望
--未来展望
-郝井华：即时配送中的人工智能——课后习题
-什么是数据驱动营销
-LTV留存分析
--LTV留存分析
-RFM会员体系
--RFM会员体系
-消费者微群画像
--消费者微群画像
-渠道倾向性分析及行业竞争分析
-机器学习潜客挖掘模型
-- 机器学习潜客挖掘模型
-陈辉：数据驱动营销——课后习题
-金融大数据时代
--金融大数据时代
-大数据客观信用
--大数据客观信用
-我国的金融环境
--我国的金融环境
-客观信用的实践
--客观信用的实践
-应用案例与成果
--应用案例与成果
-艾小缤：大数据评价体系在金融、征信领域的创新——课后习题
-外部链接
--外部链接
