当前课程知识点:大学计算机基础 > 第7章 数据管理与数据库 > 7.3 大数据 > 7.3.1扩展阅读——大数据技术
7.3.1 扩展阅读:大数据技术.docx---点此下载文件
大数据(巨量数据集合)
大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》 [2] 中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。
定义
对于“大数据”(Big data)研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。
从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
大数据需要特殊的技术,以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
最小的基本单位是bit,按顺序给出所有单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
它们按照进率1024(2的十次方)来计算:
1 Byte =8 bit
1 KB = 1,024 Bytes = 8192 bit
1 MB = 1,024 KB = 1,048,576 Bytes
1 GB = 1,024 MB = 1,048,576 KB
1 TB = 1,024 GB = 1,048,576 MB
1 PB = 1,024 TB = 1,048,576 GB
1 EB = 1,024 PB = 1,048,576 TB
1 ZB = 1,024 EB = 1,048,576 PB
1 YB = 1,024 ZB = 1,048,576 EB
1 BB = 1,024 YB = 1,048,576 ZB
1 NB = 1,024 BB = 1,048,576 YB
1 DB = 1,024 NB = 1,048,576 BB
全称:
1 Bit(比特) =Binary Digit
8Bits = 1 Byte(字节)
1,000 Bytes = 1 Kilobyte
1,000Kilobytes = 1 Megabyte
1,000 Megabytes = 1 Gigabyte
1,000 Gigabytes = 1Terabyte
1,000 Terabytes = 1 Petabyte
1,000 Petabytes = 1 Exabyte
1,000Exabytes = 1 Zettabyte
1,000 Zettabytes = 1 Yottabyte
1,000 Yottabytes = 1Brontobyte
1,000 Brontobytes = 1 Geopbyte
容量(Volume):数据的大小决定所考虑的数据的价值和潜在的信息;
种类(Variety):数据类型的多样性;
速度(Velocity):指获得数据的速度;
可变性(Variability):妨碍了处理和有效地管理数据的过程。
真实性(Veracity):数据的质量
复杂性(Complexity):数据量巨大,来源多渠道
价值(value):合理运用大数据,以低成本创造高价值
-开篇导读
-常见问题
-1.1 计算文化
--1.1.1 Computer history and development Part I
--1.1.2 Computer history and development Part II
--1.1.3 Application of computers and computational thinking
-1.2 计算思维
--1.2.3扩展阅读——Computational Thinking
--1.2.1 the nature of computational thinking
--1.2.2 Problem solving using computational thinking
-第1章作业
-2.1 数制
--2.1.1 0
-2.2 0/1世界中的数值
--2.4 Binary arithmetic and logical operations
--2.5 Signed and unsigned numbers
--2.6 sign-magnitude,one's complement,two's comliement representation and real munber
-2.3 0/1世界中的字符
--2.7 Characters in digital world
-2.4 0/1世界中的图片、声音和视频
--2.8 Images, sounds and videos in digital world
-2.5 条形码
-第2章作业
-3.1 算法概述
--3.2 Description of algorithms
-3.2 典型算法
--3.3 Typical algorithms enumeration and induction
--3.4 Typical algorithms recursion and iteration
--3.5 Typical algorithms divide-and-conquer and backtracking
-3.3 Python语言编程基础
--3.3.2 Python基础语法及编程示例1-基本语法、条件语句
--3.3.3 Python基础语法及编程示例2-循环语句、内置函数
--3.3.4 Python基础语法及编程示例3-自定义函数
--3.3.1 Introduction to Python
--3.3.2 Python I basic syntax and conditional statements
--3.3.3 Python II loop statements and built-in functions
--3.3.4 Python III user-defined functions
--3.3.5 Python IV drawing with turtle
-第3章作业
-4.1 计算机的硬件系统
--4.1.2 Von Neumann architecture and computer organization
-4.2 计算机的基本工作原理
--4.2.1 Basic working principles of computers
-4.3 现代微机构成及性能指标
--4.3.1 Composition and performance of modern computers
-第4章作业
-5.1 计算机软件概述
--5.1 Overview of computer software
-5.2 系统软件
--5.2.1 System software I_operating system
--5.2.2 System software II programming language, compiler and DBMS
-5.3 应用软件
-第5章作业
-6.1 计算机网络平台
--6.1.5扩展阅读(2)——OSI参考模型与TCPIP的比较
-6.2 局域网技术
-6.3 Internet及其应用
--6.3.1 IP address and domain name
--6.3.2 Access and application of the Internet
-6.4 网络安全
-第6章作业
-7.1 数据管理
--7.1.1 Data managment and data models
-7.2 结构化数据库
--7.2.2 Creating a local database
--7.2.4 Data definition language
--7.2.5,7.2.6 Data Query Command
--7.2.7 Data manipulation language
-7.3 大数据
-第7章作业
-8.1 人工智能
--8.1.2 Artificial intelligence
-8.2 物联网
-8.3 云计算
-8.4 区块链
--【讨论帖】央行DCEP vs Facebook Libra:数字货币你了解多少?
-第8章作业
-9.1 Windows基本操作
-9.2 Windows程序管理
-9.3 Windows文件管理
-9.4 Windows设备管理
-第9章作业
-10.1 Word基本操作
-10.2 论文排版
--论文排版素材
-10.3 修订文档
-第10章作业
-11.1 Excel基本操作
-11.2 公式和函数
-11.3 数据分析和处理
-11.4 数据可视化
-第11章作业
-12.1 PowerPoint基本操作
-12.2 论文展板制作
-第12章作业





