大数据技术之大数据概论
第1章 大数据概念
大数据(Big Data): 指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产
大数据主要解决，海量数据的采集、存储和分析计算问题 按顺序给出数据存储单位: bit、ByteKBMB、GB、TB、PB、EB、ZB、YB.BB、NB、DB。 才存100T
1Byte = 8bit 1K =1024Byte 1MB =1024K1G=1024M 1T=1024G1P= 1024T
第2章 大数据特点（4V）
4个特点–4种处理方法
1.Volume(大量)–海量存储
2.Velocity(高速)–快速计算
3.Variety(多样）–海量数据采集
4.Value(低价值密度)–数据清洗(处理脏数据 )
价值密度的高低与数据总量的大小成反比。如何快速对有价值数据“提纯”成为目前大数据背景下待解决的难题 专做数据清洗的工程师称为ETL工程师
组织结构
上一篇：
JS实现多线程数据分片下载
下一篇：
大数据入门-三分钟读懂Hadoop