1.大数据定义
大数据（Big data）研究机构Gartner定义大数据需要新的处理模式才能有更强的决策能力、洞察力和流程优化能力
海量、高增长率和多元化信息资产。
大数据技术的战略意义不在于掌握庞大的数据信息，而在于专业处理这些有意义的数据。换句话说，如果把大数据与一个行业相比，这个行业盈利的关键在于提高数据的加工能力，通过加工实现数据的增值。
从技术上讲，大数据与云计算这种关系和硬币的正反面一样密切。大数据不能用单台计算机处理，必须分布式架构。其特点是分布式数据挖掘海量数据，但必须依靠云计算分布式处理、分布式数据库、云存储和虚拟化技术。
随着云时代的到来，大数据（Big data）也吸引了越来越多的关注。据《云台》分析介绍，大数据（Big data）它通常用来描述一家公司创建的大量非结构化数据和半结构化数据，下载到关系数据库进行分析需要太多的时间和金钱。由于实时大数据集分析需要像云计算一样，大数据分析往往与云计算联系在一起MapReduce同十、数百甚至数千台数百甚至数千台计算机的分配。
大数据需要特殊的技术来有效地处理大量的数据。包括大规模并行处理在内的大数据技术（MPP）数据库、数据挖掘电网、分布式文件系统数据库、云计算平台、互联网和可扩展存储系统。
最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB，按进率1024(2)十次方计算：
8bit= 1Byte
1KB= 1,024 Bytes
1MB= 1,024 KB = 1,048,576 Bytes
1GB= 1,024 MB = 1,048,576 KB
1TB= 1,024 GB = 1,048,576 MB
1PB= 1,024 TB = 1,048,576 GB
1EB= 1,024 PB = 1,048,576 TB
1ZB= 1,024 EB = 1,048,576 PB
1YB= 1,024 ZB = 1,048,576 EB
1BB= 1,024 YB = 1,048,576 ZB
1NB= 1,024 BB = 1,048,576 YB
1 DB = 1,024 NB = 1,048,576 BB
2
发展历史
编辑
1887–1890年
赫尔曼·霍尔瑞斯
赫尔曼，美国统计学家·为了统计1890年的人口普查数据，霍尔瑞斯发明了一台电动器来读取卡片上的洞数，该设备使美国在一年内完成了原本耗时8年的人口普查，引发了全球数据处理的新时代。
1935–1937年
富兰克林，美国总统·利用社会保障法，罗斯福开展了美国政府最雄心勃勃的数据收集项目，IBM要赢得竞标，就要整理美国2600万员工和300万雇主的记录。阿尔夫兰登，共和党总统候选人scoffs嘲笑地说：要整理出如此多的员工档案，还必须调用大规模的现场调查人员来核实信息不完整的人员记录。”
1943年
为了破译二战期间的纳粹密码，一家英国工厂开发了一系列开创性的大规模数据处理机器，并使用了第一台可编程的电子计算机进行操作。计算机被命名为巨人。为了找出拦截信息中的潜在模式，它以每秒5000字的速度读取纸卡——将需要几周才能完成的工作量压缩到几个小时。计算机被命名为巨人。为了找出拦截信息中的潜在模式，它以每秒5000字的速度读取纸卡——将需要几周才能完成的工作量压缩到几个小时。在破译了德国军队前方位置的信息后，它帮助盟军成功登陆诺曼底。
1997年
迈克尔·考克斯和大卫·埃尔斯沃斯首次使用大数据这个术语来描述20世纪90年代的挑战：超级计算机生成大量信息——在考克斯和埃尔斯沃斯，模拟飞机周围的气流——无法处理和可视化。数据集通常比主存储器、本地磁盘甚至远程磁盘更大。他们称之为大数据问题。”
2002年
9/11袭击后，美国政府参与了大规模数据挖掘，以防止恐怖主义。前国家安全顾问约翰·波因德克斯特领导国防部整合了现有政府的数据集，建立了一个大数据库，用于筛选通信、犯罪、教育、金融、医疗和旅疑人。一年后，国会因担心公民自由而停止了这个项目。
2004年
9/11委员会呼吁反恐机构建立基于网络的信息共享系统，以快速处理不知所措的数据。到2010年，美国国家安全局的3万名员工将拦截和存17亿年的电子邮件、电话等通讯日报。与此同时，零售商积累了大量关于客户购物和个人习惯的数据，沃尔玛自吹自擂拥有一个容量为460字节的缓存器——是当时互联网上数据量的两倍。
2007–2008年
随着社交网络的激增，技术博客和专业人士是大数据 概念注入新的活力。世界上现有的一些其他工具将被大量数据和应用算法所取代”。克里斯的连线·安德森认为这是一个理论终结时代。一些政府机构和美国顶尖的计算机科学家声称，它应该深入参与大数据计算的开发和部署，因为它将直接有利于许多任务的实现。”
2009年1月
印度政府成立了印度唯一的身份识别管理局，扫描12亿人的指纹、照片和虹膜，并为每人分配12位数字ID将数据收集到世界上最大的生物识别数据库中。官员们表示，它将提高政府的服务效率，减少腐败，但批评者担心政府会分析个人，并分享他们的私人生活细节。
2009年5月
大数据或成反恐分析利器
巴拉克，美国总统·奥巴马政府推出data.gov该网站是政府开放数据计划的一部分。4.45万多个网站数据集被用来确保一些网站和智能移动应用程序跟踪从航班到产品召回再到特定地区失业率的信息，刺激政府从肯尼亚到英国采取类似措施。
2009年7月
为应对全球金融危机，联合国秘书长潘基文承诺建立警报系统，抓住实时数据对贫困国家经济危机的影响 。联合国全球脉冲项目研究了如何利用手机和社交网站的数据源来分析和预测从螺旋价格到疾病爆发的问题。
2011年2月
扫描页面信息2亿年，或存储4兆字节磁盘，只需几秒钟即可完成。IBM沃森计算机系统在智力竞赛节目《危险边缘》中击败了两名人类挑战者。后来，《纽约时报》配音此时此刻是大数据计算胜利。”
2012年3月
美国政府的报告要求每个联邦机构都有一个大数据战略，奥巴马政府宣布了一个耗资2亿美元的大数据研发项目。国家卫生研究所在亚马逊的计算机云中存储了一套人类基因组项目的数据集，国防部也承诺开发一个独立的防御系统，可以从经验中学习。戴维，中央情报局局长·当彼得雷乌斯将军发帖讨论阿拉伯春季机构通过云计算收集和分析全球社交媒体信息时，他不禁惊叹我们已经被自卸卡车倒进了数字尘土。
2012年7月
希拉里，美国国务卿·克林顿宣布数据2X公私合营企业用于收集和统计世界各地妇女和女孩的经济、政治和社会地位。她解释说：数据不仅仅是测量过程——它能激励我们。一旦人们开始测量某个问题，他们就更倾向于采取行动来解决它们，因为没有人愿意排名最低。让大数据开始竞争吧。
3
技术盘点
编辑
HadoopMapReduce
思维模式转变的催化剂是大量新技术的诞生，可以应对大数据分析带来的三个V挑战。扎根于开源社区，Hadoop它已经是大数据平台中应用最高的技术，特别是文本、社交媒体订阅和视频等非结构化数据。除分布式文件系统外Hadoop还有大数据集处理MapReduce架构。根据权威报告，许多企业开始使用或评估Hadoop大数据平台的标准是技术。
大数据
NoSQL数据库
在我们生活的时代，一些新技术仍然出现在相对稳定的数据库市场，它们将在未来几年发挥作用。事实上，NoSQL在一个广义派系的基础上，数据库本身了几种技术。一般来说，他们关注索引、流媒体和高访问量网站服务等关系数据库引擎的限制。与关系数据库引擎相比，这些领域，NoSQL效率明显更高。
内存分析
在Gartner在公司评选的2012年十大战略技术中，内存分析在个人消费电子设备等嵌入式设备中的应用将迅速发展。随着越来越多的低成本内存应用于数据中心，如何利用这一优势最大限度地优化软件已成为一个关键问题。内存分析以其实时、高性能的特点，成为大数据分析时代的新宠儿。也许内存分析是如何将大数据转化为最佳洞察力的答案。在大数据背景下，用户和IT提供商应将其视为长期发展的技术趋势。
集成设备
数据仓库设备(Data Warehouse Appliance)也激发了商业智能和大数据分析的潜力，许多企业将利用数据仓库新技术的优势来提高竞争力。集成设备集成企业数据仓库硬件软件，提高查询性能，扩大存储空间，获得更多分析功能，并能提供与传统数据仓库系统相同的优势。在大数据时代，集成设备将成为企业应对数据挑战的重要武器。
4
结构特点
编辑
结构
大数据只是互联网发展到现阶段的一种表象或特征。没有必要神话或敬畏它。在以云计算为代表的技术创新大幕的衬托下，这些难以收集和使用的数据开始通过各行各业的不断创新，易于使用。大数据将逐渐为人类创造更多的价值。
其次，要想对大数据进行系统的认知，必须对其进行全面细致的分解，我从三个层面入手:
第一层是理论，理论是认知的必由之路，也是广泛认可和传播的基线。在这里，我们从大数据的特征定义来了解行业对大数据的整体描述和定性；深入分析大数据的价值；了解大数据的发展趋势；从大数据隐私的特殊而重要的角度来看，人与数据之间的长期游戏。在这里，我们从大数据的特征定义来了解行业对大数据的整体描述和定性；深入分析大数据的价值；了解大数据的发展趋势；从大数据隐私电脑的特殊而重要的角度来看，人与数据之间的长期游戏。
第二个层次是技术，技术是反映大数据价值和前进基石的手段。从云计算、分布式处理技术、存储技术和感知技术的发展来看，大数据从收集、处理、存储到结果的整个过程。
第三个层次是实践，实践是大数据的体现。在这里，我们大数据、政府大数据、企业大数据和个人大数据四个方面描述了大数据已经丽场景和即将到来的蓝图。
特点
大数据
与传统的数据仓库应用相比，大数据分析具有数据量大、查询分析复杂等特点。《计算机学报》发表的文章《架构大数据：挑战、现状和前景》列出了大数据分析平台需要具备的几个重要特征，并列出了当前主流实现平台库MapReduce分析总结了两者的混合结构，指出了各自的优缺点。同时，介绍了作者在大数据分析方面的研究现状和努力，并对未来的研究做出了展望。
四个大数据大数据V或者有四个层次的特点：一是数据量巨大。 从T