随着科技时代的到来，大数据越来越受到人们的关注。当今社会是一个发展迅速、科技先进、信息流通、人与人之间交流更加密切、生活更加便利的社会。大数据是这个高科技时代的产物。根据分析团队的分析，大数据通常用于描述公司创建的大量非结构化数据和半结构化数据，当下载到关系数据库进行分析时，会花费太多的时间和金钱。大数据分析经常与云计算联系在一起，因为对大数据集的实时分析需要像MapReduce这样的框架来将工作分配到几十台、几百台甚至几千台计算机上。

　什么是大数据

　“大数据”，IT行业术语，是指常规软件工具在一定时间范围内捕获、管理和处理的数据集合。它是一种海量、高增长、多样化的信息资产，需要一种新的处理模式来具备更强的决策、洞察和发现以及流程优化能力。

　麦肯锡全球研究院给出的定义是：在采集、存储、管理和分析等方面，规模大大超过传统数据库软件工具能力的数据集。它有四个特点：数据规模大、数据流快、数据类型多样、价值密度低。

　大数据需要特殊的技术来有效地处理容差时间内的大量数据。适用于大数据的技术包括MPP数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展存储系统。

　从技术上讲，大数据和云计算的关系就像硬币的正反面一样密不可分。大数据不能由单台计算机处理，必须采用分布式架构。其特点在于对海量数据进行分布式数据挖掘。但它必须依靠云计算、分布式数据库、云存储和虚拟化技术的分布式处理。

　大数据架构

　大数据包括结构化、半结构化和非结构化数据，非结构化数据正日益成为数据的主要部分。根据IDC的调查报告，企业中80%的数据是非结构化数据，这些数据每年以指数级的速度增长60%。大数据只是互联网发展到现阶段的一种表征或特征。没有必要神话它或对它保持敬畏。在以云计算为代表的技术创新的大背景下，这些原本看起来难以收集和使用的数据变得容易使用起来。通过各行各业的不断创新，大数据将逐渐为人类创造更多价值。

　其次，要想系统地认识大数据，必须全面细致地进行分解，从三个层面入手：第一个层面是理论，这是唯一的认知方式，也是被广泛认同和传播的基线。这里，从大数据的特征定义出发，理解行业对大数据的整体描述和刻画；从大数据价值的讨论中深入分析大数据的珍贵性；了解大数据的发展趋势；从大数据隐私这个特殊而重要的角度来看待人与数据的长期博弈。

　第二个层面是技术，技术是体现大数据价值的手段，是前进的基石。在这里，从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的全过程。

　第三个层面是实践，这是大数据的终极价值。在这里，我们从互联网大数据、政府大数据、企业大数据和个人大数据四个方面来描述大数据的美好场景和蓝图。

   大数据应用

　洛杉矶警察局和加州大学合作，利用大数据预测犯罪的发生。

　谷歌流感趋势使用搜索关键词来预测禽流感的传播。

　统计学家内特西尔弗利用大数据预测了2012年美国大选结果。

　麻省理工学院利用手机定位数据和交通数据建立城市规划。

　梅西百货的实时定价机制。根据需求和库存情况，公司基于SAS的系统实时调整多达7300万种商品的价格。

　医疗行业长期以来面临着海量数据和非结构化数据的挑战。近年来，许多国家都在积极推动医疗信息化的发展，这使得许多医疗机构都有资金做大数据分析。

   大数据的价值体现在以下几个方面：

　(1)为大量消费者提供产品或服务的企业可以利用大数据进行精准营销；

　(2)小而美的中小企业可以利用大数据进行服务转型；

　(3)在互联网压力下必须转型的传统企业需要与时俱进，充分利用大数据的价值。

　大数据的概念应用于IT运营工具生成的数据。大数据可以使信息技术管理软件供应商解决广泛的业务决策。IT系统、应用程序和技术基础架构每天每秒都在生成数据。大数据的非结构化或结构化数据代表了“所有用户的行为、服务级别、安全性、风险、欺诈和其他操作”的绝对记录。

　　大数据分析的产生是针对IT管理的。企业可以将实时数据流分析与历史数据相结合，然后分析大数据，发现自己需要的模型。反过来，它有助于预测和防止未来的中断和性能问题。此外，他们可以使用大数据来了解使用模式和地理趋势，从而深化大数据对重要用户的洞察。他们还可以跟踪和记录网络行为，大数据可以轻松识别业务影响；通过对服务利用率的深入了解，加快利润增长；同时，跨多个系统收集数据，开发IT服务目录。大数据分析的思想，尤其是在IT运营方面，对我们的发明没有影响，但是我们一直都在里面。Gartner多年来一直关注这个话题。基本上，他们已经强调，如果IT正在引入新的灵感，他们将抛弃旧的大数据方法，开发新的IT运营分析平台。

　　2016年3月17日，【0x9A8B】发布，其中第27章“实施国家大数据战略”提出：将大数据作为基础性战略资源，全面实施推动大数据发展行动，加快数据资源共享。开放和开发应用，助力产业转型升级和社会治理创新；具体包括：加快政府数据开放共享，促进大数据产业健康发展。

　　未来，数据科学将成为一门专门的学科，被越来越多的人所认可。各大高校将设置专门的数据科学专业，这也将催生一批与之相关的新岗位。同时，以数据基础平台为基础，建立跨域数据共享平台。之后，数据共享将延伸到企业层面，成为未来行业的核心部分。

本文由小马科技整理原创，如需转载，请标明出处，更多精彩案例请点击：http://www.dmtzg.com    www.bjxmft.com  www.ztdmt.com