大数据研究和应用现状及发展(论文30000字)
摘 要
面对物联网以及互联网带来的数据的急剧增长以及企业原有的结构化数据向半结构化，非结构化数据转变，大数据已经来临。国外已领先于国内进行了大数据理论以及技术的研究。想要在大数据时代不被淘汰，则必须采取或者开始采取大数据战略。
鉴于此，本文对大数据研究和应用现状及发展做了综述。一方面为还不了解大数据的相关人士提供系统地大数据介绍，另一方面为大数据背景下的国内电子商务数据挖掘平台提供数据挖掘理论，技术及方法的预研。
本文系统整合了大数据产生的时代背景，特性、给各行业带来的价值，在大数据时代所面临的机遇与挑战以及大数据带来的行业发展趋势。大数据成为了时代发展的必然趋势，相应地，各大IT厂商提出了不同的大数据解决方案，本文就几个重点的IT厂商的大数据战略以及大数据解决方案进行了简单探讨。并以美国政府为例，描述了美国政府在大数据战略方面的规划，希望对我国政府的大数据战略提供一定的借鉴意义。
为了应对数据量大、增长速度快以及多样性的特征，与传统的数据挖掘相比，大数据环境下的数据挖掘引入了新的处理技术以及平台。本文以此为重点，分析了数据处理各环节，包括数据采集、数据预处理、数据存储、数据分析、数据表示应对大数据采用的相应技术的变化。并重点分析了大数据分布式处理模式—MapReduce并行编程模型以及以MapReduce为核心技术的云计算，在此基础上，讨论了云计算与大数据的关系以及基于云计算的数据处理。最后，在对大数据处理流程以及大数据处理各环节采用的不同技术的简单了解的基础上，本文还引入了主流的大数据处理平台—Hadoop,详细解释了在面对联机分析处理中的多维问题的解决方案。除此之外，对大数据环境下的Web挖掘以及数据流挖掘模型作了简单介绍。
为了更好地解释大数据的应用及其带来的巨大价值，本文介绍了一大数据应用案例，即大数据在用户行为分析上的应用。
本文丰富了大数据领域的研究理论与应用技术。为即将踏入大数据领域的电子商务企业奠定了良好的研究基础，具有一定的理论意义及应用价值。
关键词：大数据 云计算 数据挖掘 MapReduce
The Study, Current Application Situation and Development of Big Data
ABSTRACT
In the era of Big Data，facing the rapid growth of data The Internet of Things and the Internet has brought coupled with the changes that from structured data to semi-structured and unstructured data. Abroad has started the theory and technology research of Big Data ahead of China. In order not to be eliminated in the era of Big Data, Big Data strategy must be started.
In view of this, this paper systematically reviewes the study, current application situation and development of Big Data are systematically reviewed. On the one hand, Big Data is introduced systematically to the relevant people, on the other hand, pre-research about theory, technology and method for the domestic e-commerce data mining platform in the context of Big Data are provided .
The background and characteristics of Big Data are introduced. In addition, the value of Big Data to various industries, the opportunities and challenges of the era of Big Data and development trend Big Data has brought are described. Big Data has become the inevitable trend of the times, accordingly, the major IT vendors have proposed different Big Data solutions, a few solutions for a brief discussion is focused on . And taking the US government for example, Big Data plan is described, in order to provide a certain degree of referential significance for the Big Data plan of China.
To cope with the three features of Big Data, compared with traditional data mining, the one in the era of Big Data has introduced new processing technologies and platforms. The new changes and analyses the various aspects of data processing is focused on, including data acquisition, data preprocessing, data storage, data analysis, data representation. And distributed processing model-MapReduce parallel programming model as well as Cloud Computing are emphatically analyzed, whose core technology is MapReduce. On the basis of this, the relationships between Cloud Computing and Big Data, coupled with the cloud-based data processing are discussed. Finally, after a simple understanding of data processing and it’s different techniques used, the mainstream Big Data processing platform-Hadoop and explains the solutions facing the multidimensional problems of OLAP at length are introduced as well. In addition, Web Mining and data stream mining models in the context of Big Data are briefly introduced.
To better explain the enormous value Big Data has brought, one application of Big Data are described, which is User Behavior Analysis.
The theory research and application technology in the area of Big Data and lays foundations for the E-commerce enterprise are described , which is about to enter the field of Big Data is of has some theoretical significance and application value.
Key Words: Big Data; Cloud Computing; Data Mining; MapReduce
目 录
摘 要 I
ABSTRACT II
第一章 引 言 1
1.1 课题来源 1
1.2 课题背景 1
1.3 研究思路和技术路线 2
第二章 大数据起源及发展史 4
2.1 大数据的起源及发展动态 4
2.2 大数据的基本概念 4
2.2.1 大数据定义 4
2.2.2 大数据特性 5
2.3 数据分析的发展历程 9
2.4 大数据应用 13
2.4.1 医疗服务业 14
2.4.2 零售行业 15
2.4.3 制造业 16
2.5 大数据时代的机遇与挑战 17
2.5.1 大数据带来的机遇 17
2.5.2 大数据面临的挑战 18
2.6 大数据行业发展趋势 20
第三章 大数据战略 22
3.1 重点IT厂商大数据战略 22
3.1.1 IBM 22
3.1.2 Oracle 24
3.1.3 EMC 25
3.1.4 淘宝 25
3.2 政府大数据战略 26
第四章 大数据环境下的数据挖掘 29
4.1 大数据处理模式 29
4.1.1 流处理 29
4.1.2 批处理—MapReduce 29
4.2 大数据环境下的数据处理 34
4.2.1 数据采集 35
4.2.2 数据预处理 36
4.2.3 数据存储 36
4.2.4 数据分析 39
4.2.5 数据表示 39
4.3 云计算 40
4.4 大数据分析平台 42
4.5 大数据环境下的主要数据挖掘 45
4.5.1 WEB挖掘 46
4.5.2 数据流挖掘 48
第五章 典型大数据应用分析—用户行为分析 50
结 语 54
参考文献 55
攻读学位期间的科研成果 58
附 录 59
致 谢 62 |
