大数据导论9787121436116

第1章大数据概述近几年来伴随着信息技术的发展，“大数据”时代悄然来临。大数据开始深刻影响社会生产和人类生活，并让人们深刻感受到了其对社会发展的威力。大数据已成为人类认识复杂信息系统的新手段，成为促进经济转型与增长的新思路，是提升国家综合智慧治理能力与保障国家安全的新途径。为此，世界各国政府高度重视大数据技术的研究与产业输出。本章重点介绍了数据和大数据的概念、大数据发展的技术背景、大数据的主要来源和特征、大数据的应用及大数据的相关产业。1.1数据1.1.1数据的概念数据是指描述客观事物及其相互关系的物理符号记录，如图像、声音、文字、数字、符号等。简而言之，数据是可被计算机识别与处理、存储与传输的信息载体。为此，我们可从计算机的角度来理解数据的获取、存储和使用的一般途径。（1）数据获取——将物理信号转换成计算机可以存储的数据。（2)数据存储——将数据存储在介质上进行组织和管理。（3）数据使用——利用计算机相关技术完成具体的应用目标。数据与信息是两个不同的概念，数据是构成信息的原始材料，而信息一般是指数据中所包含的意义。事实上，离散的数据没有任何的信息价值，在原始数据转换为可应用信息的过程中，需要进行数据挖掘——从大量的数据中通过算法搜索隐藏于其中的信息。1.1.2大数据的概念随着信息科学和计算机技术的发展，数据产生方式从被动式逐渐转变为主动式，人们能够感知到的数据量越来越庞大，涉及领域越来越广泛。相对于传统的数据，大数据就是指无法在一定时间范围内用常规软件工具进行获取、存储、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应的海量、高增长率和多样化的信息资产。作为一种难题，大数据暗含以下3个方面的属性。（1)规模属性。大数据在数量级上很大，数据层的大规模性及数据本身所具备的多模式性、多模态性和异构性给存取、算法、计算和应用带来了极大的挑战。

(2)技术属性。大数据价值的实现依赖一系列技术合集，涉及数据层、算法层、计算层、应用开发层等多个方面。（3）价值属性。各个角色对大数据价值都有共识和期望，不同利益角色的个体（组织）对大数据价值的理解和关注点也不同。1.2大数据发展的技术背景在移动计算、物联网、云计算等一系列新兴信息技术的支持下，社交媒体、众包、虚拟服务等新型应用模式持续拓展着人类创造和利用信息的范围与形式。当今信息技术的发展及创新正使各个产业发生改变，在信息爆炸时代产生了海量数据。信息技术及其在经济社会发展方方面面的应用(即信息化)，推动数据（信息）成为继物质、能源之后的又一种重要战略资源。1.2.1互联网技术的发展通常来讲，互联网发展经历了研究网络、运营网络和商业运营网3个阶段。互联网的重要性不仅在于其规模庞大，而且在于其能够提供全新的全球信息服务基础设施。此外，互联网彻底改变了人类的思维模式和工作、生活方式，促进了社会各行业的发展，成为时代的重要标志之一。截至2020年12月，我国网民规模为9.89亿，互联网普及率达70.4%。其中，农村网民规模为3.09亿，农村地区互联网普及率为55.9%。互联网产生的数据量不断增加，尤其是电子政务、社交媒体、网上购物等应用实时提供和处理越来越多的网络数据，在数据处理、传输与应用方面提出了新的问题。这种趋势加上其他网络数据源的普及，大数据的泛在化就成为必然的结果。1.2.2存储技术的发展自从世界上第一台计算机出现以来，计算机存储设备也在不断更新，从水银延迟线、磁带、磁鼓、磁芯，到当今的半导体存储器、磁盘、光盘和纳米存储器，存储容量不断扩大，而存储器的价格也在不断下降。自2005年亚马逊公司推出云服务平台后，一种新型的网络存储方式——云存储逐渐应用推广，用户可以获取更大的存储容量。云存储通过允许用户访问云中的存储资源来扩大用户的存储容量，而用户可以随时随地通过任何连接到网络的设备轻松连接到云端读取数据。1.2.3计算能力的发展信息产业的发展也正如摩尔所预言的那样，定期推出具有不断优化的操作系统和性能更强大的计算机。硬件厂商每开发一款运算能力更强的芯片，软件服务商就会开发出更加便捷的操作系统，极大地提升了信息处理速度。尤其是超级计算机和云计算的产生，使得对数据的计算能力极大加强，为大数据的实时化处理提供了可能。