大数据与商务决策(东北大学双建设教材)

    第一章基本概念

    作为本教材的第一章，首先明确书名中两个核心的概念——“大数据”与“商务决策”，以及它们之间的关系。本教材中特别强调在大数据时代，不能忽视小数据分析的方法和技巧，这是进行大数据分析，乃至商务决策重要的技巧与方法。在本章中，也将介绍本教材各章的内容。本教材将从小数据分析和挖掘的常用算法和模型人手，逐步进入大数据的分析，以期读者能够掌握概念和方法的发展脉络，解决实际中涉及大数据与商务决策的管理问题。

  第一节大数据的概念及其分析的一般思路

  一、大数据概念探析

  1．大数据概念的多样性

  不同的教科书中大数据的概念并不一致，维基百科给出了如下的定义：“大数据又称为巨量资料，指的是在传统数据处理应用软件不足以处理的大或复杂的数据集的术语。大数据也可以定义为各种来源的大量非结构化或结构化数据。”

    百度百科对大数据给出了如下定义：“大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。”

    在畅销书《大数据时代》中，作者从大数据的分析特点出发，指出：“大数据指不用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理”。而IBM给出了大数据的五V特征…：V0lume(大量)、Veloci‘y(高速)、Variety(多样)、V aIue(低价值密度)、Vemci‘y(真实性)。其他教材也给出了定义，不一而足。

    2．不同概念的共识性特征

    通过对以上概念的综合分析，大数据具有以下几个显著的特征：

    (1)传统手段的难以处理性

    大数据几乎无法使用大多数的数据库管理系统处理，而必须使用“在数十、数百甚至数千台服务器上同时平行运行的软件”(计算机集群是其中一种常用方式)；而用传统算法和数据库系统可以处理的海量数据不算“大数据”。该特征给出了处理大数据难度的描述，并且其区别于既有的海量数据的研究，并含蓄地指出了处理大数据需要发展新的技术手段，而不能用常规的软件工具和传统算法。

    (2)数据类型的多样性、多来源性及结构复杂性

    大数据的多样性特征体现在数据的种类繁多，包括文档、视频、图片、音频、数字等方面。不仅如此，大数据往往有着复杂多样的来源，有的信息来自网站的评论数据，有的来自社交媒体，有的来自交易过程，等等，需要多样和多来源的数据综合使用。并且，多样和多来源的数据本身也蕴含着数据结构复杂的特征，特别是有大量非结构化的数据。

    (3)数据的海量性、高速性与噪声性

    大数据的概念本身蕴含着容量大的含义，不仅具有数据更新速度快的特性，还具有典型的时变性的特征，能够反映瞬息万变的变化。在海量和实时更新的数据中，针对同一个内容往往有多种数据提供信息，这些信息可能是不一致的，会有冗余和矛盾，表现为数据的噪声性。

    3．大数据分析

    顾名思义，大数据分析就是对大数据进行的分析。根据百度百科“大数据分析”的相关词条，大数据分析的主要内容及核心功能包含但不限于以下方面。

    (1)数据可视化分析

    数据可视化是数据分析的基本要求；可视化可以直观地展示数据，让使用者更容易理解数据，而不仅仅是呈现原始的数据给使用者。

    (2)大数据的搜索、查找与规律发现

    在计算机集群硬件基础上和分布式数据存储与分析框架下，对大数据进行汇总、查找，发展数据挖掘和数据分析的方法，发现大数据中蕴含的规律和价

......