大数据导论

董进文，男，内蒙古财经大学教授，内蒙古自治区高等学校教学名师。主要研究方向为数据库、数据挖掘与大数据技术。主讲课程为数据科学导论、分布式数据库技术等。主持国家与内蒙古自治区级项目多项，公开发表相关领域的学术论文20余篇。

1.1数据科学与大数据基本概念

数据已成为新的“生产资料”和新的“资产”，数据科学的飞速发展与大数据时代的到来迫切需要人们进一步地理解和深度认识数据，以针对现有数据及不断生成的新数据进行分析、处理和应用，从而充分获取数据的潜在价值。

1.1.1数据相关的概念

数据（Data）是记录客观事物的、可以鉴别的符号，这些符号不仅指数字，而且包括字符、文字、图形等。数据经过处理仍然是数据。

信息（lnformation）是对客观世界各种事物特征的反映，是关于客观事实的可通信的知识。处理数据是为了便于更好地解释，只有经过解释，数据才有意义，才能成为信息。可以说，信息是经过加工后并对客观世界产生影响的数据。

知识（Knowledge)是反映各种事物的信息进入人类大脑，对神经细胞产生作用后留下的痕迹。知识是由信息形成的。

人们在日常生活中可以接触到大量的数据，如银行的账簿数据、学校的教学管理数据、企业的生产管理和产品销售数据等。一般来说，数据是代表真实世界的客观事物，由原始事实组成，是用来载荷信息的符号，同时是事物属性及相互关系的抽象，如1、2、3或者A、B、C等。它们木身并没有什么含义，只是当人们有目的地处理和使用它们时才有意义。

信息是有目的、有意义、有用途的数据被加工后的结果，是对数据的解释。它是按特定方式组织在一起的事实的结合，具有了超出这些事实本身之外的价值。当这些事实按照一定意义的方式被组织安排在一起时，就成为信息。例如，企业管理者可以将某些似乎不相关产品的数据加入销售数据中，从而得到按生产线划分的月销售信息。

如果说数据在某种方式上增加了价值而变为信息，那么信息通过人们的实践和思维就转变为知识了，这就是信息到知识的转变过程。反之，通过知识的使用，人们可以重新认识、改造事物，也会促进新的信息和数据产生。

显然，在数据、信息和知识三者中，尽管数据是信息产生的基础，信息是知识产生的基础，但信息与知识对人们的价值远大于数据，而知识的价值又远远超出信息的价值。正像石油一样，数据作为基础资源，需要一个挖掘并转变的过程。

1.1.2数据科学

1.1.2.1数据科学的定义

信息化是将现实世界中的事物和现象以数据的形式存储到网络空间中，是一个生产数据的过程。这些数据是自然和生命的一种表示形式，记录了人类的行为，包括工作、生活和社会发展。当前，数据被快速、大量地生产并存储在网络空间中，这种现象称为数据爆炸。数据爆炸在网络空间中形成数据自然界。数据是网络空间中的唯一存在形式，因此需要研究和探索网络空间中数据的规律和现象。另外，探索网络空间中数据的规律和现象，也是探索宇宙的规律、探索生命的规律、寻找人类行为的规律、寻找社会发展的规律的一种重要手段。例如，可以通过研究数据来研究生命（生物信息学）、研究人类行为（行为信息学）。

数据科学或数据学(Dataology)(以下统称数据科学)是关于数据的科学或者研究数据的科学，其定义为：研究、探索网络空间中数据界奥秘的理论、方法和技术。它的研究对象是数据自然界中的数据。与自然科学和社会科学不同，数据科学的研究对象是网络空间中的数据，是新的科学。数据科学主要有两个内涵：一是研究数据本身，即研究数据的各种类型、状态、属性及变化形式和变化规律；二是为自然科学和社会科学研究提供一种新的方法，即科学研究的数据方法，其目的在于揭示自然界和人类行为的现象和规律。

……

本书对数据科学与大数据研究和处理过程中涉及的各种关键理论与技术做了详细的介绍，书中内容将基本概念原理与实例相结合，努力培养读者的数据意识、数据思维、数据技术、数据能力。全书包括数据科学与大数据基本概念、大数据技术基础、大数据采集与预处理、大数据存储与管理、大数据处理架构、数据挖掘、数据可视化、大数据安全、大数据应用等各个环节，帮助初学者规划了一条完整的学习路线。本书只是一本入门指南手册，目的是给初学者指引方向，它虽然讲解了数据科学与大数据处理的各种概念、原理及技术，但并不非常深入。对于数据专业人员，还需要结合其它教程深度学习；对于大数据一般从业者，这些知识已经足够了。