大数据分析与实践——社会研究与数字治理 王贵 杨武剑 周苏

这是一个数据爆发的时代。面对信息的激流，多元化数据的涌现，大数据已经为社会研究、个人生活、企业经营，甚至国家与社会的发展都带来了机遇和挑战，成为IT信息产业中具有潜力的蓝海。对于身处大数据时代的企业而言，成功的关键还在于找出大数据所隐含的真知灼见。“以前，人们总说信息就是力量，但如今，对数据进行分析、利用和挖掘才是力量之所在。”
大数据的力量，正在积极地影响着社会的方方面面，它冲击着许多重要的行业，包括零售业、电子商务和金融服务业等，同时也正在彻底改变人们的学习和日常生活：改变人们的教育方式、生活方式、工作方式。如今，通过简单、易用的移动应用和基于云端的数据服务，人们能够追踪自己的行为以及饮食习惯，还能改善个人的健康状况。因此，有必要真正理解大数据这个极其重要的议题。
中国是大数据的潜在市场之一，这就意味着中国的企业拥有机会来更好地研究社会，了解其客户并提供更个性化的体验，同时，为企业增加收入并提高利润。然而，仅有数据是不够的。
在不同行业中，那些专门从事行业数据的搜集、整理、分析，并依据分析结果开展行业研究、评估和预测的工作被称为数据分析。所谓大数据分析，是指用适当的方法对收集来的大量数据进行分析，提取有用信息和形成结论，从而对数据加以详细研究和概括总结的过程。或者，顾名思义，大数据分析是指对规模巨大的数据进行分析，是大数据到信息，再到知识的关键步骤。大数据分析结合了传统统计分析方法和计算分析方法，在研究大量数据的过程中寻找模式、相关性和其他有用信息，帮助企业更好地适应变化并做出更明智的决策。
对于大数据技术及相关专业的大学生来说，大数据分析是一门理论性和实践性都很强的核心课程。在长期的教学实践中，我们体会到，坚持“因材施教”的重要原则，把实践环节与理论教学相融合，抓实践教学促进理论知识的学习，是有效地改善教学效果和提高教学水平的重要方法之一。本书的主要特色是：理论联系实际，结合一系列了解和熟悉大数据分析理念、技术与应用的学习和实践活动，把大数据分析的概念、知识和技术融入实践当中，使学生保持浓厚的学习热情，从而加深对大数据分析的兴趣、认识、理解和掌握。
本书是为高等院校相关专业“大数据分析”相关课程而设计编写，具有丰富实践特色的主教材，也可供有一定实践经验的社会研究人员、IT应用人员、管理人员参考和作为继续教育的教材。
本书系统、全面地介绍了大数据分析的基本知识和应用技能，详细介绍了大数据分析基础、社会研究与方法、计算社会科学及其发展、基本原则与生命周期、构建分析路线与用例、大数据分析的运用、预测分析方法、预测分析技术、大数据分析模型、用户角色与分析工具、大数据分析平台、社交网络与推荐系统、组织分析团队等内容，最后为大数据分析的学习设计了一个基于大数据集市的课程实践。本书附录提供了课程作业参考答案。全书具有较强的系统性、可读性和实用性。
结合课堂教学方法改革的要求，全书有针对性地安排了课前导读案例，要求和指导学生在课前阅读案例和课后完成作业，深入理解课程知识内涵。
本课程的教学进度设计参考见《课程教学进度表》，该表可作为教师授课和学生学习的参考。实际执行时，应按照教学大纲和校历中关于本学期节假日的安排，确定本课程的实际教学进度，并作适当剪裁。
本书的编写得到2019年度国家一流本科专业建设点（教高厅函〔2019〕46号）、浙江省本科高校“十三五”特色专业建设项目（浙教高教〔2017〕29号）、杭州市属高校新型专业建设计划项目（杭教高教〔2019〕5号）等的支持。
本书是2021年国家首批“新文科”研究与改革实践项目《“城市数字治理”人才培养的探索与实践》、2021年国家产学合作协同育人项目《大数据平台基础与实践课程建设》、2021年国家产学合作协同育人项目《“互联网 ”背景下大数据应用实训基地建设》和2021年浙江省“十三五”省级虚拟仿真实验教学项目《城市大脑赋能街区智治的人流精细化管理虚拟仿真实验》的研究成果之一。本书得到浙大城市学院“城市数字治理科教创新综合体”、浙大城市学院超大规模时序图数据高性能智能计算中心的支持。
本书的编写得到浙大城市学院、浙江大学、嘉兴技师学院、温州商学院等多所院校师生的支持，参加本书编写工作的有王贵、杨武剑、周苏、原瑞彬、章小华、王贵鑫、王文。
欢迎教师与作者交流并索取为本书教学配套的相关资料。

“大数据分析”是一门理论性和实践性都很强的课程。本书是为高等院校相关专业“大数据分析”课程而设计编写，具有丰富实践特色的主教材。针对高等院校学生的发展需求，本书系统、全面地介绍了大数据分析的基本知识和技能，详细介绍了大数据分析基础、社会研究与方法、计算社会科学及其发展、基本原则与生命周期、构建分析路线与用例、大数据分析的运用、预测分析方法、预测分析技术、大数据分析模型、用户角色与分析工具、大数据分析平台、社交网络与推荐系统、组织分析团队等内容，最后为大数据分析的学习设计了一个基于大数据集市的课程实践。全书具有较强的系统性、可读性和实用性。
本书适合作为高等院校相关专业“大数据分析”课程的教材，也可供有一定实践经验的社会研究人员、IT应用人员、管理人员参考和作为继续教育的教材。

周苏，男，1958年出生，苏州人。浙江大学城市学院教授，清华大学访问学者，科技部相关机构认证创新工程师（二级），清华大学《计算机教育》杂志“周苏专栏”作者。周苏教授的主要教学和研究方向为软件工程、操作系统和多媒体技术等，仅从自1999年参加独立学院工作以来，潜心体验大众化教育背景下的教学活动并探索其规律，认真踏实地进行教改研究，在教材研究与建设，教学方法改革与创新等方面积累了丰富的经验，成绩显著，在独立学院和应用型院校计算机学科的教学方法上走出了具有开创性的步伐，得到全国同行的广泛认同。

前言
课程教学进度表
第1章大数据分析基础
【导读案例】葡萄酒的品质分析
11大数据基础
111定义大数据
112大数据的3V特征
113广义的大数据
12大数据的结构类型
13大数据对分析的影响
131大数据的影响
132大数据分析的定义
14定性分析与定量分析
15四种数据分析方法
151描述性分析
152诊断性分析
153预测性分析
154规范性分析
16大数据分析的行业作用
161大数据分析的决策支持价值
162大数据分析的关键应用
163大数据分析的能力分析
164大数据分析面临的问题
【作业】
第2章社会研究与方法
【导读案例】第四范式：大数据对于科研的意义
21社会研究的概念
211社会研究的特征
212社会研究的理论问题
213社会研究的基本方法
22社会研究的主要过程
221选题与文献回顾
222研究设计
223测量与操作化
224抽样概念与方法
23调查研究
231调查研究概述
232调查研究的特点
233定量与定性调查
234程序与报告
235调查问卷设计
24实验研究
241实验研究概述
242实验研究的分类
25利用文献的定量研究
251文献分析概述
252文献搜集和积累
253文献综述
26实地调查
261实地调查概述
262实地调查的方法
【作业】
第3章计算社会科学及其发展
【导读案例】大数据时代的
社会治理之道
31什么是计算社会科学
311计算社会学
312计算经济学
32社会科学与大数据
321大数据推动相关分析崛起
322大数据推动学科融合
323大数据重构定量与定性研究
324大数据优化数据处理
33社会研究的范式变革
331大数据带来的变革因素
332路径变革：“数据驱动”知识发现
333手段变革：大数据服务于因果分析
334功能变革：分析与预测统一于政策
34计算社会学发展
341计算社会学的发展历程
342计算社会学发展的五大内容
343计算社会学发展的思考
【作业】
第4章基本原则与生命周期
【导读案例】得数据者得天下
41大数据分析生命周期
411商业案例评估
412数据标识
413数据获取与过滤
414数据转换
415数据验证与清洗
416数据聚合与表示
417数据分析
418数据可视化
419分析结果的使用
42大数据的分析原则
421原则1：实现商业价值和影响
422原则2：专注于最后一公里
423原则3：持续改善
424原则4：加速学习能力和执行力
425原则5：差异化分析
426原则6：嵌入分析
427原则7：建立分析架构
428原则8：构建人力因素
429原则9：利用消费化趋势
【作业】
第5章构建分析路线与用例
【导读案例】大数据时代，看透
“假数据”
51什么是分析路线
511商业竞争30时代
512创建独特的分析路线
52大数据分析路线
521第1步：确定关键业务目标
522第2步：定义价值链
523第3步：头脑风暴分析解决方案机会
524第4步：描述分析解决方案机会
525第5步：创建决策模型
526第6步：评估分析解决方案机会
527第7步：建立分析路线图
528第8步：不断演进分析路线图
53关键用例分析
531预测用例
532解释用例
533预报用例
534发现用例
535模拟用例
536优化用例
【作业】
第6章大数据分析的运用
【导读案例】数据驱动≠大数据
61企业分析的分类
62战略分析
621专案分析
622战略市场细分
623经济预测
624业务模拟
63管理分析
64运营分析
65科学分析
66面向客户的分析
661预测服务
662分析应用
663消费分析
664案例：大数据促进商业决策
【作业】
第7章预测分析方法
【导读案例】准确预测地震
71预测分析方法论
711数据具有内在预测性
712预测分析的流程
72定义业务需求
721理解业务问题
722定义应对措施
723了解误差成本
724确定预测窗口
725评估部署环境
73建立分析数据集
731配置数据
732评估数据
733调查异常值
734数据转换
735执行基本表操作
736处理丢失数据
74降维与特征工程
741降维
742特征工程
743特征变换
75建立预测模型
751制订建模计划
752细分数据集
753执行模型训练计划
754测量模型效果
755验证模型
76部署预测模型
761审查和批准预测模型
762执行模型评分
763评价模型效果
764管理模型资产
【作业】
第8章预测分析技术
【导读案例】中小企业的“深层竞争力”
81统计分析
82监督和无监督学习
821监督学习
822无监督学习
823监督和无监督学习的区别
83机器学习
831机器学习的思路
832异常检测
833过滤
834贝叶斯网络
835文本挖掘
84神经网络与深度学习
841人工神经网络
842深度学习
85语义分析
851自然语言处理
852文本分析
853文本处理
854语义检索
86视觉分析
861热点图
862空间数据图
【作业】
第9章大数据分析模型
【导读案例】行业人士必知的十大数据思维原理
91什么是分析模型
92回归分析模型
93关联分析模型
931关联规则分析
932相关分析
94分类分析模型
941判别分析的原理和方法
942基于机器学习的分类模型
943支持向量机
944逻辑回归
945决策树
946k近邻
947随机森林
948朴素贝叶斯
95聚类分析模型
951聚类问题分析
952聚类分析的分类
953聚类分析方法
954聚类分析的应用
96结构分析模型
961典型的结构分析方法
962社团发现
97文本分析模型
【作业】
第10章用户角色与分析工具
【导读案例】包罗一切的数字图书馆
101用户角色
1011超级分析师
1012数据科学家
1013业务分析师
1014分析使用者
102分析的成功因素
103分析编程语言
1031R语言
1032SAS编程语言
1033SQL
104业务用户工具
1041BI的常用技术
1042BI工具和方法的发展历程
1043新的分析工具与方法
【作业】
第11章大数据分析平台
【导读案例】大数据分析的数据源
111分布式分析
1111关于并行计算
1112并行计算的三种形式
1113数据并行与“正交”
1114分布式的软件环境
112预测分析架构
1121独立分析
1122部分集成分析
1123基于数据库的分析
1124基于Hadoop分析
113云计算中的分析
1131公有云和私有云
1132安全和数据移动
114现代SQL平台
1141现代SQL平台
1142现代SQL平台区别于传统SQL平台
1143MPP数据库
1144SQL-on-Hadoop
1145NewSQL数据库
1146现代SQL平台的发展
【作业】
第12章社交网络与推荐系统
【导读案例】推荐系统的工程实现（节选）
121社交网络的定义
1211社交网络的特点
1212社交网络度量
1213社交网络学习
122社交网络的结构
1221社交网络的统计学构成
1222社交网络的群体形成
1223图与网络分析
123社交网络的关联分析
124推荐系统
1241推荐系统的概念
1242推荐方法的组合
1243推荐系统的评价
125协同过滤
【作业】
第13章组织分析团队
【导读案例】数据工作者的数据之路：从洞察到行动
131企业的分析文化
1311管理分析团队的有效因素
1312繁荣分析的文化共性
132数据科学家（数据工作者）
1321数据科学家角色
1322分析人才的四种角色
1323数据准备分析专业人员
1324分析程序员
1325分析经理
1326分析通才
1327吸引数据科学家
133集中式与分散式分析团队
134组织分析团队
1341卓越中心
1342首席数据官与首席分析官
1343实验室团队
1344数据科学技能自我评估
135走起，大数据分析
【作业】
第14章基于大数据集市的课程实践
141什么是大数据集市
1411数据集市的结构
1412数据集市的类型
1413区别于数据仓库
142大数据分析实践项目选择
1421大数据帮零售企业制定促销策略
1422电信公司通过大数据分析挽回核心客户
1423大数据帮能源企业设置发电机地点
1424电商企业通过大数据制定销售战略
143案例分析与课程实践要求
1431角色选择
1432项目选择
1433实践项目的背景说明
1434分知识点要点简述
1435撰写大数据分析报告
1436课程实践总结
1437课程实践的教师评价
附录课程作业参考答案
参考文献

“大数据分析”是一门理论性和实践性都很强的课程。本书是为高等院校相关专业“大数据分析”课程而设计编写，具有丰富实践特色的主教材。针对高等院校学生的发展需求，本书系统、全面地介绍了大数据分析的基本知识和技能，详细介绍了大数据分析基础、社会研究与方法、计算社会科学及其发展、基本原则与生命周期、构建分析路线与用例、大数据分析的运用、预测分析方法、预测分析技术、大数据分析模型、用户角色与分析工具、大数据分析平台、社交网络与推荐系统、组织分析团队等内容，最后为大数据分析的学习设计了一个基于大数据集市的课程实践。全书具有较强的系统性、可读性和实用性。
本书适合作为高等院校相关专业“大数据分析”课程的教材，也可供有一定实践经验的社会研究人员、IT应用人员、管理人员参考和作为继续教育的教材。

周苏，男，1958年出生，苏州人。浙江大学城市学院教授，清华大学访问学者，科技部相关机构认证创新工程师（二级），清华大学《计算机教育》杂志“周苏专栏”作者。周苏教授的主要教学和研究方向为软件工程、操作系统和多媒体技术等，仅从自1999年参加独立学院工作以来，潜心体验大众化教育背景下的教学活动并探索其规律，认真踏实地进行教改研究，在教材研究与建设，教学方法改革与创新等方面积累了丰富的经验，成绩显著，在独立学院和应用型院校计算机学科的教学方法上走出了具有开创性的步伐，得到全国同行的广泛认同。