统计工程导论

大数据的兴起已经走过十个年头，对于从前每次开会时统计学者争论不休的话题，时间已经慢慢给出了答案。“数据”从一个潮流词汇成为主流，每个统计人都重视起了数据及相关技术，越来越多的人已经投身数据产业。可以观察到，统计学的专业知识已经与工程实践深度融合，但仍欠缺适当的总结。统计学是一级学科，包括众多的二级学科，如经济统计、应用统计、数理统计等。随着数据科学和大数据技术这些理工科专业的加入，统计工程思想应该能够进入统计的大家庭。本书希望能够抛砖引玉，告诉大家在统计学领域内我们都遇到了同样问题，有同样的想法，即使不成熟，也请坚持下去。

本书简要介绍了统计学的现状与历史。对比经典理论提出的历史背景，在当前不断变化的技术手段下，内部需求和外部竞争促使着统计工作者不断地解放思想、与时俱进。面对新形势、新问题，除了紧跟上、下游学科的先进技术之外，统计学者还应该树立实事求是的观念。统计工程的概念就是在这样的背景下孕育而生的。统计工程的提出，考虑了多个二级学科的特点，也是探讨从观念上如何将新加入的数据科学融入相关思考。本书结合多个统计工程项目的实践经验，在原有统计分析的业务流程上扩充了工程化相关流程环节，方便读者衔接统计学的专业知识； 建立了工程化的统计产品概念，这是提出统计工程的自然逻辑延续，并以统计产品为目标引领着章节的展开。统计产品是以人为主体的工程概念，前沿的工程模式是以数字化为中心的、用户与统计平台相互收益的生态共建形式，统计平台将是统计工程化过程中广泛的形式。作为导论，本书没有继续列举更多的工程形式，而是从工程实践出发，介绍传统统计工作中没有被正式提出、但是却无法回避的相关工作： 需求分析、项目实施和运维服务。后，本书列举了两个相对完整的统计工程案例。统计工作正在从过去几百年来辅助决策的角色，慢慢转变成科学研究、商业活动和公共事务的高效自动决策中心。从外部看，也许是大数据、通信技术等信息技术在推动这一变化，但是就统计学科本身来说，统计工程才是这一变化的关键变量。希望能引起广大统计同仁的认可与共鸣。
杨翰方
于庚子年隆冬

《统计工程导论》简要回溯了统计学的现状与历史。对比经典理论提出的历史背景，在当前不断变化的技术手段下，内部需求和外部竞争促使着统计工作者不断的解放思想、与时俱进。面对新形势新问题，除了紧跟上下游学科的先进技术之外，统计学者还应该树立实事求是的观念。统计工程的概念就是在这样的背景下孕育而生。 统计学在我国是一级学科，包括着经济统计、应用统计、数理统计和可能新加入的数据科学等二级学科。统计工程的提出考虑多个二级学科特点，也是探讨从观念上如何将新加入的数据科学融入相关思考。结合多个统计工程项目的实践经验，本书在原有统计分析的业务流程上扩充的工程化相关流程环节，方便读者们衔接统计专业知识。接着，本书建立了工程化的统计产品概念，这是提出统计工程的自然逻辑延续，并以统计产品为目标引领着章节的展开。本书继续发展相关主题，统计产品是以人为主体的工程概念，前沿的工程模式是以数字化为中心的，用户与统计平台相互收益的生态共建形式，统计平台会是统计工程化过程广泛的形式。作为导论，本书没有继续列举更多的工程形式，继续从工程工作的实践出发，介绍传统统计工作中没有被正式提出但是实际工作却无法回避的相关工作，需求分析、项目实施及运维服务。后，本书列举了两个相对完整的统计工程案例。统计工作正在从过去几百年来辅助决策的角色，慢慢转变成科学研究、商业活动和公共事务的高效自动决策中心。从外部看大数据、通信技术等信息技术推断这一变化，但是就统计学科本身来说，统计工程是这一变化的关键变量。希望能引起广大统计同人的认可与共鸣。

《统计工程导论》简要回溯了统计学的现状与历史。对比经典理论提出的历史背景，在当前不断变化的技术手段下，内部需求和外部竞争促使着统计工作者不断的解放思想、与时俱进。面对新形势新问题，除了紧跟上下游学科的先进技术之外，统计学者还应该树立实事求是的观念。统计工程的概念就是在这样的背景下孕育而生。 统计学在我国是一级学科，包括着经济统计、应用统计、数理统计和可能新加入的数据科学等二级学科。统计工程的提出考虑多个二级学科特点，也是探讨从观念上如何将新加入的数据科学融入相关思考。结合多个统计工程项目的实践经验，本书在原有统计分析的业务流程上扩充的工程化相关流程环节，方便读者们衔接统计专业知识。接着，本书建立了工程化的统计产品概念，这是提出统计工程的自然逻辑延续，并以统计产品为目标引领着章节的展开。本书继续发展相关主题，统计产品是以人为主体的工程概念，前沿的工程模式是以数字化为中心的，用户与统计平台相互收益的生态共建形式，统计平台会是统计工程化过程广泛的形式。作为导论，本书没有继续列举更多的工程形式，继续从工程工作的实践出发，介绍传统统计工作中没有被正式提出但是实际工作却无法回避的相关工作，需求分析、项目实施及运维服务。后，本书列举了两个相对完整的统计工程案例。统计工作正在从过去几百年来辅助决策的角色，慢慢转变成科学研究、商业活动和公共事务的高效自动决策中心。从外部看大数据、通信技术等信息技术推断这一变化，但是就统计学科本身来说，统计工程是这一变化的关键变量。希望能引起广大统计同人的认可与共鸣。

杨翰方，副教授，博士生导师。现就职于中国人民大学统计学院，经济与社会统计系，2007年毕业于同济大学数学与应用系，获得理学学士学位， 2012年先后获得美国佐治亚州立大学风险管理硕士以及统计学博士学位，目前从事多个国家重点研发项目、工业互联网创新发展工程项目和学科标志性重大平台项目的研究工作，并发表多篇论文于国内国际著名统计期刊。

第1章统计工作

1.1统计学科研究内容

1.1.1数据建模

1.1.2理论统计方法

1.1.3应用统计方法

1.2统计学科发展历史及现状

1.3新时代特点

1.4统计方法与工具在新时代的变化

1.5统计产品的概念、特点与发展现状

1.5.1统计产品的概念

1.5.2统计产品的特点

1.5.3统计产品的发展现状

第2章统计工程

2.1工程概述

2.1.1工程的概念

2.1.2工程的原则

2.1.3工程的方法

2.1.4工程项目的全过程

2.1.5工程管理

2.2统计工程的概念

2.3统计工程的特点

2.4统计工程的原则 

第3章统计工程的关键步骤

3.1需求

3.1.1需求来源

3.1.2需求类型和特点

3.1.3需求建模

3.2数据采集

3.2.1数据产生场景

3.2.2数据采集方法

3.2.3数据采集工具

3.3数据管理

3.3.1数据存储与备份

3.3.2数据共享与安全

3.3.3数据质量控制

3.3.4数据管理工具

3.4数据分析 

3.4.1描述性统计

3.4.2特征构造与选择

3.4.3模型搭建、验证和调优

3.4.4数据分析工具

3.4.5面向对象的数据分析

3.5数据预处理

3.5.1数据预处理简介

3.5.2数据预处理的评价标准

3.5.3特征构造与选择

3.6数据可视化

3.6.1数据可视化概述

3.6.2数据可视化工具

3.6.3数据可视化的自动化实现

3.7统计工程作业

3.7.1统计工程作业的概念

3.7.2统计工程作业的阶段划分

3.7.3统计工程作业模型

第4章统计产品

4.1统计产品的基本结构

4.1.1数据预处理模块

4.1.2数据分析模块

4.1.3数据可视化模块

4.2Web开发框架

4.2.1Web开发框架概述

4.2.2Django框架介绍

4.3前端开发

4.3.1前端设计概述

4.3.2Bootstrap前端设计框架

4.3.3其他前端设计工具

4.4接口设计

4.5可行性分析

4.6开发计划制订

4.6.1概念和特点

4.6.2目的和原则

4.6.3任务和过程

4.6.4方法和工具

第5章统计平台

5.1统计平台背景

5.2统计平台技术

5.2.1Hadoop架构

5.2.2Spark计算框架

5.2.3自然语言处理

5.2.4ES Elasticsearch

5.2.5SHM大数据基础平台

5.2.6Bootstrap前端架构

5.3统计平台方案设计

5.3.1功能流程设计

5.3.2界面设计

5.3.3输入设计

5.3.4输出设计

5.3.5控制界面设计

5.3.6接口设计

5.3.7后台设计

5.3.8性能设计

5.3.9测试用例设计

5.4可行性分析

第6章统计需求分析

6.1统计需求分析的概念和特点

6.1.1统计需求分析的概念

6.1.2统计需求分析的特点

6.2统计需求分析的目的和原则

6.2.1统计需求分析的目的

6.2.2统计需求分析的原则

6.3统计需求分析的任务和过程

6.3.1统计需求分析的任务

6.3.2统计需求分析的过程

6.4统计需求分析的描述工具

6.4.1业务流程图

6.4.2功能结构图

6.4.3数据流图 

第7章统计产品的方案实现、发布与维护

7.1方案实施

7.1.1方案实施的概念和特点

7.1.2方案实施的原则 

7.1.3方案实施的任务和过程

7.2统计产品测试

7.2.1统计产品测试的概念和特点

7.2.2统计产品测试的原则

7.2.3统计产品测试的流程和方法

7.3统计产品发布与维护

7.3.1统计产品发布与维护的概念和特点

7.3.2统计产品发布与维护的原则

7.3.3统计产品发布与维护的任务和流程

第8章案例

8.1可行性分析案例

8.1.1《某大型连锁超市用电情况监控系统可行性分析报告》

8.2需求分析案例

8.2.1《某大型连锁超市用电情况监控系统需求分析说明书》

8.2.2需求分析说明书示例： 《某量化交易公司数据平台需求
分析说明书》

8.3方案设计案例

8.3.1《某超市用电管控系统方案设计说明书》

8.3.2《石油定价App方案设计说明书》

8.4方案实施与测试示例

8.5统计产品发布与维护示例

8.5.1统计产品发布使用示例

8.5.2统计产品后期维护示例

参考文献

后记

《统计工程导论》简要回溯了统计学的现状与历史。对比经典理论提出的历史背景，在当前不断变化的技术手段下，内部需求和外部竞争促使着统计工作者不断的解放思想、与时俱进。面对新形势新问题，除了紧跟上下游学科的先进技术之外，统计学者还应该树立实事求是的观念。统计工程的概念就是在这样的背景下孕育而生。 统计学在我国是一级学科，包括着经济统计、应用统计、数理统计和可能新加入的数据科学等二级学科。统计工程的提出考虑多个二级学科特点，也是探讨从观念上如何将新加入的数据科学融入相关思考。结合多个统计工程项目的实践经验，本书在原有统计分析的业务流程上扩充的工程化相关流程环节，方便读者们衔接统计专业知识。接着，本书建立了工程化的统计产品概念，这是提出统计工程的自然逻辑延续，并以统计产品为目标引领着章节的展开。本书继续发展相关主题，统计产品是以人为主体的工程概念，前沿的工程模式是以数字化为中心的，用户与统计平台相互收益的生态共建形式，统计平台会是统计工程化过程广泛的形式。作为导论，本书没有继续列举更多的工程形式，继续从工程工作的实践出发，介绍传统统计工作中没有被正式提出但是实际工作却无法回避的相关工作，需求分析、项目实施及运维服务。后，本书列举了两个相对完整的统计工程案例。统计工作正在从过去几百年来辅助决策的角色，慢慢转变成科学研究、商业活动和公共事务的高效自动决策中心。从外部看大数据、通信技术等信息技术推断这一变化，但是就统计学科本身来说，统计工程是这一变化的关键变量。希望能引起广大统计同人的认可与共鸣。

杨翰方，副教授，博士生导师。现就职于中国人民大学统计学院，经济与社会统计系，2007年毕业于同济大学数学与应用系，获得理学学士学位， 2012年先后获得美国佐治亚州立大学风险管理硕士以及统计学博士学位，目前从事多个国家重点研发项目、工业互联网创新发展工程项目和学科标志性重大平台项目的研究工作，并发表多篇论文于国内国际著名统计期刊。