重构大数据统计

图书标准信息

• 作者 杨旭 著
• 出版社 电子工业出版社
• 出版时间 2014-08
• 版次 1
• ISBN 9787121225000
• 定价 79.00元
• 装帧 平装
• 开本 16开
• 纸张 轻型纸
• 页数 404页
• 字数 502千字
• 正文语种 简体中文
• 丛书 大数据丛书 阿里巴巴集团技术丛书

【内容简介】

基于《重构大数据统计》内容开发的数据分析工具已经在阿里巴巴集团内部的多个部门使用，取得显著效果。大数据的统计计算是进行数据探索和分析挖掘的基础，在实际应用中会遇到两个问题：一个是需要使用多少资源；另一个是计算时间，它关系到数据探索分析的效率和效果。人们都希望花更少的钱，并且计算时间更短，但对于某个确定的计算过程，它们是成反比的。《重构大数据统计》就是从统计计算的算法入手，重构其计算过程，从而同时降低资源使用量和计算时间。《重构大数据统计》提出了一套完整的关于大数据统计的计算理论，包括常用的各种统计量和统计方法。《重构大数据统计》还提供大量的示例程序代码帮助读者进一步了解算法细节，便于将书中的方法运用于实际计算。

【作者简介】

杨旭，2004年获南开大学数学博士学位，之后在南开大学信息学院从事博士后研究工作。2006年加入微软亚洲研究院，进行符号计算、大规模矩阵计算及机器学习算法研究；2010年加入阿里巴巴，从事大数据相关的统计和机器学习算法研发。

【目录】

第1章基本概念1
1．1  数据类型1
1．2  总体和样本2
1．3  参数和统计量2
1．4  分布式计算3
第2章单变量基本统计量5
2．1  数量统计量5
2．1．1  样本方差为何除以n-17
2．1．2  数据分布与标准差的关系10
2．1．3  新的计算公式11
2．1．4  代码实现16
2．2  频数统计量18
2．3  次序统计量23
2．3．1  通过排序方法计算次序统计量25
2．3．2  不需排序就可计算的次序统计量29
2．3．3  基于频数信息计算次序统计量31
2．3．4  中位数、众数和均值的关系34
第3章单变量数据的分布36
3．1  直方图36
3．1．1  直方图的计算39
3．1．2  算法实现42
3．1．3  已知数据频数的情况下求直方图49
3．1．4  日期类型直方图49
3．2  经验分布57
3．3  近似分位数和近似百分位数61
3．4  PP、QQ概率图65
3．5  单变量的基本统计信息69
第4章多变量的数据特征77
4．1  协方差77
4．2  相关系数79
4．3  协方差和相关系数的计算实现80
4．4  数据表的基本统计结果84
第5章数据探索88
5．1  扩展直方图88
5．1．1  计算方法90
5．1．2  代码实现91
5．2  交叉表110
第6章极限定理116
6．1  大数定理116
6．2  中心极限定理117
第7章常用的分布函数介绍123
7．1  基本定义123
7．2  标准正态分布（Z分布或U分布）124
7．3  卡方分布（χ^2分布）129
7．4  学生T分布133
7．5  F分布139
第8章常用分布函数计算145
8．1  函数定义145
8．2  函数性质及相互间的关系147
8．3  分布函数关系图164
8．4  分布函数的计算166
8．4．1  计算Γ(x)166
8．4．2  计算CDF_Γ170
8．4．3  计算CDF_Β173
8．4．4  计算IDF_Γ和CDF_Β176
8．4．5  其他函数的计算178
8．5  生成常用分布的随机数180
第9章参数估计187
9．1  点估计与区间估计187
9．2  单个总体的参数估计190
9．2．1  不同情况的参数估计表达式190
9．2．2  单个总体参数估计的实现191
9．3  两个总体的参数估计196
9．3．1  不同情况的参数估计表达式196
9．3．2  两个总体参数估计的实现199
第10章假设检验207
10．1  基本概念207
10．2  参数检验209
10．3  单个总体参数的检验212
10．3．1  各种情况下的检验方法212
10．3．2  单个总体参数检验方法的实现214
10．3．3  不同检验方法的选择223
10．4  两个总体参数的检验227
10．4．1  各种情况下的检验方法227
10．4．2  两个总体参数检验方法的实现231
10．4．3  不同检验方法的选择237
第11章非参数检验244
11．1  Pearson拟合优度χ^2检验245
11．2  两个变量的列联表检验248
11．3  K-S检验250
11．3．1  单样本K-S检验251
11．3．2  双样本K-S检验256
11．4  符号检验258
11．5  秩统计量和秩检验方法260
11．5．1  Wilcoxon秩和检验260
11．5．2  Wilcoxon符号秩和检验266
11．5．3  Kruskal-Wallis检验268
11．5．4  Friedman检验273
第12章方差分析277
12．1  单因素方差分析278
12．1．1  计算流程278
12．1．2  代码实现280
12．1．3  方差分析与T检验的关系283
12．1．4  方差分析中的多重比较方法285
12．2  双因素方差分析289
12．2．1  无交互作用的双因素方差分析289
12．2．2  有交互作用的双因素方差分析295
第13章多元线性回归302
13．1  数学模型302
13．2  显著性检验308
13．3  计算步骤309
13．4  代码实现313
13．5  多重共线性320
13．5．1  度量指标320
13．5．2  代码实现323
13．5．3  应用示例328
13．6  逐步回归330
第14章主成分分析340
14．1  计算步骤342
14．2  代码实现345
14．3  应用举例350
第15章判别分析359
15．1  距离判别359
15．1．1  Mahalanobis距离360
15．1．2  模型训练和预测361
15．2  Fisher判别364
15．3  Bayes判别369
15．3．1  朴素Bayes判别369
15．3．2  模型训练和预测370
15．4  判别算法的综合模型377
15．5  应用举例378
第16章模型评估曲线383
16．1  相关概念383
16．2  定义384
16．2．1  ROC曲线384
16．2．2  上升图和反馈率―精确率线386
16．3  计算实现386
参考文献391