大数据测试技术与实践（全彩印刷）
￥ 82.2 7.0折 ￥ 118 全新
库存6件
四川成都
认证卖家担保交易快速发货售后保障
作者艾辉 主编，融360 AI测试团队 编著
出版社人民邮电出版社
ISBN9787115571861
出版时间2021-10
装帧平装
开本16开
定价118元
货号1202503099
上书时间2024-07-03
- 在售商品 暂无
- 平均发货时间 7小时
- 好评率 暂无
商品详情
- 品相描述：全新
- 商品描述
-
作者简介
艾辉，中国人民大学概率论与数理统计专业硕士，《机器学习测试入门与实践》作者之一。目前，担任融360技术总监，主要负责AI风控产品、用户产品和基础架构的质量保障工作。曾在阿里本地生活担任不错技术经理，负责用户产品、新零售产品的质量保障工作。拥有9年多的测试开发工作经验，曾多次受邀在行业技术大会（如MTSC、GITC、靠前00、TiD、A2M和TICA等）上做主题分享。对大数据、机器学习测试技术有深刻理解，并长期专注于质量保障与工程效能领域。
陈高飞，东北大学计算机技术专业硕士，《机器学习测试入门与实践》作者之一。目前，担任融360测试开发工程师，主要从事机器学习方向的测试开发工作。擅长白盒测试、大数据测试和模型测试，在工具平台开发方面有丰富的实践经验。
郝嵘，北京信息科技大学自动化专业硕士，《机器学习测试入门与实践》作者之一。目前，担任融360不错测试开发工程师，主要负责大数据方向的测试开发工作。擅长Python开发、大数据测试和机器学习测试，了多个工具平台的开发，在大数据质量保障方面有丰富的实践经验。
雷天鸣，哈尔滨理工大学计算机科学与技术专业硕士，《机器学习测试入门与实践》作者之一。目前，担任融360测试开发工程师，主要从事机器学习方向的测试开发工作。擅长大数据测试、特征测试和模型算法评测等，对金融风控业务有深刻理解。
李曼曼，融360不错测试开发工程师，《机器学习测试入门与实践》作者之一。拥有近11年的测试开发工作经验，了多个工具平台的开发和大型项目的测试工作。擅长白盒测试、性能测试、自动化测试、持续集成和工程效能，在大数据和特征模型测试方面有丰富的实践经验。
马绵，陕西科技大学网络工程专业学士，融360测试开发工程师。目前主要从事服务端测试开发工作，擅长自动化测试、安全测试，在服务稳定性保障方面有丰富的实践经验。
孙冰妍，东北大学通信与信息系统专业硕士，融360测试开发工程师。目前主要从事服务端测试开发工作，擅长白盒测试、自动化测试、性能测试、安全测试和持续集成。参与了多个工具平台的开发，并了多个大型项目的测试工作。对大数据测试技术有深刻理解。
孙金娟，山西财经大学计算机科学与技术专业学士，《机器学习测试入门与实践》作者之一。目前，担任融360测试开发工程师，有近9年的Java开发、测试开发工作经验。擅长大数据测试和工具平台开发，对机器学习、特征模型测试有深刻理解。
张咪，北京交通大学通信与信息系统专业硕士，《机器学习测试入门与实践》作者之一。目前，担任融360测试经理，主要负责用户产品的质量保障工作，曾负责基础架构、SRE（Site Reliability Engineering，网站可靠性工程）等方面的测试开发工作。在自动化测试、服务稳定性、专项测试和工程效能等方面有丰富的实践经验，曾受邀在行业技术大会（如MTSC、A2M等）做主题分享。对大数据、机器学习测试有深刻的理解，并在这些领域拥有丰富的实践经验。
张朋周，中国地质大学计算机科学与技术专业硕士，《机器学习测试入门与实践》作者之一。目前，担任融360不错测试开发工程师，曾在百度从事搜索业务测试开发，有近9年的开发测试工作经验。目前，主要负责机器学习方向的测试开发工作，了多个工具平台的开发，在数据质量保障、模型评估平台方面有丰富的实践经验。
目录
目 录
第 1章 认识大数据／1
1.1 大数据概述／1
1.2 大数据的发展／2
1.3 大数据的应用／4
1.3.1 互联网领域／4
1.3.2 物流领域／5
1.3.3 教育领域／6
1.3.4 金融领域／7
1.3.5 电信领域／7
1.4 本章小结／8
第 2章 大数据技术生态／9
2.1 大数据技术生态总览／9
2.2 大数据采集技术／10
2.3 大数据存储技术／10
2.3.1 分布式文件系统：HDFS／10
2.3.2 海量数据列式存储： HBase／13
2.3.3 其他数据存储技术／18
2.4 大数据计算分析技术／19
2.4.1 批处理计算的基石：MapReduce／19
2.4.2 流计算的代表：Storm、Spark Streaming和Flink／21
2.4.3 OLAP引擎：Hive、Impala和Presto／24
2.5 大数据管理调度技术／30
2.5.1 分布式集群资源调度框架：YARN／30
2.5.2 容器集群管理系统：Kubernetes／32
2.5.3 大数据的"动物园管理员"：ZooKeeper／33
2.5.4 常用的工作流调度平台：Azkaban、Oozie和Airflow／34
2.6 大数据商业产品／36
2.7 本章小结／38
第3章 数据仓库的设计与构建／39
3.1 数据仓库概述／39
3.1.1 什么是数据仓库／39
3.1.2 数据仓库的发展过程／41
3.1.3 数据仓库与数据集市、数据湖、数据中台的区别／43
3.2 数据仓库设计／44
3.2.1 架构分层设计／44
3.2.2 数据模型设计／46
3.3 数据仓库构建／50
3.3.1 数据仓库的构建方法与评价标准／50
3.3.2 数据仓库实例／51
3.4 本章小结／58
第4章 大数据项目开发流程／59
4.1 大数据项目开发概览／59
4.2 数据的采集与存储／60
4.2.1 服务端日志采集／61
4.2.2 客户端日志采集／62
4.2.3 数据同步／64
4.2.4 大数据存储／66
4.3 大数据计算／67
4.4 大数据监控／71
4.4.1 数据监控／71
4.4.2 运维监控／72
4.5 大数据项目开发案例／73
4.5.1 项目背景介绍／74
4.5.2 项目需求分析／74
4.5.3 项目开发流程／76
4.6 本章小结／83
第5章 大数据测试方法／84
5.1 大数据测试概述／84
5.1.1 什么是大数据测试／84
5.1.2 大数据测试与传统数据测试／84
5.2 大数据测试类型／85
5.2.1 功能测试／85
5.2.2 性能测试／89
5.2.3 其他非功能性测试／93
5.3 大数据测试流程／94
5.4 大数据基准测试／96
5.4.1 大数据基准测试简介／97
5.4.2 大数据基准测试的步骤／97
5.4.3 大数据基准测试工具／98
5.5 大数据ETL测试／100
5.5.1 大数据ETL测试类型／100
5.5.2 大数据ETL测试场景／103
5.5.3 大数据ETL测试工具／107
5.6 大数据测试总结／108
5.6.1 大数据测试中的典型问题／108
5.6.2 大数据测试经验总结／112
5.6.3 大数据测试面临的挑战／113
5.7 本章小结／113
第6章 大数据测试实践／114
6.1 BI报表测试／114
6.1.1 BI工具简介／114
6.1.2 Tableau简介／115
6.1.3 BI报表测试实践／120
6.2 数据挖掘产品测试／128
6.2.1 数据挖掘的定义和流程／128
6.2.2 数据挖掘产品简介／129
6.2.3 数据挖掘产品测试实践／130
6.3 用户行为分析平台测试／139
6.3.1 用户行为分析平台测试概览／139
6.3.2 数据采集阶段测试／140
6.3.3 实时数据处理阶段测试／140
6.3.4 离线数据处理阶段测试／153
6.3.5 数据查询展示阶段测试／153
6.4 本章小结／156
第7章 数据质量管理／157
7.1 数据质量管理概述／157
7.2 数据质量管理流程／158
7.2.1 建立数据质量管理办法／159
7.2.2 制定数据标准／161
7.2.3 数据质量自查评估／162
7.2.4 数据质量问题修复／170
7.3 本章小结／173
第8章 大数据测试平台实践／174
8.1 大数据测试平台背景／174
8.2 大数据测试的开源技术调研／175
8.2.1 great_expectations／176
8.2.2 WeBankFinTech Qualitis／178
8.3 大数据测试的商业方案分析／181
8.3.1 QuerySurge／182
8.3.2 RightData／184
8.4 从零开始搭建大数据测试平台／186
8.4.1 需求分析／187
8.4.2 架构设计／187
8.4.3 功能实现／189
8.4.4 页面演示／196
8.4.5 总结和展望／201
8.5 本章小结／203
第9章 数据治理平台建设／204
9.1 数据治理概述／204
9.1.1 数据治理的基本概念／204
9.1.2 数据治理的重要意义／205
9.1.3 数据治理面临的主要挑战／206
9.1.4 如何开展数据治理／206
9.2 数据治理平台体系／207
9.3 元数据管理平台／208
9.3.1 平台产生背景／208
9.3.2 平台架构／208
9.3.3 模块设计：数据采集／209
9.3.4 模块设计：数据查询／212
9.3.5 模块设计：数据分析／214
9.4 数据质量监控平台／219
9.4.1 平台产生背景／219
9.4.2 平台架构／220
9.4.3 模块设计：规则引擎／221
9.4.4 模块设计：任务中心／230
9.4.5 模块设计：报警系统 ／230
9.5 本章小结／232
第 10章 DataOps的理念与实践／233
10.1 DataOps概述／233
10.1.1 什么是DataOps／233
10.1.2 为什么需要DataOps／235
10.1.3 DataOps与DevOps、MLOps的联系和区别／237
10.2 DataOps的能力与特性／239
10.2.1 数据工程／239
10.2.2 数据集成／240
10.2.3 数据安全和数据隐私保护／241
10.2.4 数据质量／242
10.2.5 DataOps的4个特性／243
10.3 DataOps技术实践／244
10.3.1 DataOps技术工具／245
10.3.2 数据管道技术示例／246
10.4 本章小结／253
第 11章 大数据测试的学习路线和发展趋势／254
11.1 为什么学习大数据测试／254
11.2 如何学习大数据测试／255
11.2.1 大数据测试的学习路线／255
11.2.2 大数据测试的技能图谱／259
11.3 大数据测试的发展趋势／269
11.4 本章小结／270
附录 大数据技术经典面试题／271
参考文献／276
内容摘要
本书全面系统地介绍了大数据的测试技术与质量体系建设。本书共11章，～4章涵盖认识大数据，大数据技术生态，数据仓库的设计与构建，以及大数据项目开发流程；第5～7章讲解大数据测试方法、大数据测试实践和数据质量管理；第8～10章介绍大数据测试平台实践、数据治理平台建设，以及DataOps的理念与实践；1章提供大数据测试学习路线。附录列出了大数据技术经典面试题。
本书适合想要了解大数据技术的读者，以及想要学习和掌握大数据测试与大数据开发的从业者。通过阅读本书，测试工程师可以系统地学习大数据技术基础、大数据开发和大数据测试等知识；大数据开发工程师可以借鉴大数据质量保障的方法，拓宽数据工程实践的思路；技术专家和技术管理者可以了解大数据质量保障体系、数据治理建设和DataOps实践等内容。
主编推荐
36位来自阿里、腾讯、百度、京东、字节跳动、网易、小米、奇虎360、贝壳、顺丰等大厂工程师和技术管理者联袂推荐。
通俗易懂，精选23个大数据测试要点，从零入手，多角度讲解大数据测试。
内容丰富，涵盖4大技术主题，大数据开发、大数据测试、数据质量与数据治理。
场景典型，深度剖析3个主流数据应用场景，BI报表、风控模型和数据分析平台的技术原理、工程架构，并输出了全链路的质量保障方案。
媒体评论
随着互联网公司的崛起，大数据技术快速应用于互联网行业、金融业、电信业、甚至诸多传统行业。如何将沉淀下来的海量的原始数据做适当的存储、加工、价值挖掘，驱动了大数据技术的演进发展。在数据来源多样且异构、数据类型多样、数据量达到一定规模，数据仓库的设计、数据血缘关系、数据的正确性和即时性、指标口径一致性都会变成极为挑战的技术问题。本书从大数据质量保障的角度介绍了如何应用测试环节提升数据质量，并对数仓设计、数据开发、数据管理平台等前置数据研发工作做深入浅出的介绍，适合大数据技术人员了解数据研发的整体流程、以及测试工程师在其中的职责和价值体现。
邹宇，携程大数据与AI应用研发部负责人、VP
大数据已经成为今天社会生活和经济发展的核心元素，如何在工业级产品应用中大规模地采集存储、分配管理和计算分析这些宝贵的数据资源，已经越来越成为一项至关重要的工程性难题。本书选择这一领域进行深入研究探索，汇集了业界有关于此的新实践成果，从理论、方法和实操层面做出了综合的分析总结，为有志于在人工智能领域持续钻研的产品技术人员提供了不可或缺的参考资料和学习指南。
本书的篇章结构也遵循了初学者从易入难、由知渐行的学习路径，提供了详实的应用背景和具体的实践案例帮助读者快速进入大数据测试领域，指明了凡人皆可为的测试专家成长通路。俗话说，差距在心内，功夫在身外，要想做好大数据测试还必须对整个技术生态和大数据业务应用的趋势有更强的把握能力。书中也都为读者提供了持续精进的路标，希望能够吸引更多同路人一道前行。
蒋凡，京东科技数字城市群数字生活产品部负责人、《智能增长》作者
大数据产品生态体系和技术体系很好丰富，如何围绕着数据生命周期全盘的进行手工测试用例和自动化回归测试面临较大挑战，是大数据平台和数据中台的公司所面临的的共同问题，本书从实际操作层面丰富的提供指导，丰富的原理和工具介绍，为数据可感知、可管理、可使用提供全面实战手册，很好适合一线实战的从业者提供参考。
梁福坤，京东科技数字城市群总架构师
有关大数据的书籍成百上千，很难得等到了一本侧重大数据产品及应用测试的书籍。
本书内容丰富、案例详实，通俗易懂，实用性强。既介绍了大数据技术基础，又重点阐述了大数据测试方法、大数据测试实践及数据质量管理等原理，特别针对大数据平台建设等内容进行了案例分析。是很好适合工程师进行大数据测试实操的一本案头书籍。
杨春晖，电子第五研究所副总工
这是一本很及时的书。大数据不是一个新鲜事物了，但针对大数据的测试技术的梳理和总结，在国内还没有人系统的做过。大数据测试对技术要求高，不仅仅要有完备的测试知识，大数据的经验更是必不可少，同时，大数据测试对于数据环境要求很高，大部分初学者缺乏实践的条件，导致大数据测试在国内目前还处于半空白状态。作者和他的团队，基于丰富的一线大数据测试的工作实践，通过系统的知识梳理，整理出一整套完整的大数据测试的理论和实践方法，适合每一个对大数据测试感兴趣，希望学习大数据测试的测试工程师。
徐琨，Testin云测总裁
马云曾说过“世界正在从IT时代进入DT时代，DT在提升我们对这个世界的认知，影响我们的思考、帮助我们决策”。DT时代下，数据是基石，而对大数据的测试区别于传统软件功能性测试，大数据测试需要进行大量的数据模型构造和数据核对，作者结合自身工作实践和新技术研究经验积累，从数据的完整性、准确性、安全性、可理解性等方面总结了体系化的测试技术方法与手段，可为读者提供新的思路和启发。
童庭坚，PerfMa联合创始人兼首席技术官
当前时代是数字化及大数据时代，各个行业数字化呈现蓬勃发展，由于5G技术及智能设备的出现，行业数据还会呈现爆炸式的增长。如何利用大数据学习其特征，是人工智能的研究和应用范畴，而其基础是数据的正确性。即，如何在数据层面保证存储、计算、流及智能分析等正确性是大数据测试需要解决的问题。爱辉团队的这本书从多个方面介绍了大数据本身项目特性，并对多种相关测试工具进行详实的介绍，进而实战化的角度介绍了大数据测试平台的搭建，相信对测试行业的从业者会有一定的启迪和帮助。
师江帆，龙测科技创始人、CEO
今天人工智能（AI）进入第三次浪潮，接近得益于我们拥有各行各业的大数据，而且AI的算法忠实于数据，数据质量的好坏直接影响AI的应用效果，所以这时出版一本《大数据测试技术与实践》这样的技术图书，挺好。本书不仅介绍了大数据测试方法和实践、数据质量管理，而且介绍了如何构建大数据测试平台和数据治理平台，内容系统、全面，并有丰富的案例和代码示例，适合想从事大数据测试的同学们参考。
朱少民，QECon大会发起人、《全程软件测试》和《敏捷测试》作者
随着大数据和人工智能技术在更多领域的应用，给我们的生活和工作带来了更大价值，但也可能会给我们带来灾难，一个关键要素就是质量。保障数据的质量、保障人工智能系统的质量，也成为越来越重要的主题。本书作者将多年项目实战经验与读者共享，相信一定能给读者带来实在的收获。
周震漪，ISTQB/CSTQB和TMMi中国分会副理事长
我们需要选中一条赛道，然后开始悉心准备，耐心埋伏。AI和大数据就是这样一条赛道。一年前，艾辉老师的《机器学习测试入门与实践》横空问世，成了AI测试的标杆。我听了很多场艾辉老师的分享，也亲自采访了艾辉老师。对于AI测试，每次都会被劝退一次，每退一次，就愈发坚定了我往这一方面发展的心。今天，艾辉老师又一本力作《大数据测试技术与实践》问世。时间看到了样章，无疑又是大数据测试的开山之作。纵观整个目录，两篇样章，找回了我当初做数据报表的感觉，我没做过专门的（大）数据测试，但是看到依然亲切。希望本书可以给做数据测试的同学带来更加完整和体系化的思考。
张立华（恒温），测试开发专家、TesterHome社区创始人
随着越来越多的企业开始应用大数据技术推动业务发展，伴随而来的大数据测试就成为了行业里一个重要的质量保证细分领域。本书应运而生对大数据测试体系进行了细致而详尽的总结，帮助行业解决了大数据如何测试的难题，同时还融入了自建测试平台的经验，是一本不错的实战书籍，可以有效的帮助企业快速构建大数据测试体系。
黄延胜（思寒），霍格沃兹测试开发学院创始人
大数据领域的测试技术目前还处于探索前进的阶段，可以说这是国内大数据测试领域的著作。纵览全书，既有对大数据测试关键技术的方法论讲解，又有通过实际大数据项目的案例实践，讲解过程采用了实际需求驱动的方式，将大数据测试的核心知识点与项目实践相结合，做到了技术路径上的一脉相承。相信这会是你入门大数据测试的优选之作。
茹炳晟
腾讯 技术工程事业群 基础架构部 T4级专家
腾讯研究院 特约研究员
书《测试工程师全栈技术进阶与实践》作者
很近十年来，移动互联网和智能设备的不断兴起，越来越多的数据被沉淀下来。伴随着数据计算力与机器智能算法的发展，基于大数据 AI的应用也越来越多，我们正在逐渐进入到一个AI-DT驱动的时代。对于智能化的效果来说，有两个重要因素决定着其效果：数据的质量和模型算法的设计。大数据的质量是如何保障的，成为一个业界的难题。艾辉及其团队在本书中将会揭示其成功的实践方法，内容翔实，相信会给大家带来启迪和借鉴意义。
公直，阿里巴巴资深技术专家
数据智能时代已经到来，数据不仅是决定AI智能程度的关键因素，也已经成为各大公司的核心资产。在数据复杂度和量级飞速提升的同时，如何对大数据进行测试和如何保障数据质量，正逐渐成为质量领域新的难题。本书从大数据技术特点出发，深挖质量侧难点，结合项目案例实战介绍大数据测试方法，并对大数据测试平台从0到1搭建以及DataOps实践做了详细的阐述。读完本书必定会对如何开展大数据测试有更加全面和体系化的了解。
金晖（定源），阿里巴巴淘系技术部不错测试开发专家
通过本书的阅读，对于大数据质量涉猎较少的我，立刻对大数据的技术生态、项目开发过
— 没有更多了 —
以下为对购买帮助不大的评价