Google BigQuery权威指南

图书标准信息

• 作者 [美]瓦利阿帕·拉克什曼南；[美]乔丹·蒂加尼
• 出版社 中国电力出版社
• 出版时间 2021-08
• 版次 1
• ISBN 9787519856779
• 定价 148.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 532页
• 字数 680.000千字

【内容简介】

本书的主要内容有：深入探讨BigQuery的内部工作方式，包括其整体架构。学习BigQuery支持的数据类型、函数和运算符。优化查询语句和schema，从而提高性能或降低成本。使用标准SQL中高级功能，如GIS、历史快照、DDL/DML、用户定义函数和脚本。使用BigQuery ML解决各类机器学习问题。学习如何保护数据、监控作业，以及授权用户。

【作者简介】

Valliappa Lakshmanan是Google Cloud的数据分析和AI解决方案负责人。他的团队借助BigQuery和Google Cloud上的其他数据分析、机器学习产品，构建软件解决方案来解决业务问题。Jordan Tigani是BigQuery的产品管理总监。作为BigQuery的创始工程师之一，他帮助数据仓库发展成为Google Cloud中成功的产品之一。他拥有20年的软件开发经验。

【目录】

目录

前言 . 1

第1 章 Google BigQuery 是什么 . 7

数据处理架构 7

关系数据库管理系统 9

MapReduce 框架 .10

BigQuery: 一个Serverless、分布式 SQL 引擎 11

使用BigQuery 13

从数据集中获得洞察 .13

ETL、EL 和ELT .15

强大的分析能力 17

易于管理 .19

BigQuery 起源 20

是什么使BigQuery 成为可能？ 23

计算和存储分离 23

存储和网络基础设施 .24

存储托管 .26

与Google Cloud Platform 集成 27

安全与合规.28

小结 .29

第2 章 基础查询语法 . 31

简单查询 32

使用SELECT 检索行 33

使用AS 给列设置别名 .35

使用WHERE 进行过滤 .36

SELECT *、EXCEPT 和REPLACE 38

带WITH 的子查询 .39

使用ORDER BY 进行排序 40

聚合 .40

使用GROUP BY 计算聚合 40

使用COUNT 统计记录数 42

使用HAVING 过滤分组项 .42

使用DISTINCT 查找值 .43

数组与结构体简介 45

使用ARRAY_AGG 创建数组 46

结构体数组.49

元组 50

使用数组 .50

UNNEST 数组 51

Join 表 52

Join 释疑 .53

内连接 56

交叉连接 .57

外连接 59

保存和分享 60

查询历史记录和缓存 .60

已保存的查询 62

视图与分享查询 63

小结 .63

第3 章 数据类型、函数和运算符 65

数值类型和函数 66

数学函数 67

标准兼容的浮点除法 .68

SAFE 函数 68

比较 69

使用NUMERIC 进行精确的十进制计算 70

使用BOOL 72

逻辑运算符.72

条件表达式.74

使用COALESCE 进行更简洁的NULL 处理 74

显式类型转换和隐式类型转换 76

使用COUNTIF 避免对Boolean 值进行显式类型转换 78

字符串函数.79

国际化 80

打印和解析.82

字符串操作函数 83

转换函数 .83

正则表达式.84

字符串函数总结 85

使用TIMESTAMP 86

解析和格式化时间戳 .87

提取日历信息的各部分 88

时间戳运算.89

Date、Time 和DateTime 90

使用GIS 函数.91

小结 .92

第4 章 将数据加载到BigQuery . 95

基础知识 96

从本地数据源加载 .96

指定Schema 104

复制到新表107

数据管理（DDL 和DML） 108

高效加载数据 . 110

联邦查询和外部数据源 113

如何使用联邦查询 113

何时使用联邦查询和外部数据源 . 118

Google Sheets 数据的交互式探索与查询 .126

对Cloud Bigtable 数据进行SQL 查询 136

传输和导出 142

数据传输服务 .142

导出Stackdriver 日志 .148

使用Cloud Dataflow 读/ 写BigQuery 150

迁移自有数据 155

小结 158

第5 章 使用BigQuery 进行开发 161

以编程的方式进行开发 161

通过REST 接口使用BigQuery .161

Google Cloud 客户端库 .170

通过数据科学工具访问BigQuery .189

Google Cloud Platform 上使用Notebook .190

使用BigQuery、pandas 和Jupyter .195

通过R 使用BigQuery 200

Cloud Dataflow 202

JDBC/ODBC 驱动 205

将BigQuery 数据导入Google Slides（G 套件）.206

通过Bash 脚本使用BigQuery .208

创建数据集和表 209

执行查询 212

BigQuery 对象 214

小结 216

第6 章 BigQuery 架构 219

高层架构 219

查询请求的生命周期 220

BigQuery 升级 225

查询引擎 Dremel 225

Dremel 架构 227

查询执行 233

存储 249

数据存储 249

元数据 256

小结 266

第7 章 性能与成本优化 . 267

需要遵循的原则 .267

影响性能的主要因素 268

控制成本 268

度量和故障排除 .270

使用 REST API 衡量查询速度 271

使用BigQuery Workload Tester 测量查询速度 .273

使用Stackdriver 排除任务故障 .275

读取查询计划信息 277

提高查询速度 .282

小化I/O 284

缓存历史查询结果 .289

执行有效连接 .293

避免压垮worker303

使用近似聚合函数 307

HLL 函数 .309

优化数据的存储和访问方式 . 311

小化网络开销 311

选择有效的存储格式 315

通过表分区减少扫描量 .325

基于高基数键的聚簇表 .329

时间不敏感的用户场景 333

批处理查询334

文件加载 335

小结 336

第8 章 高级查询 339

可复用查询 339

参数化查询340

用户自定义SQL 函数 346

复用部分查询 .351

高级SQL 355

使用数组 356

窗口函数 366

表元数据 373

数据定义语言和数据操作语言 376

扩展SQL 383

JavaScript UDF 383

编写脚本 385

高级函数 393

BigQuery 地理信息系统 393

常用的统计函数 401

哈希算法 403

小结 407

第9 章 BigQuery 中的机器学习 409

什么是机器学习 .409

设计机器学习问题 410

机器学习的种类 412

构建回归模型 415

选择标签 415

探索数据集以寻找特征 .416

租车点的影响 .417

创建训练数据集 420

训练和评估模型 421

用模型预测423

检查模型权重 .426

更复杂的回归模型 428

构建分类模型 433

训练 .434

预测 .437

选择阈值 437

自定义BigQuery ML 439

控制数据分割 .439

平衡类别 441

正则化 442

k-Means 聚类 443

什么在被聚集？ 443

聚类自行车租赁点 444

进行聚类 446

理解聚类 446

数据驱动决策 .449

推荐系统 449

MovieLens 数据集 450

矩阵分解 451

进行推荐 453

整合用户和电影信息 456

在GCP 上自定义机器学习模型 .463

超参数调整463

AutoML .468

Tensorflow 支持 469

小结 474

第10 章 BigQuery 安全管理 477

安全基础设施 477

IAM 479

身份验证 479

角色 .480

资源 .483

管理BigQuery .484

作业管理 484

授权用户 485

恢复已删除的记录和表 .485

持续集成/ 持续部署 486

成本、账单报表 489

仪表板、监控和审计日志 492

可用性、故障恢复和加密 .493

Zone、区域（Region）和多区域 .494

BigQuery 故障处理 .494

持久化、备份和故障恢复 498

隐私和加密499

监管与合规 500

数据本地化500

限制对数据子集的访问 .501

删除与单个个人相关的所有交易 .505

数据丢失预防 .510

CMEK 510

数据渗漏保护 .513

小结 514

作者介绍 515

封面介绍 515