大数据工程技术人员——大数据基础技术

一、选题背景习近平总书记在十九届中共中央政治局第二次集体学习时的重要讲话中指出：“大数据是信息化发展的新阶段”，并做出了“推动大数据技术产业创新发展、构建以数据为关键要素的数字经济、运用大数据提升国家治理现代化水平、运用大数据促进保障和改善民生、切实保障国家数据安全”的战略部署，为我国构筑大数据时代国家综合竞争新优势指明了方向。2019年，人力资源社会保障部、市场监管总局和统计局联合下发了《人力资源社会保障部办公厅 市场监管总局办公厅 统计局办公室关于发布人工智能工程技术人员等职业信息的通知》（人社厅发〔2019〕48号），正式将大数据工程技术人员列为新职业。落实《专业技术人员继续教育规定》（人力资源社会保障部令第25号）的要求，为进一步加强大数据工程技术人员队伍建设，开展全国范围内的人员培训，人力资源社会保障部委托中国机械工程学会组织有关专家，制定了《大数据工程技术人员国家职业标准》，并组织开展《大数据工程技术人员培训教程》（以下简称“《教程》”）的编写工作。二、指导思想与开发原则《教程》开发工作是落实国家专业技术类新职业开发重要部署，服务和保障大数据工程技术人员队伍快速稳步发展的必要举措，是开展培训工作的重要基础和有力支撑，是大数据工程技术人员继续教育工作的重要抓手。《教程》根据职业标准与培训大纲编写，充分体现大数据行业特色，是对初、中、高不同专业等级人员实施培训的内容载体，是培训考核命题的基础素材，也将作为专业水平考核评价的重要参考。《教程》开发工作坚持以下原则：（一）科学性。充分考虑大数据技术发展现状和趋势，注重大数据工程技术人员知识要求的基础性，尊重客观规律、循序渐进，体现大数据工程技术人员学习特点、知识发展要求和能力发展特点。（二）针对性。根据不同专业等级大数据工程技术人员岗位职责与能力要求，围绕大数据工程技术人员应当具备的基础知识，以及大数据处理与应用，大数据分析与挖掘和大数据管理等方面的专业知识，有针对性地安排内容。（三）系统性。《教程》的编写体现大数据多学科交叉的特点，考虑基础知识与专业知识之间的关系，在目标、要求、内容等方面形成一个完整的系统。（四）实用性。充分考虑到教材的实际应用价值，为在全国范围内迅速推开大数据工程技术人员培训，以及开展专业能力水平评价的有关探索，进而与工程师职称制度衔接等，提供支撑和帮助。 1.《大数据工程技术人员培训教程——大数据基础技术（初级）》本书对应《大数据工程技术人员国家职业技术技能标准》“大数据系统搭建”、“大数据平台管理与运维”和“大数据技术服务”部分，是相关从业者职业培训以及专业技术考核的推荐辅导用书。主要内容包括：大数据硬件系统搭建与应用、大数据服务器系统搭建与应用、大数据存储系统搭建与应用、大数据作业开发系统搭建与应用等。

编写委员会负责《教程》内容编写、修订等工作。成员包括国家相关部委专家、长期从事大数据理论研究和教学工作的高校及科研机构核心专家、企业核心技术专家等。主要编写成员为张正球、吴子颖、张笑钦、黄长城、汪文帅等。张正球，男，硕士，英国Ulster大学访问学者，从事计算机视觉、大数据、信息安全等方面研究与教学工作；作为项目核心成员参与2项自然科学基金，主持3个省级科技项目并获得省科技进步奖，参与若干项省级自然科学基金项目、教育厅科技项目等；先后在核心刊物发表论文20余篇学术论文，曾作为主编参与《大数据分析与可视化》、《物联网嵌入式技术》教材开发，组织团队编写教材10余本，其中规划教材6本，参与多项教学改革项目，并作为核心成员获得省级教学成果奖。吴子颖，男，新大陆教育公司大数据教研经理，从事大数据技术行业多年，掌握大数据主流技术Hadoop、Spark、HBase、Hive及多种编程语言如Java、Python、Scala、R，精通数据采集、网络爬虫、数据预处理、数据计算、数据分析、数据挖掘等多个技术领域和批流数据处理架构；主导新大陆教育大数据产品架构及数据系统设计；作为主编参与《大数据综合实战案例教程》、《Spark批处理技术与应用》、《大数据可视化应用技术》等教材；参与福建省教育科学“十三五”规划2019年度课题，全国职业教育教师企业实践基地“产教融合”专项课题。张笑钦，男，博士，教授，博士生导师，德国洪堡学者、国家优秀青年基金获得者，现任温州大学计算机与人工智能学院院长，科技部高新司现代服务业处专家组成员，中国图象图形学学会视觉大数据专委会委员，中国自动化学会混合智能专委会委员。汪文帅，男，博士，副教授，硕士生导师，宁夏大学数学统计学院院长，兼任中国数学会理事，第二届中国智能物联系统建模与仿真专业委员会委员，中国通信学会委员，宁夏科普作家协会副理事长。黄长城，男，教授，温州大学数据科学与大数据技术专业负责人，硕士生导师，温州市计算机学会秘书长、商业企业云供应链公共服务平台主任；负责和参与多个国家和浙江省重大研发项目；曾经在深圳香港等地从事计算机系统工程项目和互联网技术研发工作十几年，目前主要从事面向工业大数据平台相关技术研究和应用工作。

章　大数据硬件系统搭建与应用………………001

节　大数据机房设备的认识……………………003

第二节　服务器配置…………………………………015

第三节　网络配置……………………………………025

第二章　大数据服务器系统搭建与应用……………041

节　系统安装与调试……………………………043

第二节　系统依赖环境管理…………………………049

第三节　系统资源监控………………………………057

第三章　大数据存储系统搭建与应用………………065

节　文件系统部署与应用………………………067

第二节　数据库部署与应用…………………………085

第三节　Hive数据仓库部署与应用…………………105

第四节　Hive数据仓库管理与运维…………………116

第四章　大数据作业开发系统搭建与应用…………125

节　作业计算系统搭建…………………………127

第二节　作业资源管理与应用………………………153

第三节　作业开发平台部署与应用…………………166

第四节　作业调度系统部署与应用…………………172

第五章　大数据传输系统搭建与应用………………187

节　离线数据采集系统搭建与应用……………189

第二节　实时数据采集系统搭建与应用……………204

第六章　大数据查询系统搭建与应用………………225

节　ROLAP系统搭建与应用……………………227

第二节　MOLAP系统搭建与应用……………………239

第三节　实时OLAP系统搭建与应用…………………252

第四节　数据检索系统搭建与应用…………………267

第七章　大数据安全系统搭建与应用………………283

节　用户验证系统配置与应用…………………285

第二节　数据访问权限管理…………………………306

第三节　大数据平台安全与风险……………………317

参考文献………………………………………………331

后记……………………………………………………333

一、选题背景习近平总书记在十九届中共中央政治局第二次集体学习时的重要讲话中指出：“大数据是信息化发展的新阶段”，并做出了“推动大数据技术产业创新发展、构建以数据为关键要素的数字经济、运用大数据提升国家治理现代化水平、运用大数据促进保障和改善民生、切实保障国家数据安全”的战略部署，为我国构筑大数据时代国家综合竞争新优势指明了方向。2019年，人力资源社会保障部、市场监管总局和统计局联合下发了《人力资源社会保障部办公厅 市场监管总局办公厅 统计局办公室关于发布人工智能工程技术人员等职业信息的通知》（人社厅发〔2019〕48号），正式将大数据工程技术人员列为新职业。落实《专业技术人员继续教育规定》（人力资源社会保障部令第25号）的要求，为进一步加强大数据工程技术人员队伍建设，开展全国范围内的人员培训，人力资源社会保障部委托中国机械工程学会组织有关专家，制定了《大数据工程技术人员国家职业标准》，并组织开展《大数据工程技术人员培训教程》（以下简称“《教程》”）的编写工作。二、指导思想与开发原则《教程》开发工作是落实国家专业技术类新职业开发重要部署，服务和保障大数据工程技术人员队伍快速稳步发展的必要举措，是开展培训工作的重要基础和有力支撑，是大数据工程技术人员继续教育工作的重要抓手。《教程》根据职业标准与培训大纲编写，充分体现大数据行业特色，是对初、中、高不同专业等级人员实施培训的内容载体，是培训考核命题的基础素材，也将作为专业水平考核评价的重要参考。《教程》开发工作坚持以下原则：（一）科学性。充分考虑大数据技术发展现状和趋势，注重大数据工程技术人员知识要求的基础性，尊重客观规律、循序渐进，体现大数据工程技术人员学习特点、知识发展要求和能力发展特点。（二）针对性。根据不同专业等级大数据工程技术人员岗位职责与能力要求，围绕大数据工程技术人员应当具备的基础知识，以及大数据处理与应用，大数据分析与挖掘和大数据管理等方面的专业知识，有针对性地安排内容。（三）系统性。《教程》的编写体现大数据多学科交叉的特点，考虑基础知识与专业知识之间的关系，在目标、要求、内容等方面形成一个完整的系统。（四）实用性。充分考虑到教材的实际应用价值，为在全国范围内迅速推开大数据工程技术人员培训，以及开展专业能力水平评价的有关探索，进而与工程师职称制度衔接等，提供支撑和帮助。 1.《大数据工程技术人员培训教程——大数据基础技术（初级）》本书对应《大数据工程技术人员国家职业技术技能标准》“大数据系统搭建”、“大数据平台管理与运维”和“大数据技术服务”部分，是相关从业者职业培训以及专业技术考核的推荐辅导用书。主要内容包括：大数据硬件系统搭建与应用、大数据服务器系统搭建与应用、大数据存储系统搭建与应用、大数据作业开发系统搭建与应用等。

编写委员会负责《教程》内容编写、修订等工作。成员包括国家相关部委专家、长期从事大数据理论研究和教学工作的高校及科研机构核心专家、企业核心技术专家等。主要编写成员为张正球、吴子颖、张笑钦、黄长城、汪文帅等。张正球，男，硕士，英国Ulster大学访问学者，从事计算机视觉、大数据、信息安全等方面研究与教学工作；作为项目核心成员参与2项自然科学基金，主持3个省级科技项目并获得省科技进步奖，参与若干项省级自然科学基金项目、教育厅科技项目等；先后在核心刊物发表论文20余篇学术论文，曾作为主编参与《大数据分析与可视化》、《物联网嵌入式技术》教材开发，组织团队编写教材10余本，其中规划教材6本，参与多项教学改革项目，并作为核心成员获得省级教学成果奖。吴子颖，男，新大陆教育公司大数据教研经理，从事大数据技术行业多年，掌握大数据主流技术Hadoop、Spark、HBase、Hive及多种编程语言如Java、Python、Scala、R，精通数据采集、网络爬虫、数据预处理、数据计算、数据分析、数据挖掘等多个技术领域和批流数据处理架构；主导新大陆教育大数据产品架构及数据系统设计；作为主编参与《大数据综合实战案例教程》、《Spark批处理技术与应用》、《大数据可视化应用技术》等教材；参与福建省教育科学“十三五”规划2019年度课题，全国职业教育教师企业实践基地“产教融合”专项课题。张笑钦，男，博士，教授，博士生导师，德国洪堡学者、国家优秀青年基金获得者，现任温州大学计算机与人工智能学院院长，科技部高新司现代服务业处专家组成员，中国图象图形学学会视觉大数据专委会委员，中国自动化学会混合智能专委会委员。汪文帅，男，博士，副教授，硕士生导师，宁夏大学数学统计学院院长，兼任中国数学会理事，第二届中国智能物联系统建模与仿真专业委员会委员，中国通信学会委员，宁夏科普作家协会副理事长。黄长城，男，教授，温州大学数据科学与大数据技术专业负责人，硕士生导师，温州市计算机学会秘书长、商业企业云供应链公共服务平台主任；负责和参与多个国家和浙江省重大研发项目；曾经在深圳香港等地从事计算机系统工程项目和互联网技术研发工作十几年，目前主要从事面向工业大数据平台相关技术研究和应用工作。