商业大数据分析

大数据时代的到来对商业应用型人才提出了新的要求,需要掌握大数据和人工智能主要技术和模型,结合大数据分析技能和商业领域知识,发现和解决商业问题的复合型人才。在此背景下,本书收录了三个国家一流商科和上海一个一流商科类本科专业开设的“大数据概论”“商业大数据分析”通识必修课的教学实践,在酒店管理、电子商务、工商管理、金融学等专业中建成了面向学习过程、由浅入深的商业大数据分析课程。

本书从掌握大数据分析系统知识,培养大数据获取,加工、分析和展现能力出发﹐按照大数据分析的流程,全书分为七章:

章“大数据分析概述”,介绍大数据分析的生态全貌,介绍大数据分析当前的总体状况。

第二章“大数据基础设施”,介绍大数据计算所需要的软硬件基础设施。第三章“大数据采集”,介绍大数据的来源和获取方式,特别是网络爬虫技术。第四章“数据预处理”,介绍对原始数据的预处理方式,提高数据资源质量。

第五章“数据存储与管理”,介绍数据库系统的相关知识和技能﹐是大数据存储的核心部件。

第六章“大数据分析”,介绍机器学习的历史发展,主要的12种机器学习算法,以及机器学习在商业分析中的应用。

第七章“大数据可视化”,介绍大数据产品的展现方式。

根据章节的知识点,以上各章都设计了相关的大数据分析进阶实验﹐让读者不仅掌握知识,更能运用相关的商业大数据分析技能,做到学以致用;同时能加深读者对商业大数据知识的理解,极大地提高读者对商业大数据分析学习和使用的兴趣。

在目前众多的商业大数据分析工具中,我们选取了国际著名开放、开源的图形化商业大数据分析工具KNIME4.1作为商业大数据分析的实践工具。因为KNIME完全兼容Python 3计算机编程语言,所以可以让有一定程序设计基础的读者将Python程序直接在KNIME中运行,进行大数据分析。

本书作为大数据时代新型立体化教材,涵盖了商业大数据分析知识和技能体系,其配套的教学视频以及教学大纲、知识题库,课程文档等教学资源已在公开网站(https : / /coursehome.zhihuishu.com/ courseHome/1000008230/45672/15# teachTeam)上发布。即便是零基础的读者也可以通过本书及其配套教学资源快速地掌握商业大数据初步分析技能。本书所载的教学资源在仅仅一学年内已有超过42所不同类型的全国高校、10000余人进行了线上学习,教学效果好,满意度达到92.9%,推荐率更是高达93.4 %。

本书不仅适合酒店管理、电子商务、工商管理、金融学,市场营销、商务经济学等商科类专业的本科生或研究生作为教材使用,也适合大数据分析领域的初学者、从业者及科技人员作为参考。

本书的出版受益于2019年上海市高校大学计算机课程教学改革项目----《商业大数据分析课程群改革与实践》。感谢姜红,蒋传进等各级院系领导的学术指导,同事许洪云、李周平和张玲玲等的支持和帮助,也要感谢我的学生蔡致礼,林哲显、杨宇林,杨雪晴、陈夏童和王喆等提供的整理和协助,更要感谢我家人默默的奉献﹐同时也很感谢华中科技大学出版社王乾编辑对本书出版提供的宝贵意见。 

本教材为新商科一流本科专业群建设“十四五”规划教材之一，“商业大数据分析”为上海商学院本科专业核心平台课程。全书共分11个章节，围绕开源、图形化商业大数据分析工具为主要内容，从大数据概述、分析工具、数据操作、机器学习基础、客户价值数据分析、零件推荐数据分析、信贷风险数据分析、社交媒体数据分析、网页浏览数据分析、交通出行数据分析、支付安全的数据分析等几个方面全面讲解商业大数据分析方方面面。具体目录如下：第1章 大数据分析概述1.1数据和大数据1.2数据类型与数据格式 1.3大数据分析第2章 大数据分析工具2.1 KNIME简介2.2 KNIME数据工作流2.3 KNIME自定义分析环境2.4 数据节点操作2.5 KNIME数据结构和类型第3章 基于KNIME的数据操作3.1 读取数据3.2 过滤数据3.3 保存数据集3.4 数据清洗第4章 机器学习基础4.1 机器学习概述4.2 机器学习基本方法4.3 模型的评估与选择4.4 数值数据的分析——房产价格预测4.5 文本数据的分析——关键词提取4.6 图像数据的分析——图像识别第5章 客户价值的数据分析5.1 客户价值概述5.2 客户价值数据预处理5.3 客户价值分析的算法5.4客户价值数据分析的实践第6章 零售推荐的数据分析6.1 推荐系统概述6.2零售数据的预处理（购物）6.3 零售推荐分析的算法6.4 零售推荐数据分析的实践第7章 信贷风险的数据分析7.1 信贷风险概述7.2信贷风险数据的预处理7.3 信贷风险分析的算法7.4 信贷风险数据分析的实践第8章 社交媒体的数据分析8.1 社交媒体分析概述8.2社交媒体数据的预处理8.3 社交媒体数据分析的算法8.4 社交媒体数据分析的实践第9章 网页浏览的数据分析9.1 网页浏览概述9.2网页浏览数据的预处理9.3网页点击数据分析的实践第10章 交通出行的数据分析10.1 交通出行分析概述10.2交通出行数据的预处理10.3 交通出行数据分析的算法10.4 交通出行数据分析的实践第11章 支付安全的数据分析11.1 支付安全概述11.2支付安全数据的预处理11.3 支付安全数据分析的算法11.4 支付安全数据分析的实践

叶龙，现任上海商学院信息与计算机学院计算机系专职教师、系主任，主要研究方向为人工智能及应用，是RedHat、Oracle认证高级工程师。主要从事计算机系的教学、科研和日常管理工作。主讲课程有《程序设计基础》、《计算机组成原理》、《互联网金融》及全英语课程《物联网与电子标签》。历年来完成校级以上重点课程建设项目3项，教改项目4项，多次指导学生获得市级以上计算机类竞赛奖项。历年来主持、参与校级以上科研项目3项，发表论文16篇，其中EI 源刊2篇、中文核心1篇，创新型专利2项；参编教材3本。

章大数据分析概述

节数据与大数据/1

第二节大数据分析/7

第三节大数据分析应用/12

第四节大数据岗位需求/15

第二章大数据基础设施

节大数据计算部件/25

第二节云计算/28

第三节其他云技术/33

第四节大数据软件/34

第五节大数据计算模式/39

第三章大数据采集

节大数据采集/50

第二节大数据来源/55

第三节网络爬虫/58

第四章数据预处理

节数据预处理概述/75

第二节数据质量/77

第二节数据探索/80

第四节数据清洗/85

第五节数据集成/88

第六节数据规约/89

第七节数据变换/90

第五章数据存储与管理

节―数据管理/107

第二节数据库概述/109

第三节关系数据库系统/111

第四节大数据存储与管理/114

第六章大数据分析

节大数据分析概述/132

第二节机器学习/135

第三节特征工程与数据分割/154

第四节机器学习建模算法/158

第五节模型的训练与性能评估/167

第七章大数据可视化

节数据可视化/181

第二节视觉感知/189

第三节统计图/193

第四节视觉可视化案例/201

参考文献

本教材为新商科一流本科专业群建设“十四五”规划教材之一，“商业大数据分析”为上海商学院本科专业核心平台课程。全书共分11个章节，围绕开源、图形化商业大数据分析工具为主要内容，从大数据概述、分析工具、数据操作、机器学习基础、客户价值数据分析、零件推荐数据分析、信贷风险数据分析、社交媒体数据分析、网页浏览数据分析、交通出行数据分析、支付安全的数据分析等几个方面全面讲解商业大数据分析方方面面。具体目录如下：第1章 大数据分析概述1.1数据和大数据1.2数据类型与数据格式 1.3大数据分析第2章 大数据分析工具2.1 KNIME简介2.2 KNIME数据工作流2.3 KNIME自定义分析环境2.4 数据节点操作2.5 KNIME数据结构和类型第3章 基于KNIME的数据操作3.1 读取数据3.2 过滤数据3.3 保存数据集3.4 数据清洗第4章 机器学习基础4.1 机器学习概述4.2 机器学习基本方法4.3 模型的评估与选择4.4 数值数据的分析——房产价格预测4.5 文本数据的分析——关键词提取4.6 图像数据的分析——图像识别第5章 客户价值的数据分析5.1 客户价值概述5.2 客户价值数据预处理5.3 客户价值分析的算法5.4客户价值数据分析的实践第6章 零售推荐的数据分析6.1 推荐系统概述6.2零售数据的预处理（购物）6.3 零售推荐分析的算法6.4 零售推荐数据分析的实践第7章 信贷风险的数据分析7.1 信贷风险概述7.2信贷风险数据的预处理7.3 信贷风险分析的算法7.4 信贷风险数据分析的实践第8章 社交媒体的数据分析8.1 社交媒体分析概述8.2社交媒体数据的预处理8.3 社交媒体数据分析的算法8.4 社交媒体数据分析的实践第9章 网页浏览的数据分析9.1 网页浏览概述9.2网页浏览数据的预处理9.3网页点击数据分析的实践第10章 交通出行的数据分析10.1 交通出行分析概述10.2交通出行数据的预处理10.3 交通出行数据分析的算法10.4 交通出行数据分析的实践第11章 支付安全的数据分析11.1 支付安全概述11.2支付安全数据的预处理11.3 支付安全数据分析的算法11.4 支付安全数据分析的实践

叶龙，现任上海商学院信息与计算机学院计算机系专职教师、系主任，主要研究方向为人工智能及应用，是RedHat、Oracle认证高级工程师。主要从事计算机系的教学、科研和日常管理工作。主讲课程有《程序设计基础》、《计算机组成原理》、《互联网金融》及全英语课程《物联网与电子标签》。历年来完成校级以上重点课程建设项目3项，教改项目4项，多次指导学生获得市级以上计算机类竞赛奖项。历年来主持、参与校级以上科研项目3项，发表论文16篇，其中EI 源刊2篇、中文核心1篇，创新型专利2项；参编教材3本。

目前市面上针对商业大数据分析的教材凤毛麟角，该教材有一定突破性，从案例到章节实验，与配套MOOC、精美课件等资源互补，为教学提供有力支持。