科学计算与企业级应用的并行优化

图书标准信息

• 作者 刘文志 著
• 出版社 机械工业出版社
• 出版时间 2015-07
• 版次 1
• ISBN 9787111506287
• 定价 49.00元
• 装帧 平装
• 开本 16开
• 纸张 胶版纸
• 页数 190页
• 正文语种 简体中文
• 丛书 高性能计算技术丛书

【内容简介】

　　《科学计算与企业级应用的并行优化》是“并行计算与性能优化”系列的第3本，此书的重点在于介绍如何利用目前主流的、基于C语言的各种特定硬件或平台的向量化扩展、并行化库来优化科学计算和企业级应用的代码性能。而本系列的《并行算法设计与代码优化》关注并行优化和并行计算相关的理论、算法设计及高层次的实践经验；本系列的《并行编程方法与优化实践》关注于C程序设计语言的向量化和并行化扩展及算法到硬件的映射，以及如何在不同的硬件平台上优化代码以获得更好的性能。这些内容被许多顶级开发人员视为“不传之秘”。

　　《科学计算与企业级应用的并行优化》作者是国内顶尖的并行计算专家，曾任英伟达并行计算工程师和百度在线高级研发工程师，在该领域的经验和修为极为深厚，他毫不吝啬地将自己多年的积累呈现在了这3本书中，得到了深度学习杰出科学家吴韧的高度评价和强烈推荐。

　　《科学计算与企业级应用的并行优化》共5章。第1章介绍了常见的并行编程基于的多核/众核向量处理器的架构，OpenCL程序到平台的映射与运行差异。第2章介绍了如何在X86、ARM和GPU上优化常见的线性代数运算，如计算稀疏矩阵向量乘法，求解下三角线性方程组，计算矩阵乘法等。第3章以如何求解热传递问题和三维Stencil问题为例介绍了如何在X86和GPU处理器上优化偏微分方程的求解。第4章介绍了如何在X86处理器和GPU上优化常见的分子动力学算法，如邻居搜索、范德华力计算、键长伸缩力计算和径向分布函数计算。第5章详细介绍了如何在X86、ARM和GPU上优化常见的机器学习算法（如k-means、KNN、二维卷积和四维卷积）性能，最后给出利用多GPU并行卷积神经网络的常见方法，及如何基于数据并行、使用多GPU来优化Caffe的性能。

【作者简介】

　　刘文志，花名风辰，毕业于中国科学院研究生院，闻名于并行计算江湖，尤善异构并行计算（X86、ARM、GPU、APU、PHI）和大规模集群计算相关技术，有7年相关经验，涉及图像处理、计算机视觉、数据挖掘和石油勘探。曾任英伟达并行计算工程师（协助建立英伟达北京CUDA团队）、百度在线高级研发工程师（协助建立百度深度学习实验室异构计算团队）。

【目录】

序
前言
第1章多核向量处理器架构
1.1众核系统结构
1.2众核架构的一致性
1.3多核向量处理器架构
1.3.1IntelHaswellCPU架构
1.3.2ARMA15多核向量处理器架构
1.3.3AMDGCNGPU架构
1.3.4NVIDIAKepler和MaxwellGPU架构
1.4IntelMIC架构
1.4.1整体架构
1.4.2计算单元
1.4.3存储器单元
1.4.4MIC架构上一些容易成为瓶颈的设计
1.5OpenCL程序在多核向量处理器上的映射
1.5.1OpenCL程序在多核向量CPU上的映射
1.5.2OpenCL程序在NVIDIAGPU上的映射
1.5.3OpenCL程序在AMDGCN上的映射
1.6OpenCL程序在各众核硬件上执行的区别
1.7众核编程模式
1.8众核性能优化
1.9MIC和GPU编程比较
1.10本章小结

第2章常见线性代数算法优化
2.1稀疏矩阵与向量乘法
2.1.1稀疏矩阵的存储格式
2.1.2CSR格式稀疏矩阵与向量乘法
2.1.3ELL格式稀疏矩阵与向量乘
2.2对称矩阵与向量乘积
2.2.1串行代码
2.2.2向量化对称矩阵与向量乘积
2.2.3OpenMP并行化
2.2.4CUDA代码
2.3三角线性方程组的解法
2.3.1串行算法
2.3.2串行算法优化
2.3.3AVX优化实现
2.3.4NEON优化实现
2.3.5如何提高并行度
2.3.6CUDA算法实现
2.4矩阵乘法
2.4.1AVX指令计算矩阵乘法
2.4.2NEON指令计算矩阵乘法
2.4.3GPU计算矩阵乘法
2.5本章小结

第3章优化偏微分方程的数值解法
3.1热传递问题
3.1.1C代码及性能
3.1.2OpenMP代码及性能
3.1.3OpenACC代码及性能
3.1.4CUDA代码
3.2简单三维Stencil
3.2.1串行实现
3.2.2Stencil在X86处理器上实现的困境
3.2.3CUDA实现
3.3本章小结

第4章优化分子动力学算法
4.1简单搜索的实现
4.1.1串行代码
4.1.2向量化实现分析
4.1.3OpenMP实现
4.1.4CUDA实现
4.2范德华力计算
4.2.1串行实现
4.2.2向量化实现分析
4.2.3OpenMP实现
4.2.4CUDA实现
4.2.5如何提高缓存的利用
4.3键长伸缩力计算
4.3.1串行实现
4.3.2向量化实现
4.3.3OpenMP实现
4.3.4CUDA实现
4.4径向分布函数计算
4.4.1串行实现
4.4.2向量化实现
4.4.3OpenMP实现
4.4.4CUDA实现
4.5本章小结

第5章机器学习算法
5.1k-means算法
5.1.1计算流程
5.1.2计算元素所属分类
5.1.3更新分类中心
5.1.4入口函数
5.2KNN算法
5.2.1计算步骤
5.2.2相似度计算
5.2.3求前k个相似度最大元素
5.2.4统计所属分类
5.3二维卷积
5.3.1X86实现
5.3.2ARM实现
5.3.3CUDA实现
5.4四维卷积
5.4.1X86实现
5.4.2ARM实现
5.4.3CUDA实现
5.5多GPU并行优化深度学习软件Caffe
5.5.1为什么要使用多GPU并行Caffe
5.5.2AlexNet示例
5.5.3Caffe的主要计算流程
5.5.4多GPU并行卷积神经网络的方式
5.5.5多GPU并行Caffe实践
5.6本章小结