ModelArts人工智能应用开发指南

序一：ModelArts让AI应用开发更简单

近几年来，在AI(Artificial Intelligence，人工智能)技术突破和应用机会日益扩大的推动下，AI正在深刻影响着诸多行业，例如交通、零售、能源、化工、制造、金融、医疗、天文地理、智慧城市等。使用AI技术提升生产效率、降低生产成本，进一步促进企业数字化和智能化转型已成为业界共识，AI应用正处于大规模发展的临界点。

然而，AI应用的开发仍然非常复杂，主要体现在两大方面。其一，开发流程冗长、烦琐。开发全流程包括数据准备、算法开发、模型开发、应用生成、应用部署和维护等多个环节，链路很长，而且每个环节都需要大量人力和计算资源的投入，例如，当数据量很大时数据标注非常枯燥耗时，当AI应用需要灵活部署时软硬件环境的准备非常烦琐。此外，AI应用还需要不断迭代、调优和维护，使得开发的复杂性进一步加大。其二，开发技能要求综合性强、门槛高。开发者不仅要具备丰富的算法知识，还要熟悉行业问题，好有行业经验，能够将算法和行业需求紧密结合，并设计出合理的解决方案。受限于AI应用开发的复杂性，目前各个行业中AI应用的渗透率还远远不足。

为了应对上述复杂性问题，华为基于多年的行业AI应用开发经验和实践积累，推出了一站式AI应用开发和部署平台——ModelArts。通过完备的基础平台和行业知识沉淀，使得面向行业的AI应用开发大大简化。

首先，为了简化AI应用开发流程和优化开发成本，ModelArts在基础平台的“一横一纵”两个方向上提供全面能力。“一横”是指对AI应用开发全流程而言，ModelArts支持从数据准备、算法准备、模型训练、模型评估和调优，到应用准备和发布等一系列开发环节，并且通过分享交易机制使得AI应用的开发和使用更加畅通、便捷。“一纵”是指对AI应用开发所依赖的全栈架构而言，ModelArts支持底层的AI计算设备和端边云基础设施资源管理，以及上层的AI计算任务、作业和服务管理，并通过纵向软硬件协同优化使得开发成本降低、效率提升，大幅缩减AI应用开发者的准备工作。此外，ModelArts充分将AI能力注入AI开发全流程的各个环节，提供数据增强、智能标注、模型压缩、难例挖掘等高阶能力，即用“AI for AI”的方式进一步简化开发流程。例如，在智慧交通中，普遍存在大量冗余的视频需要标注，部署后的模型需要一键式部署，并持续不断地适应新场景，全流程中存在大量的冗余可以被优化，ModelArts通过端到端流程优化和智能化渗透，极大地简化了开发流程，提升了开发效率。

其次，为了降低AI行业应用开发技能要求，ModelArts根据华为多年来在企业级客户服务方面积累的大量行业经验沉淀，形成了面向行业的模板、套件和解决方案，覆盖了大多数主要的行业场景。当AI开发者遇到新的应用开发需求时，可基于这些模板套件或解决方案进行二次开发，并化复用已有的预置能力（如预置算法、模型、行业知识、端到端模板等）和自动化能力。行业开发者可以充分利用ModelArts已有的预置AI算法和模型，AI算法开发者可以充分利用ModelArts已有的行业知识和模板。这些预置能力和自动化能力可以极大降低对AI应用开发的技能要求，将复杂的处理交给ModelArts平台承载，使得AI应用的开发更加简单化。例如，在智慧医疗中，面向基因数据分类的模板集成了大量行业经验与AI算法，当AI开发者面临类似场景的新数据时，仅需简单迁移即可。

自 2018年10月发布以来，ModelArts累计服务了众多行业十几万开发者，通过基础平台的完备性和面向行业的知识沉淀及平台化能力，使得AI应用开发更简单高效。本书从工业界的角度出发，主要介绍了基于ModelArts的AI应用开发的各个环节及其行业应用实践，希望有助于读者快速熟悉AI应用开发全流程，并更好地运用ModelArts的快、易、惠的能力，将AI应用拓展到各行各业，快速、充分释放AI技术的商业价值。

徐直军
华为公司轮值董事长
2020年8月

序二

近年来，随着深度学习的快速发展，新一轮的AI技术已经深刻地影响着各行各业。如何才能使AI技术快速规模化地应用到各行业，是值得深入思考的问题，也是我国人工智能战略核心要解决的问题之一。

AI学者首先关注于算法的创新研究。然而AI算法要走进各行各业并发挥价值，只有创新的AI算法是远远不够的。在AI的实际开发过程中，数据的采集往往非常困难而复杂，需要借助各种工具和系统才能进行，数据还需要进行清洗、增强等多种处理，并经过复杂的标注、审核等流程，才可以进入深入学习的模型训练； 在训练之前，需要结合具体业务的需求、数据的情况、行业已有经验知识，选择或者开发合适的算法用于训练； 在模型训练和调优过程中，又会涉及超参数的调优、模型评估、模型的选择问题； 由于AI应用还可能包括其他算子或多个其他模型，因此从模型到应用的生成环节必不可少； 在AI应用部署和使用时，需要能够进行异构资源的管理和灵活的伸缩； 很多AI应用都比较脆弱，会对推理时环境和数据的变化非常敏感，应用的维护就非常必要。由此可见，从数据的采集到终应用的维护，AI应用开发全流程是一个系统化工程，需要有一套完整的平台支撑。

不同于传统的IT(Information Technology,信息技术)应用，AI应用的开发尚处于早期快速增长期，缺乏针对开发流程端到端平台的支撑。令人非常高兴的是，能够看到华为推出了一站式AI应用开发平台——ModelArts，能够对AI应用开发全流程给出系统的支持，并且在AI开发流程的各个环节中提供各种丰富的能力，使得AI应用的开发不仅更加便捷，而且更加高效。这对于加速AI应用的开发和拓展非常重要，同时也会促进人工智能有关标准的建立和推广。

作者基于ModelArts详细介绍了AI应用开发全流程，从数据、算法、模型、应用等多个层面讲解AI应用开发流程中基本方法、挑战和难点，可供广大AI应用开发者借鉴。另外，当AI开发平台面向企业、复杂行业以及端边云复杂部署的时候，相应的AI应用开发将面临更多的挑战，本书实践环节也围绕这些挑战展开实例介绍。相信本书能够对AI应用开发者带来帮助。随着开发者的增多、人工智能标准和基础平台的逐步完善，我国在人工智能新型基础设施的建设上必将大步前进。

潘云鹤
中国工程院院士
2020年8月

前言

人工智能已经有70多年的历史。经过多年的发展，人工智能技术已经在很多产品或商业场景中发挥了非常巨大的作用，如语音识别、人脸识别、机器翻译、推荐搜索、数据分析等。但是，目前业界仍然缺乏对人工智能开发全流程的完整定义及相应的整套平台支撑，这极大地影响了人工智能商业化拓展时的效率和成本。为了加速人工智能面向各行业各领域的应用，华为云推出一站式人工智能开发平台——ModelArts。本书将从“端到端”的角度，介绍人工智能应用开发全流程，以及如何基于ModelArts快速高效地开发人工智能应用。

“端到端”是人工智能应用开发平台的基础核心能力，缺乏或弱化任意一个环节都会造成“木桶效应”，进而成为人工智能应用开发的阻塞点。ModelArts支持从数据准备、算法选择、算法开发、模型训练、模型评估、模型调优、应用生成、应用评估、应用发布、应用维护的“端到端”全流程开发。在全流程开发过程中，ModelArts具备如下几个关键特点，使得人工智能应用开发效率更高、门槛更低、成本更低。

(1) ModelArts支持丰富的预置数据集、算法和模型、Notebook案例，以及端到端的开发模板，大大加速了人工智能应用的生产效率。进一步地，为了降低人工智能开发门槛，ModelArts支持大量的自动化能力，例如半自动化标注、自动训练、自动模型搜索、自动超参搜索、自动模型转换和压缩、自动难例挖掘等。

(2) ModelArts还通过高性能预置引擎，结合软硬件优化，使训练和推理速度更快，为开发者提供极致的性能体验。另外，从云服务的角度出发，ModelArts充分挖掘多元弹性算力和多用户联邦的可能性，进一步降低人工智能应用开发的成本。

(3) ModelArts作为企业级人工智能平台的核心底座，对上层平台提供全开放的接口，支持灵活定制面向各行业各领域的人工智能平台或解决方案。

本书主要面向人工智能应用的开发者，首先对人工智能的技术、应用和平台以及快速开发展开介绍； 然后针对全流程开发的各个环节展开深入解析； 后，结合几个场景化案例，介绍如何基于ModelArts构建企业级人工智能平台和应用、面向复杂行业的人工智能系统、端边云协同的人工智能应用。

感谢ModelArts平台的开发者，他们提供的反馈建议促使ModelArts的不断改进和完善。感谢参与本书撰写和审阅的华为同事，他们在内容整理、审阅等方面投入了很多的时间。感谢清华大学出版社盛东亮编辑等对本书的细致修改和大力支持。没有他们就没有本书的顺利出版。由于作者水平有限，如果书中有遗漏或不足之处，恳请读者批评指正！

编著者
2020年8月

本书主要围绕人工智能平台ModelArts和人工智能应用开发流程，介绍基本概念、关键模块以及典型的场景化应用开发案例。全书共分为三篇： *篇人工智能应用开发概述(第1章和第2章)，介绍了人工智能技术、应用、平台，以及人工智能应用快速开发流程； 第二篇人工智能应用开发方法(第3章~第9章)，介绍了人工智能应用开发全流程及其子流程，包括数据准备、算法选择和开发、模型训练、模型评估和调优、应用生成、应用评估和发布、应用维护； 第三篇人工智能应用开发场景化实践(第10章~第12章)，介绍了企业级人工智能平台、面向复杂行业的自动化人工智能系统、基于端边云协同的人工智能平台及应用开发。本书旨在通过一整套工具链和方法传递，使得每个开发者都可以借助ModelArts平台在具体业务场景下更快、更高效、更低成本地开发出人工智能应用，从而更好地解决各行业各领域面临的实际问题。本书适合有志于从事人工智能应用开发的开发者参考。                                                                                                                                                                                     

本书主要围绕人工智能平台ModelArts和人工智能应用开发流程，介绍基本概念、关键模块以及典型的场景化应用开发案例。全书共分为三篇： *篇人工智能应用开发概述(第1章和第2章)，介绍了人工智能技术、应用、平台，以及人工智能应用快速开发流程； 第二篇人工智能应用开发方法(第3章~第9章)，介绍了人工智能应用开发全流程及其子流程，包括数据准备、算法选择和开发、模型训练、模型评估和调优、应用生成、应用评估和发布、应用维护； 第三篇人工智能应用开发场景化实践(第10章~第12章)，介绍了企业级人工智能平台、面向复杂行业的自动化人工智能系统、基于端边云协同的人工智能平台及应用开发。本书旨在通过一整套工具链和方法传递，使得每个开发者都可以借助ModelArts平台在具体业务场景下更快、更高效、更低成本地开发出人工智能应用，从而更好地解决各行业各领域面临的实际问题。本书适合有志于从事人工智能应用开发的开发者参考。 

田奇：华为云人工智能领域首席科学家，IEEE Fellow，国家自然科学基金海外杰青，中国科学院海外评审专家。本科毕业于清华大学电子工程系，后赴美国伊利诺伊大学香槟分校师从Thomas S. Huang教授获博士学位（2002年），后任美国德克萨斯大学圣安东尼奥分校（UTSA）计算机系教授。2010年获谷歌教授科研奖(Google Faculty Research Award)，2017年获UTSA校长杰出研究奖，2016年获评多媒体领域十大影响力学者。2018年6月至2020年3月，担任华为诺亚方舟实验室计算视觉首席科学家，主导视觉方向的前沿研究。拥有多项美国专利，在计算机视觉及多媒体方向期刊及会议上发表文章550多篇，谷歌学术引用21800多次，7篇论文获论文奖或学生论文。

白小龙：华为云机器学习和深度学习技术专家、ModelArts产品架构师，浙江大学工学博士，新加坡南洋理工大学公派联合培养博士，《深入理解TensorFlow：架构设计与实现原理》作者之一。博士期间主要从事图像识别、机器学习、智能检测系统的研究，曾主导研发了智能检测和图像识别系统，曾获*博士研究生学术新人奖。

篇人工智能应用开发概述

第1章人工智能技术、应用及平台

1.1人工智能技术

1.1.1人工智能技术的发展

1.1.2人工智能技术的主要领域

1.1.3人工智能技术的价值

1.2人工智能应用

1.2.1人工智能应用的特点

1.2.2人工智能应用的商业化场景

1.3人工智能平台

第2章人工智能应用快速开发

2.1基于图像分类模板的开发

2.2基于目标检测模板的开发

2.3基于声音分类模板的开发

2.4基于文本分类模板的开发

第二篇人工智能应用开发方法

第3章人工智能应用开发全流程

3.1人工智能应用开发全流程解析

3.1.1数据准备子流程

3.1.2算法选择和开发子流程

3.1.3模型训练子流程

3.1.4模型评估和调优子流程

3.1.5应用生成、评估和发布子流程

3.1.6应用维护子流程

3.2人工智能应用开发流程的权衡

3.2.1复杂和简单的取舍

3.2.2人与机器的平衡

3.2.3开发和运行的融合

3.3人工智能应用开发全流程的成本分析

3.3.1设计和开发成本

3.3.2部署和维护成本

3.3.3边际成本

ModelArts人工智能应用开发指南

目录

第4章数据准备

4.1数据采集和接入

4.1.1数据采集

4.1.2数据接入

4.2数据处理

4.2.1数据校验和转换

4.2.2数据清洗

4.2.3数据选择

4.2.4数据增强

4.2.5其他数据处理

4.3数据标注

4.3.1标注任务分类

4.3.2智能数据标注

4.3.3数据标注元信息管理

4.4数据分析和优化

4.4.1数据集特征分析和优化

4.4.2细粒度数据诊断和优化

第5章算法选择和开发

5.1算法选择

5.1.1基础层算法选择

5.1.2应用层算法选择

5.1.3ModelArts预置算法选择

5.2算法开发

5.2.1开发语言

5.2.2开发库

5.2.3交互式开发环境

5.2.4ModelArts云上云下协同开发

第6章模型训练

6.1模型训练的基本过程

6.1.1基础概念

6.1.2模型训练与数据源的交互

6.1.3模型训练具体过程

6.2基于ModelArts的模型训练

6.2.1使用预置算法训练

6.2.2使用自定义算法训练

6.2.3使用自定义镜像训练

6.3端到端训练加速

6.3.1数据侧加速

6.3.2计算侧加速

6.3.3分布式并行侧加速

6.3.4调参侧加速

6.4自动搜索

6.4.1AutoSearch框架

6.4.2基于AutoSearch进行搜索

6.5弹性训练

6.6联邦协同训练

第7章模型评估和调优

7.1模型评估

7.1.1精度评估

7.1.2性能评估

7.1.3其他维度的评估

7.1.4基于ModelArts的模型评估

7.2模型诊断优化

7.2.1精度诊断优化

7.2.2性能诊断优化

第8章应用生成、评估和发布

8.1应用管理

8.1.1模型格式转换

8.1.2简单应用生成

8.1.3基于编排的应用生成

8.1.4应用评估

8.2应用部署和发布

8.2.1部署类型

8.2.2部署管理

8.2.3应用测试和使用

第9章应用维护

9.1数据采集和筛选

9.2应用迭代

9.2.1基于数据的应用迭代优化

9.2.2基于算法和模型的应用迭代优化

9.3基于ModelArts的应用维护

第三篇人工智能应用开发场景化实践

第10章构建企业级人工智能平台

10.1企业级人工智能平台

10.1.1企业级人工智能平台的设计要素

10.1.2ModelArts Pro企业级开发套件

10.2企业级OCR平台

10.2.1OCR算法的基本流程

10.2.2企业级OCR平台及关键流程

第11章构建面向复杂行业的自动化人工智能系统

11.1面向复杂行业的人工智能系统

11.2面向基因组学的自动化人工智能建模系统

11.2.1基于人工智能的组学数据建模

11.2.2面向基因组学的自动化建模

11.2.3基于SHAP的模型解释

11.2.4基因组数据自动建模工具——AutoGenome

第12章端边云协同的人工智能平台及应用开发

12.1端云协同的人工智能应用开发

12.1.1端云协同开发的应用场景

12.1.2HiLens端云协同开发平台

12.1.3HiLens开发环境

12.1.4HiLens开发框架

12.1.5案例： 智慧工地安全帽识别

12.2边云协同的人工智能应用开发

12.2.1智能交通解决方案的背景

12.2.2智能交通解决方案的设计

12.2.3基于边云协同的智能视频分析

本书主要围绕人工智能平台ModelArts和人工智能应用开发流程，介绍基本概念、关键模块以及典型的场景化应用开发案例。全书共分为三篇： *篇人工智能应用开发概述(第1章和第2章)，介绍了人工智能技术、应用、平台，以及人工智能应用快速开发流程； 第二篇人工智能应用开发方法(第3章~第9章)，介绍了人工智能应用开发全流程及其子流程，包括数据准备、算法选择和开发、模型训练、模型评估和调优、应用生成、应用评估和发布、应用维护； 第三篇人工智能应用开发场景化实践(第10章~第12章)，介绍了企业级人工智能平台、面向复杂行业的自动化人工智能系统、基于端边云协同的人工智能平台及应用开发。本书旨在通过一整套工具链和方法传递，使得每个开发者都可以借助ModelArts平台在具体业务场景下更快、更高效、更低成本地开发出人工智能应用，从而更好地解决各行业各领域面临的实际问题。本书适合有志于从事人工智能应用开发的开发者参考。