机器学习及其应用2023

《机器学习及其应用2023》邀请MLA 2021-2022的部分专家以综述的形式介绍机器学习领域的研究进展，内容涉及到监督学习、深度学习、因果学习、迁移学习、表示学习、演化学习的基本理论和方法，以及ChatGPT浅析，同时介绍了机器学习在计算机视觉、自然语言处理、并行计算中的应用，代表了国内机器学习最新的研究进展。

黄圣君，南京航空航天大学计算机科学与技术学院/人工智能学院教授，人工智能学院副院长，主要研究方向为机器学习、数据挖掘，国家优青、江苏省杰青获得者，曾入选中国科协“青年人才托举工程”，主持科技部科技创新2030——新一代人工智能重大项目、国家自然科学基金等项目。 张利军，南京大学人工智能学院教授，基金委优青，主要研究方向为大规模机器学习与优化，曾获首届达摩院青橙奖、中国科协青年人才托举工程、第26届AAAI人工智能会议最佳论文奖等荣誉。
钱超，南京大学人工智能学院副教授、博导，主要研究方向为演化计算与演化学习，，获国家优秀青年科学基金，并主持科技创新2030“新一代人工智能”重大项目（青年科学家）。

“生成一切”背后的数学原理 雷 娜顾险峰  1 1 传统图像处理方法  1 2 图像生成算法  2 3 3D曲面生成算法  6 4 未来展望 8 参考文献 9 
高维样本协方差矩阵的谱性质及其应用简介 王潇逸郑术蓉邹婷婷  11 1 引言11 2 高维框架下传统方法失效的例子  12 3 大维样本协方差矩阵的极限谱分布  14 4 大维样本协方差矩阵的应用  17 5 总结和展望  25 参考文献 25 
多目标演化学习：理论与算法进展 钱超 27 1 引言 27 2 理论分析工具 ——调换分析 29 3 理论透视 33 4 多目标演化学习算法  38 5 总结与展望  45 参考文献 46 
自监督学习的若干研究进展 杨健陈硕李翔 49 1 引言 49 2 相关工作 51 

机器学习及其应用 2023 
3 基于对比学习与自编码学习的自监督学习算法  54 4 总结与展望  74 参考文献 74 
因果性学习 李梓健蔡瑞初郝志峰 78 1 引言 78 2 基于先验因果结构的因果性学习方法及其应用  80 3 基于因果发现的因果性学习方法及其应用  87 4 小结 91 参考文献 92 
先排序后微调：预训练模型库利用的新范式 
游凯超刘雍张子阳王建民  Michael I. Jordan 龙明盛 95 1 引言 95 2 相关工作 98 3 对预训练模型进行排序 102 4 LogME算法的理论分析108 5 预训练模型微调 112 6 实验116 7 结论131 附录 132 A 符号对照表132 B 定理 1证明133 C 定理 2证明134 D 推论 1证明135 E 推论 2证明137 F 数据集描述 139 G 图表的原始结果 139 H 提示学习完整结果 142 I 收敛性分析完整图表 142 参考文献145 
目 录 

迁移学习 庄福振 150 
1 引言150 2 相关工作152 3 概述153 4 基于数据的解释 156 5 基于模型的解释 173 6 应用185 7 实验189 8 结论和未来方向 195 参考文献196 
基于表示学习的机器学习模型复用 叶翰嘉 211 1 引言211 2 模型复用背景 213 3 模型复用方法 215 4 可复用模型方法 226 5 总结与展望 238 参考文献239 
并行算法组自动学习研究简介 刘晟材唐珂 241 1 引言241 2 相关工作243 3 并行算法组自动学习 245 4 总结262 参考文献263 
ChatGPT的演进历程与未来发展趋势 朱庆福车万翔 265 1 引言265 2 相关工作266 3 ChatGPT概览 267 4 ChatGPT的关键技术与解决的关键科学问题269 5 ChatGPT对自然语言处理的影响271 6 总结和展望 275 参考文献275 

《机器学习及其应用2023》邀请MLA 2021-2022的部分专家以综述的形式介绍机器学习领域的研究进展，内容涉及到监督学习、深度学习、因果学习、迁移学习、表示学习、演化学习的基本理论和方法，以及ChatGPT浅析，同时介绍了机器学习在计算机视觉、自然语言处理、并行计算中的应用，代表了国内机器学习最新的研究进展。

黄圣君，南京航空航天大学计算机科学与技术学院/人工智能学院教授，人工智能学院副院长，主要研究方向为机器学习、数据挖掘，国家优青、江苏省杰青获得者，曾入选中国科协“青年人才托举工程”，主持科技部科技创新2030——新一代人工智能重大项目、国家自然科学基金等项目。 张利军，南京大学人工智能学院教授，基金委优青，主要研究方向为大规模机器学习与优化，曾获首届达摩院青橙奖、中国科协青年人才托举工程、第26届AAAI人工智能会议最佳论文奖等荣誉。
钱超，南京大学人工智能学院副教授、博导，主要研究方向为演化计算与演化学习，，获国家优秀青年科学基金，并主持科技创新2030“新一代人工智能”重大项目（青年科学家）。