加权主成分距离聚类分析方法的设计及应用

　吕岩威，男，汉族，1983年7月出生，山东荣成人，经济学博士，山东大学教授，博士生导师，山东大学“青年学者未来计划”入选者，中国社会科学院出站博士后，上海交通大学访问学者。主要从事技术创新与产业经济、资源与环境经济、统计分析领域的研究。近年来主持国家社会科学基金1项，省部级课题10余项，出版学术专著3部，在SSCI、SCI、CSSCI等期刊发表学术论文60-篇。多篇研究成果被中国人民大学《复印报刊资料》、中国社会科学网转载，多次获得省级社会科学优秀成果奖等。

第一章 绪论

第一节 研究背景

第二节 文献综述

第三节 研究内容

第四节 研究框架

第五节 创新之处

第二章 系统聚类分析方法的理论基础

第一节 系统聚类分析方法的原理

第二节 系统聚类分析方法的性质及分类个数确定

第三章 加权主成分距离聚类分析方法的数学推理

第一节 已有系统聚类分析方法的局限性

第二节 加权主成分距离聚类分析方法的距离定义和性质

第三节 加权主成分距离聚类分析方法的适用条件

第四章 加权主成分距离聚类分析方法的仿真模拟

第一节 主成分因子代表性较好情景下的仿真模拟

第二节 主成分因子代表性不足情景下的仿真模拟

第五章 加权主成分距离聚类分析方法的实践应用

第一节 中国各省份经济发展质量分类评价

第二节 中国与创新型国家创新竞争力分类评价

第六章 研究结论与展望

第一节 研究结论

第二节 研究展望

参考文献

附录

第一节研究背景

分类学是人类认识世界的基础科学。在古老的分类学中，人们主要依靠经验和专业知识进行分类，很少应用到数学工具进行定量的分类。随着人类社会的发展与科学技术的进步，人们对于世界的认识也在不断地加深,对分类精度的要求越来越高，以至于有时只凭经验和专业知识还不能进行确切的科学分类，而往往需要采用定性分析和定量分析相结合的手段，于是数学这一有力工具便被引进到分类学之中，形成了数值分类学。后来,随着多元统计分析技术的应用和发展，聚类分析方法又逐渐从数值分类学中分离出来，从而形成了一个专门研究聚类分析技术的相对独立的分支”。目前，聚类分析方法已广泛应用到考古学、地质学、生物学、地理学、经济管理学、社会统计学等领域。例如，在考古学领域，可以采用聚类分析方法对一些古生物化石进行科学分类;在地质学领域，可以采用聚类分析方法对一些岩石标本进行科学分类;在生物学领域，可以采用聚类分析方法根据生物的综合特征进行科学分类;在地理学领域，可以采用聚类分析方法对各地理实体与区域进行科学分类;在经济管理和社会统计学领域中更是存在着大量的需要分类的问题2。总之，在实践中需要分类的问题很多。因此，聚类分析方法越来越受到人们的重视，在众多领域都得到了广泛的应用。

近年来，随着信息技术的快速发展，数据量呈现爆炸式增长，如何处理这些海量数据成为当前技术领域的热点问题。在大数据时代，不同的数据源产生海量的非结构化数据，大规模的数据量和复杂的数据种类也面临着处理难的问题，传统的数据处理方法已经无法满足大数据时代的需求。

在这种背景下，大数据技术应运而生。作为数据挖掘领域的常用方法之一，聚类算法的改进和优化也成为近年来学术界研究的热点。因此，大数据时代下，如何实现高效率、高质量的分类是一个十分重要的研究课题。

第二节文献综述

系统聚类分析方法是目前最常用的聚类分析方法，然而指标之间的高度相关性及其重要性差异导致已有的系统聚类分析方法往往无法获得良好的分类效果。传统的系统聚类分析方法多是基于样品之间距离的亲疏关系进行分类，其算法要求样品指标的重要性相同并且彼此相互独立，然而对于复杂难辨的海量数据，样品指标的重要性往往相差悬殊，且指标之间不可避免地存在相关性，因此传统的系统聚类分析方法在实际应用中面临诸多局限。于是众多学者开始关注于对传统的系统聚类分析方法的改进研究。刘瑞元(2002)考虑到聚类分析中指标之间重要性的差异，定义了加权欧几里得距离并讨论了它的性质，然后应用加权欧几里得距离对2000年奥运金牌榜国家前10名进行了加权聚类分析，分析结果表明用加权欧几里得距离对奥运金牌榜国家进行聚类分析是合理的]。

本书在对系统聚类分析方法的理论基础展开详细阐述的基础上，首先探讨了传统的系统聚类分析方法和已有主成分聚类分析方法的局限性，进而重构了分类定义中的距离概念，通过定义自适应赋权的主成分距离为分类统计量，提出一种新的、改进的主成分聚类分析方法一加权主成分距离聚类分析方法，并采用了严格的数学推理论证了加权主成分距离聚类分析方法在满足主成分因子分析前提条件下的有效性，加权主成分距离聚类分析方法的性质以及适用条件。