基于归一化模糊联合互信息最大的特征选择

来源：计算机工程与应用杂志2017年第22期北京时间：

作者：董泽民1，石 强2

单位：1.武汉科技大学 城市学院 实验实训中心，武汉 430083；2.华中科技大学 软件学院，武汉 430000

摘要：特征选择就是从特征集合中选择出与分类类别相关性强而特征之间冗余性最小的特征子集，这样一方面可以提高分类器的计算效率，另一方面可以提高分类器的泛化能力，进而提高分类精度。基于互信息的特征相关性和冗余性的评价准则，在实际应用中存在以下的问题：（1）变量的概率计算困难，进而影响特征的信息熵计算困难；（2）互信息倾向于选择值较多的特征；（3）基于累积加和的候选特征与特征子集之间冗余性度量准则在特征维数较高的情况下容易失效。为了解决上述问题，提出了基于归一化模糊互信息最大的特征评价准则，基于模糊等价关系计算变量的信息熵、条件熵、联合熵；利用联合互信息最大替换累积加和的度量方法；基于归一化联合互信息对特征重要性进行评价；基于该准则建立了基于前向贪婪搜索的特征选择算法。在UCI机器学习标准数据集上的多组实验，证明算法能够有效地选择出对分类类别有效的特征子集，能够明显提高分类精度。

关键词：模糊等价关系,联合互信息,最大最小准则,特征选择