Relief算法

用Relief算法进行特征选择，最早提出的Relief算法主要针对二分类问题，该方法设计了一个“相关统计量”来度量特征的重要性，该统计量是一个向量，向量的每个分量是对其中一个初始特征的评价值，特征子集的重要性就是子集中每个特征所对应的相关统计量之和，因此可以看出，这个“相关统计量”也可以视为是每个特征的“权值”。可以指定一个阈值τ，只需选择比τ大的相关统计量对应的特征值，也可以指定想要选择的特征个数k，然后选择相关统计量分量最大的k个特征。