最大相关最小冗余（mRMR）算法

baqiao

在做特征选择时，可能面临两个问题：特征与类别预测有多大相关性，特征之间有多大冗余度。在特征选择中，“最好的m个特征不一定是m个最好的特征”，从相关度与冗余度来看，最好的m个特征是指与分类最相关的特征，但由于最好的m个特征之间可能存在冗余，因此最相关的m个特征并不一定比其他m个特征产生更好的分类准确率。可以看出，特征选择可以分为两个过程：1、怎样度量特征相关性。2、怎样解决特征之间的冗余。
+ l4 l6 Y8 w. b# E1 c
& v; b) [5 l2 a互信息
" W3 N4 D- H: j
& x4 @0 j) Q7 y- @4 a
# f' t: W8 [+ {& z/ |互信息可以度量两个变量x，y之间的相关关系。如下图所示：
3 f# [$ c. O& J! a0 h$ M6 Z

3 m, p' C  M1 P8 d# h
2 G; ]$ j. G( o5 b* y0 L$ c: P2 y考虑特征x与分类目标c，计算I（x，c），I（x，c）的大小代表了x与c之间的关联度的大小。从所有特征中选出与c之间互信息最大的m个特征，就可以得到与c最相关的m个特征。
; Q. D2 {9 r& B
, y  a) U% W, F最大相关度与最小冗余度

+ d0 `5 R1 L: c* K  ~设S表示特征{xi}的集合，|S|=m. 为了选出m个最相关特征，使得S满足如下公式：
, `6 L+ m* v, J0 N

$ J" |1 ~- ~4 C, s3 o$ x
! a2 ~. M  ~/ w9 P" Y7 p* l可见目标是选出m个平均互信息最大的集合S。
S很可能包含相关度很大的特征，也就是说特征之间存在冗余。集合S的冗余度如下式所示：
2 Y% c9 l. Y/ b" _

! i& T. _# v; M5 i
/ i8 Z' Q0 v/ _0 ]' R) i6 v最终目标是求出拥有最大相关度-最小冗余度的集合S，直接优化下式：
* ?  T$ Q) P* w3 A) R/ i: s5 L5 h


直观上说D的增大，R的减小都会使得目标函数增大。
假设现在S中已有m-1个特征，现在需要从余下的特征中选择第m个特征。
7 y9 C* c, |7 k6 Y) U

7 U  n5 @- s6 r9 U
9 ~* \. m5 D- P& g特征选择过程

特征选择的目的是选择出一个具有很好分类效果的精简特征集。为了达到此目的，可以分两步进行：第一步，利用mrmr选出候选特征集；第二步，利用其它方法选出精简特征集。

7 H' h* Q8 ]/ w- D* H5 p/ m
" I' Q% x- V' v主要步骤：
* ~# \" |9 i/ _* U4 C2 R
/ f9 [7 ^1 j! s5 j6 p: n( V7 ~" l

• 将数据进行处理转换的过程（注：为了计算两个特征的联合分布和边缘分布，需要将数据归一化到[0,255]之间，并且将每一维特征使用合理的数据结构进行存储）
• 计算特征之间、特征与响应变量之间的分布及互信息
• 对特征进行mrmr得分，并进行排序
  " [8 |/ |1 |2 B' u

youOK

最大相关最小冗余（mRMR）算法

xiaogegepcb

最大相关最小冗余（mRMR）算法

yizhihenanjing

最大相关最小冗余（mRMR）算法