找回密码
 注册
关于网站域名变更的通知
查看: 758|回复: 3
打印 上一主题 下一主题

最大相关最小冗余(mRMR)算法

[复制链接]

该用户从未签到

跳转到指定楼层
1#
发表于 2021-7-13 13:54 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式

EDA365欢迎您登录!

您需要 登录 才可以下载或查看,没有帐号?注册

x
" ]. Z' c( G. k
在做特征选择时,可能面临两个问题:特征与类别预测有多大相关性,特征之间有多大冗余度。在特征选择中,“最好的m个特征不一定是m个最好的特征”,从相关度与冗余度来看,最好的m个特征是指与分类最相关的特征,但由于最好的m个特征之间可能存在冗余,因此最相关的m个特征并不一定比其他m个特征产生更好的分类准确率。可以看出,特征选择可以分为两个过程:1、怎样度量特征相关性。2、怎样解决特征之间的冗余。! D+ X6 p, h3 K8 V0 {  I: z

; h6 v4 j. Y. P; @3 e6 y/ J互信息
: k; V' u3 z, a5 V; c" E7 N8 H3 J! d- Z" n

, m: g0 H( |" Z9 ?: c互信息可以度量两个变量x,y之间的相关关系。如下图所示:
( d) ~! e" D" d+ X3 D! m6 _4 ~1 r4 P. L5 S  J" p/ ?, `  B
/ s. E1 l" U! X4 O& E. P& o3 }

8 I% q2 y0 X% ]考虑特征x与分类目标c,计算I(x,c),I(x,c)的大小代表了x与c之间的关联度的大小。从所有特征中选出与c之间互信息最大的m个特征,就可以得到与c最相关的m个特征。0 h( g! ^7 t- I
8 G6 g1 R1 Z$ L8 G6 w  E6 O
最大相关度与最小冗余度* \$ J9 p. O) E5 x+ U4 u+ E4 K

. r% }" e0 ?2 p7 V3 \设S表示特征{xi}的集合,|S|=m. 为了选出m个最相关特征,使得S满足如下公式:
8 U0 d/ g; k7 @1 [- I: P0 ], `
% a3 c& @2 C7 L: o! v/ ^- r
+ W3 m" R7 ?# t5 c; b2 ^' V, q
, l" {# l* y7 ~; x9 m; Q1 N可见目标是选出m个平均互信息最大的集合S。/ |" |) y1 y( g# T
S很可能包含相关度很大的特征,也就是说特征之间存在冗余。集合S的冗余度如下式所示:
0 j% e' A* R, k
* p8 j" F) g* n. E0 ?* _. L! A : r: I+ s. k. W( h" u% ]* o
5 C5 o3 o5 H  M( g/ W  F
最终目标是求出拥有最大相关度-最小冗余度的集合S,直接优化下式:
& J0 t% |+ z" @
0 Z+ A9 e2 \& w 9 o6 s( b( `% S. w% F( D

1 r# d' |7 W  ]; p直观上说D的增大,R的减小都会使得目标函数增大。
( l2 m2 X; `+ U* t( ^* o+ f4 u假设现在S中已有m-1个特征,现在需要从余下的特征中选择第m个特征。
+ a7 K& }7 Y( a9 Z1 J0 g" k, |2 X# T8 p0 e( n4 z' }; [

1 s' ~* o  E; `5 P. F" W, T. O8 W( ]: Y: i7 p3 V
特征选择过程6 ?" p, Z" T: B+ W& _
) ?' I2 W0 y4 e/ D* y6 {
特征选择的目的是选择出一个具有很好分类效果的精简特征集。为了达到此目的,可以分两步进行:第一步,利用mrmr选出候选特征集;第二步,利用其它方法选出精简特征集。0 g" a4 |9 {7 a

9 v2 f. s# p! c8 `7 c3 R/ E5 q( y! ~* K% v
主要步骤:2 a* R( K" h* I' h
7 g7 G, w0 X( m9 d  z% {& A
  • 将数据进行处理转换的过程(注:为了计算两个特征的联合分布和边缘分布,需要将数据归一化到[0,255]之间,并且将每一维特征使用合理的数据结构进行存储)
  • 计算特征之间、特征与响应变量之间的分布及互信息
  • 对特征进行mrmr得分,并进行排序
      ]7 a6 Q/ c9 b' y* x: P8 e5 [
- V' ]; {$ P* k6 A

该用户从未签到

2#
发表于 2021-7-13 15:18 | 只看该作者
最大相关最小冗余(mRMR)算法

该用户从未签到

3#
发表于 2021-7-13 15:19 | 只看该作者
最大相关最小冗余(mRMR)算法

该用户从未签到

4#
发表于 2021-7-13 15:20 | 只看该作者
最大相关最小冗余(mRMR)算法
您需要登录后才可以回帖 登录 | 注册

本版积分规则

关闭

推荐内容上一条 /1 下一条

EDA365公众号

关于我们|手机版|EDA365电子论坛网 ( 粤ICP备18020198号-1 )

GMT+8, 2025-10-5 10:25 , Processed in 0.156250 second(s), 26 queries , Gzip On.

深圳市墨知创新科技有限公司

地址:深圳市南山区科技生态园2栋A座805 电话:19926409050

快速回复 返回顶部 返回列表