找回密码
 注册
关于网站域名变更的通知
查看: 1369|回复: 2
打印 上一主题 下一主题

用MATLAB实现基于互信息的特征选择算法

[复制链接]

该用户从未签到

跳转到指定楼层
1#
发表于 2019-8-8 09:00 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式

EDA365欢迎您登录!

您需要 登录 才可以下载或查看,没有帐号?注册

x
在概率论和信息论中,两个随机变量的互信息(Mutual Information,简称MI)或转移信息(transinformation)是变量间相互依赖性的量度。不同于相关系数,互信息并不局限于实值随机变量,它更加一般且决定着联合分布 p(X,Y) 和分解的边缘分布的乘积 p(X)p(Y) 的相似程度。互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。互信息最常用的单位是bit。  G  L5 I3 O7 ?4 y, ]

$ C6 T& u, `) @0 Y; J. q

4 }# C; N. |# ]9 X互信息的定义
8 G3 H6 p* |6 l+ y. s0 B' v; M正式地,两个离散随机变量 X 和 Y 的互信息可以定义为:) y  m, n7 E* S  D! y0 n0 |  Y
4 F/ |+ d2 _7 ]5 P! ^
其中 p(x,y) 是 X 和 Y 的联合概率分布函数,而p(x)和p(y)分别是 X 和 Y 的边缘概率分布函数。
7 K9 [4 D/ p( e. B7 m3 R, H# M% K
2 k9 @4 b7 T7 i( ?, p6 W) @* x

4 L/ C" h0 A8 y9 ?( V+ s) B 1 c( ~- e0 _+ y! M" a. l
+ [+ R3 n, W! c
在连续随机变量的情形下,求和被替换成了二重定积分: . U7 @3 z* V* }, T' ^; D( H
; W# k% z( K, |! D9 \) j

5 F: L2 f8 v: u8 e4 u+ |- J
: R  D9 D: p# s3 Q: G+ P . o: w' z+ m0 ?2 t, k7 m" T, Y* O8 @7 |
其中 p(x,y) 当前是 X 和 Y 的联合概率密度函数,而p(x)和p(y)分别是 X 和 Y 的边缘概率密度函数。; M: |' K& V8 C8 H' `$ C$ ]0 g& V
7 X" E. ^4 U+ |
: ^8 E+ x9 b5 q
互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性,成为一个确定的量。如果对数以 2 为基底,互信息的单位是bit。0 }3 q1 E: y. F' c9 s2 K

9 u# h& U1 R/ o& {7 Z
3 @! g% C1 C6 k2 e
直观上,互信息度量 X 和 Y 共享的信息:它度量知道这两个变量其中一个,对另一个不确定度减少的程度。例如,如果 X 和 Y 相互独立,则知道 X 不对 Y 提供任何信息,反之亦然,所以它们的互信息为零。在另一个极端,如果 X 是 Y 的一个确定性函数,且 Y 也是 X 的一个确定性函数,那么传递的所有信息被 X 和 Y 共享:知道 X 决定 Y 的值,反之亦然。因此,在此情形互信息与 Y(或 X)单独包含的不确定度相同,称作 Y(或 X)的熵。而且,这个互信息与 X 的熵和 Y 的熵相同。(这种情形的一个非常特殊的情况是当 X 和 Y 为相同随机变量时。)/ n) [0 `( P( A

- V; b  p: U! L6 F' ?4 G
# }1 v! C) \6 P  D
互信息是 X 和 Y 联合分布相对于假定 X 和 Y 独立情况下的联合分布之间的内在依赖性。于是互信息以下面方式度量依赖性:I(X; Y) = 0 当且仅当 X 和 Y 为独立随机变量。从一个方向很容易看出:当 X 和 Y 独立时,p(x,y) = p(x) p(y),因此: 8 ]5 r% V3 X7 U3 P7 r! o

9 ]  j3 F1 b- p

- m& m  X& T$ H7 X
) C* f8 D( o) Y  b1 {' D: [
8 E* a" @0 A2 U此外,互信息是非负的(即 I(X;Y) ≥ 0; 见下文),而且是对称的(即 I(X;Y) = I(Y;X))。
+ p/ K* n& \+ q+ I
5 d! y" r" F- J( t
8 _) x% N- P& u/ f1 m
互信息特征选择算法的步骤
5 y$ p' T' W/ F  [$ N/ R  p; b①划分数据集
7 `  s( ?$ t: X2 U  M% r②利用互信息对特征进行排序 8 |1 P2 ?  \  p4 T5 V
③选择前n个特征利用SVM进行训练
9 a) j: E3 g  ?. b* j8 k④在测试集上评价特征子集计算错误率
' W/ l1 y, c% G0 u# K, T  R+ a# F! t" A& @( r  B
. n6 R. [' \$ d2 ]0 o/ C8 J5 i& P) F
代码 ) r( m2 H7 r, G
注意使用的数据集是dlbcl,大概五千多维,可以从UCI上下载,最终选择前100特征进行训练。
6 c3 B  V# `4 ~5 r- ^4 }# F/ ]# ^$ d( m. X7 P  z2 j( q
, c' x3 L, ~7 \* ]
主函数代码:
1 G* N4 z% {9 z  K7 Y
3 n" p( ?- Y" T3 I) K/ U
7 P# A. a, l1 M' Z2 T
  • clear all
  • close all
  • clc;
  • [X_train,Y_train,X_test,Y_test] = divide_dlbcl();
  • Y_train(Y_train==0)=-1;
  • Y_test(Y_test==0)=-1;
  • % number of features
  • numF = size(X_train,2);
  • 9 c. E- X! C/ z, k- L3 ], t8 ^

  • 6 `6 G: j, V- b! E+ ]/ Z
  • , B2 Z( U0 B# S; N  C1 F. s
  • [ ranking , w] = mutInfFS( X_train, Y_train, numF );
  • k = 100; % select the Top 2 features
  • svmStruct = svmtrain(X_train(:,ranking(1:k)),Y_train,'showplot',true);
  • C = svmclassify(svmStruct,X_test(:,ranking(1:k)),'showplot',true);
  • err_rate = sum(Y_test~= C)/size(X_test,1); % mis-classification rate
  • conMat = confusionmat(Y_test,C); % the confusion matrix
  • fprintf('\nAccuracy: %.2f%%, Error-Rate: %.2f \n',100*(1-err_rate),err_rate);. ~) r6 b4 s9 N6 H+ n

8 R3 \- Z; n/ f# @7 l/ U, a" V+ l/ [4 {/ [- Z" o; p

. i3 K. c; i9 O) p% A5 J2 [: b- n6 rmutInfFS.m
  I4 Z2 ?& D5 }% h3 q' S+ d4 X4 c0 N6 U
! [. K/ S; {6 z: A5 r1 M0 V
5 z- k  K# B7 ^; m! \% p5 `8 ?+ C
  • function [ rank , w] = mutInfFS( X,Y,numF )
  • rank = [];
  • for i = 1:size(X,2)
  •     rank = [rank; -muteinf(X(:,i),Y) i];
  • end;
  • rank = sortrows(rank,1);
  • w = rank(1:numF, 1);
  • rank = rank(1:numF, 2);
  • - _0 E- M! P7 v9 W
  • end' {0 h3 j0 E, H1 k4 @& B! \

7 k) s! n- J; y7 y0 l6 |: y' r7 j1 l) Q* \" B7 w; ]
% {( E7 S/ c7 V  h& d- R
muteinf.m
( S) u* G% l3 V; D
" W0 ?2 d1 V  C0 J- t; N

+ H9 Z. _2 j: g' E% R/ z
  • function info = muteinf(A, Y)
  • n = size(A,1);%实例数量
  • Z = [A Y];%所有实例的维度值及标签
  • if(n/10 > 20)
  •     nbins = 20;
  • else
  •     nbins = max(floor(n/10),10);%设置区间的个数
  • end;
  • pA = hist(A, nbins);%min(A)到max(A)划分出nbins个区间出来,求每个区间的概率
  • pA = pA ./ n;%除以实例数量
  • ) E8 W( o2 {( @3 N) H
  • i = find(pA == 0);
  • pA(i) = 0.00001;%不能使某一区间的概率为0

  • , a2 b" T& d8 S* E3 O5 U' r
  • od = size(Y,2);%一个维度
  • cl = od;
  • %下面是求实例不同标签的的概率值,也就是频率
  • if(od == 1)
  •     pY = [length(find(Y==+1)) length(find(Y==-1))] / n;
  •     cl = 2;
  • else
  •     pY = zeros(1,od);
  •     for i=1d
  •         pY(i) = length(find(Y==+1));
  •     end;
  •     pY = pY / n;
  • end;
  • p = zeros(cl,nbins);
  • rx = abs(max(A) - min(A)) / nbins;%每个区间长度
  • for i = 1:cl
  •     xl = min(A);%变量的下界
  •     for j = 1:nbins
  •         if(i == 2) && (od == 1)
  •             interval = (xl <= Z(:,1)) & (Z(:,2) == -1);
  •         else
  •             interval = (xl <= Z(:,1)) & (Z(:,i+1) == +1);
  •         end;
  •         if(j < nbins)
  •             interval = interval & (Z(:,1) < xl + rx);
  •         end;
  •         %find(interval)
  •         p(i,j) = length(find(interval));

  • - D7 W8 P9 c) P! }/ B* X6 n
  •         if p(i,j) == 0 % hack!
  •             p(i,j) = 0.00001;
  •         end

  • / {! _* w0 X7 r
  •         xl = xl + rx;
  •     end;
  • end;
  • HA = -sum(pA .* log(pA));%计算当前维度的信息熵
  • HY = -sum(pY .* log(pY));%计算标签的信息熵
  • pA = repmat(pA,cl,1);
  • pY = repmat(pY',1,nbins);
  • p = p ./ n;
  • info = sum(sum(p .* log(p ./ (pA .* pY))));
  • info = 2 * info ./ (HA + HY);%计算互信息
    # V( W+ t/ {( G( ^+ c5 \) [

' N. m3 X2 c8 N9 @! ~4 ]. L
' O" N! d4 C+ r9 v2 V! s9 a0 F0 O3 E# l6 _4 b: X
前100个特征的效果:
, }9 K5 o# `/ o4 N7 m9 F2 v
8 u0 N' d. V! `; ~  ~7 ?! j
: ~$ _2 ^  u5 L9 D$ g- Q
Accuracy: 86.36%, Error-Rate: 0.14
7 r$ M) B3 |- C. C
( C! d$ Y: n8 H- m5 X) }
# R3 w$ g. i& ~3 L1 c! z
选择前两个特征进行训练(压缩率接近100%,把上述代码中的K设为2即可)的二维图:
7 E# h. a2 u/ a( O
' [6 J2 V3 R: ^8 I- ~0 A 4 i& ^8 q( I* t" J) p. q2 V

  I: r3 {+ W; K) k/ D' C5 X1 g% o7 [

" ]6 e) x) U  m) {# BAccuracy: 75.00%, Error-Rate: 0.25
* O2 U8 x4 b6 S% L' a, }; |5 I6 ~8 T( A
" Q5 s2 P9 f. E8 q. Y
3 W, K' u! g+ }1 D

0 t6 Y& B/ t, E! [9 _
您需要登录后才可以回帖 登录 | 注册

本版积分规则

关闭

推荐内容上一条 /1 下一条

EDA365公众号

关于我们|手机版|EDA365电子论坛网 ( 粤ICP备18020198号-1 )

GMT+8, 2025-7-20 06:34 , Processed in 0.140625 second(s), 26 queries , Gzip On.

深圳市墨知创新科技有限公司

地址:深圳市南山区科技生态园2栋A座805 电话:19926409050

快速回复 返回顶部 返回列表