找回密码
 注册
关于网站域名变更的通知
查看: 1384|回复: 2
打印 上一主题 下一主题

用MATLAB实现基于互信息的特征选择算法

[复制链接]

该用户从未签到

跳转到指定楼层
1#
发表于 2019-8-8 09:00 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式

EDA365欢迎您登录!

您需要 登录 才可以下载或查看,没有帐号?注册

x
在概率论和信息论中,两个随机变量的互信息(Mutual Information,简称MI)或转移信息(transinformation)是变量间相互依赖性的量度。不同于相关系数,互信息并不局限于实值随机变量,它更加一般且决定着联合分布 p(X,Y) 和分解的边缘分布的乘积 p(X)p(Y) 的相似程度。互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。互信息最常用的单位是bit。; z  a2 H' i( q7 m% p" e# W3 L
  F9 e1 e! ^( Z( y2 N5 {

: i, l3 C3 O' h1 F  E5 y# E: ]& A( Y互信息的定义
$ n  x# s% o3 L2 r8 ?正式地,两个离散随机变量 X 和 Y 的互信息可以定义为:
, w" o& F6 Z2 j% b5 R' I* V
8 O. j$ h  I5 y' i) Y其中 p(x,y) 是 X 和 Y 的联合概率分布函数,而p(x)和p(y)分别是 X 和 Y 的边缘概率分布函数。 ) C+ o9 v& E: w6 O

: ]: d* u3 f9 Y8 k& }

+ X# ~& q. T) g" W! ?
2 s  v( Y$ j* B$ ` % M8 }& V0 y; F* H. J
在连续随机变量的情形下,求和被替换成了二重定积分: 2 y6 p' c0 ^1 M7 ^! g) v
( F% s; Z4 U  `. L4 r- f6 P
( q# k9 Y& \* X) j" s+ L& `

  [5 Q- E7 W3 [( [7 [- Q7 H. M7 y' n 5 S* g3 }: K$ o: A2 }6 c
其中 p(x,y) 当前是 X 和 Y 的联合概率密度函数,而p(x)和p(y)分别是 X 和 Y 的边缘概率密度函数。6 K  M1 x: N: Q- @7 }' N' k% r1 x

8 p/ R1 Z7 r2 a6 p, \( s

: w8 l! Y" b% b& P) Y* z; y3 e; x互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性,成为一个确定的量。如果对数以 2 为基底,互信息的单位是bit。
- Y, N" B+ D6 Y9 I8 k, `
, b9 }# U8 k( E( H* N/ e, c1 z
1 U( Y. B% C% E& p/ ~  G% ]
直观上,互信息度量 X 和 Y 共享的信息:它度量知道这两个变量其中一个,对另一个不确定度减少的程度。例如,如果 X 和 Y 相互独立,则知道 X 不对 Y 提供任何信息,反之亦然,所以它们的互信息为零。在另一个极端,如果 X 是 Y 的一个确定性函数,且 Y 也是 X 的一个确定性函数,那么传递的所有信息被 X 和 Y 共享:知道 X 决定 Y 的值,反之亦然。因此,在此情形互信息与 Y(或 X)单独包含的不确定度相同,称作 Y(或 X)的熵。而且,这个互信息与 X 的熵和 Y 的熵相同。(这种情形的一个非常特殊的情况是当 X 和 Y 为相同随机变量时。)
! B* f# {. p$ K( D
6 |4 z; O. ?7 r( ^7 o  ]4 {
) c9 D$ b: q4 `% L9 b  d& E3 Y+ O4 j% `
互信息是 X 和 Y 联合分布相对于假定 X 和 Y 独立情况下的联合分布之间的内在依赖性。于是互信息以下面方式度量依赖性:I(X; Y) = 0 当且仅当 X 和 Y 为独立随机变量。从一个方向很容易看出:当 X 和 Y 独立时,p(x,y) = p(x) p(y),因此: " t- d3 _$ [# P% c$ c% d  C5 _

( E& h0 f8 V7 X( S

' Q' {5 x% n7 ^" z
- b' \- X& i1 ]+ P
; P5 q' \( B# J% T" v5 u& ~, [& _/ Q此外,互信息是非负的(即 I(X;Y) ≥ 0; 见下文),而且是对称的(即 I(X;Y) = I(Y;X))。9 ?7 i1 ?/ c: k8 q2 V

9 }1 h2 e! }5 C+ R0 `2 r

/ [  X% }8 W: k& N2 Z+ ?. R互信息特征选择算法的步骤 ' V5 ?, {! }( e- `0 m& y' V- ]
①划分数据集
$ r5 Y* _! k5 I( _3 f②利用互信息对特征进行排序 ) J) ^7 k- D! O* I8 X
③选择前n个特征利用SVM进行训练
9 j; Y0 S% j6 a' U- J: @④在测试集上评价特征子集计算错误率
: F7 I/ W7 s- n* L/ s# J$ z
) J7 {5 E" @' c- L" x  B' q8 M) x

' N1 w! N7 ]% z& l3 `  }, |! ]' z& q1 A! P代码
$ n  \5 h0 i+ U* }4 D/ h注意使用的数据集是dlbcl,大概五千多维,可以从UCI上下载,最终选择前100特征进行训练。8 F; E$ ]# z) F& D9 X2 R
0 z- X5 T) j7 N1 L" f

7 ]. B& S' K/ `主函数代码:( ~) j3 T' t. c
% A* A# M6 S3 Z4 B$ K; v

1 Q% z( |3 N( @& u4 E
  • clear all
  • close all
  • clc;
  • [X_train,Y_train,X_test,Y_test] = divide_dlbcl();
  • Y_train(Y_train==0)=-1;
  • Y_test(Y_test==0)=-1;
  • % number of features
  • numF = size(X_train,2);

  • & R. \/ ^; }) t. @7 K$ Q$ r8 B

  • 4 N! b2 m2 J" L: @

  • 6 m& u" I3 H. e# d3 I# w0 R
  • [ ranking , w] = mutInfFS( X_train, Y_train, numF );
  • k = 100; % select the Top 2 features
  • svmStruct = svmtrain(X_train(:,ranking(1:k)),Y_train,'showplot',true);
  • C = svmclassify(svmStruct,X_test(:,ranking(1:k)),'showplot',true);
  • err_rate = sum(Y_test~= C)/size(X_test,1); % mis-classification rate
  • conMat = confusionmat(Y_test,C); % the confusion matrix
  • fprintf('\nAccuracy: %.2f%%, Error-Rate: %.2f \n',100*(1-err_rate),err_rate);8 P( U" |: F6 D3 R" x

; R( H- c8 h7 o3 P
0 p0 _) B# O8 s: m' t$ }6 C3 d/ \1 A& u6 f
mutInfFS.m
( v0 \* j4 A' T3 T( e
9 q, G4 ]. ?3 B9 @6 H2 X: K

0 ?+ `$ }% ~! M; s
  • function [ rank , w] = mutInfFS( X,Y,numF )
  • rank = [];
  • for i = 1:size(X,2)
  •     rank = [rank; -muteinf(X(:,i),Y) i];
  • end;
  • rank = sortrows(rank,1);
  • w = rank(1:numF, 1);
  • rank = rank(1:numF, 2);
  • % M/ o1 R- u$ a+ ?% g
  • end
    / b' T# n. l) e- P3 u$ W+ J0 d

2 H& P/ K- R3 Z( Z/ ^
4 @, s% W0 X5 s% g9 P1 ~1 |8 L$ V
# b) |3 A2 F, ]muteinf.m* O8 b. g  d9 ]5 X# p8 {7 @8 S
0 c1 z- @; M2 j$ c, G1 f7 ]
0 l6 L  P3 b! R
  • function info = muteinf(A, Y)
  • n = size(A,1);%实例数量
  • Z = [A Y];%所有实例的维度值及标签
  • if(n/10 > 20)
  •     nbins = 20;
  • else
  •     nbins = max(floor(n/10),10);%设置区间的个数
  • end;
  • pA = hist(A, nbins);%min(A)到max(A)划分出nbins个区间出来,求每个区间的概率
  • pA = pA ./ n;%除以实例数量
  • . h7 n5 e3 |: z& m" ^1 q0 j
  • i = find(pA == 0);
  • pA(i) = 0.00001;%不能使某一区间的概率为0
  • - R/ ~& q' {& y' c' _4 Y: f. y/ f
  • od = size(Y,2);%一个维度
  • cl = od;
  • %下面是求实例不同标签的的概率值,也就是频率
  • if(od == 1)
  •     pY = [length(find(Y==+1)) length(find(Y==-1))] / n;
  •     cl = 2;
  • else
  •     pY = zeros(1,od);
  •     for i=1d
  •         pY(i) = length(find(Y==+1));
  •     end;
  •     pY = pY / n;
  • end;
  • p = zeros(cl,nbins);
  • rx = abs(max(A) - min(A)) / nbins;%每个区间长度
  • for i = 1:cl
  •     xl = min(A);%变量的下界
  •     for j = 1:nbins
  •         if(i == 2) && (od == 1)
  •             interval = (xl <= Z(:,1)) & (Z(:,2) == -1);
  •         else
  •             interval = (xl <= Z(:,1)) & (Z(:,i+1) == +1);
  •         end;
  •         if(j < nbins)
  •             interval = interval & (Z(:,1) < xl + rx);
  •         end;
  •         %find(interval)
  •         p(i,j) = length(find(interval));
  • % A7 B" G/ \2 Y, L! P; q; b& T* [
  •         if p(i,j) == 0 % hack!
  •             p(i,j) = 0.00001;
  •         end

  • 4 Y9 D# Y$ ]8 x
  •         xl = xl + rx;
  •     end;
  • end;
  • HA = -sum(pA .* log(pA));%计算当前维度的信息熵
  • HY = -sum(pY .* log(pY));%计算标签的信息熵
  • pA = repmat(pA,cl,1);
  • pY = repmat(pY',1,nbins);
  • p = p ./ n;
  • info = sum(sum(p .* log(p ./ (pA .* pY))));
  • info = 2 * info ./ (HA + HY);%计算互信息0 s1 u% b% {2 R# o1 z

7 r4 y0 X9 p0 U  ?, G/ {7 l
: ]( w1 I0 B" \
9 G6 x& \1 E3 G8 \. x前100个特征的效果:8 k3 L% A( M5 z9 y  H8 \

; o  d# T* d! K6 q5 a

  |0 {) A" h3 M, B) _$ \Accuracy: 86.36%, Error-Rate: 0.14
1 ]4 }, N* `; o, z: f7 J5 p! M( P4 f8 l: U# l/ U
2 H5 l* T, U% q3 }9 {
选择前两个特征进行训练(压缩率接近100%,把上述代码中的K设为2即可)的二维图:
4 X( {. a5 s; e" z9 i
- S& {8 O. Q/ a+ l6 o 6 g/ \% M0 i3 Q7 ^+ J+ [6 Q1 _" k

; }3 z$ {# ]2 L, x

4 u3 m& |% f+ E3 R9 Z9 oAccuracy: 75.00%, Error-Rate: 0.25
' B, a7 u' I6 n" \( W( q
, V2 u0 g8 c$ t6 }7 v  _# S3 i
9 W) B$ c3 x0 y' C4 _

) q1 d0 f! G1 S: ^8 y2 _
7 m3 i# |  `) d+ o3 w' B8 K% M/ G
您需要登录后才可以回帖 登录 | 注册

本版积分规则

关闭

推荐内容上一条 /1 下一条

EDA365公众号

关于我们|手机版|EDA365电子论坛网 ( 粤ICP备18020198号-1 )

GMT+8, 2025-10-5 10:17 , Processed in 0.156250 second(s), 26 queries , Gzip On.

深圳市墨知创新科技有限公司

地址:深圳市南山区科技生态园2栋A座805 电话:19926409050

快速回复 返回顶部 返回列表