|
|
EDA365欢迎您登录!
您需要 登录 才可以下载或查看,没有帐号?注册
x
在概率论和信息论中,两个随机变量的互信息(Mutual Information,简称MI)或转移信息(transinformation)是变量间相互依赖性的量度。不同于相关系数,互信息并不局限于实值随机变量,它更加一般且决定着联合分布 p(X,Y) 和分解的边缘分布的乘积 p(X)p(Y) 的相似程度。互信息(Mutual Information)是度量两个事件集合之间的相关性(mutual dependence)。互信息最常用的单位是bit。
: Y* l l x) o$ i$ ]- p+ u, ] I' ]5 c# L; Z
" f$ A4 e: E4 b% @2 g% ^2 ]- M
互信息的定义 0 U! E; U! v7 o+ E) G
正式地,两个离散随机变量 X 和 Y 的互信息可以定义为:
; \% F Z0 {( w: [/ w
+ a( ^7 x) c* n3 I. ] S+ q: u其中 p(x,y) 是 X 和 Y 的联合概率分布函数,而p(x)和p(y)分别是 X 和 Y 的边缘概率分布函数。
; h9 d. ?& L+ ^4 e
3 a3 d3 Z/ E$ y ~1 T1 e; l
3 d9 x% D+ v/ I( Y* u- F
; a% X; \+ o) Z' V! i/ ` 6 H0 B( c( h x% d8 [! s- g
在连续随机变量的情形下,求和被替换成了二重定积分:
% P* }' ^5 H' S0 T/ ~9 k# O6 Z4 ?3 X4 b) j. ~$ G
" K( @' p+ N0 k l' [
8 f* b4 U' ]' y8 R, y
* v7 }$ `6 a9 n e/ P6 ~ T8 {
其中 p(x,y) 当前是 X 和 Y 的联合概率密度函数,而p(x)和p(y)分别是 X 和 Y 的边缘概率密度函数。
. k( S$ _% L0 r, T; `# a- Z& U z' v, e0 J' T8 L6 |$ e. r9 ^! ~$ l
6 \8 v G0 C9 \1 p" I互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值。 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性,成为一个确定的量。如果对数以 2 为基底,互信息的单位是bit。: X* b2 X( Y9 i" m: y3 g6 x6 Q
9 H2 l. G/ R# e
: u. \% h3 l& y
直观上,互信息度量 X 和 Y 共享的信息:它度量知道这两个变量其中一个,对另一个不确定度减少的程度。例如,如果 X 和 Y 相互独立,则知道 X 不对 Y 提供任何信息,反之亦然,所以它们的互信息为零。在另一个极端,如果 X 是 Y 的一个确定性函数,且 Y 也是 X 的一个确定性函数,那么传递的所有信息被 X 和 Y 共享:知道 X 决定 Y 的值,反之亦然。因此,在此情形互信息与 Y(或 X)单独包含的不确定度相同,称作 Y(或 X)的熵。而且,这个互信息与 X 的熵和 Y 的熵相同。(这种情形的一个非常特殊的情况是当 X 和 Y 为相同随机变量时。)
" J3 S- }$ p: P2 V: T) c
5 E7 [7 V) _# ~+ C9 h( V
: `" ]$ i" ^- t/ h$ p9 U互信息是 X 和 Y 联合分布相对于假定 X 和 Y 独立情况下的联合分布之间的内在依赖性。于是互信息以下面方式度量依赖性:I(X; Y) = 0 当且仅当 X 和 Y 为独立随机变量。从一个方向很容易看出:当 X 和 Y 独立时,p(x,y) = p(x) p(y),因此: . W% m7 q3 ~6 v
" a: `1 G0 M2 Q# y# O* w% }- ]' ?$ ~- M i
6 B( |. v9 p+ J4 X7 U& ^! k, T
, H) p2 t% p0 K& a) i6 G此外,互信息是非负的(即 I(X;Y) ≥ 0; 见下文),而且是对称的(即 I(X;Y) = I(Y;X))。# U( C# ?( k( t( i0 G- r- U( f0 G
) @2 q+ _, l) @% I
0 t) R" B2 Z; V2 m互信息特征选择算法的步骤 3 B; l0 x8 d$ @* e: R
①划分数据集
2 Q4 U7 s8 u5 b8 v! p②利用互信息对特征进行排序 . `8 L- b- z, J8 e* B
③选择前n个特征利用SVM进行训练 % Z2 d$ ^* O5 i9 d& L. ]
④在测试集上评价特征子集计算错误率 : {# |! h9 E, h9 `. p5 F& P
1 o% n1 c/ } G6 R8 y9 [
1 C+ Z' O* x9 R- d( i/ I代码
/ g' V7 A4 N k9 L9 i/ [" L3 n注意使用的数据集是dlbcl,大概五千多维,可以从UCI上下载,最终选择前100特征进行训练。
' E: L0 L+ S6 z. C
6 H5 H. Q+ n! I( d, V
9 P, V8 V1 R) g" V主函数代码:
3 A+ l7 y5 f: E, s: M: }: t' J( B3 C. y# B- W
; f: c- I8 n$ ~3 o5 {, T- clear all
- close all
- clc;
- [X_train,Y_train,X_test,Y_test] = divide_dlbcl();
- Y_train(Y_train==0)=-1;
- Y_test(Y_test==0)=-1;
- % number of features
- numF = size(X_train,2);
- a+ j0 i* i9 u. C7 C. e: N% a
- E! r4 x! |( O, m1 ^( Q
l: m' b6 f( A+ D0 j2 l4 P- [ ranking , w] = mutInfFS( X_train, Y_train, numF );
- k = 100; % select the Top 2 features
- svmStruct = svmtrain(X_train(:,ranking(1:k)),Y_train,'showplot',true);
- C = svmclassify(svmStruct,X_test(:,ranking(1:k)),'showplot',true);
- err_rate = sum(Y_test~= C)/size(X_test,1); % mis-classification rate
- conMat = confusionmat(Y_test,C); % the confusion matrix
- fprintf('\nAccuracy: %.2f%%, Error-Rate: %.2f \n',100*(1-err_rate),err_rate);# g) k* U8 D) a t4 o
K) V- j( R) [, ?/ v- U6 Z m5 e
4 {5 M, z6 z1 M& U3 r RmutInfFS.m
3 g+ [4 F& g2 d) S9 B" f+ `# S! P+ Y: n* p) H `
) t0 U( _$ L2 \6 v- function [ rank , w] = mutInfFS( X,Y,numF )
- rank = [];
- for i = 1:size(X,2)
- rank = [rank; -muteinf(X(:,i),Y) i];
- end;
- rank = sortrows(rank,1);
- w = rank(1:numF, 1);
- rank = rank(1:numF, 2);
# z' _9 A; T! Y- end
( s3 K2 Q9 y7 ^- t9 ]0 J3 r: z( n % m; S/ Z# q) ^$ u* V* q, o6 Z7 v% t
# F! F) W& @" L" Y p
9 C) _: }: z2 S3 Smuteinf.m6 W. G0 {( B3 u8 K: v- H- Q7 ~2 ?3 j
* K+ f% ^! J& {9 o; c3 Q- K: J; j9 D
- function info = muteinf(A, Y)
- n = size(A,1);%实例数量
- Z = [A Y];%所有实例的维度值及标签
- if(n/10 > 20)
- nbins = 20;
- else
- nbins = max(floor(n/10),10);%设置区间的个数
- end;
- pA = hist(A, nbins);%min(A)到max(A)划分出nbins个区间出来,求每个区间的概率
- pA = pA ./ n;%除以实例数量
- % S: w. |3 K. ^
- i = find(pA == 0);
- pA(i) = 0.00001;%不能使某一区间的概率为0
2 P3 f. a+ _5 d4 \$ N# i8 k- od = size(Y,2);%一个维度
- cl = od;
- %下面是求实例不同标签的的概率值,也就是频率
- if(od == 1)
- pY = [length(find(Y==+1)) length(find(Y==-1))] / n;
- cl = 2;
- else
- pY = zeros(1,od);
- for i=1
d - pY(i) = length(find(Y==+1));
- end;
- pY = pY / n;
- end;
- p = zeros(cl,nbins);
- rx = abs(max(A) - min(A)) / nbins;%每个区间长度
- for i = 1:cl
- xl = min(A);%变量的下界
- for j = 1:nbins
- if(i == 2) && (od == 1)
- interval = (xl <= Z(:,1)) & (Z(:,2) == -1);
- else
- interval = (xl <= Z(:,1)) & (Z(:,i+1) == +1);
- end;
- if(j < nbins)
- interval = interval & (Z(:,1) < xl + rx);
- end;
- %find(interval)
- p(i,j) = length(find(interval));
, c x8 ^0 b# _1 k- if p(i,j) == 0 % hack!
- p(i,j) = 0.00001;
- end
- ! l: C+ |% T4 ?1 N. T) U) ?
- xl = xl + rx;
- end;
- end;
- HA = -sum(pA .* log(pA));%计算当前维度的信息熵
- HY = -sum(pY .* log(pY));%计算标签的信息熵
- pA = repmat(pA,cl,1);
- pY = repmat(pY',1,nbins);
- p = p ./ n;
- info = sum(sum(p .* log(p ./ (pA .* pY))));
- info = 2 * info ./ (HA + HY);%计算互信息+ ~( a w3 r( ]! S/ K5 ^ l
$ V W3 w5 e& H( T: i
# z# l- g% d' y2 l* f5 B# R
1 i, ^: H& h5 J; S6 S
前100个特征的效果:5 V/ r) Y! c* @9 E1 b9 a) k5 C
1 e" A, Z6 K% f; {* X' D8 V: N
9 ?2 f! q& H" UAccuracy: 86.36%, Error-Rate: 0.14. P* J( ~0 x/ V
8 L5 l- M( t) v m
4 M+ z6 h7 i% n! [0 Y) q$ I- g) j选择前两个特征进行训练(压缩率接近100%,把上述代码中的K设为2即可)的二维图:
4 {9 W8 O( L5 T$ x
2 b/ m. V* } A; v
6 v+ j. T7 g0 a9 i, o: T2 X; {
+ k# ?: r2 s* W0 l: E% d
5 ]; ?, o5 _0 C/ rAccuracy: 75.00%, Error-Rate: 0.25
2 C; p) D) z) ~, Q% n/ c+ ?
, r# U( X9 r* _/ A
) M a) H7 N5 w* C2 s+ W7 R" N0 o- s" T/ ^0 m
8 m9 ^6 F: b- @7 m |
|