找回密码
 注册
关于网站域名变更的通知
查看: 735|回复: 3
打印 上一主题 下一主题

基于留一法的快速KNN代码

[复制链接]
  • TA的每日心情

    2019-11-19 15:32
  • 签到天数: 1 天

    [LV.1]初来乍到

    跳转到指定楼层
    1#
    发表于 2021-7-12 14:14 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式

    EDA365欢迎您登录!

    您需要 登录 才可以下载或查看,没有帐号?注册

    x
    留一法交叉验证(LOOCV)" ?; d( c) M, C) p! |
    留一法即Leave-One-Out Cross Validation。这种方法比较简单易懂,就是把一个大的数据集分为k个小数据集,其中k-1个作为训练集,剩下的一个作为测试集,然后选择下一个作为测试集,剩下的k-1个作为训练集,以此类推。其主要目的是为了防止过拟合,评估模型的泛化能力。计算时间较长。
    & Q# F% f& H1 I
    ! d, Y7 _1 N, |; D  ?8 [适用场景:
    * I) S  d2 s' Z" ?0 r0 O; ]* I
    / F( G( G* t. @7 d数据集少,如果像正常一样划分训练集和验证集进行训练,那么可以用于训练的数据本来就少,还被划分出去一部分,这样可以用来训练的数据就更少了。loocv可以充分的利用数据。
    5 E9 h. V5 L! R3 h( `, H1 B% i, p! B* {: r4 n
    * d' G6 [9 N' v1 H1 r9 m5 Z0 `
    快速留一法KNN  K& D/ _/ ^0 Q& e
    8 L/ N! _  t# w) x/ g. `
    因为LOOCV需要划分N次,产生N批数据,所以在一轮训练中,要训练出N个模型,这样训练时间就大大增加。为了解决这样的问题,根据留一法的特性,我们可以提前计算出不同样本之间的距离(或者距离的中间值),存储起来。使用LOOCV时直接从索引中取出即可。下面的代码以特征选择为Demo,验证快速KNN留一法。
    * U" w  m( ~1 R* c8 ~2 r" y' {2 C; F4 c! g# v2 b2 A
    其中FSKNN1是普通KNN,FSKNN2是快速KNN
    & `. x( c3 {5 [7 [( g2 D1 }6 M* ]  \
    ' K0 }: C0 N4 y* O6 y  f( Y7 M主函数main.m
    0 Q$ k: ~! D) j- u0 z% l* ?, p+ T
    • clc
    • [train_F,train_L,test_F,test_L] = divide_dlbcl();
    • dim = size(train_F,2);
    • individual = rand(1,dim);
    • global choice
    • choice = 0.5;
    • global knnIndex
    • [knnIndex] = preKNN(individual,train_F);
    • for i = 1:100
    •     [error,fs] = FSKNN1(individual,train_F,train_L);
    •     [error2,fs2] = FSKNN2(individual,train_F,train_L);
    • end, R% w5 a: W$ f' r3 f: }, o

    0 {3 l( Z1 \0 Z: o' n; C
      ?2 F2 ]- Z+ Q  G4 ^数据集划分divide_dlbcl.m+ w3 `! D/ G6 b- k4 G% e& x! H

    0 X; }) v9 R; b' R' j
    • function [train_F,train_L,test_F,test_L] = divide_dlbcl()
    • load DLBCL.mat;
    • dataMat=ins;
    • len=size(dataMat,1);
    • %归一化
    • maxV = max(dataMat);
    • minV = min(dataMat);
    • range = maxV-minV;
    • newdataMat = (dataMat-repmat(minV,[len,1]))./(repmat(range,[len,1]));
    • Indices   =  crossvalind('Kfold', length(lab), 10);
    • site = find(Indices==1|Indices==2|Indices==3);
    • test_F = newdataMat(site,:);
    • test_L = lab(site);
    • site2 = find(Indices~=1&Indices~=2&Indices~=3);
    • train_F = newdataMat(site2,:);
    • train_L =lab(site2);
    • end. D& [% f# I/ W+ j. Z5 g. Z9 Q
    - p! Q# n5 F- F% c2 K7 q
    ' d" L1 s/ q, ^- R
    简单KNN* L5 @1 [$ e# h: S

    8 B' S* _  Q  p( }FSKNN1.m
    : v" V2 v; w8 P6 {
    , ^" m/ i) y9 k! m$ |1 \
    • function [error,fs] = FSKNN1(x,train_F,train_L)
    • global choice
    • inmodel = x>choice;%%%%%设定恰当的阈值选择特征
    • k=1;
    • train_f=train_F(:,inmodel);
    • train_length = size(train_F,1);
    • flag = logical(ones(train_length,1));
    • error=0;
    • for j=1:train_length
    •     flag(j) = 0;
    •     CtrainF = train_f(flag,:);
    •     CtrainL = train_L(flag);
    •     CtestF = train_f(~flag,:);
    •     CtestL = train_L(~flag);
    •     classifyresult= KNN1(CtestF,CtrainF,CtrainL,k);
    •     if (CtestL~=classifyresult)
    •         error=error+1;
    •     end
    •     flag(j) = 1;
    • end
    •   error=error/train_length;
    •   fs = sum(inmodel);
    • end
      + z+ i! O1 D1 b) T9 H9 I, h
    / |; G& S7 s% X9 E
    5 D1 V* |6 L- [
    KNN1.m# h7 ~1 _0 g8 N0 }/ x

    ; A: O8 s0 C& m8 W# P4 F, o# I
    • function relustLabel = KNN1(inx,data,labels,k)
    • %%
    • %   inx 为 输入测试数据,data为样本数据,labels为样本标签 k值自定1~3
    • %%
    • [datarow , datacol] = size(data);
    • diffMat = repmat(inx,[datarow,1]) - data ;
    • distanceMat = sqrt(sum(diffMat.^2,2));
    • [B , IX] = sort(distanceMat,'ascend');
    • len = min(k,length(B));
    • relustLabel = mode(labels(IX(1:len)));
    • end
        @8 {0 t$ |% D8 s
    # N( X9 ^9 X( x3 `& o. S

    7 F$ P1 L. [/ ]" ~5 _快速KNN# n3 J/ ~0 a0 |  x$ e1 N
    ) F  L% j2 v1 W& E
    preKNN.m
    6 N+ ?7 [8 \! X! h+ J7 W7 R. d+ [6 f5 f9 x0 s
    • function [knnIndex] = preKNN(x,train_F)
    •     inmodel = x > 0;
    •     train_f=train_F(:,inmodel);
    •     train_length = size(train_F,1);
    •     flag = logical(ones(train_length,1));
    •     knnIndex = cell(train_length,1);
    •     for j=1:train_length
    •         flag(j) = 0;
    •         CtrainF = train_f(flag,:);
    •         CtestF = train_f(~flag,:);
    •         [datarow , ~] = size(CtrainF);
    •         diffMat = repmat(CtestF,[datarow,1]) - CtrainF ;
    •         diffMat = diffMat.^2;
    •         knnIndex{j,1} = diffMat;
    •         flag(j) = 1;
    •     end
    • end4 O. {1 H# L; C0 U) `. r4 U
    / b6 Q( L5 b, W

    # S0 r: E' M' v2 q, |) E4 {9 yFSKNN2.m  b, U- u3 J) |* t' z2 M: J

    " y# }6 Y2 c1 O( g5 D
    • function [error,fs] = FSKNN2(x,train_F,train_L)
    • global choice
    • inmodel = x>choice;%%%%%设定恰当的阈值选择特征
    • global knnIndex
    • k=1;
    • train_length = size(train_F,1);
    • flag = logical(ones(train_length,1));
    • error=0;
    • for j=1:train_length
    •     flag(j) = 0;
    •     CtrainL = train_L(flag);
    •     CtestL = train_L(~flag);
    •     classifyresult= KNN2(CtrainL,k,knnIndex{j}(:,inmodel));
    •     if(CtestL~=classifyresult)
    •         error=error+1;
    •     end
    •     flag(j) = 1;
    • end
    •   error=error/train_length;
    •   fs = sum(inmodel);
    • end7 r! Z% z3 U# ]( B; }
    " l% v/ @, R4 W2 ?1 k3 U% z
    6 o2 ]( J- A2 f' ]9 a
    KNN2.m5 F! f8 ]  K8 B
    " V" d2 L% R) E: i( N
    • function relustLabel = KNN2(labels,k,diffMat)
    • distanceMat = sqrt(sum(diffMat,2));
    • [B , IX] = sort(distanceMat,'ascend');
    • len = min(k,length(B));
    • relustLabel = mode(labels(IX(1:len)));
    • end' C: M2 y2 ]% k7 g* c' E# X
    " j! a% W& }, a* h6 |5 I
    / {0 U$ A# `* h0 B( b( K
    结果9 ^7 I) o  z# [7 ^! i8 k

    ( T4 o& Q  f% Z% P5 j" _9 l  c; j 3 m* _( d6 x$ ~: l% ?/ K6 V

    6 Y2 U) c/ u" v- n可以看到FSKNN2+preKNN的时间比FSKNN1要少很多。7 U. t. n; P" p% b# u% e3 V

    该用户从未签到

    2#
    发表于 2021-7-12 15:08 | 只看该作者
    基于留一法的快速KNN代码

    该用户从未签到

    3#
    发表于 2021-7-12 15:10 | 只看该作者
    基于留一法的快速KNN代码

    该用户从未签到

    4#
    发表于 2021-7-12 15:10 | 只看该作者
    基于留一法的快速KNN代码
    您需要登录后才可以回帖 登录 | 注册

    本版积分规则

    关闭

    推荐内容上一条 /1 下一条

    EDA365公众号

    关于我们|手机版|EDA365电子论坛网 ( 粤ICP备18020198号-1 )

    GMT+8, 2025-10-29 04:19 , Processed in 0.156250 second(s), 26 queries , Gzip On.

    深圳市墨知创新科技有限公司

    地址:深圳市南山区科技生态园2栋A座805 电话:19926409050

    快速回复 返回顶部 返回列表