基于弱分类器调整的多分类 Adaboost 算法

BillScot2

摘 要：Adaboost.M1 算法要求每个弱分类器的正确率大于 1/2，但在多分类问题中寻找这样的弱分类器较为困难。
( {" R. W5 p- q( V6 ]: \有学者提出了多类指数损失函数的逐步添加模型(SAMME)，把弱分类器的正确率要求降低到大于 1/k (k 为类别
数)，降低了寻找弱分类器的难度。由于 SAMME 算法无法保证弱分类器的有效性，从而并不能保证最终强分类器
) c% h7 |* v% V) {+ Z+ N正确率的提升。为此，该文通过图示法及数学方法分析了多分类 Adaboost 算法的原理，进而提出一种新的既可以
9 p6 h* g, l6 r; `0 b- w5 S降低弱分类器的要求，又可以确保弱分类器有效性的多分类方法。在 UCI 数据集上的对比实验表明，该文提出的
算法的结果要好于 SAMME 算法，并达到了不弱于 Adaboost.M1 算法的效果。
+ N, }! S* L5 t2 |$ R& C关键词：多类分类器；多类指数损失函数的逐步添加模型；Adaboost.M1
1 引言
Adaboost算法的思想起源于VALIANT提出的
2 c' a0 x; ^: R$ e: fPAC(Probably Approximately Correct)学习模型[1]。
SCHAPIRE 提出了 Boosting[2]算法，Boosting[3 5]
6 Q4 ?* R. R* u; u算法是一种通过结合多个弱分类器提高最终分类准确
率的方法。基于 Boosting 算法，1995 年，FREUND
提出的 Boost-by-majority 算法[3]，在某种意义上说
是最佳的 Boosting 算法，而 1997 年 FREUND 和
8 A: Y" }; v4 m% t1 p) Z& T# [$ nSCHAPIRE 提出的 Adaboost 算法[6]是更面向于实
8 ^# o  r* d% d+ G9 ]- k际应用的方法。Boosting 方法一般只适用于二分类
  w/ |2 w! `# ?1 X问题，在实际应用中，大多数的应用场景会多于两

" n- Z; F% ~( n) n
% U7 V4 J) K/ I3 P: A

; P: l/ x, o, E# y/ m  Y6 \+ y附件下载：

游客，如果您要查看本帖隐藏内容请回复

& r  ?1 a5 Q& d8 l& u! @
( p: s- M: o; S, a

/ \! i/ _: W5 W( ?2 u; ^
6 V& i. g" r6 L! h* n  v' D0 `

vava

来看看