基于弱分类器调整的多分类 Adaboost 算法

BillScot2

摘 要：Adaboost.M1 算法要求每个弱分类器的正确率大于 1/2，但在多分类问题中寻找这样的弱分类器较为困难。
9 M" R9 X, _  q3 P3 P有学者提出了多类指数损失函数的逐步添加模型(SAMME)，把弱分类器的正确率要求降低到大于 1/k (k 为类别
数)，降低了寻找弱分类器的难度。由于 SAMME 算法无法保证弱分类器的有效性，从而并不能保证最终强分类器
( @3 T  [8 Y, V! {  x1 ]正确率的提升。为此，该文通过图示法及数学方法分析了多分类 Adaboost 算法的原理，进而提出一种新的既可以
' r& u0 Y6 {) P# u! \* p降低弱分类器的要求，又可以确保弱分类器有效性的多分类方法。在 UCI 数据集上的对比实验表明，该文提出的
算法的结果要好于 SAMME 算法，并达到了不弱于 Adaboost.M1 算法的效果。
关键词：多类分类器；多类指数损失函数的逐步添加模型；Adaboost.M1
% V9 P3 u. L$ C1 I" W4 H) }; j1 引言
* R# J5 |2 H( G! C8 k$ r! mAdaboost算法的思想起源于VALIANT提出的
PAC(Probably Approximately Correct)学习模型[1]。
3 E" m8 H# l- l' n$ g  t5 U( e  tSCHAPIRE 提出了 Boosting[2]算法，Boosting[3 5]
6 d# Z' c2 Z/ O7 M算法是一种通过结合多个弱分类器提高最终分类准确
4 u% M, N' ^  z& l" v率的方法。基于 Boosting 算法，1995 年，FREUND
8 k3 N# K! T5 y* A提出的 Boost-by-majority 算法[3]，在某种意义上说
! ~; A) z1 F, O9 e是最佳的 Boosting 算法，而 1997 年 FREUND 和
  T  U% ]5 T+ a" A9 m- F- q  `3 cSCHAPIRE 提出的 Adaboost 算法[6]是更面向于实
际应用的方法。Boosting 方法一般只适用于二分类
问题，在实际应用中，大多数的应用场景会多于两
( W2 A& W2 ]' E4 B

6 j. E# M/ A: Q, |* j+ G3 B

附件下载：

游客，如果您要查看本帖隐藏内容请回复

, ?2 K2 S) G( |1 x7 M0 m
* H  |  ]5 G& l( B. V  S. ?
) U, V8 I2 l- w! B

vava

来看看