基于弱分类器调整的多分类 Adaboost 算法

BillScot2

摘 要：Adaboost.M1 算法要求每个弱分类器的正确率大于 1/2，但在多分类问题中寻找这样的弱分类器较为困难。
有学者提出了多类指数损失函数的逐步添加模型(SAMME)，把弱分类器的正确率要求降低到大于 1/k (k 为类别
; N3 R  m/ ]0 e; o1 T9 n数)，降低了寻找弱分类器的难度。由于 SAMME 算法无法保证弱分类器的有效性，从而并不能保证最终强分类器
0 ]+ H. s; v& W; z4 P/ [正确率的提升。为此，该文通过图示法及数学方法分析了多分类 Adaboost 算法的原理，进而提出一种新的既可以
降低弱分类器的要求，又可以确保弱分类器有效性的多分类方法。在 UCI 数据集上的对比实验表明，该文提出的
; k, m& g" J: P6 w  q算法的结果要好于 SAMME 算法，并达到了不弱于 Adaboost.M1 算法的效果。
关键词：多类分类器；多类指数损失函数的逐步添加模型；Adaboost.M1
# C) I0 P: a' u( _$ R1 引言
Adaboost算法的思想起源于VALIANT提出的
PAC(Probably Approximately Correct)学习模型[1]。
% y$ N! o* W7 r+ |# aSCHAPIRE 提出了 Boosting[2]算法，Boosting[3 5]
算法是一种通过结合多个弱分类器提高最终分类准确
率的方法。基于 Boosting 算法，1995 年，FREUND
提出的 Boost-by-majority 算法[3]，在某种意义上说
是最佳的 Boosting 算法，而 1997 年 FREUND 和
# l2 u- h6 P. B6 B$ O$ m) `% uSCHAPIRE 提出的 Adaboost 算法[6]是更面向于实
1 A& m- x- J# @' r( u  ]) v际应用的方法。Boosting 方法一般只适用于二分类
问题，在实际应用中，大多数的应用场景会多于两




8 B& S9 p- D% r, v. w( n+ m附件下载：

游客，如果您要查看本帖隐藏内容请回复

' N8 @- A  H: p. u4 @4 V

5 G; h( _% \0 M9 w

vava

来看看