我再拓展一下，扯点别的……以下抄写自张潼大佬04年的老文 Statistical behavior and consistency of classification methods based on convex risk minimization。这篇文章研究了在二类问题中对 0-1 损失做不同的 convex relaxation 后所得到的分类器的某些异同。这些分类器包括了 SVM 和 logistic regression。
约定 为输入， 为输出类别，为待学习的预测函数， 的符号（正负）表示 的预测类别。另外，用大写字母表示相应概念（输入或输出）的随机变量。我们用0-1损失函数 来衡量 的分类质量：
大家都知道，0-1损失很难被直接最小化，所以我们需要一些别的好做优化的损失函数。下图是 0-1 损失各种常用的 convex relaxation：
它们分别是（ ，略去常数因子）
记 ，则我们改为寻找 使下面这个量最小化（相当于relax后的 ）：
不太严格地说，论文至少证明了这么几个事情：
以上算是“同”的部分。论文在这些一般结论下，通过分析 ，也分别讨论了各个分类器的表现。具体到 SVM 和 logistic regression，它们 “异”的部分其实跟大家对这两个分类器的印象差不多，不过在论文中这些结论是以比较严格的形式给出的。大（jì）体（xù）上（chāo），
（小后续：AdaBoost 之父 Robert E. Schapire 针对包含这篇论文的三篇论文写了几页 discussion，说你们这样看 AdaBoost 是不太对的，AdaBoost 的优点其实在这里这里）
