《机器学习（周志华）》Chapter8 集成学习 课后习题答案

闲时完善-------------------------------------------------------------------------------------------------------------------算法

8.1 假设抛硬币正面朝上的几率为p，反面朝上的几率为1 - p. 令H(n)表明抛n次硬币所获得正面朝上的次数，则最多k次正面朝上的几率为\[p(H(n) \le k) = \sum\limits_{i = 0}^k {\left( {_i^n} \right)} \mathop p\nolimits^i \mathop {(1 - p)}\nolimits^{n - i} \]编程

对δ>0,k=(p-δ)n，有Hoeffding不等式\[p(H(n) \le (p - \delta )n) \le \mathop e\nolimits^{ - 2\mathop \delta \nolimits^2 n} \]试推导出试（8.3）。函数

由题意可知当k=(p-δ)n可得出Hoeffding不等式，同理8.3式对T个基分类器采用简单投票法如有超过半数的基分类器正确，集成分类器分类正确，则将k替换成T/2，n替换成T有：\[\frac{T}{2} = (p - \delta )T\]可解出：性能

\[\delta  = p - \frac{1}{2} = \frac{{2p - 1}}{2}\]
学习

应为p为分类正确几率，因此p=1-ε，可得：\[\delta  = \frac{{1 - 2\varepsilon }}{2}\]代入到Hoeffding不等式便可获得8.3式设计

8.2 对于0/1损失函数来讲，指数损失函数并不是仅有的一致替代函数。考虑式（8.5），试证实：任意损失函数\(\ell ( - f(x)H(x))\)，若对H(x)在区间[-∞, δ](δ>0)上单调递减，则l是0/1损失函数的一致替代函数。blog

当H(x)小于0，由于单调递减，因此当f(x)大于0损失才最小it

当H(x)大于于0，单调递减，因此当f(x)小于0损失才最小下载

8.3 从网上下载或本身编程实现AdaBoost，以不剪枝决策树为基学习器，在西瓜数据集3.0α上训练一个AdaBoost集成，并与图8.4进行比较。im

8.4 GradientBoosting是一种经常使用的Boosting算法，试析其与AdaBoost的异同。

8.5 试编程实现Bagging，以决策树桩为基学习器，在西瓜数据集3.0α上训练一个Bagging集成，并与图8.6进行比较。

8.6 试析Bagging一般为什么难以提高朴素贝叶斯分类器的性能。

8.7 试析随机森林为什么比决策树Bagging集成的训练速度更快。

8.8 MultiBoosting算法将AdaBoost做为Bagging的基学习器，Iterative Bagging算法则是将Bagging做为AdaBoost的基学习器。试比较两者的优缺点。

8.9 试设计一种可视的多样性度量，对习题8.3和习题8.5中获得的集成进行评估，并与k-偏差图比较。

8.10 试设计一种能提高k近邻分离器性能的集成学习算法。