机器学习基石习题解答（续）如何深入理解？

本文共计2478个文字，预计阅读时间需要10分钟。

这里简要改写原文内容，不超过100字：

这里写的是习题1+中的18%，19%，20%题的解答。Packet方法，我认为它所指的贪婪算法是不管权重的更新是否进行，都会对train数据进行修正，因为这里没有区分是否可以进行更新。

这里写的是 习题1 中的 18 ， 19， 20 题的解答。

Packet 方法，我这里是这样认为的，它所指的贪心算法是不管权重更新是否会对train data有改进都进行修正，因为这里面没有区分是否可以线性分割，如果线性可分那么每次的更新都注定是要使train data的分割效果得到提升，但是如果不是线性可分的，那么并不是每次的权重修正都可以使效果得到提升。 这时候的贪心算法是指不考虑每次权重的修正是否可以使优化效果得到提升，有错误的分割则进行一次权重修正。这种情况下我们不能保证一定会得到完美的分割，算法是否可以达到稳定而终止也是不确定的，该情况下则设置权重的最多更新次数。同时，将所有更新权重后得到的权重之中获得最优的权重。

根据上一个博客的实验，发现不管是不是线性可分的数据集，在权重更新的时候都不能保证一定会使数据分割的效果得到提升，也就是说每次的权重修正并不一定会使训练误差减小，基本可以说训练误差会随着权重修正而上下起伏的，但是线性可分的数据最终会得到完全的正确分割，线性不可分的数据最终也无法得到完全正确的分割，所以这时候Packet 方法上场了，也就是说对于不可以线性分割的数据我们如果还是用完全分割作为终止条件那么算法将永远不会停止，所以我们在Packet算法中以权重UPDATE的次数作为终止条件，又因为不论是线性可分还是不可分的数据集权重的优化效果都是上下起伏的，所以在Packet方法中我们只选择权重更新历史记录中最优的结果作为实验的最终答案。