《西瓜书》第3章线性模型中，如何构建长尾词的机器学习模型？

本文共计1654个文字，预计阅读时间需要7分钟。

关于线性模型，实际上我们很早就已经接触过了。记得高中数学必修课中，那个最小二乘法就是线性模型的经典算法之一。

谈及线性模型其实我们很早就已经与它打过交道还记得高中数学必修3课本中那个顽皮的“最小二乘法”吗这就是线性模型的经典算法之一其实我们很早就已经与它打过交道还记得高中数学必修3课本中那个顽皮的“最小二乘法”吗这就是线性模型的经典算法之一根据给定的xy点对求出一条与这些点拟合效果最好的直线yaxb之前我们利用下面的公式便可以计算出拟合直线的系数a,b3.1中给出了具体的计算过程从而对于一个新的x可以预测它所对应的y值。前面我们提到在机器学习的术语中当预测值为连续值时称为“回归问题”离散值时为“分类问题”。本篇先从线性回归任务开始接着讨论分类和多分类问题。

3.1 线性回归

线性回归问题就是试图学到一个线性模型尽可能准确地预测新样本的输出值例如通过历年的人口数据预测2017年人口数量。在这类问题中往往我们会先得到一系列的有标记数据例如2000-->13亿...2016-->15亿这时输入的属性只有一个即年份也有输入多属性的情形假设我们预测一个人的收入这时输入的属性值就不止一个了例如学历年龄性别颜值身高体重-->15k。

有时这些输入的属性值并不能直接被我们的学习模型所用需要进行相应的处理对于连续值的属性一般都可以被学习器所用有时会根据具体的情形作相应的预处理例如归一化等对于离散值的属性可作下面的处理

• 若属性值之间存在“序关系”则可以将其转化为连续值例如身高属性分为“高”“中等”“矮”可转化为数值{1 0.5 0}。

• 若属性值之间不存在“序关系”则通常将其转化为向量的形式例如性别属性分为“男”“女”可转化为二维向量{1001}。