十二、监督学习方法总结

表: 10种监督学习方法特点的概括总结¶

方法	适用问题	模型特点	模型类型	学习策略	学习的损失函数	学习算法
感知机	二类分类	分离超平面	判别模型	极小化误分点到超平面距离	误分点到超平面距离	随机梯度下降
k近邻法	多类分类，回归	特征空间，样本点	判别模型	—	—	—
朴素贝叶斯法	多类分类	特征与类别的联合概率概率分布，条件独立假设	生成模型	极大似然估计，最大后验概率估计	对数似然损失	概率计算公式，EM算法
决策树	多类分类，回归	分类树，回归树	判别模型	正则化的极大似然估计	对数似然损失	特征选择，生成，剪枝
逻辑斯谛回归与最大熵模型	多类分类	特征条件下类别的条件概率分布，对数线形模型	判别模型	极大似然估计，正则化的极大似然估计	逻辑斯谛损失	改进的迭代尺度算法，梯度下降，拟牛顿法
支持向量机	二类分类，核技巧	分离超平面	判别模型	极小化正则化合页损失，软间隔最大化	合页损失	序列最小优化算法(SMO)
提升方法	二类分类	弱分类器线性组合	判别模型	极小化加权损失	指数损失	前向分步算法
EM算法	参数估计	隐变量概率分布	生成模型	极大似然估计，极大似然估计	对数似然损失	概率计算公式，EM算法
隐马尔可夫模型	标注	观测序列与状态的联合概率分布	生成模型	极大似然估计，极大似然估计	对数似然损失	概率计算公式，维特比算法
条件随机场	标注	状态序列的条件概率分布，对数线性模型	判别模型	极大似然估计	对数似然损失	梯度下降，拟牛顿法

方法详细说明¶

感知机¶

适用于二类分类问题，通过分离超平面进行分类，使用判别模型，学习策略为极小化误分点到超平面的距离，损失函数为误分点到超平面的距离，学习算法为随机梯度下降。

k近邻法¶

适用于多类分类和回归问题，基于特征空间中的样本点，使用判别模型，没有特定的学习策略和损失函数，学习算法未指定。

朴素贝叶斯法¶

适用于多类分类问题，基于特征与类别的联合概率分布和条件独立假设，使用生成模型，学习策略为极大似然估计和最大后验概率估计，损失函数为对数似然损失，学习算法为概率计算公式和EM算法。

决策树¶

适用于多类分类和回归问题，通过分类树和回归树进行分类，使用判别模型，学习策略为正则化的极大似然估计，损失函数为对数似然损失，学习算法包括特征选择、生成和剪枝。

逻辑斯谛回归与最大熵模型¶

适用于多类分类问题，基于特征条件下类别的条件概率分布和对数线形模型，使用判别模型，学习策略为极大似然估计和正则化的极大似然估计，损失函数为逻辑斯谛损失，学习算法为改进的迭代尺度算法、梯度下降和拟牛顿法。

支持向量机¶

适用于二类分类和核技巧问题，通过分离超平面进行分类，使用判别模型，学习策略为极小化正则化合页损失和软间隔最大化，损失函数为合页损失，学习算法为序列最小优化算法(SMO)。

提升方法¶

适用于二类分类问题，通过弱分类器的线性组合进行分类，使用判别模型，学习策略为极小化加权损失，损失函数为指数损失，学习算法为前向分步算法。

EM算法¶

适用于参数估计问题，基于隐变量的概率分布，使用生成模型，学习策略为极大似然估计，损失函数为对数似然损失，学习算法为概率计算公式和EM算法。

隐马尔可夫模型¶

适用于标注问题，基于观测序列与状态的联合概率分布，使用生成模型，学习策略为极大似然估计，损失函数为对数似然损失，学习算法为概率计算公式和维特比算法。

条件随机场¶

适用于标注问题，基于状态序列的条件概率分布和对数线性模型，使用判别模型，学习策略为极大似然估计，损失函数为对数似然损失，学习算法为梯度下降和拟牛顿法。

注：本文使用Qwen转换自本人的统计学习方法笔记。