A. 模型推导

现有样本集合${X,y}$，$X$为特征${x_1,x_2,…,x_n}$，$y$为实数，线性回归中，$X$与$y$之间存在映射关系$y=h_\theta(x)$，其中，

\[h_{\theta}(x)=\sum \theta_i x_i\]

在逻辑回归中，$y$属于集合${0,1}$，$1$表示属于某类别，而$0$表示不属于该类别。

期望得到模型$M$，使得$M(x)\in [0,1]$，这样能够较为方便地衡量$x$属于该类别的概率。

$sigmoid$函数可以满足这个需求：

\[sigmoid(x)=\cfrac{1}{1+e^{-x}}\]

逻辑回归的$h_\theta(x)$可以写成：

\[h_ \theta (x)=\cfrac{1}{1+e^ {- \theta x}}\]

对正样本:

\[P({y=1 \mid x, \theta})=h_ \theta(x)\]

对负样本:

\[P({y=0 \mid x, \theta})=1-h_ \theta(x)\]

将二者合并，有:

\[P({y \mid \theta})={h_ \theta(x)}^y{1-h_ \theta(x)}^{1-y}\]

为方便求解，采用最大化似然函数求解参数$\theta$，对$m$个样本，似然函数$L(\theta)$为：

\[L(\theta)=\prod P(y \mid \theta)=\prod {h_ \theta(x)}^y{1-h_ \theta(x)}^{1-y}\]

对似然函数取对数并取负，可得损失函数$J(\theta)$：

\[J(\theta)=-lnL(\theta)=-\sum {yh_ \theta(x)}+{(1-y)(1-h_ \theta(x))}\]

将$J(\theta)$对$\theta$求导，可得

\[\cfrac{\partial{}}{\partial{\theta}}J(\theta)=x^T(h_\theta (x)-y)\]

使用梯度下降法迭代求解：

\[\theta = \theta - \alpha x^T(h_\theta(x)-y)\]

其中$\alpha$为学习率。

B. 正则化

为避免过拟合问题，可对模型施加$L1$或$L2$正则化项，$Loss$的定义：

$Loss_{L1}=\beta \mid\mid\theta\mid\mid_1$

$Loss_{L2}=\cfrac{1}{2}\beta \mid\mid\theta\mid\mid_2^2$

其中，$\beta$为正则化超参数。

训练时，将$Loss_{L1/2}$与$J(\theta)$相加，并执行梯度下降。

C. 多分类

逻辑回归应用于$n$类多分类时，可以针对每一个类别分别训练$n$个逻辑回归模型${h_{\theta1},h_{\theta2},…h_{\theta n}}$，在模型$h _{\theta i}$中，将属于类别$i$的数据视为正类，其余类别设为负类（1 vs others），预测时对样本$i$，计算所有模型的分数，取分数最大的模型的正样本类别作为该样本$i$的类别。

D. 优缺点

优点

• 形式简单，模型可解释性强（从权重可以看到各个特征的影响）
• 效果较好，尤其是在特征选取适当的情况下，工程上经常作为baseline模型
• 训练速度快，计算量仅与特征量和数据量有关，占用资源小

缺点

• 应对数据不均衡情况的能力不强
• 不能解决非线性的问题，因为LR的决策面是线性的
• 数据特征缺失或特征空间很大时效果不好
• 包含高度线性相关特征时，不适合使用逻辑回归，会影响特征的解释性