Logistic回归(算法+公式推导+代码实现)

算法介绍

模型假设

​ 逻辑回归是一个二元分类概率模型，其模型假设为 ，

其中 为 激活函数

$$g(f(x;w))= \begin{equation} \left\{ \begin{aligned} 1~~~~~~if~~f(x;w)>0\\ 0~~~~~~if~~f(x;w)<0 \end{aligned} \right. \end{equation}$$

我们用交叉熵损失来定义学习准则

散度与交叉熵: 散度是用概率分布 来近似 时所造成的信息损失量。

​ 我们需要最小化模型预测的分布与真实分布之间的差异，即需要最小化 散度，又 为 的熵(定值)，所以我们只需要最小化等式后半部分即交叉熵：。

优化

公式推导

代码实现(基于)