单特征逻辑回归问题的解决方案

时间:2020-10-18 20:56:46

标签: python machine-learning math linear-algebra logistic-regression

因此,我很难在概念上思考如何对一个简单的逻辑回归问题进行数学表示。我了解概念上正在发生的事情并已实施,但是我正在回答一个问题,要求最终解决。

说我有一个简单的两列数据集,表示每年获得晋升的可能性,因此这种可能性会增加人的经验积累。其中X代表年份,Y代表接受晋升的二进制指标:

X | Y
1   0 
2   1
3   0
4   1
5   1
6   1

我实施了逻辑回归,以找出每年获得升职的工作概率,并获得一组看起来正确的概率输出。 我得到了一个输出权重向量,它是两个项目,这很有意义,因为只有两个输入。年数X,当我固定截距以处理偏差时,它会增加一列1s。因此,一年可以承受一次重量,偏见可以承受一次。

所以我对此有两个问题。 由于很容易获得形式为y = mx + b的方程作为诸如线性回归或PLA之类的决策边界,因此我如何用逻辑回归模型的权重类似地表示数学解呢?假设我有一个权重向量[0.9,-0.34],如何将其转换为方程式?

第二,我正在执行梯度下降,该下降返回一个梯度,然后将其乘以我的学习率。我是否应该在每个时期更新权重?由于这种情况下我的渐变色永远不会返回零,因此我一直在更新。

谢谢您的时间。

1 个答案:

答案 0 :(得分:0)

逻辑回归正尝试通过以下关系将输入值(x =年)映射到输出值(y =可能性): theta和b是您要查找的权重。

然后将决策边界定义为L(x)>p or <p。其中L(x)是上述方程式的正确项。那就是你想要的关系。

通过在分子中传递指数并在两边取对数,最终可以将其转换为更线性的形式,如线性回归。