机器学习 课件 7.2逻辑斯蒂回归模型.pdf

逻辑斯蒂回归模型

逻辑斯蒂回归模型

型对数线性模型利用特征函数以及参数的方式对势函数进行定义

1

｜=Π(|）

(|)=exp(()

势能函数：

f(x)xw

是定义在上的特征向量，是权重向量

QQQQ

联合概率p(x)的对数形式：T

logp(x|w)wf(x)logZ(w)

QQQ

QC

逻辑斯蒂回归模型（logisticregressionmodel）

对数线性模型

最大熵模型（maximumentropymodel）

逻辑斯蒂回归模型

主要思想：根据现有数据对分类边界线（decisionboundary）建立回归公式，以此分类。

逻辑斯蒂回归模型:在线性回归模型的基础上，使用Sigmoid函数，将线性模型的结

果压缩到[0,1]之间，使其拥有概率意义，它可以将任意输入映射到[0,1]区间内，实现

由值到概率的转换。属于概率性判别式模型线性分类算法

Ø优点：

直接对分类的可能性建模，无需事先假设数据分布，避免了假设分布不准确带来的问题。

由于它是针对分类的可能性进行建模，不仅能预测出类别，还可得到属于该类别的概率。

逻辑斯蒂回归模型也是深度学习中的重要单元

逻辑斯蒂回归模型

逻辑斯蒂函数

Ø假设某事件发生的概率为p，那么此事件不发生的概率为(1-p)，则称p/(1-p)

为此事件发生的几率。取此事件发生几率的对数定义logit(p)：

logit(=log

1−

Ø取logit函数的反函数，称为logistic函数，即

Sigmoid函数：1

(z)z

1e

逻辑斯蒂回归模型

逻辑斯蒂分布

逻辑斯蒂分布的分布函数F(x)

1

设X是连续随机变量，则：=≤=−(

1+

(

逻辑斯蒂分布的密度函数f(x)′

=(=2

1+(