机器学习 课件 3.3吉布斯采样方法.pdf

吉布斯采样方法

吉布斯采样（GibbsSampling）

Gibbs

Gibbs

1.X0{x10,x20,...,xn0}

2.Xi{x1i,x2i,...,xni}x1i+1x1i+1~p(x1|Xi-1)

3.x2x2~p(x2|x1,x3,...xn)

i+1i+1i+1ii

4.xni+1xni+1~p(xn|x1i+1,x2i+1,...x(n-1)i+1)

5.2~4X2~4X

LDA的参数学习

LDA的参数学习

Inference

P(θ,Z,φ,W;ɑ,β)-P(Z,W;ɑ,β)-P(Z;ɑ,β)-P(Z(m,n);Z-(m,n)ɑ,β)

UsingGibbsSampler

LDA的参数学习

Inference

LDA的参数学习

参数推断（Inference）

所有的相互之间是独立的，而且对ϕ也是独立的，因此，我们可以单独地处

理每个和每个ϕ。现在，我们仅仅聚焦在只有的部分：

LDA的参数学习

参数推断（Inference）

我们进一步聚焦在只有一个的部分：

实际上，它是模型在第j个文档的隐藏部分。现在，我们把每个概率分布的

精确表达式写出来，就得到了下面的表达式：

LDA的参数学习

参数推断（Inference）

假设是在第j个文档中被赋予第i个主题的第r个词总个数；

因此，是三维的。如果这三维里面的任何一维没有被指定一个特定值，

用()的形式表示。例如表示第j个文档中被赋予第i个主题的所

有词的数量。因此，上述表达式的最右边可以被写为：

LDA的参数学习

参数推断（Inference）

因此，对积分可以变为：

j

清楚地，在这个积分里面的等式与狄利克雷分布的形式一样，而

LDA的参数学习

参数推断（Inference）

因此，

LDA的参数学习

参数推断（Inference）

现在，我们对部分进行处理。

实际上，部分的处理与部分是非常类似的，

因此我们将推导结果直接列出

LDA的参数学习

参数推断（Inference）

因此，在将ϕ和都通过积分消除之后得到

的最终表达式，如下：

这里，吉布斯采样的目标是要去近似分布P(Z|W;,)。因为P(W;,

)对任何的Z都是不变的，所以吉布斯采样的等式可以等价于P(Z,W;

,)。关键在于要推导出下列条件概率：

LDA的参数学习

参数推断（Inference）

这里，Z(m,n)表示在第m个文档中的第n个词对应的隐变量。进一步，我们

假设这个词是词表里面的第v个词。Z-(m,n)表示除了Z(m,n)之外的所有Z。注

意：吉布斯采样仅仅需要采样Z(m,n)的一个值，而不需要精确解

本质上，只需要概率之间的比率就可以达到求取Z(m,n)的目标，因此上述公

式可以简化为：

LDA的参数学习

参数推断（Inference）

LDA的参数学习

参数推断（Inference）

最终，假设与具有同样的意

义，除了Z(m,n)被排除在外。上述的公式能通