《机器学习》课件 第4章　采样与非参数贝叶斯方法.pdf

单个随机变量采样

通过逆累积分布函数采样

逆累积分布函数

概率密度函数的累积分布函数

（分位数函数）−1

的逆函数。=CDF(

−1

采样~0,1)之后，通过CDF(映射到在=

0处增长较快，

可以看出映射在=

0

处的概率较大。

拒绝采样

拒绝采样从一个已知的可以采样的概率密度函数出发，

去解决另一个困难的概率密度函数的采样

拒绝采样的原理可适应的拒绝采样构造方法

重要性采样

重要性采样

近似计算目标期望

拒绝采样是通过拒绝样本的方法来达到修改样本的分布方式，而

重要性采样不会拒绝样本，而只是改变样本权值。

TheEnd

序列随机变量采样与马尔可夫链

蒙特卡罗

主讲人：李侃

MH算法

生成均匀分从转移概率

布样本中以提议分

~0,1)布采样

吉布斯采样

采样步骤吉布斯采样的接受率

看成MH算法，吉布斯采样的接

收率是1

切片采样

∗

作为一个新的x，重复第一步

得到值，均匀分给定以得到一个区域

从样本空间任意选

布采样=

{:

(

，均

取一个样本∗

~0,

)匀分布采样~。

切片采样的工作过程

TheEnd

非参数贝叶斯与狄利克雷过程

非参数贝叶斯

参数化的贝叶斯方法

非参数的贝叶斯方法

不假设样本总体的分布，模型并不固定，随着样本的变化而进化

狄利克雷过程

狄利克雷过程样本空间就是无限维非参数分布的集合。其

（DirichletProcess，DP）样本可以看作一个n维多项分布的参数。

DP一般被其均值分布

和集中参数所定性.

0

离散分布划分(,…,)上的测度满足以

1

下性质：

性质

TheEnd

狄利克雷过程的构造方式

（1）波利亚坛子过程

设随机变量Xi1，表示第i次取出的球是黑色，否则Xi