计算Metropolis-Hastings中的可能性:它是如何与贝叶斯分析中的后验相关的?

Kim 05/06/2018. 2 answers, 173 views
bayesian mcmc metropolis-hastings

关于MCMC Metropolis-Hastings算法的基本问题。 我想了解Metropolis-Hastings算法,它与贝叶斯分析有关。 假设我想构造一个MCMC MH algrorithm来评估我的贝叶斯分析中的后验分布。

我正在计算$ \ alpha $的计算步骤:$$ \ alpha = \ frac {P(\ theta ^ * | \ textbf {Y})} {P(\ theta ^ {(i)} | \ textbf {Y})} $$在这里,我(为简单起见)假设我在MH算法中的输出密度是对称的。

$ P(\ theta ^ * | \ textbf {Y})$是给定我们数据的$ \ theta ^ * $的可能性。 所以基本上在MH算法之前,我们需要假设$ \ theta $的分布,对吧? 并且是$ P(\ theta ^ * | \ textbf {Y})$我们的后验分布? 如何计算$ P(\ theta ^ * | \ textbf {Y})$

此外,可以随意提供$ P(\ theta ^ * | \ textbf {Y})$的oraloral )解释,并且它是我们希望计算的后验分布的连接。 我的困惑产生于我们无法知道我们的后验分布这是MH的整个观点。 那么如何计算可能性...

2 Answers


niandra82 05/06/2018.

有很多困惑。 你想评估后验$$ f(\ theta | \ mathbf {y})= \ frac {f(\ mathbf {y} | \ theta)f(\ theta)} {f(\ mathbf {y})} $$我使用$ f()$表示密度,尽可能一般。 你必须决定你的模型的可能性,即$ f(\ mathbf {y} | \ theta)$,以及先于$ \ theta $,即$ f(\ theta)$。 换句话说,你必须为每个人分配一个特定的分配。 然后你知道两者的功能形式。

要使用MH从后面获得样本,您需要选择$ \ theta $的起始值,即我们称之为$ \ theta ^ 0 $。 你现在提出一个价值,从一些对称分布(使事情尽可能简单),用$ \ theta ^ * $表示。 然后,我们计算下面的$$ \ alpha \ \ min(1,\ frac {f(\ mathbf {y} | \ theta ^ *)f(\ theta ^ *)} {f(\ mathbf {y} | \ theta ^ 0)f(\ theta ^ 0)})$$,我们从均匀分布$$ u \ sim \ text {Unif}(0,1)中抽样。 $$现在,如果$ u <\ alpha $您设置$ \ theta ^ 1 = \ theta ^ * $,否则$ \ theta ^ 1 = \ theta ^ 0 $。

然后重复相同的步骤来找到$ \ theta ^ 2,\ theta ^ 3,... $的值,直到收敛。


niandra82 05/11/2018.

你仍然有很多困惑。 我会试着用一个例子来解释。

假设$ \ mathbf {Y} =(y_1,\ dots,y_n)'$,并且您有$$ Y_i = \ beta_0 + \ beta_1x_i + \ epsilon_i $$,$$ \ epsilon \ sim N(0,\ sigma ^ 2)$$即回归模型。 然后你的参数是$ \ theta =(\ beta_0,\ beta_1,\ sigma ^ 2)'$。 给定$ \ theta $的观察结果是独立的,那么可能性为$ f(\ mathbf {Y} | \ theta)= \ prod_ {i = 1} ^ nf(y_i | \ theta)$$其中$ f (y_i | \ theta)$正常,平均值为$ \ beta_0 + \ beta_1x_i $,方差为$ \ sigma ^ 2 $。

正如你所看到的,你通常可以计算$ f(\ mathbf {Y} | \ theta)$,因为它是你的模型,这就是你所假设的。

当然,您还必须为$ \ beta_0 $,$ \ beta_1 $和$ \ sigma ^ 2 $定义优先级,即$ f(\ theta)= f(\ beta_0)f(\ beta_1)f(\ sigma ^ 2)$,例如。

$ f(\ mathbf {Y} | \ theta)$不等于$ f(\ mathbf {Y})$,因为正常的可能性取决于参数$ theta $。

现在,如果你想有后验样本$ f(\ theta | Y)$,你开始定义一些初始值$ \ beta_0 ^ 0 $,$ \ beta_1 ^ 0 $和$ \ sigma ^ {2,0} $ ,您提出了一些新的值,$ \ beta_0 ^ * $,$ \ beta_1 ^ * $和$ \ sigma ^ {2,*} $,并且使用我以前给出的答案可以更新您的参数。 请注意,$ f(\ mathbf {Y} | \ theta ^ *)= \ prod_ {i = 1} ^ nf(y_i | \ theta ^ *)$$其中$ f(y_i | \ theta ^ *)$是正态均值为$ \ beta_0 ^ * + \ beta_1 ^ * x_i $和方差$ \ sigma ^ {2,*} $。

顺便说一句:你不需要计算后验,这个想法是从psoterior $ f(\ theta | \ mathbf {Y})$

Related questions

Hot questions

Language

Popular Tags