最大似然估计 - 比较两个分布

时间:2017-01-23 16:35:02

标签: machine-learning statistics probability poisson mle

我有一个练习,给我5个数据点:

x1 = 10, x2 = 7, x3 = 1, x4 = 15, x5 = 8独立生成。

对于第一部分,我被告知他们遵循参数theta的泊松分布,并且我被要求找到theta的最大似然估计。

我计算了argmax(theta) of ln(x1,x2,x3,x4,x5 | theta)并得到了

的结果

theta = 41/5 = 8.2

对于第二部分,我被问到同样的事情,但这次我被告知他们遵循了参数θ的指数分布

我做了同样的微积分并得到了

的结果

theta = 5/41 = 0.12

现在我被问到这两个分布中哪一个(泊松或指数)最有可能产生5个点(x1,x2,x3,x4,x5)。

基本上我需要找出这两个分布中哪一个最有可能产生5分,基于(我相信)我为两者计算的那个。

但我似乎无法弄清楚我需要找到的这两种概率的形式。这是MAP概率吗? P(theta | x1,x2,x3,x4,x5)?如果是,我可以使用贝叶斯公式得到

P(x1,x2,x3,x4,x5 |θ)* P(θ)/ P(x1,x2,x3,x4,x5)。但什么是P(theta)和P(x1,x2,x3,x4,x5)?

有什么想法吗?

1 个答案:

答案 0 :(得分:1)

您被问到两种模型中哪一种更有可能,因此您需要知道之前的两种模型。既然你对它们一无所知,而且只有两个,我们假设先验是1/2,那么你有:

P(distr = x | data) = P(data | distr = x) P(distr = x) / P(data)

从而

P(distr = exp | data) > P(distr = poiss | data) <-> 
P(data | distr = exp) > P(data | distr = poiss)

你需要做的就是比较你已经完成的这两个概率(来自MLE)。

P(数据)无关紧要,因为它在两种情况下都是相同的。 P(distr = x)我们假设是相等的,所以也无关紧要。一般来说,人们以各种方式修改P(distr = x)以考虑分布的“复杂性”(这就像AIC和其他事情那样 - 他们假设分布的参数化与其先验概率之间的一些启发式映射)。

相关问题