我最近阅读了有关信息增益和熵的this question。我认为我对主要想法有一个半体面的把握，但我很好奇如何处理如下情况：
如果我们有一包7个硬币，其中1个比其他硬币重，其中1个比其他硬币轻，我们知道较重的硬币+较轻的硬币与2个普通硬币相同，什么是选择两个随机硬币并将它们相互称重相关的信息增益？
我们的目标是确定两个奇数硬币。我一直在考虑这个问题一段时间，并且不能在决策树中正确地构建它，或者任何其他方式。有什么帮助吗？
编辑：我理解熵的公式和信息增益的公式。我不明白的是如何以决策树格式构建此问题。
编辑2：这是我到目前为止所处的位置：假设我们选择了两个硬币并且它们最终都在称重，我们可以假设我们选择H + L的新机会达到1/5 * 1/4 = 1/20，这很容易。
假设我们挑了两个硬币而左边更重。有三种不同的情况可以发生：
HM：这使我们有1/2获得H的机会和1/4的机会选择L：1/8 HL：获得高位的概率为1/2，选择低位的几率为1/1 ML：获得低位的几率为1/4，选择高位的几率为1/8
然而，我们选择HM的几率为1/7 * 5/6，即5/42
我们选择HL的几率是1/7 * 1/6，即1/42
我们挑选ML的几率是1/7 * 5/6，即5/42
如果我们用这些赔率来衡量整体概率，我们会给出：
（1/8）*（5/42）+（1/1）*（1/42）+（1/8）*（5/42）= 3/56。
选项B也是如此。
选项A = 3/56
选项B = 3/56
选项C = 1/20
然而，选项C应该加权更重，因为有5/7 * 4/6的机会选择两种媒介。所以我从这里开始假设我的重量。
我很确定我在路上的某个地方搞砸了，但我想我走的是正确的道路！
编辑3：更多东西。
假设比例不平衡，赔率为（10/11），其中只有一枚硬币为H或L硬币，（1/11）两枚硬币均为H / L
因此我们可以得出结论：
（10/11）*（1/2 * 1/5）和
（1/11）*（1/2）
编辑4：继续说它总共增加了4/42。
答案 0 :(得分：15)
您可以根据信息增益考虑构建决策树，但这不是您发布的问题，这只是计算信息的增益（可能是预期的信息获得;-)来自一个“信息提取移动“ - 挑选两个随机硬币并相互称重。要构建决策树，您需要知道从初始状态可以负担得起的移动（可能一般规则是：您可以选择两组N个硬币，N <4，并将它们相互称重 - 这就是只有一种移动，参数超过N），每个的预期信息增益，并为您提供决策树的第一站（具有最高预期信息增益的移动）;然后，您对该移动的每个可能结果执行相同的处理，依此类推。
那么你需要帮助来计算N的三个允许值中的每一个的预期信息增益，仅用于N == 1，或者你可以尝试自己做吗？如果获得第三种可能性，那么这将最大化您从练习中获得的学习量 - 毕竟这是作业的关键目的。那你为什么不试试，编辑你的答案，向你展示你是如何进行的，你得到了什么，我们很乐意确认你做对了，或者试着帮助纠正你的程序可能揭示的任何误解！
编辑：尝试提供一些提示，而不是在盘子上为OP提供现成的解决方案;-)。调用硬币H（重），L（光）和M（中等 - 五个）。当你随机挑选2个硬币时，你可以得到（7 * 6 == 42种可能性，包括顺序）HL，LH（每个一个），HM，MH，LM，ML（每个5个），MM（5 * 4 == 20个案） - 2加20加20是42，检查。在加权中你得到3个可能的结果，称它们为A（左重），B（右重），C（相等重量）。 HL，HM和ML，11例，将为A; LH，MH和LM，11例，将为B; MM，20例，将是C.所以A和B不是真正可区分的（哪一个是左，哪一个是正确的，基本上是任意的！），所以我们有22个案例，权重会有所不同，20个他们在哪里将是平等的 - 这是一个好的迹象，表明给出每个结果的案例都是非常接近的数字！
现在考虑对于每个实验结果，有多少（等概率）可能性先验存在，有多少后验。你的任务是挑选H和L选择。如果你在实验前随机做了，那么你有什么机会？随机挑选H的1比7;考虑到选择L的成绩为1/6，而42-中的总成绩为1。
实验结束后，你好吗？如果是C，你可以排除这两个硬币，你就会留下一个神秘的H，一个神秘的L和三个女士 - 所以如果你随机选择你有五分之一来挑H，如果成功1 4选L，总体比例为20 - 你的成功几率略高一倍。看到A（和等效的B）案例的“下一个”是比较棘手的，因为它们是几个，如上所列（并且，不太明显，不是等概率......），但显然你不会选择已知的 - 更轻的H（和反之亦然）的硬币，如果您为H（或L）选择5个未加权的硬币中的一个，则只有一个称重的硬币是另一个角色的候选者（分别为L或H）。为了简单起见，忽略了“非等概率”问题（这真的很棘手）你能算出猜测的机会（用随机选择与实验结果不一致）会是......？