如何理解信息理论中的协同作用？

Question

在信息理论中，多变量互信息（MMI）可以是协同（负）或冗余（正）。为了模拟这两种情况，假设三个变量X，Y和Z，它们都取0或1（二进制变量）。我们重复抽样12次。

案例1：

X = [ 0 0 0 0 0 0 1 1 1 1 1 1 ]
Y = [ 0 0 0 0 1 1 0 0 1 1 1 1 ]
Z = [ 0 0 1 1 1 1 0 0 0 0 1 1 ]

在这种情况下，当Y和Z都是0或1时，我们假设XYZ taht之间的机制，X分别取0或1。当Y = 0，Z = 1时，X取0，Y = 1，Z = 0，则X取1。

mmi（X，Y，Z）= -0.1699 在这种情况下，表示三个变量之间的协同效应。

案例2：

X = [ 0 0 0 0 0 0 1 1 1 1 1 1 ]
Y = [ 0 0 0 0 0 1 0 1 1 1 1 1 ]
Z = [ 0 1 1 1 1 1 0 0 0 0 0 1 ]

这种情况下的机制与上述相同。不同的是，有更多的XY样本取不同的值，而两个XY的样本都是0或1。

mmi（X，Y，Z）= 0.0333 ，表示冗余。

到目前为止，我可以说在这两种情况下，协同和冗余显示三个变量之间的相似机制（或关系）吗？但是，我们如何理解冗余，特别是现实数据中的协同作用？