在这种情况下，熵意味着什么？

Question

我正在阅读一个图像分割纸，其中使用范例＆＃34;信号分离来解决问题，信号（在这种情况下，图像）由几个信号组成的想法（图像中的物体）以及噪声，任务是分离信号（分割图像）。

算法的输出是矩阵，表示将图像分割为M个分量。 T是图像中的像素总数，是像素j处的源组件（/ signal / object）i的值

在我阅读的论文中，作者希望选择符合某些平滑度和熵标准的的分量m。但我在这种情况下无法理解熵是什么。

熵定义如下：

并且他们说＆＃39; 是与＆＃39;

的直方图的二进制位相关联的概率

目标成分是肿瘤，本文的内容为：＆＃34;肿瘤相关成分，其中几乎是＆＃34;常数值预计具有最低的熵值。＆＃34;

但是低熵在这种情况下意味着什么呢？每个bin代表什么？具有低熵的矢量看起来像什么？

link to paper

Answer 1

他们在谈论Shannon's熵。查看熵的一种方式是将其与关于与给定概率分布相关联的事件的不确定性量相关联。熵可以作为“无序”的衡量标准。随着无序程度的提高，熵增加，事件变得不那么可预测。

回到论文中的熵定义：

H（s_m）是随机变量s_m的熵。这里是结果s_m发生的概率。 m是所有可能的结果。使用灰度级直方图计算概率密度p_n，这是总和从1到256的原因。区间表示可能的状态。

那是什么意思？在图像处理中，熵可以用于对纹理进行分类，某些纹理可能具有某种熵，因为某些图案以近似某些方式重复自身。在本文的背景下，低熵（H（s_m）意味着低无序，组分内的低方差m。具有低熵的组分比具有高熵的组分更均匀，它们与平滑性标准结合使用以进行分类组件。

另一种看待熵的方法是将其视为信息内容的衡量标准。具有相对“低”熵的向量是具有相对低信息含量的向量。它可能是[0 1 0 1 1 1 0]。具有相对“高”熵的向量是具有相对高信息含量的向量。它可能是[0 242 124 222 149 13]。

这是一个引人入胜且复杂的主题，实际上无法在一篇文章中进行总结。

Answer 2

Shanon（1948）引入了熵，熵值越高=更详细的信息。 熵是图像信息内容的度量，其被解释为信息源的平均不确定性。 在图像中，熵被定义为各个像素可以适应的强度等级的对应状态。 它用于定量分析和评估图像细节，使用熵值，因为它提供了更好的图像细节比较。

Answer 3

也许，考虑图像中的熵和信息内容的另一种方法是考虑可以压缩多少图像。与压缩方案无关（行程编码是众多编码中的一种），您可以想象一个信息量少（熵低）的简单图像可以用较少的数据字节进行编码，而完全随机的图像（如白噪声）却不能被大量压缩，如果有的话。