可微分的最大值和最小值

Question

我需要近似最大值和最小值。 由于max和min不可微分，我正在寻找一种可微分的近似值。

有人知道吗？例如，我需要最小化以下内容：

[max（a - max_ {x \ in c}（x））^ 2 +（a - max_ {x \ in d}（x））^ 2]

Answer 1

Softmax函数是从向量到标量的可微映射，并且近似于最大函数。

Answer 2

Smooth maximum（和最低）是一个候选人：

sum(x * exp(alpha * x)) / sum(exp(alpha * x))

其中alpha - ＆gt; + Inf收敛到最大值，而alpha - > - 尽量减少。

另一个是LogSumExp：

log(sum(exp(x)))

这是最大值。我想要求最大的否定x s应该给出min

文章Multiple Instance Learning: Algorithms and Applications中提到了其他几个，例如广义均值，嘈杂或“ISR”模型（因为它在“综合分割和识别”论文中有描述）。