Tensorflow联合支持强化学习吗

Question

我正在尝试在联合学习场景中训练深度强化学习模型。 Tensorflow联合（TFF）是否支持强化学习（RL）作为ML模型？我了解联邦学习主要是针对有监督的学习而讨论的，我很好奇是否也可以在TFF中使用强化学习。

如果是的话，您建议在TFF中使用哪个库？

Answer 1

简短的回答是，TFF可以在联邦核心API级别上支持强化学习；请注意，目前tff.learning中未实现RL（尽管我们欢迎这样的贡献）。从机器学习的角度来看，您可以将TFF视为TF之上的通信层，并且TF支持TFF的任何内容都可以支持。

我将尝试介绍长答案的一些关键功能：

首先，联邦强化学习在很大程度上是一个开放的研究问题。考虑到一般情况下训练RL模型的难度，我认为FL社区看到在联邦环境中训练的特工甚至可以重现经典的RL结果，我会感到非常兴奋，而看到TFF中实现的这种东西我们会感到非常兴奋。 >

第二，TFF通常支持任何基于TensorFlow的迭代学习过程，尤其是基于梯度的学习。可以想象在联合环境中为RL建模的许多可能方法。 TFF支持传递任何类型的更新，因此就联邦RL TFF可以支持的 实例化而言，天空是极限。

最后，我认为也许开始在TFF中实现RL的地方仅仅是在模块化TensorFlow中实现RL。您选择的RL联合模型中必须发生的任何通信都必须在TFF中的TensorFlow之间编写。如果您实施例如您的演员和评论家使用tf.function模块化，在@tff.federated_computation装饰器中实现所需的通信应该相对简单。有关将TF和TFF代码混合使用的建议，请参见TFF的主要作者this post。